Sosiomateriell raisisme

Transkript

1 Sosiomateriell raisisme Sluttrapport i IN Spesialisering innen forskning i design av IT Universitetet i Oslo Institutt for informatikk Høst 2018 Av: Emil Säll (ehfugler) og Irene Solberg (Irensolb) Om oss Vi er to masterstudenter på siste året master i Design, bruk, interaksjon ved UiO. Vi er kanskje over gjennomsnittet opptatt av etiske spørsmål rundt design av teknologi, noe som i stor grad har formet denne oppgaven. 1

2 1. Introduksjon For years, experts have warned against the unanticipated effects of general artificial intelligence (AI) on society. Ray Kurzweil predicts that by 2029 intelligent machines will be able to outsmart human beings. Stephen Hawking argues that once humans develop full AI, it will take off on its own and redesign itself at an ever-increasing rate. Elon Musk warns that AI may constitute a fundamental risk to the existence of human civilization. (Zavalishina & Vyacheslav, 2017) Dette utdraget er hentet fra en artikkel av to eksperter innenfor AI og etikk. Selv om noen av utsagnene kan virke veldig dystopiske, og 2029 kan virke langt unna, er det viktige problemstillinger som blir tatt opp. I dag finnes det få reguleringer for utvikling av kunstig intelligens, og selv om man kanskje ikke enda kan sammenligne teknologien med atombomber, finnes det mer nærliggende etiske problemer i utviklingen av denne type teknologi. Ofte blir dataen som blir brukt i AI-teknologi sett på som harmløs og objektiv, og en vanlig oppfatning er at algoritmene som prosesserer denne dataen også er nøytrale i sine formuleringer og operasjoner, og begrunnet med vitenskapelig objektivitet. Dette er ikke nødvendigvis tilfelle, og når nye verktøy og teknologier blir tatt i bruk rundt omkring i verden, med ulik påvirkningsgrad for de involverte, oppstår det også en økende grad av etiske utfordringer (Kitchin, 2014). 2. Forskningsspørsmål I denne oppgaven ønsker vi å undersøke forholdet mellom mennesker og AI, samt hvilke etiske konsekvenser som kan oppstå på bakgrunn av dette. I den forbindelse har vi utformet et todelt forskningsspørsmål som vi vil forsøke å svare på. 1. Hvordan kan man forstå relasjonen mellom AI og mennesker som gjensidig skapende? 2

3 2. Hvilke etiske konsekvenser blir synlig med et slik perspektiv? For å få svar på dette, vil vi først gjøre rede for vår forståelse av kunstig intelligens og vise til to konkrete eksempler. Videre vil vi legge frem essayets teoretiske perspektiv, som sammen med de to konkrete eksemplene på AI-teknologi vil danne grunnlaget for diskusjon i kapittel fem. Til slutt vil vi komme til en konklusjon. 3. Redegjørelse 3.1 Kunstig intelligens Selv om det er mye snakk om kunstig intelligens i dag, har forskning på området foregått i over 50 år. Alan Turing var en av de første til å utforske konseptet om intelligente maskiner da han skrev Computing Machinery and Intelligence (Turing, 1950). Turing definerte hva mange fortsatt anser som det ultimate målet for å oppnå kunstig intelligens, der en intelligent maskin kan defineres ved sin ability to achieve human-level performance in all cognitive tasks, sufficient to fool an interrogator (Russel & Norvig, 1995, p. 5). Derimot synes flere det er problematisk å anta at målet for kunstig intelligens er å oppnå det som tilsvarer en form for menneskelig intelligens, siden maskiners intelligens, slik vi ser det i dag, fungerer veldig ulikt. En annen måte å definere kunstig intelligens er ved å referere til spesifikke teknologier. I dag er maskinlæring og deep learning de mest brukte teknologiske tilnærmingene. (Smith et al., 2006). Kunstig intelligens kan derfor eksempelvis defineres som en maskin som gjennom å identifisere mønstre eller regler i fortiden (data) kan bruke dem til å gjøre gjetninger i fremtiden (data), noe som gir den stor prediktiv kraft (Hutter, 2007, p. 241). Ved bruk av denne typen teknologi, demonstrerer maskiner noe som kan kalles for narrow intelligence, der maskinen defineres som intelligente innenfor spesifikke oppgaver eller kontekster eksempelvis gjennom å identifisere bestemte objekter i bilder, kunne kjenne igjen og forstå språk, spille sjakk osv. Dette kan skilles fra strong intelligence eller artificial general intelligence (AIG) der maskiner demonstrerer en høyere nivå av intelligent adferd ved at de possess a reasonable degree of self-understanding and autonomous self-control, 3

4 and have the ability to solve a variety of complex problems in a variety of contexts, and to learn to solve new problems that they didn t know about at the time of their creation. (Goertzel & Pennachin, 2007, p. 1). I dette essayet vil vi begrense oss til å se på narrow AI, og diskutere forskningsspørsmålene våre opp mot to spesifikke eksempler fra to ulike domener der big data og avanserte algoritmer blir benyttet. 3.2 Google Søkemotoren til google har som formål å organisere den enorme mengden informasjonen som befinner seg på internett for å gjøre det tilgjengelig for oss ved bruk av enkle søkeord. Mengden informasjonen og antall nettsider er enormt, og det er vanskelig å si akkurat hvor mye av det som befinner seg på internett som google faktisk har indeksert. Google benytter seg av noe de kaller nettsøkeroboter for å lete etter offentlig tilgjengelige nettsider og går fra link til link som i et edderkoppnett og henter data om ulike nettsider til googles tjenere (Google, 2018a) Siden google umulig kan indeksere absolutt all informasjonen som eksisterer på internett, i tillegg til at de ønsker å gi brukerne sine de mest nyttige og relevante resultatene, blir de nødt til å ta noen valg om hvilke nettsider som skal bli vist for brukeren. For å gjøre dette benytter de seg av rangeringssystem som består av en rekke algoritmer. En av flere antagelser de legger til grunn for måten nettsider rangeres er at en side som mange andre populære sider om samme tema linker til er viktigere enn én side som sjeldent refereres til (Google, 2018b) 3.3 Predictive policing Predictive policing er et verktøy brukt av politiet flere steder i USA. Predictive policing fungere ved at store mengder data fra ulike kilder analyseres ved bruk av algoritmer, for å forsøke å forutse kriminalitet før det skjer. Politiet i de respektive avdelingene kan på et kart se hvor kriminalitet er forventet å oppstå, og dermed patruljere disse områdene oftere. Dataen som brukes til predictive policing er i hovedsak tidligere politianmeldelser og politiets egne rapporter, men også CCTV, systemer for ansiktsgjenkjenning osv. (Berg, 2014). 4

5 4. Teori Å forklare relasjonen mellom menneske og teknologi har vært en grunnleggende oppgave innenfor IS-feltet. Tidlige akademiske diskurser har vært preget av en dualistisk tilnærming til dette, der teknologi har blitt konseptualisert som enten et sosialt produkt eller en objektiv materiell kraft. Disse to posisjonene kjennetegnes også som sosial eller teknologisk determinisme (Orlikowski, 1991). 4.1 Sosio-tekniske perspektiver og gjensidig avhengighet Senere teoretiske perspektiver innenfor IS-litteraturen har kritisert slike dualistiske perspektiver for å begrense vår forståelse av interaksjonen mellom teknologi og samfunn, og gir det skylden for at vi sitter igjen med kunnskap som er tvetydig og motstridende. For å gjøre noe med dette argumenteres det for en rekonseptualisering av teknologi, dens natur og rolle, som kombinerer begge disse perspektivene (Orlikowski, 1991). Studier innenfor denne bølgen av forskning fokuserer derfor på den dynamiske interaksjonen mellom mennesker (eller organisasjoner) og teknologi som skjer over tid, hvor det vokser frem dype sammenkoblinger. Disse utfallene og interaksjonene er gjensidig avhengige og co-evolving. Med et slikt sosio-teknisk perspektiv er det eksempelvis relevant å se på hvordan teknologi blir institusjonalisert (eller ikke) når regler og verdier innebygd i teknologi møter de allerede eksisterende i en organisasjon ( Orlikowski & Scott, 2008). 4.2 En uatskillelig sammenfletning av det sosiale og materielle En tredje bølge innenfor IS-litteraturen som i senere tid har fått momentum, kan plasseres under paraplybegrepet sosio-materialitet. Forskning som kan plasseres innenfor her utfordrer den ontologisk separasjonen mellom teknologi og menneske som to distinkte enheter eller prosesser som interagerer med hverandre, som de mener er iboende det sosio-tekniske perspektivet beskrevet ovenfor. De argumenterer heller for en forståelse av relasjonen mellom teknologi og menneske som fjerner dette analytiske skillet og «beveger seg bort i fra å fokusere på hvordan teknologi påvirker mennesker, til å undersøke hvordan materialitet er iboende i hverdagslige aktiviteter og relasjoner» ( Orlikowski & Scott, 2008, s. 455) 5

6 Materialitet er så integrert i all praksis at det blir kunstig å lage et skille mellom de to. En slik relasjonell ontologi anser the sosiale og materielle som gjensidig skapende, og iboende uadskillelige - humans and technology are assumed to exist only through their temporally emergent constitutive entanglement (Orlikowski og Scott, 2008, s. 457). Det finnes ingen individuelle enheter med iboende karakteristikker - relasjonen er i fokus. Her kan vi trekke inn konsepter som teknologisk mediering - hvordan teknologi er med på å skape menneskelig persepsjon, opplevelser og eksistens (Verbeek, 2006). For å konseptualisere teknologisk mediering bygger Verbeek (2006) videre på konsepter beskrevet av Don Idhe (1990), for å forklare hvordan teknologi medierer how the world is present for humans og how humans are present in the world (Verbeek, 2006, p. 366). Ihde (1990) skiller mellom to måter teknologi medierer menneskelig persepsjon, the embodied relation - teknologien som en utvidelse av den menneskelige kroppen og hermenuitic relation - teknologi som en representasjon av virkeligheten. Dette medierer altså hvordan vi ser virkeligheten og hvordan vi handler i forhold til den ved å skape en form for materiell situatedness med begrensninger og muligheter hvor mennesker kan realisere sin eksistens innenfor. I interaksjon med teknologi kan dette ses som en å co-constitute brukeradferd, der noe adferd fremmes fremfor annen, samt nye muligheter for atferd oppstår. Menneskelige aktører, typisk designere, kan forme denne medierende effekten gjennom å inscribe scripts inn i teknologiske artefakter (Verbeek, 2006). Disse scriptene kan snakke på vegne av spesifikke interesser eller verdensbilder designeren har (Walsham & Sahay, 1991). 4.3 Instrumentaliseringsteori I instrumentaliseringsteori argumenterer man for at studier av mennesker og teknologi ikke bare bør undersøkes på et mikronivå, men også på et makronivå. Feng og Feenberg (2008) mener at hvis man ønsker å forstå på hvilke måter teknologi kan være biased, må man se på den bredere konteksten det oppstår i. De ønsker derfor å skifte fokus over på de bredere kulturelle verdiene og praksisene rundt teknologien. Instrumentaliseringsteori ønsker å forstå teknologi som designet for å passe inn i den kulturelle bakgrunnen til samfunnet, og ikke bare etter interessene til de involverte (ledende) aktørene. 6

7 Feng og Feenberg (2008) argumenterer også for at historiske og kulturelle forhold spiller inn på designprosessen i design av teknologi. Designere har også en teknologisk arv som påvirker hvordan designrommet er. Tekniske elementer kan i prinsippet settes sammen på utallige måter, men blir heller satt sammen under begrensinger fra det Feng og Feenberg kaller technical code, eller sosiale krav, for å kunne passe inn i den spesifikke sosiale konteksten. Med andre ord blir designprosessen formet av de historiske valgene og kulturelle antakelsene om teknologi, og følgelig blir designrommet begrenset til å ekskludere alternativer som ikke passer inn i dette verdensbildet. Dermed kan det hende at designere utilsiktet tilpasser seg eksisterende sosiale verdener, og reproduserer eksisterende maktrelasjoner og hierarkier (Feng & Feenberg, 2008). 5. Diskusjon Hvilken data som samles inn, og for hvem den samles inn, inkludert hvem som designer algoritmene og systemet, kan fører til et system som har utilsiktede politiske konsekvenser. Siden algoritmene er et resultat av menneskelige kalkuleringer, som bruker data laget av mennesker, for formål mennesker har bestemt, vil det til en viss grad inneholde menneskelig bias (Kirkpatrick, 2016). 5.1 Google Algoritmene som driver søkemotorer slik som google kan ses som å skapes i relasjon til både menneskene som designer den og menneskene som produserer dataen som behandles. Designerne gjør blant annet noen antagelser om hvilke kriterier som skal ligge til grunn for å avgjøre relevansen til en nettside. Måten google-algoritmen indekserer og rangerer ulike nettsider gjør at det den ser som relevant medieres av hva mennesker som produserer innhold og linker til andre sider finner interessant - det majoriteten anser som viktig anser derfor også algoritmen som viktig. Et tilfelle hvor dette kan få uforventede politiske konsekvenser viste seg når google svarte på hva den anser som profesjonelle eller ikke profesjonelle frisyrer. Ved å skrive inn søkeordet unprofessional hairstyle vil bildesøket vise afroamerikanske kvinner med tradisjonelle hårfrisyrer, der søkeordet professional hairstyle gir utelukkende bilder av hvite kvinner. 7

8 Det samme er tilfelle om en søker på mann eller dame, som til tross for at majoriteten av verdens befolkning ikke er hvite, nesten utelukkende vil gi deg et resultat som viser hvite mennesker (The Guardian, 2016). Mennesker medierer altså måten google-algoritmene ser virkeligheten og resulterer derfor i at den speiler en vestlig-sentrert bias når den tar beslutninger om hva en uprofesjonell hårfrisyre er eller hva de mest relevante bildene av en mann eller kvinne er. Verdensveven blir altså konstruert på en måte som fører til at noen interesser fremmes fremfor andre, hvor alternative perspektiver og informasjon produsert av minoriteten ikke kommer frem (Introna, 2007). For å forstå hvordan det former oss som mennesker kan vi se det i lys av the embodied relation. Sparrow, Liu and Wegner (2011) beskriver hvordan det at vi har all verdens informasjon tilsynelatende ved fingerspissene hele tiden gjør at vi kan se det som en faktisk utvidelse av våre egen hjerne. Dette kan kalles en form for transaktiv hukommelse, hvor informasjon vi vet at vi har tilgjengelig i omgivelsene ikke lagres i like stor grad i hjernen. Søkemotoren google fører også til at virkeligheten blir presentert på oss på bestemte måter, som kan ses i lys av hermenuitic relation, som i dette tilfellet medierer hva mennesker faktisk ser når de bruker google til å finne svar på hva en profesjonell hårfrisyre er. Dette kan også ses i sammenheng med det Cummings (2004) snakker om som automation bias, som beskriver hvordan mennesker har en tendens til å stole på teknologi-genererte resultater og ikke søke etter alternativ eller motstridende informasjon. Dermed kan den menneskelige forsterkes ytterligere av en feecback loop der de nettsidene som allerede er indeksert og linket til av andre også videre vil være de sidene som er mest synlig og bli mer referert til også i fremtiden. Dette vil igjen dytte nettsider og alternative perspektiver eller interesser, som faller utenfor, enda lengre bort fra folks syn. Denne forståelsen passer godt med sosio-materielle perspektiver om hvordan teknologi og det menneskelige er dypt sammenvevd og konstitueres i relasjon til hverandre i en prosess av co-evolving. 8

9 5.2 Predictive policing Lignende utfordringer som beskrevet over, kan man også se i teknologien Predictive policing i USA. Lennard (2014) sier at for eksempel i New York har det ofte vært slik at politiet har siktet seg inn på områder med fattige og svarte mennesker for å fylle kvoten sin. Hun legger til at kriminalitet er hva og hvor politiet sier det er, så dataen som har blitt produsert har dermed iboende bias som igjen har gått inn i systemet. Dette resulterte i et system som forsterket fokuset, og hadde en kriminaliserende effekt, på menneskene i de utsatte områdene (Lennard, 2014). Predictive policing kan dermed også sees på som et eksempel på det Orlikowski og Scott (2008) mener om at det sosiale og materielle er gjensidig skapende (inherently inseparable). Man kan argumentere for at systemet har blitt påvirket av mennesker, og deres holdninger og biaser, både i design og utvikling av systemet, men også dataen systemet bruker i sine utregninger. Dette kan igjen føre til at mennesker blir påvirket av systemet, at politiet ledes mot å diskriminere ulike mennesker og områder. Dette er i tråd med det Veerbek (2006) mener om at menneskene som bruker denne teknologien forstår verden rundt seg på en måte som er i seg selv mediert av teknologien. Den dataen som så genereres vil igjen gå inn i systemet igjen, og det hele er en ond sirkel av gjensidig skapelse mellom teknologi og menneske som går ut over de menneskene som blir utsatt for denne diskrimineringen. Jennifer Lynch fra Electronic Frontier Foundation (EEF) sier hun er bekymret for hva som kommer til å skje når mennesker begynner å tro at resultater som kommer ut av slik teknologi er objektiv og riktig, og glemmer at dataen som har gått inn i systemet er gjenstand for menneskelig bias (Berg, 2014). Det er også interessant å se på Predictive policing i lys av Introna (2007), som sier at handling er mediert av både mennesket og teknologien. Det kan argumenteres for at uten Predictive policing-systemet, hadde det ikke nødvendigvis vært de samme nabolagene som ble kriminalisert. 9

10 Hvis man ser på predictive policing gjennom instrumentaliseringsteori, kan man argumentere for at designet av dette systemet er gjenstand for samfunnets historiske og kulturelle forhold. I USA er predictive policing et system og et tiltak som kan love en mer effektiv politistyrke og en tryggere by, noe som kan være noe av grunnen til at det godtas av samfunnet, og dermed passer inn i deres verdenssyn. På en annen side kan man se at i Danmark har de gått for en annen løsning for å bekjempe kriminalitet, gjennom å designe et fysisk bymiljø som er åpent, hvor det er naturlig overvåkning og færre bakgater, samt rutinemessig opprydning av vandalisme (Laville,2014). De mener inngjerding, låser og CCTV er siste utvei, noe som kan vitne om at de der har et annet verdenssyn her enn det de har i USA. 6. Konklusjon/oppsummering Som nevnt innledningsvis, er det flere nærliggende etiske utfordringer når det kommer til teknologisk utvikling, og spesielt i forbindelse med AI. Vi har i dette essayet utforsket dette med utgangspunkt i to ulike caser. Vi har sett hvordan et sosiomaterielt perspektiver kan benyttes til å gjøre noen av de etiske implikasjonene synlige, ved å se på hvordan teknologi og mennesker er gjensidig skapende. Både med googles søkemotor og predictive policing har vi sett at det er farlig å se på dataene og AI-systemer som upolitiske og objektive, og at det er viktig å se hvordan menneskelige biaser og rasisme gjenspeiles i teknologien rundt oss. Teknologi er ikke noe som bare oppstår, men noe som kommer ut av en kompleks og sosialt situert designprosess, noe som igjen former hvordan vi som mennesker ser og handler i relasjon til virkeligheten. Det er derfor viktig at vi som designere forsøker å se for oss hvilke etiske konsekvenser det vi lager kan få i fremtiden. En slik moral imagination vil trolig være enda vanskeligere med nye teknologier slik som innenfor kunstig intelligens. Ut i fra diskusjonen lagt frem i dette essayet mener vi at et sosiomaterielt perspektiv kan være nyttig for å synliggjøre blant annet hvordan teknologi kan bidra til å reprodusere og forsterke sosiale hierarkier og eksisterende maktrelasjoner i samfunnet. Dersom AI etter hvert havner der Elon Musk og Stephen Hawking argumenterer for, eller i det minste blir enda mer avansert enn nå, er det viktig at vi er observante på de etiske 10

11 utfordringene som allerede til nå har vist seg selv i narrow AI. Noe som er verre enn en AI som vil ta over menneskeheten, er en rasistisk AI som vil ta over menneskeheten. 7. Evaluation approach and reflections on the proposed plan I dette kapittelet har vi som formål å diskutere hvordan man kan gå frem for evaluere designet av et såkalt predictive policing system. Her er det flere ting som gjør at evalueringen skiller seg fra en mer tradisjonell evaluering av prototyper sin brukeropplevelse og brukervennlighet. En ting er så klart å evaluere systemets brukervennlighet for de i politiet som skal bruke det, men vi tenker at et viktigere aspekt ved denne teknologien er hvilken påvirkning det har på samfunnet. Altså å evaluere hvordan menneskers liv påvirkes av et slikt system. Dette innebærer i større grad å evaluere tenkte fremtidsscenarioer i en større skala enn når man evaluerer interaksjonen med en eksisterende prototype. Det vil også være viktig å lage systemer som er transparente i sine operasjoner, slik at mennesker kan se på hvilket grunnlag systemene gjør sine antakelser. Metoder For å evaluere et slikt system, vil vi foreslå constructive technology assessment (CTA). Dette innebærer at man inkluderer et stort mangfold aktører i design og implementeringsprosessen av en teknologi. Her er det spesielt interessant å ha med sosiale aktører, altså de som opplever effekten av den teknologiske utviklingen, men som ikke vanligvis er involvert ( Constructive Technology Assessment, u.å.). Ved å gjøre dette ønsker CAT å adressere sosiale problemer rundt teknologi ved å påvirke designpraksisen. Dette kan potensielt avdekke problemer som at mennesker føler seg diskriminert basert på hvor de bor, at de føler seg overvåket etc. Alternativer for evalueringen Her har vi tatt inspirasjon fra Derrell M. West (2018) sine punkter for hvordan selskaper kan gå frem for å å evaluere etiske dilemmaer. Vi har valgt ut tre vi tenker kan være et godt alternativ eller supplement til evaluering beskrevet ovenfor. 1. Ansette egne mennesker med for å jobbe etikk i samarbeid med beslutningstagere i selskapet og utviklere. 2. Ha et eget styre som regelmessig vurderer etiske problemstillinger i bedriften 11

12 3. Gjennomføre interne høringer der utviklere må redegjøre for hvordan ulike valg med hensyn til kode og data har blitt gjennomført 8. Litteraturliste Berg, N. (2014, june 25). Predicting crime, lapd-style. The Guardian, 25. Retrieved from lice-data-analysis-algorithm-minority-report (Berg, 2014) Constructive Technology Assessment. (u.å.) I Encyclopedia of Science, Technology, and Ethics. Hentet fra /constructive-technology-assessment Cummings, M., L. (2004) Automation Bias in Intelligent Time Critical Decision Support Systems Dourish, P. (2004). What we talk about when we talk about context. Personal and ubiquitous computing, 8 (1), Feng, P. & Feenberg, A. (2008). Thinking About Design: Critical Theory of Technology and the Design Process. In P.E. Vermaas, P. Kroes, A. Light & S.A. Moore (Eds), Philosophy and Design. From Engeneering to Architecture, 2008, doi: Google (2018a, 27. februar) Slik organiseres informasjonen av søk. Hentet fra Google (2018b, 27. februar) Slik fungerer søkealgoritmer. Hentet fra Goertzel, B. & Pennachin, C. (2007). Artificial general intelligence (Vol. 2). New York: Springer. Hutter, M. (2007) Universal Algorithmic Intelligence: A Mathematical Top->Down Approach. In Goertzel, Ihde, D Technology and the lifeworld. Bloomington: Indiana University Press. Introna, L. D. (2007). Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible. Ethics and Information Technology, 9 (1), Kitchin, R. (2014). The real-time city? Big data and smart urbanism. GeoJournal, 79 (1), 12

13 1-14. Laville, S. (2014, june 24). Designing out crime in Scandinavia: Cities cannot be completely safe and completely exciting at the same time. The Guardian. Retrieved from enhagen-cities-safe-exciting Lennard, N. (2014, june 27). Predictive Policing Is Not Like 'Minority Report' - It's Worse. Vice News. Retrieved from Orlikowski, W. J. (1992). The duality of technology: Rethinking the concept of technology in organizations. Organization science, 3 (3), Orlikowski, W. J., & Scott, S. V. (2008). 10 sociomateriality: challenging the separation of technology, work and organization. The academy of management annals, 2 (1), Smith, C., McGuire, B., Huang, T., & Yang, G. (2006). The history of artificial intelligence. Seattle, Washington: University of Washington. Sparrow, B., Liu, J., & Wegner, D. M. (2011). Google effects on memory: Cognitive consequences of having information at our fingertips. science, 333 (6043), The Guardian (2016, 8. april) Do Google's 'unprofessional hair' results show it is racist? Hentet fra -results-prove-algorithms-racist- Turing, A. M. (1950) Computing Machinery and Intelligence. Mind 49: Verbeek, P. P. (2006). Materializing morality: Design ethics and technological mediation. Science, Technology, & Human Values, 31 (3), West, M,. Derrel (2018, 13 september) The role of corporations in addressing AI s ethical dilemmas. Hentet fra Zavalishina, J. & Vyacheslav, P. (2017, 19. desember). Can we teach morality to machines? Three perspectives on ethics for artificial intelligence. Hentet fra ves-on-ethics-for-artificial-intelligence-64fe479e25d3 13

14 Appendix 1 Report on conversational interaction assignment (lesson 1 & 2) What We want to make a nurse bot where users can consult their symptoms, to assess if they need emergency care or not. Purpose The purpose of the chatbot is to give the users answers about their health conditions, and whether they need to go to the emergency room or not. This may relieve the human nurses at the emergency room of some of their patients and tasks. Key tasks The chatbot should be able to collect the users symptoms, and give advice to the user based on these symptoms. Should the user consult the emergency room, or is it enough to take painkillers and visit their doctor in the morning? These are recommendations the bot can give the users. We want to make two different dialogues, because it would be interesting to examine the difference between a bot that gives feedback on its operations and limitations, and one that pretend to be a real human. How We started by discussing how we could make a chat bot that we also could use in the midterm report. We decided we wanted to make two different chat bots with a little different presentation. We did not sketch up the interaction beforehand, but started programming directly into Chatfuel. We tried to make AI-rules for this interaction, however we only managed to do this with the hello/goodbye part of the interaction. We found it hard to collect the user input with AI-rules in Chatfuel. 14

15 Reflections It was interesting to make a chat bot, but it took some time getting the hang of it. We had some struggles with chatfuel when tasting the bots, because facebook had disconnected from the account we used. This took some time trying to fix. After class on monday 1st of october, we also got some new ideas on how to make the chat bots better for the midterm report. 15

16 Appendix 2 Report on machine learning assignment (lesson 3 & 4) Det første vi opplevde var at det var vanskelig å få chatboten til å fungere. Første gangen vi lastet ned Python endte vi opp med å måtte re-installere macos, og gav derfor litt opp. Vi forsøkte senere en gang til og klarte denne gangen å få det til å fungere. Vi endret på verdiene i Dense til 912 og fikk, slik vi forstod det, flere lag i det nevrale nettverket. Dette så ut til å gjøre accuracy verdien høyere. Vi endret også på dropout til 0.8, men dette så ut til å føre til lavere accuracy. Det var interessant å se hvordan man faktisk kan programmere en chatbot basert på deep learning, men var vanskelig å skjønne hva som egentlig foregikk når man endret på de ulike verdiene. 16

17 Appendix 3 Tay var Microsoft sin chat-bot på twitter. Formålet med boten var at den skulle kunne snakke med mennesker på en uformell og leken måte. Dette skulle den læres opp til ved at andre snakket til den. Video kan ses her: 1. What was the problem? Problemet var at mennesker begynte å trolle boten ved å twitre rasistiske og sjåvinistiske utsagn til den. Boten ble derfor opplært med dette datamaterialet, og igjen brukte dette for å uttrykke seg på twitter. De brukte offentlig data for å bygge den, og renset og filtrerte upassende ting, men med en gang boten gikk live, hadde den ikke noe filtrering lenger. 2. Could it be solved differently? De kunne hatt en form for filtrering også etter at den var lansert. De kunne kanskje laget noen algoritmer som kunne lokalisere og skille ut tweets som var upassende. De kunne valgt et annet sted en twitter å basere boten på? 3. Could the problem be discovered earlier? De burde ha brukt mer tid i utviklingsprosessen på å se for seg potensiell bruk og mulighetene for å appropriere teknologien på måter som ikke samsvarer med deres opprinnelige ide. Trolling på internett er tross alt et velkjent fenomen. Refleksjon Kanskje det var bra at dette skjedde, da det er et godt eksempel på hvordan AI-teknologi kan utvikle seg og ta veldig uforventede former. Tay baserte seg på input/data fra mennesker og brukte det som grunnlag for sin representasjon av verden, i likhet med det vi diskuterer i oppgaven vår. 17

18 Appendix 4 Human-machine partnership task to be included in Appendix 4: Report on human-machine partnership task (one page) Scenario 1 (nivå 6 eller 7): Nivå 7: Datamaskinen regner ut og kommer med forslag, menneske tar og gjennomfører beslutning. Articon er et stort kreativt selskap som ønsker å ansette nye UX-forfattere til neste år. Dette lyser de ut på sine nettsider. En stor mengde jobbsøkeren går inn på nettsiden og gjennomfører ulike oppgaver og spill for å teste personlighet og evner. I bakgrunnen opererer en algoritme som siler ut alle som ikke får høy nok score på ulike områder som arbeidsgiveren har definert som viktig for stillingen. Til slutt sitter de igjen med et lite antall kandidater. Bror har ansvar for rekruttering i Articon og kaller inn de menneskene algoritmen har valgt ut til et siste intervju. For hver og en av de bruker Bror resultatene fra testene som grunnlag for intervjuet. Til slutt er det han som må ta den endelige avgjørelsen om hvem som skal ansettes. Scenario 2 (nivå 8, 9 eller 10): Nivå 10: Datamaskinen handler uten å klarere med mennesket. Antarticon på en annen side bruker en AI som er helt autonom som sin HR-sjef. AI-en utfører hele ansettelsesprosessen på egenhånd. Et par ganger i halvåret analyserer AI-en bedriften, og rekrutterer på bakgrunn av hvilke mennesker som trengs. Deretter gjennomfører den alt det samme som AI-en i Articon, men i stede for at arbeidsgiver tar avgjørelsen, så er det AI-en som avgjør hvem som skal få jobben. Den går da gjennom store mengder data for å finne ut hvilken kandidat som passer best inn blant de som allerede jobber på arbeidsplassen, samt måler det opp mot forventet produktivitet hos den enkelte arbeidstaker. Fordelen med en slik løsning er at det sparer penger på menneskelig arbeidskraft i form av en HR-avdeling. AI-en kan også analysere og finne ut hvem som er den ultimate kandidaten på en objektiv måte, hvor kjønn og diskriminering ikke har innvirkning på prosessen (noe vi argumenterer mot i vår oppgave). Problemer som kan oppstå med en slik AI er blant annet at den kan finne på å sparke mennesker som ikke lever opp til kravene den setter, eller eventuelt bytter ut alle arbeiderne med en ny arbeidsstyrke som den mener kan være fungere bedre. 18