Interaction With AI - Midterm Report

Transkript

1 Interaction With AI - Midterm Report Emil Säll (ehfugler) og Irene Solberg (Irensolb). Introduksjon I denne oppgaven ønsker vi å undersøke om ulike måter å fremstille en AI kan påvirke hvordan mennesker opplever den. Nærmere bestemt er vi interessert i å undersøke hvordan ulike måter en chatbot viser kontekst for sine valg på, kan virke hvordan mennesker opplever dens egenskaper og evner. Vi starter derfor ved å Bakgrunn Mulighetene for å ta i bruk kunstig intelligens i design av teknologiske artefakter har i dag blitt mye større på bakgrunn av tilgangen til store mengder data og tilgjengelig maskinkraft til å behandle disse. Utbredelsen av AI-teknologi gjør også at teknologiske artefakter i større grad har evnen til å lære om og tilpasse seg sine omgivelser på en helt ny måte. Vi interagerer med det når vi søker etter flyreiser, når facebook viser oss spesialtilpassede annonser eller når vi ber Siri gi oss værvarselet for neste dag (Smith et al., 2006). Dialogbasert interaksjon med conversational agents er ofte basert på AI-systemer, og blir mer og mer vanlig i menneske-maskin grensesnitt (Luger & Sellen, 2016). Det tradisjonelle fokuset innenfor HCI har det derfor måttet endre seg til å undersøke nye typer teknologier, domener, kontekster osv. Dette utfordrer også etablerte konseptualiseringer og teorier, og nye spørsmål oppstår. Dourish (2003) er en av de som har forsøkt å svare på slike spørsmål og foreslår en ny konseptuell forståelse av kontekst og hvilken rolle det spiller i interaktive systemer. - a Luger og Sellen (2016) mener forskningen på konversasjonsagenter (Conversational agents) i stor grad har gått bort fra én modalitet, som tale/tekst, til å fokusere mer på multimodale 1

2 utviklinger. De har derfor i sin artikkel forsket på konversasjonsagenter i dagliglivet, og hvordan brukeres forventninger ikke alltid svarer til agentenes evner. En utfordring de fant blant sine deltakere var at de ikke visste hva konversasjonsagenten kunne gjøre. De argumenterer for at noe av det som kan begrense interaksjonene med en konversasjonsagent blant annet er mangel på forståelse av hva systemet kan gjøre, hva det har gjort, og hvordan det gjorde det (Luger & Sellen, 2016). Forskningsspørsmål I dette essayet ønsker vi å undersøke hvordan brukeres forståelse av AI-systemets egenskaper og evner kan påvirkes av måten interaksjonen er designet. Vi har derfor utformet et forskningsspørsmål som vi ønsker å få svar på. Hvordan kan ulike måter en chatbot viser kontekst for sine valg påvirke hvordan mennesker opplever dens egenskaper og evner? For å avgrense oppgaven vil vi fokusere på interaksjon basert på naturlig språk og conversational agents (med fokus på chatbot). For å svare på forskningsspørsmålet, vil essayet innlede med en redegjørelse for AI-teknologi generelt og konversasjonsagenter spesielt. Videre vil vi vise til vår forståelse av kontekst, og rollen det spiller relatert til interaktive systemer. Her vil vi ta utgangspunkt i Dourish (2004) sitt konsept om embodied interaction, nærmere bestemt, hvordan brukere forhandler og utvikler systemer av praksis og mening i interaksjon med AI-systemer. Deretter vil vi ta tak i argumenter som tilsier at problemer som kan oppstå i bruken av automatiserte systemer ofte kan handle om et designproblem heller enn at systemet ikke fungerer slik det er tenkt. Systemer må designes på en slik måte at konteksten rundt måten det operer, og spesifikt at begrensninger ved systemet, kommuniseres til brukeren på en tilstrekkelig måte (Norman, 1990). 2

3 Redegjørelse Kunstig intelligens Selv om det er mye snakk om kunstig intelligens i dag, har forskning på området foregått i over 50 år. Alan Turing var en av de første til å utforske konseptet om intelligente maskiner når han skrev Computing Machinery and Intelligence (Turing, 1950). Turing definerte hva mange fortsatt anser som det ultimate målet for å oppnå kunstig intelligens, der en intelligent maskin kan defineres ved sin ability to achieve human-level performance in all cognitive tasks, sufficient to fool an interrogator (Russel & Norvig, 1995, p. 5). Men flere synes det er problematisk å anta at målet for kunstig intelligens er å oppnå det som tilsvarer en form for menneskelig intelligens, siden maskiners intelligens, slik vi ser det i dag, fungerer veldig ulikt. En annen måte å definere kunstig intelligens er ved å referere til spesifikke teknologier. I dag er maskinlæring og deep learning de mest brukte teknologiske tilnærmingene. (Smith et al., 2006). Kunstig intelligens kan derfor eksempelvis defineres som en maskin som gjennom å identifisere mønstre eller regler i fortiden (data) kan bruke dem til å gjøre gjetninger i fremtiden (data), noe som gir den stor prediktiv kraft (Hutter, 2007, p. 241). Ved bruk av denne typen teknologi, demonstrerer maskiner noe som kan kalles for narrow intelligence, der maskinen defineres som intelligente innenfor spesifikke oppgaver eller kontekster eksempelvis gjennom å identifisere bestemte objekter i bilder, kunne kjenne igjen og forstå språk, spille sjakk osv. Dette kan skilles fra strong intelligence eller artificial general intelligence (AIG) der maskiner demonstrerer en høyere nivå av intelligent adferd ved at de possess a reasonable degree of self-understanding and autonomous self-control, and have the ability to solve a variety of complex problems in a variety of contexts, and to learn to solve new problems that they didn t know about at the time of their creation. (Goertzel & Pennachin, 2007, p. 1). Chatbot - naturlig språk. 3

4 I Luger og Sellen sin artikkel Like Having a Really bad PA definerer de konsversasjonsagenter som Dialogue systems often endowed with humanlike behaviour (Luger & Sellen, 2016). Dagens conversational agents er ikke nødvendigvis spesielt intelligente, men kan typisk plasseres innenfor narrow intelligence. Natural language Wilks (2010) skiller mellom ulike former for conversational agents. Noen innehar ingen form for intelligens eller minne, men kun etterligner en konversasjon. Mer intelligente conversational agents kan holde en mer langsiktig diskurs og oppnå en mer personlig relasjon til brukere. - men det er fortsatt en vei å gå før teknologien når dette. Dagens conversational agents er typisk virtuelle assistenter, slik som siri og Alexa, som kan assistere brukeren i utførelsen av oppgaver samt samle nok informasjon om brukeren for å kunne utøve en form for agency på deres vegne (Luger & Sellen, 2016). Teori Embodied interaction Dourish (2003) har i sin artikkel forsøkt å forstå hvordan ny teknologi, slik som context-aware teknologi, krever en ny forståelse av kontekst og rollen det har i interaktive systemer innenfor HCI. Han ser dette fra et fenomenologisk perspektiv, og forstår derfor sosiale fenomener som emergent, konstruert, situert, kontinuerlig skapt og gjenskapt i en sosial prosess. Den sosiale virkeligheten er ikke gitt, men er et produkt som oppstår og endrer seg i en vedvarende intersubjektiv diskurs. Studier av sosiale og menneskelige fenomener kan derfor ikke basere seg på en oppfatning av virkeligheten som noe objektivt og uavhengig av mennesker, og det å produsere kunnskap om den kan ikke gjøres ved hjelp av presise måleinstrumenter for å definere en underliggende objektiv sannhet. Fra et slikt epistemologisk ståsted konseptualiseres kontekst som noe relasjonelt, noe som oppstår som situert og som aktivt produseres i eksempelvis en bestemt setting eller aktivitet, og derfor heller ikke separat fra aktiviteten. Dourish (2003) mener derfor at kontekst ikke er et problem om representasjon men et interaksjonelt problem, og foreslår en interaksjonell modell av kontekst. Kontekst er her en egenskap ved interaksjonen som oppstår i det som gjøres i 4

5 øyeblikket. Eksempelvis oppstår og aktivt produseres konteksten av det å spille kort, hvem som spiller, hvor de spiller, hvordan de spiller osv. Dette kaller Dourish (2003) for embodied interaction, der brukere forhandler og utvikler systemer av praksis og mening i interaksjon med systemer. Metode Vi mener at for å forstå verden rundt oss, må vi som forskere selv tre inn i denne virkeligheten, og bli en del av den intersubjektive forståelsen av et fenomen. Dermed er det viktig for oss at vi snakker med deltakerne, for å få innsikt i hvordan de oppfatter fenomenet. I dette essayet ønsker vi derfor å gjennomføre evaluering av to prototyper kombinert med observasjon, etterfulgt av semistrukturerte intervjuer av deltakerne. Vi ønsker et utvalg på 4 personer, hvor vi rekrutterer gjennom personlig nettverk. Protoyper For å utvikle prototyper har vi basert oss på chatfuel for å lage to ulike chatboter. Vi tar utgangspunkt i botene vi lagde i ukesoppgaven i modul 2. Formålet med boten er at den skal gi brukeren mulighet til å konsultere symptomene sine, slik at boten kan gi tilbakemelding på om brukeren bør oppsøke legevakten eller ikke. Chatboten skal samle inn symptomene til brukeren, og basert på dette, samt tidligere helsedata fra bruker og data fra andre mennesker, gi en anbefaling til brukeren. Vi ønsker å lage to ulike versjoner av denne boten. Den ene skal gi feedback på sine begrensninger og operasjoner, mens den andre skal i større grad fremstå som et ekte menneske. 5

6 Diskusjon En relasjon i endring: Brukerens mental modell utgjør en del av kontekst for interaksjonen. Dette vil også kunne endre seg etterhvert som en bruker interagerer med systemet. Det vil si at aktiviteten endrer kontekst og adferd. - embodied interaction. Luger og Sellen (2016) fant i sin studie av hverdagsbruk av CA, at flere av deltakerne kommenterte konversasjonsagentens manglende forståelse av kontekst på tvers av interaksjoner. Det blant annet ikke mulig å stille oppfølgingsspørsmål, eller gjennomføre deloppgaver. Det meste av de rapporterte feilene var relatert til mangel på feedback/gjennomsiktighet fra systemet. For halvparten av brukerne førte dette til at de ikke forstod systemets evner og begrensninger, som igjen begrenset mange brukeres evne til å få det til å fungere. Luger og Sellen (2016) identifiserte fem spesifikke faktorer som begrenset interaksjon; (mangler) Brukerne forventet at den skulle huske konteksten av tidligere interaksjoner. Eksempler på at CA forstod kontekst for bruk, var at den etter å ha lest opp en melding forstod at brukeren deretter mest sannsynlig ville ønske å svare og gav dette automatisk som alternativ. Representasjon av systemets intelligens - Casell. Ekstra: Contexts represent the current context of a user's request. This is helpful for differentiating phrases which may be vague or have different meanings depending on the user s preferences, 6

7 geographic location, the current page in an app, or the topic of conversation. Contexts can be used to structure non-linear conversations. - Google, DialogFlow Litteraturliste B. & Pennachin, C. (Ed.), Artificial general intelligence (Vol. 2). New York: Springer. (p ) Turing, A. M. (1950) Computing Machinery and Intelligence. Mind 49: Dourish, P. (2004). What we talk about when we talk about context. Personal and ubiquitous computing, 8 (1), Goertzel, B. & Pennachin, C. (2007). Artificial general intelligence (Vol. 2). New York: Springer. Hutter, M. (2007) Universal Algorithmic Intelligence: A Mathematical Top->Down Approach. In Goertzel, Norman, D. A. (1990). The problem with automation: inappropriate feedback and interaction, not over-automation. Phil. Trans. R. Soc. Lond. B, 327 (1241), Russell, S. & Norvig, P. (1995). Artificial Intelligence: A modern approach. Prentice-Hall: Englewood Cliffs. Smith, C., McGuire, B., Huang, T., & Yang, G. (2006). The history of artificial intelligence. Seattle, Washington: University of Washington. Luger, E., & Sellen, A. (2016). Like Having a Really bad PA : The Gulf between User Expectation and Experience of Conversational Agents. Wilks, Y. (Ed.). (2010). Close engagements with artificial companions: key social, psychological, ethical and design issues (Vol. 8). John Benjamins Publishing. 7

8 Appendix 1 Report on conversational interaction assignment (lesson 1 & 2) What We want to make a nurse bot where users can consult their symptoms, to assess if they need emergency care or not. Purpose The purpose of the chatbot is to give the users answers about their health conditions, and whether they need to go to the emergency room or not. This may relieve the human nurses at the emergency room of some of their patients and tasks. Key tasks The chatbot should be able to collect the users symptoms, and give advice to the user based on these symptoms. Should the user consult the emergency room, or is it enough to take painkillers and visit their doctor in the morning? These are recommendations the bot can give the users. We want to make two different dialogues, because it would be interesting to examine the difference between a bot that gives feedback on its operations and limitations, and one that pretend to be a real human. We wish to use the two prototypes for our data gathering in our midterm report. How We started by discussing how we could make a chat bot that we also could use in the midterm report. We decided we wanted to make two different chat bots with a little different presentation. We did not sketch up the interaction beforehand, but started programming directly into Chatfuel. We tried to make AI-rules for this interaction, however we only managed to do this with the 8

9 hello/goodbye part of the interaction. We found it hard to collect the user input with AI-rules in Chatfuel. Reflections It was interesting to make a chat bot, but it took some time getting the hang of it. We had some struggles with chatfuel when tasting the bots, because facebook had disconnected from the account we used. This took some time trying to fix. After class on monday 1st of october, we also got some new ideas on how to make the chat bots better for the midterm report. Appendix 2 Report on machine learning assignment (lesson 3 & 4) Det første vi opplevde var at det var vanskelig å få chatboten til å fungere. Første gangen vi lastet ned Python endte vi opp med å måtte re-installere macos, og gav derfor litt opp. Vi forsøkte senere en gang til og klarte denne gangen å få det til å fungere. Vi endret på verdiene i Dense til 912 og fikk, slik vi forstod det, flere lag i det nevrale nettverket. Dette så ut til å gjøre accuracy verdien høyere. Vi endret også på dropout til 0.8, men dette så ut til å føre til lavere accuracy. Det var interessant å se hvordan man faktisk kan programmere en chatbot basert på deep learning, men var vanskelig å skjønne hva som egentlig foregikk når man endret på de ulike verdiene. 9