Bruk av kunstig intelligens i velferdsteknologi

Transkript

1 Bruk av kunstig intelligens i velferdsteknologi Midtveisrapport IN Spesialisering innen forskning i design av IT Maria Stolinski (mlstolin) Hanne Borgersen (hanbo) Høst 2018

2 Innholdsfortegnelse 1 Introduksjon 2 2 Interesseområde 2 3 Bakgrunn 3 4 Problemstilling 5 5 Metoder og fremgangsmåte Analyse av brukerintervju Litteraturundersøkelse Ekspertintervju Funn fra ekspertintervju Implikasjoner for design 9 6 e-plan chatbot Iterasjon Iterasjon Brukertesting/evaluering 9 7 Diskusjon 9 8 Konklusjon 9 Kilder 10 Vedlegg 1 - Prototyping av chatbot 11 Formål 11 Interaksjonsflyt og oppgaver 11 Prosess 11 Vedlegg 2 - Maskinlæring 13 Erfaringer 13 1 av 14

3 1 Introduksjon Denne rapporten presenterer vår designprosess med utforskning av chatbot i plan- og prosedyreverktøyet e-plan. Vi har utforsket hvordan chatbots kan fungere som et hjelpemiddel for administratorer ved bruk av dette verktøyet, samt hvordan chatboten bør utformes for å faktisk fremstå som et hjelpemiddel. Gruppen består av Maria Louise Stolinski og Hanne Borgersen. Vi skriver masteroppgave sammen, og har derfor rettet dette prosjektet mot oppgaven vår. 2 Interesseområde I samarbeid med avdeling for Nevrohabilitering ved Oslo Universitetssykehus gjennomfører vi flere empiriske undersøkelser der vi evaluerer plan- og prosedyreverktøyet; e-plan. Målgruppen til e-plan er barn, unge og voksne med gjennomgripende utviklingsforstyrrelser og/eller kognitive funksjonsnedsettelser (Berger, 2017), men vil også brukes av tjenestepersonell, også omtalt som administrator-brukere. I 2014 opprettet Oslo universitetssykehus prosjektet rundt e-plan, der målet var å utforme og implementere et digitalt planverktøy for avdelingens målgruppe. Hensikten med prosjektet var å utvikle en løsning som sikret pasientgruppen bedre forutsigbarhet, selvstendighet og større grad av brukermedvirkning, i tillegg til å undersøke om digitale løsninger for avtalestyring kunne erstatte dagens analoge systemer (Berger, 2017). Videre har de som mål at e-plan skal bidra til at behandling av pasienter skal foregå raskere og med høyere kvalitet, samt å sikre at tiden en tjenesteyter har med en pasient baseres på pasienten sine verdier, mål og behov. e-plan benytter prinsipper hentet fra analoge planleggings- og styringsverktøy innen helse- og omsorgstjenesten. Verktøyet er bygd opp av bildebaserte aktiviteter som plasseres i en visuell kalender (se bilde 1). Videre består det av to visninger, en for brukerne og en for administratorer, videre omtalt som pasientmodus og adminmodus. Det er admin som setter opp og organiserer aktivitetene som pasienten skal utføre i løpet av kommende dag eller uke. Vi ønsker i masteroppgaven å se på hvordan appen e-plan brukes og hvordan den fungerer som et hjelpemiddel, med fokus på hvordan brukerne opplever den. I lys av vår masteroppgave er vi derfor interessert i å utforske velferdsteknologi i samspill med kunstig intelligens (AI) og undersøke om (og hvordan) AI kan forbedre hverdagen til pasienter og tjenesteytere. 2 av 14

4 Bilde 1. De to øverste bildene er visningene som pasienten blir presentert for og interagerer med, mens de to nederste er eksempler på visninger hvor admin planlegger og lager aktiviteter. 3 Bakgrunn Velferdsteknologi er et vidt begrep som omfatter mange teknologier, men hvor alle er løsninger som kan være til nytte for enkeltindivider. Dette gjelder først og fremst økning av egenmestring, deltakelse i samfunnet og livskvalitet (Helsedirektoratet, 2012). Begrepet ble først introdusert i NOU 2011:11 (2011, s. 99), og er i sin helhet definert som... teknologisk assistanse som bidrar til økt trygghet, sikkerhet, sosial deltakelse, mobilitet og fysisk og kulturell aktivitet, og styrker den enkeltes evne til å klare seg selv i hverdagen til tross for sykdom og sosial, psykisk eller fysisk nedsatt funksjonsevne. Velferdsteknologi kan også fungere som teknologisk støtte til pårørende og ellers bidra til å forbedre tilgjengelighet, ressursutnyttelse og kvalitet på tjenestetilbudet. Velferdsteknologiske løsninger kan i mange tilfeller forebygge behov for tjenester eller innleggelse i institusjon. I lys av denne definisjonen kan man se på velferdsteknologi som teknologi som skal gi støtte til personer med nedsatt funksjonsevne, eller deres pårørende, til tross for omfattende omsorgs- og hjelpebehov (Thygesen, 2015). Laberg (2011) konkretiserer denne forståelse av 3 av 14

5 begrepet, hvor hun omtaler velferdsteknologi som teknologi som skal støtte opp om selvstendiggjøring, trygghet og kvalitet i tjenester slik at det muliggjør mestring i egen hverdag. Med dette som utgangspunkt, identifiserer Thygesen (2015) tre sentrale kjennetegn på velferdsteknologi som skiller den fra andre enkeltstående tekniske hjelpemidler : 1) teknologien inngår i en større kontekst av helse-, sosial- og omsorgstjeneste, 2) den muliggjør utførelse av omsorgsarbeid til tross for fysisk avstand, og 3) er innlemmet i tjenester som retter seg direkte mot personene det gjelder. Velferdsteknologi har med andre ord et hjelpemiddel som en del av systemet, men det innebærer ikke at alle hjelpemidler er en del av velferdsteknologiske løsninger (Laberg, 2011). Med dette forstår vi det som at eksempelvis en medisindispenser kan omtales som velferdsteknologi da det vil være et hjelpemiddel av betydning for både pasient, tjenestepersonell og pårørende. Basert på vår forståelse av velferdsteknologi, opplever vi at det i dag finnes et stort tilbud av slike løsninger, der e-plan er et eksempel på dette. Verktøy og hjelpemidler som brukes av mennesker som har ulik grad av psykisk utviklingshemning eller andre former for funksjonsnedsettelse omtales ofte som assisterende teknologi, fritt oversatt fra assistive technology. Mechling (2007) definerer dette som ethvert utstyr eller produkt, uansett om det er statisk eller fleksibelt, og som enten øker, vedlikeholder eller forbedrer de funksjonelle evnene hos en person med en eller flere funksjonsnedsettelser. Det er tydelig at slike teknologier kan bidra i helsevesenet på nyttige og viktige måter, også ved bruk av AI. I lys av Verne & Bratteteig (2018) sin definisjon, forstår vi AI som en del av systemer som ønsker å imitere menneskelig eller rasjonell oppførsel, i den forstand at det ville krevd intelligens om oppgaven skulle blitt utført av et menneske. Eksempler på dette innen velferdsteknologi er bruk av roboter for å løfte og flytte pasienter, eller bruk av teknologi for å følge med på pasienter i deres eget hjem slik at de kan bo og føle seg hjemme mens de mottar omsorg (Coeckelbergh, 2010). Bruk av AI kan også virke effektiviserende og ressursbesparende for helsepersonell, ettersom det kan gi mulighet for kunnskapsbaserte løsninger som gjør det lettere å ta beslutninger om pasienter. I vårt prosjekt fokuserer vi på bruk av verktøy tilknyttet planlegging og utførelse av oppgaver. Disse systemene er i stor grad analoge, og baserer seg ofte på å presentere aktiviteter som pasienten av ulike grunner trenger hjelp eller motivasjon til å gjennomføre. Hvordan aktivitetene presenteres er individuelt tilpasset den enkelte pasient, og kan for eksempel være basert på bilder og verbal instruks fra en tjenesteyter. Det er flere forsøk på å overføre mange av disse systemene til digitale plattformer, og det finnes i den anledning et økende tilbud av ulike apper innenfor kosthold, planlegging og oppgavehåndtering, på både daglig, ukentlig, månedlig og årlig basis. Etter innledende analyse av brukerintervjuer vi har 4 av 14

6 gjennomført i regi av masteroppgaven ble det tydelig for oss at bruk av e-plan blant annet er avhengig av tjenesteyternes digitale ferdigheter, domenekunnskap og forståelse av verktøyet. Vi har sett flere eksempler der tjenesteytere ikke klarer å utnytte potensialet i e-plan som administrator-brukere. Her har vi erfart mye ulik bruk og misbruk av verktøyet på grunn av manglende kunnskap hos administratorene, der e-plan slik den er utformet i dag ikke tilbyr støtte for å møte disse utfordringene. Slike problemstillinger oppstår ofte, som diskutert av Luger & Sellen (2016), spesielt når det er et skille mellom brukernes kunnskap om hva systemet faktisk kan gjøre og hva som er det egentlige målet med bruk. Selv om bruken av AI i velferdsteknologi ofte er tilknyttet muliggjøring av omsorgsarbeid i hjemmet, herunder gjøre pasienter mer selvstendige, ser vi det som relevant å utforske hvordan bruk av AI også kan fungere som et direkte hjelpemiddel for de som utøver omsorgsarbeidet. Dette kan være nødvendig i situasjoner som ved e-plan, der omsorgsarbeidet i stor grad avhenger av tjenesteyternes kompetanse. AI implementert i chatbots kan være en måte å utforme kunnskapsbaserte løsninger, og tilrettelegge for at tjenestepersonell kan ta mer effektive og passende beslutnigner. Chatbots blir i dag brukt innenfor flere domener og ofte i forbindelse med kommersielle interesser. Eksempelvis muliggjør chatboter nye former for interaksjon med serviceytere basert på konversasjon, og oppleves dermed som et effektiviserende verktøy for kunden. Følstad et al. (2018) diskuterer bruk av chatbots også innen helsesektoren. De presenterer her hvordan chatbots tilrettelegger for at kostnader reduseres, forenkler tilgang på medisinsk triage, støtter mental helse, og bidrar til endring i helsefremmende atferd. Videre drøfter forfatterne muligheter for at chatbots kan fremme en positiv sosial påvirkning, samt åpne for at tjenester blir mer tilgjengelige. Vi ser i den anledning at bruk av chatbots kan styrke tjenesteyteres autonomi og kompetanse, samt bidra til at systemer oppleves som enklere å håndtere. 4 Problemstilling Gjennom prosjektet ønsker vi å undersøke hvordan AI og chatbots kan inkluderes i velferdsteknologi, da hovedsakelig verktøyet e-plan. Vi tenker det er mange relevante og interessante spørsmål som vi kan undersøke i forbindelse med dette, men ønsker hovedsakelig å se på: Hvordan kan chatbots fungere som et hjelpemiddel for tjenesteytere ved bruk av e-plan? Hvordan bør isåfall chatbots utformes for denne hensikten? 5 av 14

7 I forbindelse med problemstillingen om utforming av chatbots ser vi det som hensiktsmessig å videre undersøke hvilken rolle chatboten bør ha for å fungere som et hjelpemiddel, samt hvilken personlighet chatboten må ha for å møte brukerne sine forventninger. 5 Metoder og fremgangsmåte I dette kapittelet presenterer vi designprosessen vi har gjort for å komme frem til designforslaget. Vi har basert prosjektet på flere brukerintervjuer som ga innsikt i domenet og brukskontekst. Disse ble gjennomført med tjenestepersonell som bruker e-plan i arbeidshverdagen. Prosjektet startet derfor med en videre analyse av disse for å identifisere konkrete problemområder, før vi undersøkte eksisterende arbeid og hva som er viktig å tenke på ved utforming av chatbots. Vi gjorde deretter et ekspertintervju for å få innsikt i hvordan slik utforming bør foregå i praksis, før vi analyserte innsamlet data for å identifisere scope og funksjonalitet til chatboten. Alle deltakere har samtykket til deltakelse, og lydopptak fra intervjuene ble transkribert og analysert kontinuerlig underveis i prosessen. 5.1 Analyse av brukerintervju I forbindelse med masteroppgaven vår har vi gjennomført intervju med 18 tjenestepersonell, en ekspert innenfor kognitiv psykologi, samt prosjektgruppen som har utviklet e-plan. Samtlige av tjenestepersonellet har bakgrunn som vernepleiere eller som miljøarbeidere. I intervjuene med disse har vi undersøkt bruk av e-plan, hvilke erfaringer de har gjort seg med det digitale verktøyet, brukstilfeller og utfordringer både for dem og pasienten. Vi har også gjennomført observasjon av verktøyet med en pasient og en tjenesteyter. Innsikten fra denne datainnsamlingen er oppsummert i kapittel 3. Vi analyserte dataen fra intervjuene gjennom åpen koding, og brukte hovedsakelig kategorier som gikk på brukervennlighet i verktøyet, samt generell brukeropplevelse og utfordringer. Når jeg skulle knote og finne ut ting selv, så var det bare hvordan gjorde jeg dette igjen. Men sitter man lenge nok og knoter, så går det veldig greit. I hvert fall når man bare skal lage enkle aktiviteter med bare ett bilde, uten sjekklister, handlingskjeder osv. Men går det lenge mellom hver gang, så kan man stoppe opp og stuke litt ved for eksempel hvordan man lager handlingskjede. Jeg synes det er veldig lett Eller, ikke lett, men det er oversiktlig og lett forståelig.. Til tider.. Men man må på en måte holde det ferskt også, tenker jeg.. - Sitat vernepleier Dataen viser at det ofte oppstår usikkerhet hos tjenestepersonell rundt hva som er mulig og hvordan man skal komme seg til et bestemt mål i e-plan. Dette gjelder for eksempel hvordan 6 av 14

8 man skal skru på spesifikk funksjonalitet, eller hvordan man skal utnytte funksjonaliteten på best mulig måte for å tilrettelegge for brukerbehov (se tabell 1). Det oppstår også spørsmål rundt struktur av verktøyet, hvor det er vanskelig å for eksempel forstå hvilken visning man er i, om man endrer en aktivitet eller malen for en aktivitet, eller hvordan man skal forstå spesifikke knapper. Som designere opplever vi at mange av disse problemene oppstår på grunn av manglende konsistent bruk innad i verktøyet, noe som resulterer i at tjenesteyterne ikke nødvendigvis husker funksjonalitet fra forrige brukssituasjon og heller ikke klarer å lete seg frem til riktig eller tenkt bruk. - Hvordan aktivere valg-funksjon? - Hvordan legge inn bilder - bruke eksisterende vs. egne bilder? - Hvordan fungerer mappestruktur? - Hvordan flytte eller kopiere aktiviteter? - Hvordan koble e-plan mot eksisterende analoge systemer? - Hvordan bruke tekstfeltet? Hva er mulig bruk, antall ord, hva kan man skrive? - Delaktiviteter: hvordan fungerer det og hvordan utnytte det? - Generell forståelse av knapper? - Hvordan endre en aktivitet vs. en mal? - Hvilken visning er jeg i nå? - Hvordan fjerne/legge til aktiviteter? - Hvordan avslå/godta aktiviteter? - Hva er funksjonalitet i grunninnstillinger? - Lyd, alarm, nedtelling? Tabell 1. Eksempler på utfordringer i e-plan for tjenesteytere. 5.2 Litteraturundersøkelse For å undersøke problemstillingen, ønsket vi først og fremst å lese om domenet og undersøke hva som allerede finnes av AI- og velferdsteknologi. Gjennom kartlegging av eksisterende teknologi ønsket vi å få innsikt i hvordan teknologien er utformet og hvordan rollen til AI har utviklet seg innenfor velferdsteknologi. Vi rettet videre fokuset til bruk av chatbots, hvor vi konkretiserte søkene til innenfor helsesektoren. Vi gjorde også flere søk på velferdsteknologi, bruk av hjelpemidler innenfor domenet psykisk utviklingshemming, samt hvilke egenskaper slike hjelpemidler må ha for å fremme god bruk. Informasjonen vi valgte å fokusere på i prosjektet er presentert i kapittel Ekspertintervju For å få innsikt i hvordan utforming av chatbots foregår i praksis, samt hva som er viktig med en slik prosess, gjennomførte vi et ekspertintervju. Intervjuobjektet jobber som utvikler i et konsulentfirma, og har blant annet erfaring med utvikling av chatbots og Google sin stemmeassistent fra store prosjekter. Vi undersøkte vedkommendes erfaring med AI og bruk av chatbots, ulike typer chatbots, bruk av maskinlæring og generelle utfordringer med bruk 7 av 14

9 og utvikling av chatbots. Videre utforsket vi aspekter som er viktige å tenke på når man skal utforme chatbots, herunder kartlegging av brukerbehov og dialogflyt, brukertesting, testdata og forventningsavklaring Funn fra ekspertintervju Eksperten ga oss innsikt i ulike fremgangsmåter og metoder for å utforme og implementere chatbots. Her lærte vi blant annet at det er ulike ideologier som styrer for eksempel bruk av teknologi, det vil si om man ønsker å bygge chatboten selv eller benytte eksisterende teknologi og hyllevaresystemer. Uavhengig av dette trakk eksperten fram definisjon av scope og chatboten sin personlighet som to avgjørende faktorer for at brukerne forstår hensikt og tiltenkt bruk i chatboten. Eksempelvis vil det være viktig å ha et klart og definert scope for å vise overfor brukeren hva som er mulig, da hovedsakelig for å møte brukernes forventninger til systemet. Dette kan bidra til mindre usikkerhet, hvor bruker til enhver tid er klar over muligheter og funksjonalitet i chatboten. Dersom interaksjon foregår gjennom tale vil dette være spesielt viktig, da bruker ikke blir presentert for tilgjengelige valg gjennom et grensesnitt. Hvis det er uklart hva et system du ikke kan se, faktisk kan gjøre, så er det veldig vanskelig å vite hva du kan få ut av det. Spesielt med tale, du kan ikke se det. En nettside eller et grafisk grensesnitt gir deg alternativer du kan velge fra, ting du kan klikke på, noe å fylle ut, man kan se hvilke muligheter det er, men det kan du ikke med et talebasert grensesnitt. Så det å definere mulighetene tydelig er viktig. - Sitat ekspert En annen måte å imøtekomme forventningene til brukeren, kan for eksempel være å designe for en tydelig personlighet i chatboten. Eksperten hevder at til tross for store skiller mellom hva brukere forventer når de hører om AI og hva som i realiteten er teknisk mulig, har oppfattet personlighet mye å si på hvor behagelig det er å bruke systemet. Stikkord som tone of voice og utforming av persona står dermed sentralt for å sikre realistiske forventninger hos brukerne. Angående faktisk utforming av chatboten benyttet eksperten seg ofte av happy path, hentet fra Google sin designmal, som viser den enkleste mulige interaksjon fra start til slutt i dialogflyten. Dette kan for eksempel gjøres ved bruk av post-its. Etter utforming av den ideelle interaksjonen foreslår eksperten brukertesting for å identifisere tilfeller som krever unntakshåndtering. Dette er spesielt viktig da man som designer kan ha ytterligere kunnskap om chatbots enn målgruppen. Brukertestingen kan ha to ulike mål, om systemet er designet 8 av 14

10 slik at bruker forstår det, samt om systemet klarer å utføre tiltenkte oppgaver, og kan for eksempel resultere i nye måter for chatboten å ordlegge seg på. Eksperten mener at det ikke kreves store mengder data for å utforme en chatbot og at eier av chatboten ofte har tilgjengelig data. Denne kan for eksempel hentes fra ofte stilte spørsmål, mail, og kommunikasjon med supportavdeling, og videre benyttes som et utgangspunkt for dialogflyt og navigasjon. Eksperten poengterte imidlertid at det finnes mange ulike retningslinjer for utforming av chatbots, men selv som man følger disse presist, betyr det ikke nødvendigvis at chatboten blir en suksess. En god forståelse av brukerne og deres mål må ligge til grunn. 5.4 Implikasjoner for design 6 e-plan chatbot 6.1 Iterasjon 1 Første iterasjon av chatboten er beskrevet i vedlegg 1. Vi ønsker videre i prosjektet å undersøke hvilken rolle chatboten kan ha for å fungere som et hjelpemiddel, samt hvilken personlighet den bør ha for å møte forventninger til brukerne. 6.2 Iterasjon Brukertesting/evaluering Refleksjoner om evaluering og brukertesting av chatboten 7 Diskusjon 8 Konklusjon 9 av 14

11 Kilder Berger, M. (2017). Statusrapport. Upublisert manuskript. Avdeling for nevrohabilitering, Oslo universitetssykehus. Brown, B., Weilenmann, A., McMillan, D. & Lampinen, A. (2016). Five Provocations for Ethical HCI Research. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, CHI 16, Coeckelbergh, M. (2010). Health Care, Capabilities, and AI Assistive Technologies. Ethical Theory and Moral Practice, 13(2), Dourish, P. (2004). What we talk about when we talk about context. Personal and ubiquitous computing, 8(1), Følstad, A., Brandtzaeg, P. B., Feltwell, T., Law, E. L-C., Tscheligi, M. & Luger, E. A. (2018). Chatbots for Social Good. Proceeding of the 2018 CHI Conference on Human Factors in Computing Systems, CHI EA'18. Helsedirektoratet (2012). Velferdsteknologi. Fagrapport om implementering av velferdsteknologi i de kommunale helse- og omsorgstjenestene Laberg, T. (2011). Velferdsteknologi og ergoterapi. Ergoterapeuten, 6, FFagartikler%2FToril_Laberg.pdf. Luger, E., & Sellen, A. (2016). Like having a really bad PA: the gulf between user expectation and experience of conversational agents. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, Mechling, L. C. (2007). Assistive Technology as a Self-Management Tool for Prompting Students with Intellectual Disabilities to Initiate and Complete Daily Tasks: A Literature Review. Education and Training in Developmental Disabilities, 42(3), NOU 2011: 11. (2011). Innovasjon i omsorg. Oslo: Helse- og omsorgsdepartementet. Thygesen, H. (2015). Hva er velferdsteknologi, og hvorfor er den viktig? En introduksjon til velferdsteknologibegrepet og den samfunnsmessige konteksten. Omsorg: Nordisk tidsskrift for Palliativ Medisin, 4, Verne, G. & Bratteteig, T. (2018). Does AI make PD obsolete? Exploring challenges from Artificial Intelligence to Participatory design. Proceedings of the 15th Participatory Design Conference: Short Papers, Situated Actions, Workshops and Tutorial, 2(8), av 14

12 Vedlegg 1 - Prototyping av chatbot Formål Chatboten vi har designet har som formål å svare på spørsmål rundt funksjonalitet og sidevisninger i e-plan, lignende en FAQ-tjeneste. Den er tiltenkt å brukes av administratorbrukere dersom de står fast i bruk av e-plan. Gjennom intervjuer og observasjon av appen har vi sett mange eksempler på at flere ansatte opplever det som utfordrende å bruke deler av funksjonaliteten eller navigere i tjenesten. Chatboten er derfor i første omgang tenkt som et hjelpemiddel for administratorer når de bruker e-plan, som en hurtig måte å få oppklaring i utfordringer de møter på under bruk. Interaksjonsflyt og oppgaver Vi har designet chatboten slik at den stiller spørsmål til brukeren og tilbyr ulike valgalternativer for interaksjon. Ettersom e-plan er bygd opp etter to visninger, en for pasient og en for administrator, ønsket vi å strukturere boten etter hvilken visning spørsmålene er tilknyttet. Dette er tenkt for å håndtere kompleksitet i spørsmål og rettlede brukeren inn på det området de har utfordringer med. Det kan for eksempel oppstå spørsmål knyttet til funksjonalitet som vises i begge visninger, men der svaret vil variere avhengig av visning. Videre har vi også lagt opp til at bruker selv kan stille spørsmål dersom boten ikke presenterer alternativer som er relevante. Da vil chatboten, ved hjelp av AI, gjenkjenne ord i brukeren sitt spørsmål for å gi et passende svar. Disse spørsmålene kan stilles når som helst, og bruker er derfor ikke avhengig av å bruke den satte navigasjonsflyten. Dersom boten ikke finner svar på det bruker lurer på, henviser den i denne omgang til mail og nettside. Prosess Vi startet utforming av chatboten ved å strukturere og kartlegge mulig navigasjonsflyt (se figur 1). Vi ønsket som sagt å lede brukeren inn på området vedkommende har spørsmål til, og valgte derfor å dele navigasjonen inn i de ulike sidevisningene som administrator får presentert i verktøyet; Dagsmodus, Ukeplan, Innlogging, Ukeplanlegger, Ny aktivitetsmal, Grunninnstillinger og Poengsystem. Videre brukte vi dataen og erfaringene vi har med brukergruppen til å formulere svar på spørsmål vi vet de har utfordringer med (se figur 2). 11 av 14

13 Figur 1. Kartlegging av navigasjonsflyt. Figur 2. Design av dialogflyt og navigasjon. 12 av 14

14 Vedlegg 2 - Maskinlæring Erfaringer Vi gjorde flere endringer på modellen, blant annet å endre dense-verdien, legge til flere dense-verdier og fjerne relu-verdien. Det var vanskelig å forstå hvilke utfall det hadde på samtalen med chatboten når vi fjernet relu-verdien og la til flere dense-verdier, da vi ikke opplevde at chatboten responderte annerledes på vår input. Det vi først og fremst observerte var at høyere dense-verdi medførte høyere treffsikkerhet (acc-verdi) i programmet og tidvis bedre val_acc-verdi (se tabell under). Vi så imidlertid liten sammenheng mellom når val_acc-verdien økte i forhold til endringer vi gjorde av dense-verdien. Hva dette skyldes har vi ikke klart å forstå, men vi forstår dense-laget som en matrise av vektorer som multipliseres. Verdiene i matrisen er parametere som kan trenes opp, og som oppdateres ettersom programmet kjøres. Dense Resultat 256 1s 1ms/step - loss: acc: val_loss: val_acc: s 1ms/step - loss: acc: val_loss: val_acc: s 2ms/step - loss: acc: val_loss: val_acc: s 2ms/step - loss: acc: val_loss: val_acc: s 4ms/step - loss: acc: val_loss: val_acc: e+00 3s 4ms/step - loss: acc: val_loss: val_acc: s 8ms/step - loss: acc: val_loss: val_acc: s 7ms/step - loss: acc: val_loss: val_acc: s 16ms/step - loss: acc: val_loss: val_acc: s 14ms/step - loss: acc: val_loss: val_acc: s 35ms/step - loss: acc: val_loss: val_acc: s 39ms/step - loss: acc: val_loss: val_acc: Gjennom hele testingen hadde vi to epoch (1/2 og 2/2), som vil si at vi kjørte gjennom programmet to ganger for å forbedre læring. Vi forstår det slik at jo flere lag man legger til, jo høyere burde treffsikkerheten bli (i teorien). Øker man i tillegg antall dense-lag og epoch vil matrisen øke, og systemet bør bli smartere slik at det kan gi bedre svar. Det vil dermed si at epoch 2 bør ha høyere verdier enn epoch 1. Dette erfarte vi imidlertid ikke, der val_acc sank ved flere tilfeller. 13 av 14