INF1500 - Introduksjon til design, bruk, interaksjon Evaluering del 2 3. november 2014 Institutt for Informatikk, Universitetet i Oslo joshi@ifi.uio.no INF1500 Evaluering, del 2 1
Oversikt Rask oppsummering Tre tilnærminger for evaluering Kombinasjon av tilnærminger Evalueringsmetoder DECIDE-rammeverket Bestemme mål Utforske spørsmålene Velge tilnærming og metode for evaluering Identifisere praktiske forhold Beslutte hvordan etiske forhold skal håndteres Evaluere, analysere, tolke og presentere data Obligatorisk oppgave 3 Mandag om to uker Neste mandag: universell utforming Midtveiseksamen INF1500 Evaluering, del 2 2
dagen@ifi INF1500 Evaluering, del 2 3
INF1500 Evaluering, del 2 4
Hvorfor evaluere? Avgjøre hvor brukbar en løsning er for ulike brukere og brukergrupper Identifisere gode og dårlige egenskaper for å drive videre design Sammenlikne designalternativer og hjelpe oss med å ta beslutninger Observere effekten spesifikken interaksjoner og grensesnitt har på brukeren Husk: Evaluering er en prosess, ikke en hendelse Gode designideer stammer ofte fra evaluering av eksisterende løsninger "Making things better" starter alltid med evaluering INF1500 Evaluering, del 2 5
Rask oppsummering Evaluering: teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere Iterativ utvikling: design og evaluering er kontinuerlige prosesser Obligatorisk oppgave 1 Behovsanalyse kravspesifikasjon Evaluering analyse Obligatorisk oppgave 3 Design prototype Obligatorisk oppgave 2 INF1500 Evaluering, del 2 6
Tre tilnærminger Tre tilnærminger for evaluering: Kontrollerte omgivelser Bruker involveres i kontrollerte omgivelser: brukbarhetstesting og eksperimenter i laboratorium, living labs etc. Naturlige omgivelser Brukere studeres i naturlige omgivelser, f.eks. feltstudier, for å undersøke bruken av et produkt i den virkelige verden. Uten brukere All evaluering som gjøres uten brukere, dvs. analytisk evaluering. Eksempler: Heuristisk evaluering, analytics, modellering. INF1500 Evaluering, del 2 7
Kombinasjon Kombinerte tilnærminger (s.442) Opportunistisk evaluering Feltstudie for å evaluere utkast til designideer og få tidlig feedback Gjøre designendringer Brukbarhetsteste for å sjekke spesifikke designegenskaper Feltstudie for å se hvordan designet fungerer i naturlige omgivelser Gjøre endelige designjusteringer INF1500 Evaluering, del 2 8
Evalueringsmetoder og teknikker Eksempler på teknikker som brukes: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Video og interaksjonslogg Etnografiske teknikker: skygging, flue-på-veggen - Spørre brukere Pre- og posttestingsspørsmål, strukturerte intervjuer Intervjuer og diskusjoner - Spørre eksperter - Heuristisk evaluering, diskusjoner Heuristisk evaluering Testing Testing av typiske oppgaver (brukbarhetstesting) - - Modellering - - HTA, GOMS og annen teori INF1500 Evaluering, del 2 9
Prototypen vår Vet vi om konseptet vi introduserer med prototypen vår er ønskelig? Vet vi om de opplevelsene vi skaper med prototypen vår er de ønskelige? Vet vi om prototypen vår egentlig hjelper brukeren med sine behov? Vet vi om antagelsene vi har gjort om brukeren også gjelder for testerne? INF1500 Evaluering, del 2 10
Prototypen vår På grunn av praktiske hensyn prototypet vi utvalgte dimensjoner og egenskaper og nå må vi kanskje evaluere utvalgte aspekter ved bruken av systemet Eksempler på hva som kan evalueres: Faktisk bruk (oppgaveløsning, forståelse, tydelighet, etc.) Brukssituasjonen (kontekst, omgivelser, relasjonelle forhold etc.) Systemisk og organisatorisk bruk (kompatibilitet, portabilitet etc.) Konsekvenser av bruk (miljøhensyn, trygghet, kosthold, sikkerhet etc.) INF1500 Evaluering, del 2 11
INF1500 Evaluering, del 2 12
DECIDE INF1500 Evaluering, del 2 13
DECIDE-rammeverket Kapittel 13 Det må tas høyde for flere faktorer før man kan påbegynne en evaluering DECIDE er en sekspunkters sjekkliste for å planlegge evaluering Overordnet veiledning Tar for seg konseptuelle, praktiske og etiske forhold knyttet til evaluering Sentral i obligatorisk oppgave 3 INF1500 Evaluering, del 2 14
DECIDE-rammeverket Determine the goals - Bestemme mål Explore the questions - Utforske spørsmålene Choose the evaluation methods - Velge tilnærming og metode for evaluering Identify the practical issues - Identifisere praktiske forhold Decide how to deal with the ethical issues - Beslutte hvordan etiske forhold skal håndteres Evaluate, analyze, interpret and present the data - Evaluere, analysere, tolke og presentere data INF1500 Evaluering, del 2 15
DECIDE Bestemme mål Hva er de overordnede målene for evaluering? Hvem vil ha resultatene og hvorfor? Målene påvirker metoder og evaluering Mål varierer fra produkt til produkt, men kan for eksempel være: Identifisere den beste metaforen for et gitt design Kontrollere at brukerens behov og kravene til systemet er imøtekommet Sjekke at grensesnittet er konsekvent Undersøke hvordan teknologi påvirker og endrer arbeidspraksis Forbedre brukbarheten til eksisterende produkter INF1500 Evaluering, del 2 16
DECIDE Utforske spørsmålene Spørsmål bidrar til å lede evalueringen Eksempel fra boka (s. 457): Målet er å finnet ut hvorfor reisende foretrekker papirbilletter fremfor elektroniske billetter når de skal ut å fly. Dette spørsmålet kan deles opp: - Hva er brukernes holdning til elektroniske billetter? - Er brukerne bekymret eller opptatt av sikkerhet? - Hvordan oppfattes brukergrensesnittet? Spørsmål kan videre deles opp for å ytterligere spesifisere: - Er det vanskelig å navigere i systemet? - Er terminologien som brukes i systemet forvirrende? INF1500 Evaluering, del 2 17
DECIDE Velge tilnærming og metode for evaluering Valg av tilnærming og valg av metode påvirker hvordan data innsamles, analyseres og presenteres Men valget avhenger samtidig av: Hvilken type data som er nødvendig for å besvare spørsmålene Hvilke teorier eller rammeverk som er passende for konteksten Et feltstudie vil for eksempel typisk: Involvere observasjoner og intervjuer Involvere brukere i naturlige omgivelser Ikke involvere kontrollerte tester Produsere hovedsakelig kvalitativ data Husk at flere tilnærminger og metoder kan kombineres. INF1500 Evaluering, del 2 18
DECIDE Identifisere praktiske forhold Velge deltakere Antall, bakgrunn, utvalg (kjønn, alder, kultur, holdning, utdanning), signifikans Finne de som skal evaluere HCI-eksperter eller fag- og domeneeksperter, medhjelpere Velge utstyr Type opptaksutstyr, antall, plassering, ansvarlig Forholde seg til budsjett og kostnadsrammer Betaling til deltakere, tilgang på ustyr/lokaler Forholde seg til tidsrammer Tidsbegrenset tilgang på utstyr/deltakere, frister, timeboxing INF1500 Evaluering, del 2 19
DECIDE Beslutte hvordan etiske forhold skal håndteres Utvikle en samtykkeerklæring, dvs. et skjema eller presentasjon som legges frem for deltaker i forkant av evaluering Deltakere har rett til: Informasjon om formålet og målsetninger for studien Informasjon om hva som skal gjøres med funnene og hvordan dataen skal behandles Vern av personlige opplysninger som blir gitt Frihet til å trekke seg når som helst Høflig behandling INF1500 Evaluering, del 2 20
DECIDE Evaluere, analysere, tolke og presentere data Tilnærming og metode påvirker hvordan data evalueres, tolkes og presenteres Følgende forhold må vurderes: Pålitelighet (reliability) Kan studiet gjentas/reproduseres? Gyldighet (validity): Måles det man forventet å måle? Bias Medfører prosessen noen form for bias? (Halo-effekt) Omfang (scope) Kan funnene generaliseres? Økologisk gyldighet Påvirker miljøet og omgivelsene funnene? (Hawthorne-effekt) INF1500 Evaluering, del 2 21
Obligatorisk oppgave 3 INF1500 Evaluering, del 2 22
Tenk nøye gjennom valg av tilnærming Finn ut av hvilken tilnærming som passer best for dine prototyper og ditt design Det kan fort bli utfordrende å få til feltstudier, men det er fullt mulig for dem som ønsker det Mest nærliggende å velge enten brukbarhetstesting eller analytisk evaluering Husk at alle prototyper kan evalueres på en eller annen måte! Men tenk nøye gjennom: Hvem bør jeg bruke som evaluatorer? Hvorfor dem? Kan jeg få tak i disse personene eller må jeg finne et alternativ? Hvor mange evaluatorer bør jeg ha med? Hvordan kan de best gi deg tilbakemelding på prototypen? INF1500 Evaluering, del 2 23
Hvor mange deltakere? Antallet er et praktisk forhold jo flere jo bedre, men vi må alltid tilpasse oss begrensninger Avhenger av: Plan for evalueringen Tilgang på deltakere Kostnader tilknyttet evalueringen Typisk 5-10 deltakere, men det holder om dere kun rekrutterer et par stykk til obligen Noen eksperter argumenterer for at man bør fortsette så lenge tester gir ny innsikt mens andre mener at 5 brukere kan oppdage mot 85 % av alle feil INF1500 Evaluering, del 2 24
Hva skal testes? Dere har laget to prototyper, og ideelt (og metodisk) sett bør begge testes men om dere i oppgaven argumenterer (godt) for at det holder med én, så er det greit Har man laget en videoprototype/visuell prototype må det kanskje gjøre noen små endringer Dere må sørge for at prototypen er tilrettelagt for å kunne evalueres Men sørg for at oppgavene eller egenskapene ved prototypen er: Representative Gjennomførbare Forståelige INF1500 Evaluering, del 2 25
Del 1: DECIDE-rammeverket Følg punktene vi har gjennomgått det er en sjekkliste Svar på alt selv om det kan virke innlysende eller unødvendig Husk at DECIDE er et rammeverk, ikke en konkret tilnærming eller metode Du må derfor være presis i beskrivelsen av hvordan du har tenkt å gjennomføre evalueringen I tillegg til de konkrete punktene under hver bokstav i DECIDE-rammeverket må du også tenke på: Hvilke oppgaver vil du be deltagerne om å utføre? Hvilke metrikker (for eksempel tid, hastighet, antall) du vil bruke under evalueringen? Hvordan du har tenkt å måle brukernes prestasjoner når de utfører oppgaver? Skal prototypene evalueres opp mot hverandre eller evalueres isolert? Hvilke egenskaper innehar deltagere du inkluderer i evalueringen? INF1500 Evaluering, del 2 26
Del 2: Praktisk gjennomføring Selv om du kanskje evaluerer med få deltakere er det viktig å gjøre det så realistisk som mulig Tenk gjennom hvordan evalueringen skal foregå (hvor, når, hvor lenge etc.) og tenk på organisering Informer deltager om eksperimentet på en ordentlig måte ikke bare i forbifarta Husk at evalueringsplanen din gjerne kan være større, selv om du ikke rekker å gjennomføre alt Husk å dokumentere datainnsamlingen: For eksempel lydopptak, videoopptak, avkrysningsskjemaer, tilbakemeldingskort, egne notater etc. Du skal levere dokumentasjon ikke alt du har, men noe som gir leser et inntrykk av evalueringen INF1500 Evaluering, del 2 27
Del 3: Rapport En rapport behøver ikke å være lang Dette handler ikke om å beskrive evalueringen, men om å reflektere rundt prosessen Vis evne til å reflektere rundt evaluering ved å si noe om: Forventninger hva hadde du regnet med og hva gikk/gikk ikke som forventet? Opplevelser hvordan opplevde du prosessen, og var det noen spesielt merkbare hendelser? Gjennomføring hva gikk ikke som planlagt? Hvorfor ikke? Lærdom hva har du lært av evalueringen? Du behøver ikke levere innsamlet data Forslag til lengde på del 3: 500 til 800 ord INF1500 Evaluering, del 2 28
Mandag om to uker Tone Bratteteig kommer for å fortelle om INF1510 Kristin Broch Eliassen fra stud.adm. er tilgjengelig Fra kl. 13-14 har vi en sosial avslutning : Informatikksalen, 5. etg OJD Vi ordner pepperkaker og gløgg Møt flere av de ansatte ved forskningsgruppen vår Noen fra studieadministrasjonen kommer også! INF1500 Evaluering, del 2 29
Neste uke: universell utforming Tilrettelegging for de med nedsatt funksjonsevne Et viktig fokusområde innenfor design og brukergrensesnitt WAI er et initiativ nedfelt av W3C som jobber med universell utforming Produserer retningslinjer, tekniske rapporter og materiale til utdanning WCAG: Web Content Accessibility Guidelines Retningslinjer for hvordan man bør designe for å også tilrettelegge for de med nedsatt funksjonsevne Akseptert som en ISO-standard Gis ut av WAI INF1500 Evaluering, del 2 30
Midtveiseksamen! Midtveiseksamen legges ut i dag Oppgaven presenterer dere med realistiske eksamensspørsmål Det er meningen at dere løser oppgaven på 4 timer uten hjelpemidler Dere har 14 dager på å levere inn frist 17. november Besvarelsen vil bli rettet av en gruppelærer slik at dere kan få tilbakemelding Besvarelsen vil bli utlevert med en antydning til karakter (?) Dette er ikke prøveeksamen, den kommer tettere opp mot eksamen INF1500 Evaluering, del 2 31