INF1500 - Introduksjon til design, bruk, interaksjon Evaluering, del 2 Institutt for Informatikk, 7. november 2011 joshi@ifi.uio.no
Oversikt Rask oppsummering Tre tilnærminger for evaluering Kombinasjon av tilnærminger Evalueringsmetoder DECIDE-rammeverket Bestemme mål Utforske spørsmålene Velge tilnærming og metode for evaluering Identifisere praktiske forhold Beslutte hvordan etiske forhold skal håndteres Evaluere, analysere, tolke og presentere data Obligatorisk oppgave 3 Plan ut semesteret
Rask oppsummering Evaluering: teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere Iterativ utvikling: design og evaluering er kontinuerlige prosesser Obligatorisk oppgave 1 Behovsanalyse kravspesifikasjon Evaluering analyse Obligatorisk oppgave 3 Design prototype Obligatorisk oppgave 2
Tre tilnærminger Tre tilnærminger for evaluering: Kontrollerte omgivelser Bruker involveres i kontrollerte omgivelser: brukbarhetstesting og eksperimenter i laboratorium, living labs etc. Naturlige omgivelser Brukere studeres i naturlige omgivelser, f.eks. feltstudier, for å undersøke bruken av et produkt i den virkelige verden. Uten brukere All evaluering som gjøres uten brukere, dvs. analytisk evaluering. Eksempler: Heuristisk evaluering, analytics, modellering.
Kombinasjon Kombinerte tilnærminger (s.442) Opportunistisk evaluering Feltstudie for å evaluere utkast til designideer og få tidlig feedback Gjøre designendringer Brukbarhetsteste for å sjekke spesifikke designegenskaper Feltstudie for å se hvordan designet fungerer i naturlige omgivelser Gjøre endelige designjusteringer
Evalueringsmetoder Flere tilnærminger kan brukes samtidig, og ulike metoder og teknikker kan brukes i flere av tilnærmingene: Metode Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon X X Spørre brukere X X Spørre eksperter X X Testing X Modellering X
DECIDE-rammeverket Kapittel 13 Sekspunkters sjekkliste for å planlegge evaluering Overordnet veiledning Tar for seg konseptuelle, praktiske og etiske forhold knyttet til evaluering Sentral i obligatorisk oppgave 3
DECIDE-rammeverket Determine the goals - Bestemme mål Explore the questions - Utforske spørsmålene Choose the evaluation methods - Velge tilnærming og metode for evaluering Identify the practical issues - Identifisere praktiske forhold Decide how to deal with the ethical issues - Beslutte hvordan etiske forhold skal håndteres Evaluate, analyze, interpret and present the data - Evaluere, analysere, tolke og presentere data
Bestemme mål Hva er de overordnede målene for evaluering? Hvem vil ha resultatene og hvorfor? Målene påvirker metoder og evaluering. Mål varierer fra produkt til produkt, men kan for eksempel være: Identifisere den beste metaforen for et gitt design Kontrollere at brukerens behov og kravene til systemet er imøtekommet Sjekke at grensesnittet er konsekvent Undersøke hvordan teknologi påvirker og endrer arbeidspraksis Forbedre brukbarheten til eksisterende produkter
Utforske spørsmålene Spørsmål bidrar til å lede evalueringen Eksempel fra boka (s. 457): Målet er å finnet ut hvorfor reisende foretrekker papirbilletter fremfor elektroniske billetter når de skal ut å fly. Dette spørsmålet kan deles opp: - Hva er brukernes holdning til elektroniske billetter? - Er brukerne bekymret eller opptatt av sikkerhet? - Hvordan oppfattes brukergrensesnittet? Spørsmål kan videre deles opp for å ytterligere spesifisere: - Er det vanskelig å navigere i systemet? - Er terminologien som brukes i systemet forvirrende?
Velge tilnærming og metode for evaluering Valg av tilnærming og valg av metode påvirker hvordan data innsamles, analyseres og presenteres Men valget avhenger samtidig av: Hvilken type data som er nødvendig for å besvare spørsmålene Hvilke teorier eller rammeverk som er passende for konteksten Et feltstudie vil for eksempel typisk: Involvere observasjoner og intervjuer Involvere brukere i naturlige omgivelser Ikke involvere kontrollerte tester Produsere hovedsakelig kvalitativ data Husk at flere tilnærminger og metoder kan kombineres.
Identifisere praktiske forhold Velge deltakere Antall, bakgrunn, utvalg (kjønn, alder, kultur, holdning, utdanning), signifikans Finne de som skal evaluere HCI-eksperter eller fag- og domeneeksperter, medhjelpere Velge utstyr Type opptaksutstyr, antall, plassering, ansvarlig Forholde seg til budsjett og kostnadsrammer Betaling til deltakere, tilgang på ustyr/lokaler Forholde seg til tidsrammer Tidsbegrenset tilgang på utstyr/deltakere, frister, timeboxing
Beslutte hvordan etiske forhold skal håndteres Utvikle en samtykkeerklæring, dvs. et skjema eller presentasjon som legges frem for deltaker i forkant av evaluering Deltakere har rett til: Informasjon om formålet og målsetninger for studien Informasjon om hva som skal gjøres med funnene og hvordan dataen skal behandles Vern av personlige opplysninger som blir gitt Frihet til å trekke seg når som helst Høflig behandling
Evaluere, analysere, tolke og presentere data Tilnærming og metode påvirker hvordan data evalueres, tolkes og presenteres Følgende forhold må vurderes: Pålitelighet (reliability) Kan studiet gjentas/reproduseres? Gyldighet (validity): Måles det man forventet å måle? Bias Medfører prosessen noen form for bias? (Halo-effekt) Omfang (scope) Kan funnene generaliseres? Økologisk gyldighet Påvirker miljøet og omgivelsene funnene? (Hawthorne-effekt)
Brukbarhetstesting og feltstudier Kapittel 14 Er sentralt i INF2260 Interaksjonsdesign To eksempler på evaluering: Brukbarhetstesting (kontrollerte omgivelser) Feltstudier (naturlige omgivelser)
Brukbarhetstesting Kontrollerte omgivelser Involverer opptak av prestasjoner/ytelse av typiske brukere som løser typiske oppgaver Brukere observeres og times Data tas opp på lyd, video etc. (eller tastetrykk logges) Dataen brukes til å kalkulere prestasjoner, og for å identifisere og forklare feil Brukertilfredshet evalueres gjennom spørreskjemaer og intervjuer Kan kombineres med feltobservasjoner for å tilføre kontekstuell forståelse
Brukbarhetstesting Mål og spørsmål fokuserer på hvor bra brukere løser oppgaver Ofte sammenlikning mellom flere produkter eller prototyper Fokus på gjennomføringstid og antall/type feil Data innsamles gjennom bilder/lyd/video og interaksjonslogging Testing er sentralt Brukers tilfredshet og mening fanges opp gjennom spørreskjema og intervju
Brukbarhetstesting og eksperimentell testing Eksperimenter brukes til å teste hypoteser til å utforske og innhente ny kunnskap ved å undersøke forhold mellom to eller flere variabler Brukbarhetstesting er anvendt eksperimentering Utviklere sjekker at systemet er brukbart for påtenkte brukere og deres oppgaver Eksperimenter kan også gjøres i brukbarhetstesting
Brukbarhetstesting og eksperimentell testing Brukbarhetstesting Forbedre produkter Få deltagere Kan typisk ikke gjentas Omgivelsene kontrolleres så mye som mulig Prosedyren er planlagt Resultatene rapporteres til utviklerne Eksperimentell testing Utforske og innhente ny kunnskap Flere deltagere Må kunne gjentas Sterkt kontrollerte omgivelser Eksperimentell design Forskningsrapport til forskermiljøet
Testing Foretas som oftest i et laboratorium eller andre kontrollerte rom/steder Fokus på: Velge representative brukere Utvikle representative oppgaver Som regel 5-10 brukere Oppgavene tar som regel ikke mer enn 30 minutter Testforholdene bør være de samme for alle deltakerne Samtykkeskjema informerer om prosedyre og etiske forhold
Typiske oppgaver Tiden det tar å gjennomføre en oppgave Tiden det tar å gjennomføre en oppgave etter en viss periode borte fra produktet Antall og type feil per oppgave Antall feil per enhet tid Antall brukere som gjør en spesifikk feil Antall brukere som vellykket gjennomfører en oppgave
Hvor mange deltakere? Antallet er et praktisk forhold Avhenger av: Plan for testing Tilgang på deltakere Kostnad ved testing Typisk 5-10 deltakere Noen eksperter argumenterer for at man bør fortsette så lenge tester gir ny innsikt Mens andre mener at 5 brukere kan oppdage mot 85 % av alle feil
Feltstudier Feltstudier gjøres i naturlige omgivelser in the wild brukes for å angi at prototypen brukes fritt i naturlige omgivelser Formålet er å forstå hva brukere gjør naturlig og hvordan teknologi påvirker dem Feltstudier brukes i produktdesign for: Identifisere muligheter for ny teknologi Utlede krav til design Bestemme hvordan ny teknologi best bør introduseres Evaluere teknologi som brukes allerede
Feltstudier Observasjoner og intervjuer Notater, bilder og opptak Flue-på-veggen og skygging Logging Målet er å vise hvordan produkter opptas og integreres i sine omgivelser Typiske presentasjonsformer: vignetter, utdrag, mønstre og fortellinger
Obligatorisk oppgave 3 Ta utgangspunkt i prototypene du har utviklet i obligatorisk oppgave 2 Bruk DECIDE-rammeverket Ikke glem formål, refleksjon og teori (Evaluer hverandres prototyper): Ny innsikt Mer erfaring Større forbedringspotensiale?
Plan ut semesteret 14. november: forelesning om INF1510 v/ Tone Bratteteig + Dan Robert Ekrem 21. november: (forelesningsfri) 28. november: (forelesningsfri) 5. desember: prøveeksamen og oppsummeringsforelesning Obligatorisk oppgave 3 leveres innen 18. november, kl. 16.30 Siste uke med gruppeundervisning blir uke 46 Eksamen er 12. desember kl. 14.30 18.30. Sjekk StudentWeb for sted.
Mandag 5. desember (om 3 uker) 10.15: Prøveeksamen deles ut utenfor auditorium Simula. 12.00-12.30: Gruppelærere/faglærere er tilgjengelig for spørsmål. 14.15-16.00: Gjennomgang av prøveeksamen, samt oppsummeringsforelesning. Gjennomgang og oppsummering holdes i store auditorium, Kristen Nygaards hus