INF1500 Høst 2015 Magnus Li Martine Rolid Leonardsen. Evaluering

Transkript

1 INF1500 Høst 2015 Magnus Li Martine Rolid Leonardsen Evaluering

2 I DAG GENERELT PRAKTISK EKSEMPEL LITT FORSKNINGSMETODE KAHOOT EVALUERING Hva og hvorfor Viktige begreper TILÆRMINGER Brukbarhetstesting Feltstudier Analytisk evaluering

3 OBLIG 2 Vanlige feil Scenario skal ikke presentere løsningen Dimmensjoner Beskrivelsen av grensesnitt skal gjelde for løsningen vi prototyper, ikke for selve prototypen. Hvordan man har kommet frem til behov og krav Vertikal vs. horisontal prototyping; gjelder for hva man viser av funksjonalitet i prototypen, ikke hvor mye funksjonalitet den endelige løsningen vil ha.

4 OBLIG 3 Skal leveres (om 2 uker) Dere skal her: Planlegge en evaluering med DECIDErammeverket Gjennomføre evalueringen. Reflektere over hva dere fikk ut av det. Benytt begreper aktivt Vi vil gå gjennom et eksempel på hvordan oblig 3 kan løses fra start til slutt på plenumstime neste uke.

5 EVALUERING KONSEPTER OG BEGREPER

6 EKSAMENSOPPGAVER Evaluering Definisjonsteori Hva er de tre hovedtilnærmingene til evaluering? Nevn de seks stegene i DECIDE. (blir gjennomgått neste uke) Gi et eksempel på en måte å gjøre indirekte observasjon. Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)? Begrepsteori Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser? I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan være og gi eksempler på metoder eller teknikker man kan bruke. Hva vil du si er fordelen med en ekspert (analytisk) evaluering? Har du noen eksempler på evalueringsformer hvor observasjon kan inngå? Hvorfor tror du observasjon kan være et nyttig verktøy her? Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing? Diskusjonsoppgaver Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?

7 EVALUERING Hva, hvordan, når Hva vil man finne ut av? Bestemme konsept? Store eller små designvalg? Finne designproblemer? Hvordan skal man finne ut av det? Vise skisser / storyboards til brukere? Teste interaktiv prototype med brukere i lab? Bruke eksperter innen HCI eller domene? Teste prototype i naturlig miljø? Praktiske ting Hvor, når, hvem? I oblig 3 skal DECIDErammeverket benyttes til å sette opp evalueringsplan. Rammeverket blir gått igjennom på forelesning denne uken.

8 EVALUERING Typer Formativ Utføres tidlig i prosessen, ofte med lavoppløslige prototyper. Store endringer kan skje raskt Summativ Evaluering av ting som krever mindre endringer Måle påvirkningen systemet / designvalget har på brukergruppe

9 EVALUERING Tilnærminger Feltstudier (naturlige omgivelser) Brukbarhetstesting (kontrollerte omgivelser) Analytisk evaluering (uten brukere)

10 FELTSTUDIER Brukere benytter prototype i naturlige omgivelser. Metoder Observasjon Spørreskjema / intervju etter naturlig interaksjon Systemlogg Contextual inquiry

11 FELTSTUDIER Fordeler Naturlig brukssituasjon Unngå observasjonsbias / Hawthorne effect Ulemper Ikke kontroll over alle variabler Krever høyoppløslig prototype Misforståelser fra observator Bias hos observator

12 BRUKBARHETSTESTING Brukere gjør definerte oppgaver i kontrollerte omgivelser, for eksempel i lab. Kontrollert, i den betydning at vi har kjennskap til, og mulighet til å regulere de fleste variabler. Metoder Observasjon A/B testing Presentere storyboards / skisser Intervju og diskusjon

13 BRUKBARHETSTESTING Fordeler Kontroll over variabler Fungerer med lavoppløslige prototyper Bedre kommunikasjon mellom deltaker og observator Ulemper Ikke naturlig kontekst Observasjonsbias

14 ANALYTISK EVALUERING Eksperter benytter etablerte prinsipper og erfaring til å evaluere et grensesnitt. Metoder Cognitive walkthrough Heuristisk evaluering

15 ANALYTISK EVALUERING Heuristisk Evaluering Designere og domeneeksperter er evaluatorene 3 5 deltakere Plukker ut heuristikker man skal se etter Eksempelvis: 10 usability Heruistics for User Interface Design Kan avdekke opptil 80% ved 3 5 deltakere (Nielsen) Heuristikk: bygger på (nedfelte) erfaringer og prinsipper.

16 ANALYTISK EVALUERING Cognitive walkthrough Designet evalueres av eksperter Fokus på om designet støtter brukeren i oppgaveløsning Bruker psykologiske prinsipper For hvert steg: Hvilken påvirkning vil interaksjonen ha? Hvilke kognitive prosesser kreves fra brukeren? Hvilke læringsproblemer kan oppstå?

17 EKSPERIMENTELL EVALUERING Her benytter man et eksperimentoppsett for å for eksempel teste ulike løsninger mot hverandre.

18 PRAKTISK EKSEMPEL

19 PRAKTISK EKSEMPEL Togtur Vi har samlet inn data og kartlagt behov og krav for reisende med NSB (se foiler fra plenum om behov og krav) Gjennom flere runder med prototyping og evaluering vil vi prøve å komme frem til et godt resultat.

20 PRAKTISK EKSEMPEL A/B testing av konsept med brukere vs.

21 PRAKTISK EKSEMPEL A/B testing av designvalg med brukere vs.

22 PRAKTISK EKSEMPEL Ekspertevaluering HCIeksperter vil kanskje mene at denne klokken vil ha mer effekt om den er utformet som en digital klokke

23 PRAKTISK EKSEMPEL Feltstudie

24 PRAKTISK EKSEMPEL Evaluering med brukere Prosess Kartlegge krav og behov Design, prototyping Design og prototyping Evaluering med brukere Design, prototyping Design, prototyping Evaluering i naturlige omgivelser med brukere Evaluering med ekspert