INF Introduksjon til design, bruk, interaksjon Evaluering, del 1

Transkript

1 INF Introduksjon til design, bruk, interaksjon Evaluering, del 1 Institutt for Informatikk, 30. oktober 2012 joshi@ifi.uio.no INF1500 Evaluering, del 1 1

2 Oppsummering av midtveisevaluering Dere synes kvaliteten på forelesningene har vært god (med unntak av enkelte gjesteforelesere) Dere synes kvaliteten på gruppetimene er god Dere synes kurset så langt har vært ganske lett Dere synes progresjonen på forelesningene har vært passe De aller fleste bruker 6-10 timer i gjennomsnitt på kurset i uken 89 % av de som svarte sa de går på gruppetime hver eneste uke Mer konkret tilbakemelding på forelesningene: Flere eksempler fra den virkelige verden Mer involvering av studenter Kan snakke litt saktere Om dere ønsker å komme med mer detaljert tilbakemelding på hvordan dere opplever kurset er vi alltid glad for det. Mail oss! joshi@ifi.uio.no / johe@ifi.uio.no INF1500 Evaluering, del 1 2

3 Evaluering "Everything that can be counted does not necessarily count; everything that counts cannot necessarily be counted (A. Einstein) "True genius resides in the capacity for evaluation of uncertain, hazardous, and conflicting information" (W. Churchill) The only man who behaves sensibly is my tailor; he takes my measurements anew every time he sees me, while all the rest go on with their old measurements and expect me to fit them (G. B. Shaw) INF1500 Evaluering, del 1 3

4 Oversikt over dagens forelesning Hva er evaluering? Hvorfor evaluere? Tre tilnærminger til evaluering Brukbarhetstesting Feltstudier Analytisk evaluering Metoder, teknikker og paradigmer Evaluering analyse Obligatorisk oppgave 1 Behovsanalyse kravspesifikasjon Eksempler på tilnærminger Eksempler fra virkeligheten Obligatorisk oppgave 3 Obligatorisk oppgave 3 Design prototype Obligatorisk oppgave 2 INF1500 Evaluering, del 1 4

5 Evaluering Evaluering - etymologi: évaluation, évaluer "å finne verdien av" Eksempler på generelle typer evalueringsstudier: Kvalitativt studier av mening, tekst, samtale Kvantitativt numeriske studier, statistikk Case study lavt antall, men høyt detaljerte deltagere Etnografi studier i naturlige omgivelser Software testing er ikke det samme som HCI evaluering INF1500 Evaluering, del 1 5

6 Evaluering Evaluering er en sentral del av brukersentrert design og generell HCI Inngår på forskjellige måter i de ulike modellene, men er viktig i alle Mange av teknikkene som benyttes under kravinnsamling kan også brukes under evaluering Å jobbe med begrensinger er en sentral utfordring for evaluatorer Tre tilnærminger: Brukbarhetstesting Feltstudier Analytisk evaluering INF1500 Evaluering, del 1 6

7 Hva, hvordan, hvorfor og når? Hvorfor: for å undersøke om brukerne kan benytte løsningen Hva: konseptuelle modeller, tidlige prototyper, endelige prototyper Hvor: i laboratorium eller "naturlige omgivelser" Når: tidlig, sent, når som helst, så ofte som mulig INF1500 Evaluering, del 1 7

8 Hvorfor evaluere? Avgjøre hvor brukbar en løsning er for ulike brukere og brukergrupper Identifisere gode og dårlige egenskaper for å drive videre design Sammenlikne designalternativer og hjelpe oss med å ta beslutninger Observere effekten spesifikken interaksjoner og grensesnitt har på brukeren Husk: Evaluering er en prosess, ikke en hendelse Gode designideer stammer ofte fra evaluering av eksisterende løsninger "Making things better" starter alltid med evaluering INF1500 Evaluering, del 1 8

9 Tre tilnærminger til evaluering Brukbarhetstesting Brukere gjør definerte oppgaver i kontrollerte omgivelser Observasjoner, målinger og feil blir rapportert Feltstudier Brukere utfører oppgaver i "naturlige" omgivelser Observasjoner og beskrivelser blir rapportert Analytisk evaluering Brukere holdes utenfor evaluering og kan gjøres hvor som helst Problemer og tilbakemeldinger blir rapportert INF1500 Evaluering, del 1 9

10 Metoder og teknikker Brukbarhetstesting Observasjon Spørre brukere Testing Feltstudier Observasjon Spørre brukere Spørre eksperter Analytisk evaluering Spørre eksperter (HCI eller domene) Modellere INF1500 Evaluering, del 1 10

11 Kombinasjon Kombinerte tilnærminger (s.442) Opportunistisk evaluering Feltstudie for å evaluere utkast til designideer og få tidlig feedback Gjøre designendringer Brukbarhetsteste for å sjekke spesifikke designegenskaper Feltstudie for å se hvordan designet fungerer i naturlige omgivelser Gjøre endelige designjusteringer INF1500 Evaluering, del 1 11

12 Evalueringsmetoder og teknikker Flere tilnærminger kan brukes samtidig, og ulike metoder og teknikker kan brukes i flere av tilnærmingene: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Spørre brukere Spørre eksperter Sett kryss i riktige ruter Testing Modellering INF1500 Evaluering, del 1 12

13 Evalueringsmetoder og teknikker Flere tilnærminger kan brukes samtidig, og ulike metoder og teknikker kan brukes i flere av tilnærmingene: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon X X Spørre brukere X X Spørre eksperter X X Testing X Modellering X INF1500 Evaluering, del 1 13

14 Evalueringsmetoder og teknikker Eksempler på teknikker som brukes: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Video og interaksjonslogg Etnografiske teknikker: skygging, flue-på-veggen - Spørre brukere Pre- og posttestingsspørsmål, strukturerte intervjuer Intervjuer og diskusjoner - Spørre eksperter - Heuristisk evaluering, diskusjoner Heuristisk evaluering Testing Testing av typiske oppgaver (brukbarhetstesting) - - Modellering - - HTA, GOMS og annen teori INF1500 Evaluering, del 1 14

15 Evalueringsparadigmer Evalueringsparadigme: Quick and dirty Brukbarhetstesting Feltstudier Analytisk evaluering Hvilken rolle har brukeren i evalueringen Naturlig oppførsel Å gjennomføre oppgaver Naturlig oppførsel Ingen Hvem styrer evalueringen Evaluatoren har minimalt med kontroll Evaluatoren har sterk kontroll Forholdet mellom evaluatoren og deltagerne Eksperter Hvor foregår evalueringen Naturlig omgivelser eller laboratorium Laboratorium Naturlig omgivelser Naturlig omgivelser eller laboratorium Når gjennomfører man evalueringen Når som helst Når ferdig prototype er klar Tidlig Med prototype Hvilken type data samles inn under evalueringen Kvalitativ; uformell diskusjon Kvantitativ; statistisk Kvalitativ, skisser Liste over problemer Hvordan blir dataen tilført designprosessen Skisser og sitater Rapport på prestasjoner Beskrivelse på workshop, rapport og skisser Rapport Hvilken filosofi eller teori ligger bak evalueringen Brukersentrert design Vitenskapelig/eksper imentell Etnografisk Praktisk heuristikk, annen teori (Tabellen er hentet fra førsteugaven av læreboken) INF1500 Evaluering, del 1 15

16 Evaluering - begreper Analytisk evaluering Kontrollerte eksperimenter Feltstudier Formativ evaluering Heuristisk evaluering Prediktiv evaluering Summative evaluering Brukerstudier Brukbarhetsstudier Brukbarhetstesting Brukertesting INF1500 Evaluering, del 1 16

17 Brukbarhetstesting Eksempel på evaluering i kontrollerte omgivelser Evaluering av en løsning isolert sett Som regel bes brukeren om å utføre en spesifikk oppgave Observerer og måler som ofteste med følgende metrikker: Tid Fullføringsrate Antall feil Antall forsøk Tilfredshet Men viktigst av alt: du får observert noen som bruker løsningen INF1500 Evaluering, del 1 17

18 Etnografi Eksempel på evaluering i naturlige omgivelser En kvalitativ forskningsmetode som stammer fra sosialvitenskapen Brukes mye for å forstå brukere og brukskontekst Typiske observasjonsteknikker inkluderer skygging og flue-på-veggen Kan også bruke intervjuteknikker, for eksempel in-situ intervjuer med designer Ulik grad av deltagelse: fra passiv til aktiv (deltagende) observasjon INF1500 Evaluering, del 1 18

19 Ekspertevaluering ensitising_event_city_park_workshop_storey Eksempel på analytisk evaluering En eller flere eksperter evaluerer en løsning og påpeker problemer og svakheter Ekspertene setter seg inn i brukers rolle Kan være både HCI-eksperter og domeneeksperter INF1500 Evaluering, del 1 19

20 Eksempler MIT: innendørstesting med UAV mit_indoor_uav.jpg HISP: mobiltelefoner i India Apple: ipadens oppstandelse JPL & NASA: simulering i 3D-programmer og kunstige omgivelser INF1500 Evaluering, del 1 20

21 Facebooks utvikling Alle bilder er lånt fra: INF1500 Evaluering, del 1 21

22 Facebooks utvikling INF1500 Evaluering, del 1 22

23 Facebooks utvikling INF1500 Evaluering, del 1 23

24 Facebooks utvikling INF1500 Evaluering, del 1 24

25 Obligatorisk oppgave 3 Neste uke kommer Morten Tollefsen for å snakke om universell utforming Vi går gjennom DECIDE-rammeverket om 14 dager Forberedelse til neste (og siste) pensumforelesning: les kapittel 13 Vi utvider derfor fristen for obligatorisk oppgave 3 til tirsdag 20. november Obligatorisk oppgave 3 handler om å planlegge (og gjennomføre) en evaluering av designforslagene dere har laget ved hjelp av DECIDE-rammeverket Dere velger selv om dere ønsker å gjennomføre deler av eller hele evalueringen Obligen blir lagt ut neste uke, og dere bør begynne på den med en gang INF1500 Evaluering, del 1 25