Evaluering. INF 1500; introduksjon 9l design, bruk og interaksjon 24 oktober 2011

Transkript

1 Evaluering INF 1500; introduksjon 9l design, bruk og interaksjon 24 oktober 2011

2 Oversikt, 12 og 13 Hvorfor evaluering? Vise hvordan observasjon, intervjuer og spørreskjema også kan brukes i evalueringsfasen Gå igjennom sentrale begreper om evaluering Introdusere ulike metoder for evaluering

3 Eksempler Ternigkast 4 Karakteren A Rapport fra undersøkelse X er bedre enn Y i forhold 9l g

4 Evaluere Evaluere eller teste? Hva er forskjellen? Likheter? Hvorfor evaluere? Hvordan evaluere? Hva skal evalueres? Hvem skal gjøre evalueringen? Hva data fra evalueringen 9l? Evaluere i forhold 9l hva? Kriterier? Mål?

5 Evaluere Etymologi; évalua9on, from évaluer "to find the value of," from é- "out" (see ex- ) + valuer (see value). Teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere the proof of the pudding is in the ea9ng

6 Hvorfor, hva, hvor og når skal vi evaluere? Itera9v utvikling; det betyr at evaluering og design er kon9nuerlige prosesser som undersøker Hvorfor: for å undersøke om brukerne kan løsningen Hva: konseptmodell, 9dlige prototyper, endelige prototyper Hvor: i naturlige omgivelser eller i laboratorium omgivelser Når: 9dlig i prosessen, sent i prosessen, og alt imellom;)

7 Bruce Tognazzini om hvorfor evaluere Itera9v design, med repe9sjon av design og tes9ng, er den eneste måten å forsikre seg om gode resultater. Dersom du ikke har bruker tes9ng som en integrert del av design prosessen så kaster du bort ressurser Altså: ressursbruk i forhold 9l måloppnåelse..

8 Hvem skal gjennomføre evalueringen? De som har laget prototypen eller systemet? Andre? Fordeler og ulemper?

9 Øvelse Tenk deg at du sender bort dine prototype (oblig 2) 9l et firma (eller en annen gruppe) som skal gjøre evalueringen av prototypen Hva trenger firmaet av informasjon fra deg? Tror du resultatene vil skille seg fra de resultatene du selv ville

10 Nivåer av HVA Bruker Tjeneste Applikasjon HW Sohware Omgivelse Hva er det vi skal evaluere? Person? Handling? Oppgaveløsning? Hardware? Medium? Sohware? Bruken? Måloppnåelsen? Robusthet? Este9kk?

11 Evaluering - begreper Analy9sk evaluering Kontrollerte eksperimenter Felt studie Forma9v evaluering Heuris9sk evaluering Predik9v evaluering Summa9ve evaluering Brukbarhets laboratorier Bruker studier Brukbarhets studier Brukbarhets tes9ng Bruker tes9ng

12 Tilnærminger 9l evaluering Brukbarhets tes9ng Felt studier Analy9sk evaluering Kombinerte 9lnærminger Opportunis9sk evaluering

13 Øvelse To og to Oppgave: S9ll klokken 3 sekunder frem (armbåndsur, mobiltelefon, PC, annet) Planlegg evalueringen Gjennomføre evalueringen.

14 Karakteris9ka ved 9lnærmingene Brukbarhets tes9ng Brukere gjør oppgaver i kontrollerte omgivelser, målinger og feil blir rapportert Felt studier Brukere gjør oppgaver i naturlige omgivelser, beskrivelser blir rapportert Analy9sk Brukere er ikke involvert, kan gjøres hvorsomhelst, problemer blir rapportert

15 Evaluerings 9lnærming og metoder Brukbarhets tes9ng Observasjon Spørre brukere Tes9ng Felt studier Observasjon Spørre brukere Spørre eksperter Analy9sk Spørre eksperter Modellere

16 Øvelse Tenk ut hva er fordeler og ulemper ved Brukbarhetstes9ng Felt studier Analy9sk evaluering

17 Evaluering i ulike kulturer Lese fra høyre 9l venstre eller venstre 9l høyre? Bar hud/fotografier/kvinne/mann Metaforer opp ned;)

18 Oppsummering Evaluering og design er sentralt i bruker - sentrert utvikling Noen av de samme teknikkene blir beny@et for krav etablering Tre 9lnærminger: Brukbarhets tes9ng Felt studier Analy9sk evaluering

19 Oppsummering - fortse@else Metoder for evaluering Observasjon Spørre brukere Spørre eksperter Bruker tes9ng Inspeksjon Modellere brukeres oppgaveløsning Triangulering betyr å beny@e ulike teknikker for å oppnå flere perspek9ver, eller å analysere data ved ulike teknikker Å jobbe med begrensninger er sentralt for de som gjør evalueringer

20 DECIDE (BUVIBE) Determine goals Bestemme mål Explore the ques9ons Urorske spørsmålene Choose the evalua9on approach and methods Velge evaluerings 9lnærming og metoder Iden9fy the prac9cal issues Iden9fiser de prak9ske forholdene Decide how to deal with ethical issues hvordan e9ske spørsmål skal håndteres Evaluate, analyze, interpret and present the data Evaluere, analysere, tolke og presentere dataene

21 Bestemme målene Hva er målene for evalueringen? Hvem vil ha resultatene og hvorfor? Målene vil influere evalueringsmåten? Eksempler på mål: Iden9fiser den beste metaforen for en design? Sjekk at er konsekvent (consistent) Undersøke på hvilke måter teknologien endrer arbeidspraksis? Forbedre brukbarheten 9l en eksisterende løsning

22 Urorske spørsmålene For all evaluering trengs mål og spørsmål Eksempel: Et mål er å finne ut hvorfor mange brukere foretrekker å kjøpe papirbasert fremfor elektronisk spørsmålet kan deles opp/operasjonaliseres 9l: Hva er brukerens holdninger 9l elektroniske Er brukerne bekymret eller av sikkerhet? Hvordan oppleves Og disse tre spørsmålene kan operasjonaliseres

23 Velg evaluerings 9lnærming og metoder Evaluerings 9lnærming påvirker hvilke metoder som og hvordan data blir samlet, analysert og presentert For eksempel vil feltstudier typisk: Involvere observasjoner og intervjuer Være ute i felten, altså ikke laboratorium omgivelser Data som samles er ohest kvalita9ve

24 Iden9fiser prak9ske forhold Hvordan velge brukere? Håndtere og kostnader? Håndtere 9dsfrister og 9dsrammer? Finne de som skal evaluere? Velge utstyr som skal for å gjennomføre evalueringen og samle inn data

25 Bestemme hvordan e9ske spørsmål skal håndteres Utvikle et informert samtykke dokument/ presentasjon Deltagere har 9l: Å vite hva som er målet med studien Å vite hva som gjøres med funnene og dataene fra studien Vern av personlig informasjon som blir Å trekke seg fra studien når de ønsker Å bli behandlet høflig

26 Evaluere, tolke og presentere data Tilnærmingen som påvirker hvordan data blir evaluert, tolket og presentert Følgende vurderes: Pålitelighet (reliability) Gyldighet (validity) Bias Omfang Økologisk gyldighet: hvordan påvirker miljøet funnene (Hawthorn effekt)

27 DECIDE oppsummering Determine goals Bestemme mål Explore the ques9ons Urorske spørsmålene Choose the evalua9on approach and methods Velge evaluerings 9lnærming og metoder Iden9fy the prac9cal issues Iden9fiser de prak9ske forholdene Decide how to deal with ethical issues hvordan e9ske spørsmål skal håndteres Evaluate, analyze, interpret and present the data Evaluere, analysere, tolke og presentere dataene