Evaluering vol. 2. Plenum IN1050 Uke 12 Maria og Helle

Transkript

1 Evaluering vol. 2 Plenum IN1050 Uke 12 Maria og Helle

2 Hva skjer i dag? EVALUERING - DECIDE OBLIG 4 - Gjennomgang - Eksempel fra Maria sin oblig - Tips og triks

3

4 DECIDE

5 EVALUERING DECIDE - Rammeverk for å planlegge en evaluering - Overordnet veiledning/sjekkliste - NB: DECIDE er ikke en metode for å evaluere!!

6 EVALUERING DECIDE Determine the goals Explore the questions Choose evaluation method Identify the practical issues Decide how to deal with the ethical issues Evaluate, analyze, interpret and present the data

7 DECIDE Determine the goals - Bestemme mål - Beskrive hovedmålene i evalueringen. Hva ønsker vi å finne ut av? - Målene er med på å bestemme hva slags evalueringsmetode man burde bruke. - Eksempler: - Kontrollere at brukerens behov og/eller krav er imøtekommet - Forbedre brukbarhet - Sjekke at grensesnittet er konsekvent

8 DECIDE Explore the questions - Utforske spørsmålene - Beskrive sentrale spørsmål i evalueringen. - Spørsmålene kan brytes ned til spesifikke underspørsmål. - Eksempler: - Er det vanskelig å navigere i systemet? - Hva er din holdning til lignende tjenester? - Er denne funksjonen forvirrende?

9 DECIDE Choose the evaluation methods - Beskrive hva slags tilnærming, metode og teknikk man vil benytte i evalueringen, og begrunne hvorfor. - Hva slags type data trenger du å samle inn? - Hva vil gi deg muligheten til å svare på spørsmålene så du når målet for evalueringen? - Eksempler: - Kontrollerte omgivelser brukbarhetstesting oppgavebasert testing - Uten bruker ekspertevaluering cognitive walkthrough - Naturlige omgivelser observasjon skygging

10 DECIDE Identify the practical issues - Identifisere og beskrive hvordan de praktiske forholdene rundt evalueringen skal løses. - Valg av deltakere Valg av utstyr Lokasjon Kostnader Tidsrammer

11 DECIDE Decide how to deal with the ethical issues - Vurdere om det er noen spesielle etiske utfordringer knyttet til evalueringen, og beskrive hvordan disse skal løses. - Alle deltakere må få god informasjon om hva de er med på, og signere et informert samtykke. - Dette skal legges frem for deltakerne i forkant av evalueringen. - Obs! Evaluering med barn.

12 DECIDE Evaluate, analyze, interpret and present the data - Valg av metode påvirker hva slags data man får ut, og hvordan disse skal behandles og presenteres. I dette punktet skal man ikke gjennomføre disse punktene, men planlegge hvordan dataene skal analyseres, tolkes og presenteres. Dette bør planlegges i forkant! Følgende forhold må vurderes: - Pålitelighet (reliability) - Gyldighet (validity) - Bias - Omfang (scope) - Økologisk gyldighet

13 Pålitelighet (reliability) Hvorvidt kan resultatene fra studien reproduseres? Dersom samme studie gjøres på nytt på samme måte, vil man få det samme resultatet? Gyldighet (validity) Måler jeg det jeg hevder å måle? Bias Skjevhet kan gi systematiske feil i resultatet. Disse oppstår ubevisst eller bevisst hos både deltaker og forsker. F.eks. Hawthorne-effekt Omfang (scope) Kan funnene generaliseres utover utvalget? Økologisk gyldighet Hvorvidt omgivelsene i studien legger til rette for å kunne generalisere til de naturlige omgivelsene for fenomenet.

14 DECIDE BIAS Utvalgsbias Intervjuer-bias Responsbias Observasjonsbias Ytelsesbias

15

16 DECIDE Eksempel Case: Noen designere ønsker å gjennomføre en summativ evaluering av en installasjon de har laget for et vitensenter. Mål: Finne ut hvilken av to installasjoner som engasjerer barn mest. Metode: - En gruppe på hver av de to installasjonene. - Bedømmelse skjer ved at designerne selv observerer, og noterer hvilken installasjon de mener virker mest engasjerende. - Den ene gruppen er først ut, og bruker installasjonen tidlig på morgenen. Den andre gruppen gjennomfører sin umiddelbart etter lunsj. Hvordan er validitet og reliabilitet i dette eksempelet?

17 DECIDE Eksempel Validitet: måler vi det vi ønsker å måle? Ønsker å måle: - Engasjement og interesse hos elevene. Ønsker ikke å måle: - Om lunsj øker engasjement. - Hvilket tidspunkt på dagen elever er mest engasjert. - Hvilken av de to gruppene som har flest engasjerte elever.

18 DECIDE Eksempel Reliabilitet: er studiet stabilt? Kan det reproduseres? Forskerne observerer - Subjektivt (= lav reliabilitet) - Observer bias

19 OBLIG 4

20 OBLIG 4 Formelle krav vol. 1 - Må inneholde en plan for evalueringen som sier noe om: - Mål - Hva som skal undersøkes - Hvilke spørsmål du ønsker å få svar på - Tilnærming og metode fremgangsmåte - Deltakere - Praktiske og etiske hensyn - Kritisk refleksjon over planen

21 OBLIG 4 Formelle krav vol. 2 - Må evaluere med minst to forskjellige brukere - Må ha med dokumentasjon fra evalueringen (bilder, lydopptak, notater osv.) legg ved disse når du rapporterer! - Du kan velge om du vil evaluere én eller begge prototypene - Begrunn valget i oppgaven

22 OBLIG 4 Eksempler fra Maria sin oblig Valg av prototype: I denne evalueringsoppgaven ønsker jeg å fokusere mest på å evaluere det fysiske objektet (prototype 2) jeg produserte, da jeg synes det er mest relevant i forhold til dataene jeg fikk i innsamlingsprosessen. Den andre prototypen min, som nevnt i tilbakemeldingen, eksisterer i stor grad fra før og har dessuten lite ny funksjonalitet, så jeg synes ikke det er hensiktsmessig å bruke tid på å evaluere den.

23

24 OBLIG 4 Eksempler fra Maria sin oblig Mål: Et interessant spørsmål ved utviklingen av designet av objektet er selvsagt hva som må til for at noen skal ville ønske å ta med seg en ekstra fysisk gjenstand for å utføre én oppgave som i teorien kunne blitt gjennomført på telefonen deres - en gjenstand de allerede har med seg nesten over alt. [...] I denne evalueringsprosessen ønsker jeg derfor å undersøke om brukerne ønsker, og om de i det hele tatt kan, benytte seg av løsningen. Ved å utføre en evaluering med brukere kan jeg dessuten kartlegge forbedringspotensiale ved designet, ved å for eksempel identifisere bruksproblemer eller frustrasjonsmomenter.

25 OBLIG 4 Eksempler fra Maria sin oblig Spørsmål jeg ønsket å undersøke: - Hvor stor må størrelsen på objektet være; får den plass i lommen? Finner man den i vesken? - Forstår brukerne hvordan objektet fungerer? - Klarer bruker å navigere seg frem til objektet ved å føle, eller er bruker nødt for å se? - Har bruker vansker med plassere fingeren på knappen? - Hvordan er størrelsen på knappen? - Hvordan er formen på objektet?

26 OBLIG 4 Eksempler fra Maria sin oblig Tilnærming og metode: For å gjennomføre evalueringen, har jeg valgt å bruke en kombinasjon av brukbarhetstesting og feltstudier. [...] denne kombinasjonen vil altså ikke være helt optimal.. Hovedtanken er å be bruker om å gjøre noen bestemte oppgaver og deretter svare på noen spørsmål, men i naturlige omgivelser. Man kan diskutere hvor naturlige omgivelsene vil bli, men jeg ønsker å fokusere hvordan størrelsen og fasongen av objektet vil fungere i hverdagslige situasjoner, da også i bil.

27 OBLIG 4 Eksempler fra Maria sin oblig Oppgaver: For å finne svar på spørsmålene jeg har angående formen og størrelsen på objektet, ønsker jeg som nevnt å be bruker om å utføre noen oppgaver. Omgivelsene vil derfor bli mer kontrollert enn de ville vært i andre feltstudier. For å få svar på disse spørsmålene, ønsker jeg derfor om å be bruker om å; - Finne frem til objektet i en veske/sekk/det som bruker i en naturlig situasjon ville oppbevart objektet i - Navigere seg frem til objektet og trykke på knappen mens vedkommende kjører bil

28 OBLIG 4 Eksempler fra Maria sin oblig Oppgaver: Etter at deltakeren har utført en oppgave, skal vedkommende bli bedt om å svare på noen spørsmål. Disse skal være enkle og relatert til problemstillingen, og dessuten åpne slik at det er mulig for bruker å reflektere over situasjonen: - Hva er førsteinntrykket ditt av objektet? Hvordan var det å utføre oppgaven? Hvilke følelser opplevde du underveis? Hvordan opplevde du bruken av objektet?

29 OBLIG 4 Eksempler fra Maria sin oblig Valg av deltakere: For å få mest mulig ut av evalueringen er det viktig at jeg inkluderer personer som inngår i målgruppen for prototypene jeg har designet. Som nevnt tidligere kan det være et stort spenn i kompetansenivået innad i denne gruppen, så jeg ønsker derfor å inkludere personer med god teknisk forståelse, og personer med mindre teknisk forståelse. I denne evalueringen skal jeg inkludere to brukere, en kvinne og en mann. Kvinnen har en smarttelefon, og har delvis kunnskap om Spotify. Mannen har verken smarttelefon eller kjennskap til Spotify, men har hørt om det tidligere.

30 OBLIG 4 Eksempler fra Maria sin oblig Eksempler på praktiske hensyn: - I min evaluering ønsker jeg å både benytte meg av lydopptak og ta bilder. I og med at jeg stiller åpne spørsmål til bruker og søker en diskusjon, er lydopptaket ment som et hjelpemiddel i ettertid for å høre på svarene. - Belønning i form av betaling er ikke nødvendig i denne evalueringen, men jeg ønsker å gi hver deltaker en liten oppmerksomhet for å vise at jeg setter pris på hjelpen og som en takk for deltakelsen.

31 OBLIG 4 Eksempler fra Maria sin oblig Eksempler på etiske hensyn: - Et eksempel på hvordan jeg skal ta vare på deltakernes anonymitet er å gi hver deltaker en kode eller et pseudonym, slik at navnene til deltakeren vil bli separert fra dataen som blir samlet inn. - Vedlagt ligger et samtykkeskjema for deltakere i evalueringen som tar opp de nevnte problemstillingene over. På denne måten kan deltakeren få en forståelse av omfanget av sin egen deltakelse, få oppklaring i eventuelle spørsmål og til slutt velge å undertegne skjemaet eller ikke.

32 OBLIG 4 Eksempler fra Maria sin oblig Kritisk refleksjon av evalueringsplanen: - Reliabilitet: Evalueringen er nedfattet til en punktliste, men hvorvidt de ulike situasjonene vil være helt like er vanskelig å si. Svarene fra intervjuene er subjektive. - Validitet: Spørsmålene jeg ønsker å stille er veldig åpne mulighet for at jeg får noen svar som er langt utover det jeg egentlig ønsker å finne svar på.

33 OBLIG 4 Eksempler fra Maria sin oblig Kritisk refleksjon av evalueringsplanen: - Økologisk validitet: Selv om evalueringen gjennomføres i naturlige omgivelser, er det problematisk med de kontrollerte oppgavene, da dette helt klart vil påvirke omgivelsene. Kan oppstå Hawthorne-effekt. - Bias: det er stor sannsynlighet for at det oppstår en læringseffekt hos deltakerne. Utvalgsbias: jeg er godt kjent med mine deltakere, og situasjonen kan derfor bli annerledes enn om jeg hadde evaluert med to fremmede. - Scope: Generalisering avhenger ofte av antall deltakere vil være vanskelig i denne typen evaluering

34 OBLIG 4 Eksempler fra Helle sin oblig Analysere, tolke og presentere data - hvordan skal dataene presenteres? Poenget i denne oppgaven er ikke å skulle bruke innsamlet data til videre tolkning og analyse. Når dette derimot er tilfellet er det viktig å ha en oppfatning på forhånd av hvordan disse dataene skal behandles og presenteres etter evalueringen. De tre hoveddelene av evalueringen kunne blitt analysert med forskjellige metoder i etterkant, og deretter bli presentert i kategoriserte tabeller.

35 OBLIG 4 Eksempler fra Helle sin oblig Analysere, tolke og presentere data - hvordan skal dataene presenteres? Testingen i denne evalueringen vil kvalifiseres som kvantitative data. Dette er fordi metrikkene i denne testingen kan sammenlignes direkte etter tall. Hvor mange antall forsøk brukte deltakerne på de forskjellige testene, og hvor mange antall feil utgjorde dette per deltaker? Disse dataene kan settes inn i kategorier og tabeller for å sammenlignes direkte. Avkrysningsskjemaene kunne, på samme måte som testene, bli satt inn i kategorier og tabeller for å sammenligne resultatene etter hvert spørsmål. Dataene fra Think out Loud sesjonen kan bli analysert gjennom koding eller innholdsanalyse. Dette ville vært hensiktsmessig for å se mønstre, og avdekke gjennomgående frustrasjonsmomenter hos deltakerne, og deretter kategorisere dataene etter tema og grad av forståelse.

36 OBLIG 4 Huskeliste - Les oppgaveteksten nøye - Svar på alle spørsmål! Du har ikke mulighet til å levere et andre forsøk - Samtykkeerklæring - OBS! Ikke legg ved bilder som er identifiserbare når du sier dataen anonymiseres - Samsvar mellom mål, tilnærming og metode - Se på tilbakemeldingene fra oblig 2 hva måtte du gjøre annerledes her? Husk at man skal reflektere over prosessen på samme måte!

37 EVALUERING Eksamensoppgaver - Hva er de tre hovedtilnærmingene til evaluering? Gi et eksempel på en måte å gjøre indirekte observasjon. Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)? Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser? Hva vil du si er fordelen med en ekspert- (analytisk) evaluering? Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing? Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?

38 Spørsmål?

39 Takk for i dag Neste uke: oblighjelp vi er tilgjengelige kl Lurer du på noe? Send oss en mail! Maria: mlstolin@ifi.uio.no Helle: hellekhe@ifi.uio.no