GRUPPE 5, UKE 11 EVALUERING IN1050

Transkript

1 GRUPPE 5, UKE 11 EVALUERING IN1050 1

2 Planen for i dag Gruppetimene videre Repetisjon fra forelesning Begynne med oblig Tankekart 2

3 Datainnsamling Design Evaluering IDENTIFISERE ETABLERE DESIGNUTFORMING PROTOTYPING BEHOV KRAV EVALUERING OBLIG 2 OBLIG 3 OBLIG 4

4 Hva vil dere ha de siste fire gruppetimene? - Eksamenspugging - hvilken måte? - Praktiske øvelser - Quiz - Jeg forteller litt fra jobben min - Jeg viser studieprosjekter - Eller noe helt annet? 4

5 Etikk 5

6 Evaluering Hva vi ønsker å vite påvirker tilnærming til evaluering Prototype påvirker(begrenser) tilnærming til evaluering Tilnærming til evaluering påvirker dataens egenskaper Egenskaper ved dataen påvirker hva vi kan få ut av evalueringen / hva man kan si med sikkerhet 6

7 Evaluering Kontrollerte omgivelser - brukbarhetstesting Naturlige omgivelser - feltstudier Uten brukere - analytisk evaluering - Kognitiv gjennomgang - Ekspertevaluering 7

8 Kontrollerte omgivelser Ikke bare fysiske omgivelser, omgivelser i bred forstand, kontekst Hvis man påvirker konteksten, har man kontrollert omgivelsene i en viss grad Metoder: brukbarhetstesting, eksperimenter, observasjon, intervjuer Fordeler: større kontroll over variabler, samme situasjon fra gang til gang Ulemper: ligner ikke nødvendigvis en faktisk brukssituasjon, Hawthorne-effekt 8

9 Naturlige omgivelser (Tildels) upåvirkede omgivelser i den naturlige brukskonteksten Metoder: feltstudie, observasjon, Fordeler: observert situasjon vil ligne mer på faktisk brukssituasjon Ulemper: vanskelig og replikere studiet 9

10 Evaluering uten brukere Gjennomgang av design/prototype uten brukere Med eksperter, domeneeksperter og/eller HCI-eksperter Metoder: Analytisk evaluering: kognitiv gjennomgang, heuristikker, modellering Fordeler: Effektiv, økonomisk og tidligere tilbakemelding Ulemper: Mange ting selv eksperter ikke kan forutsi 10

11 Kvalitativ og kvantitativ data Vi får kvalitativ data fra intervjuer, observasjoner, video, bilder og lignende Kan forklare underliggende årsaker Subjektive sannheter Kvantitativ data: - Tall og statistikk - På leting etter en objektiv sannhet - Målinger av metrikker 11

12 Eksprimenter Hypotese Man blir mer brun av å være lenge i direkte sollys 1. Uavhengig variabel a. Hva er det vi tror påvirker det vi skal måle? Det vi endrer. (mulig årsak) b. Tid i direkte sollys 2. Avhengig variabel a. Hva er det vi skal måle? Det vi tror endres. (virkning) b. Hvor brun man blir 3. Kontrollert variabel a. Hva vi tror kan påvirke resultatet, men ikke det vi vil teste. Det vi ikke endrer b. Solkrem, klesplagg 4. Metrikker a. Måleenhetene vi bruker. Minutter i direkte sollys, tetthet av brune pigmenter i huden. 12

13 Egenskaper ved data Presisjon - intern validitet - Har vi funnet ut av det vi prøvde å teste? - Hvor mye bias er det? Generaliserbarhet - ekstern validitet - Gjelder det vi fant ut for situasjoner? - I så fall, hva må være felles? 13

14 Bias Læringseffekt Utvalgsbias Bekreftelsesbias Halo-effekt Hawthorne effekt etc. utrolig mange fler (vi snakker mest om kognitive bias) viktigste til eksamen er ikke nødvendigvis at man kan navnet på alle, men at man kan trekke inn bias og diskutere rundt dette i relevante sammenhenger 14

15

16 Tilnærming Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Spørre brukere Spørre eksperter Testing 16

17 Tilnærming Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Video og interaksjonslogg Etnografiske teknikker: Skygging, flue-på-veggen Spørre brukere Pre- og posttestingsspørsmål Strukturerte intervju Intervju og diskusjoner Spørre eksperter Testing Heuristisk evaluering Diskusjoner Testing av typiske oppgaver (Brukbahetstesting) Heuristisk evaluering 17

18 Hvilke tilnærminger kan brukes til å evaluere deres prototyper fra oblig 3? Sett dere ned alene og begynn på å skrive ned hvilken tilnærming og hvordan dere kunne gjennomført en evaluering med deres prototype. Begynn svært enkelt, ikke tenkt på pensum: Hvordan går dere frem for å få tilbakemelding på noe? Når det er litt klarere, prøv å koble sammen med pensum. Hva slags overordnet tilnærming er det? Hva slags teknikk tar dere i bruk? Hvilke begreper er relevant? Hva slags bias kan dataen få? Kan måten gjøres mer akademisk? 18

19 Evalueringsplan 1) Målet for evalueringen 2) Hva skal undersøkes for å kunne nå målet 3) Valg av tilnærming og metode, og hvordan dette vil påvirke evalueringen 4) Beskrivelse av praktiske forhold 5) Identifisere etiske hensyn som burde taes 6) Evaluere evalueringsplanen 19