Evaluering vol. 1 Plenum IN1050 Uke 11 Maria og Helle
Hva skjer i dag? EVALUERING - Hva og hvorfor - Viktige begreper TILNÆRMINGER OG TILHØRENDE METODER - Kontrollerte omgivelser - Naturlige omgivelser - Uten brukere
EVALUERING
Aktivitet
EVALUERING Hvorfor? - Evaluering er en av de mest sentrale aktivitetene i UCD. - Dersom man ikke evaluerer, hvordan skal man ellers vite at man har laget et system brukeren vil ha (validere), og at man har laget det slik brukeren vil ha det (verifisere)? - Evaluering er også datainnsamling, men har et annet fokus: å på en eller annen måte undersøke et konsept eller en prototypes egnethet/kvalitet.
EVALUERING Hvordan? - Når man velger metode for evaluering bør man begynne med å svare på disse spørsmålene: - Hva ønsker jeg å finne ut om systemet? - Hvilken metode gir meg den dataen jeg er ute etter? - Hvilken metode vil gi meg svar på mine spørsmål?
EVALUERING Ting å tenke på Hva vil man finne ut av? - Bestemme konsept? - Store eller små designvalg? - Finne designproblemer? - Brukbarhet eller brukeropplevelser? Hvordan skal man finne ut av det? - Vise skisser/storyboards til brukere? - Teste interaktiv prototype med brukere i lab? - Bruke eksperter innen HCI eller domenet? - Teste prototype i naturlig miljø? Praktiske ting - Hvor, når, hvem, metrikker, måling, utstyr?
EVALUERING Formativ vs. summativ Formativ - Utføres tidlig i prosessen, ofte med lavoppløselige prototyper - Store endringer kan skje raskt - Eksempel: evaluere ulike konsept eller hvilket ikon man skal bruke Summativ - Utføres senere i prosessen hvor mer detaljert designvalg er tatt - Måle påvirkningen systemet/designvalget har på brukergruppe - Eksempel: evaluere hvor effektiv en funksjon er
TILNÆRMINGER
EVALUERING Tilnærminger Naturlige omgivelser Kontrollerte omgivelser Uten brukere (analytisk evaluering)
EVALUERING Naturlige omgivelser
EVALUERING Kontrollerte omgivelser
EVALUERING - KONTROLLERTE OMGIVELSER Brukbarhetstesting - Når vi brukbarhetstester, tester vi opp mot brukbarhetsmål: - Effektivitet: hvor godt vi klarer å løse oppgaver (effectiveness) - Flittighet: hvor raskt vi klarer å løse oppgaver (efficiency) - Tilfredshet: hvor tilfreds vi er med å løse oppgaver (satisfaction) - Lærbarhet: hvor lett kan vi lære oss å løse oppgaver (learnability) - Memorerbarhet: hvor mye som huskes hvis vi etter stund skal løse de samme oppgavene (memorability)
EVALUERING - KONTROLLERTE OMGIVELSER Brukbarhetstesting - Det er også viktig å tenke ut hvilke metrikker du ønsker å måle: - Tid (feks. på én oppgave, effektivitet) - Fullføringsrate (oppgavesuksess) - Antall feil - Antall forsøk - Lærbarhet (hvordan forbedres feil og effektivitet over tid) Metrics is a system or standard of measurement.
EVALUERING Uten brukere
EVALUERING - UTEN BRUKER Heuristisk evaluering - Heuristikk: bygger på (nedfelte) erfaringer og prinsipper - Designere og domeneeksperter er evaluatorene - Plukker ut heuristikker man skal se etter - Eksempelvis: 10 usability Heuristics for User Interface Design - Nielsen: kan avdekke opptil 80% ved 3-5 deltakere
https://www.nngroup.com/articles/ten-usability-heuristics/
EVALUERING - UTEN BRUKERE Cognitive walkthrough - Designet evalueres av eksperter - Fokus på om designet støtter brukeren i oppgaveløsning - Bruker psykologiske prinsipper - For hvert steg: - Hvilken påvirkning vil interaksjonen ha? - Hvilke kognitive prosesser kreves fra brukeren? - Hvilke læringsproblemer kan oppstå?
MIN ONKEL BLE FRISK AV KIROPRAKTIKK
Ny seng Kiropraktorbehandling Ny pute Nye sko Trening Tid Ferie Stress Mat Vær
EVALUERING Metoder og teknikker for evaluering Kontrollerte omgivelser Naturlige omgivelser Uten brukere - Observasjon - A/B-testing - Presentere storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske metoder) - Observasjon - Gruppeintervju - Systemlogg - Brukerdagbok - Contextual inquiry - Cognitive walkthrough - Heuristisk evaluering - Modellering
EVALUERING Tilnærming Metoder og teknikker for evaluering Kontrollerte omgivelser Naturlige omgivelser Uten brukere - Observasjon - Presentere storyboards/skisser - Intervju og diskusjon - Brukbarhetstesting - Feltstudier (etnografiske metoder) - Observasjon - Gruppeintervju - Systemlogg - Brukerdagbok - Contextual inquiry - Ekspertevaluering - Cognitive walkthrough - Heuristisk evaluering - Modellering Metode Teknikk
PRAKTISK OPPGAVE
Praktisk oppgave Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen. Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
Praktisk oppgave Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen. Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
EVALUERING Eksamensoppgaver Definisjonsteori - Hva er de tre hovedtilnærmingene til evaluering? - Gi et eksempel på en måte å gjøre indirekte observasjon. - Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)? OBS! Kommer neste uke Begrepsteori - Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser? - I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan være og gi eksempler på metoder eller teknikker man kan bruke. - Hva vil du si er fordelen med en ekspert- (analytisk) evaluering? - Har du noen eksempler på evalueringsformer hvor observasjon kan inngå? Hvorfor tror du observasjon kan være et nyttig verktøy her? - Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing? Diskusjonsoppgaver - Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?
OBLIG 4
Spørsmål?
Takk for i dag Neste uke: Evaluering vol. 2 Lurer du på noe? Send oss en mail! Maria: mlstolin@ifi.uio.no Helle: hellekhe@ifi.uio.no