NTNU. Brukbarhetstesting. En introduksjon Fremgangsmåte Praksis...

Transkript

1 Brukbarhetstesting En introduksjon Fremgangsmåte Praksis...

2 Hva er "brukbarhet"?

3 Hva er "brukbarhet"? Ifg. ISO " the effectiveness, efficiency and satisfaction with which specified users can achieve specified goals in particular environments "

4 Brukbarhetstesting: Ifg. ISO13407: " to ensure that the delivered product reaches a minimum required level of usability, to provide feedback during the design on the extent to which the objectives are being met, and to identify potential usability defects in the product". European Usability Support Centers

5 Mål for brukbarhetstestingen kan for eksempel være: Øke brukbarheten for et produkt Å sette usabilitystandarder for kommende produkter (benchmarking) Øke salget av et produkt samt øke sannsyneligheten av gjenkjøp av nye modeller Å gi et konkurransefortrinn i markedet Minimere risikoen før release av et produkt

6 Brukbarhetstesting er ikke alt... Nielsen (1993) plasserer usability slik i forhold til systemets totale akseptabilitet:

7 Brukbarhetslaboratoriet:

8 Ulike typer av brukbarhetstester Utforskende tester (kvalitativ) Brukes på et tidlig stadium for å vurdere effektiviteten av tidlige modeller (designets "høyere" nivå) Vurderingstester (kvalitativ og kvantitativ) Den vanligste formen for brukbarhetstester. Gjennomføres tidlig eller midtveis i designprosessen. Verifiseringstester (kvantitativ) Objektiv sertifisering av produktets brukbarhet Sammenlignende test (kvalitativ og/eller kvantitativ) Brukes til å sammenlikne konsept, funksjoner eller produkt alle de andre tre fasene

9 Arbeidsstegene i brukbarhetstesting: 1. Uvikling av målsettinger og hypoteser for testen og utvikling av testplan (hvor, når osv.) 2. Pilot-test 3. Skaffe brukere gjennom tilfeldig eller stratifisert utvalg 4. Forbrede materiale og kontekst 5. Velge forsøksleder 6. Utføre testen (10 punkter) 7. Omforming av data til funn og anbefalinger

10 1. Uvikling av målsettinger og hypoteser for testen og testplan Gir en oppskrift på det som skal gjennomføres - sikrer at alt er klart til testing Fungerer som kommunikasjon mellom ulike deler av designteamet Gjør eksplisitt hvilke ressurser som trengs

11 Testplan - betraktninger Between subjects: Hver forsøksperson går igjennom en betingelse (Vær oppmerksom på bias i utvalg og i gruppene) Within subjects: Alle forsøkspersonene går igjennom alle betingelsene (Vær oppmerksom på treningseffekt)

12 Testplan - betraktninger Definisjon av oppgaver: Hvilke ting vil vi at bruker skal gjøre? Hvor spesifikke kan vi bli uten å lære bruker riktig bruksmåte? (ofte er det best å formulere generelle oppgaver knyttet til brukerens aktivitet ikke til systemets funksjonalitet) Definisjon av målebetingelser Når/hvordan kan vi erklære en oppgave for fullført/sammenbrutt?

13 2. Pilot test Å gjennomføre en pilot - test er viktig for å oppdage bugs i produktet, men også for å finne svakheter ved metodikken og test-designet Gir test teamet anledning til å øve seg

14 3. Skaffe brukere gjennom tilfeldig eller stratifisert utvalg. Eksempel på brukerkarakteristikker: Personlig historie: Alder, kjønn, holdninger til typen av produkt, hendthet, læringsstil, holdning til teknologi Utdanningshistorie: Høyest oppnådde grad, Fag Erfaring med IKT: (hvor lenge, hvor ofte, hvilken type operativsystem) Produkterfaring Tid brukt på produktet, frekvens, hvilken type oppgaver, hvilken type (bruker de "ditt" produkt)? Jobbhistorie Nåtidig og tidligere jobb, ansvar for hva, hvor lenge i nåtidig stilling etc.

15 Antall brukere avhenger av flere faktorer: Hvor høy grad av objektivitet som er nødvendig Ressurser man har til rådighet for å utføre testen Tilgjengelighet av brukere Varigheten av testen Kompleksiteten av brukergrensesnittet Normalt vil antallet for en brukbarhetstest ligge mellom 5 og 8 (Telenor Mobil bruker 8 fordi...)

16

17 4. Forberede materiale og kontekst Lag en mal for testen: Det er viktig at brukerne får all informasjon, samt at alle brukerne får den samme informasjonen. Malen kan for eksempel inneholde: Introduksjon (Hvem er vi, hva skal skje) Forklar brukerne hvorfor de er her Introduser utstyr og de som er med på testen Forklar nøye hva som forventes av brukeren (thinking aloud) Forklar at det er systemet som testes (ikke brukeren), at de kan trekke seg når som helst og at de kan spørre om ting når som helst

18 Utvikle et scenario for testen Lag så realistiske og komplette scenarioer som mulig. Gjerne bruk case studier, oppgaveanalyser eller faktiske observasjoner for å få scenarioet så realistisk som mulig. Lag scenarioet slik at rekkefølgen på oppgaven tilsvarer det den ville gjort i virkeligheten Match scenarioet i forhold til brukerne: Enkle scenarier til noviser, mer komplekse for eksperter. Unngå jargon Unngå å gi "hint" til oppgavens løsning, gjennom måten man presenterer oppgaven på. Unngå å bruke ord som tilsvarer navnet på den funksjonen du vil at de skal bruke Presenter oppgaven i målrettet form med et enkelt språk (presenter målet med oppgaven, ikke enkeltstegene)

19 Sett opp brukbarhetslaboratoriet:

20 5. Velge forsøksleder Hvem bør være forsøksleder? Intern human factors - spesialist (akseptabel objektivitet, akseptabel kunnskap om produktet) Marketing spesialister / teknikere (god kjennskap til produktet, men kan ha lav grad av objektivitet) Ekstern konsulent (god objektivitet / profesjonalitet, kan ha lav kjennskap til produktet)

21 6. Utføre testen: 10 retningslinjer som vi kommer tilbake til

22 7. Omforming av data til funn og anbefalinger Identifiser feilhandlinger og problemer ved logging av sammenbrudd "Real time" score-ing Videoanalyser Forsøk å komme til bunns i hva problemene skyldes (de mer bakenforliggende problemene) Prioriter funnene (fordi funnene kan være interavhengige, bør man fokusere på de viktigste funnene først) Utvikle løsningsforslag Indiker hvor man trenger ytterligere forskning Produser rapport

23 Ti punkter om å utføre brukbarhetstesting 1: Introduser deg selv 2: Beskriv hensikten med testen 3: Fortell deltakerene at de kan avbryte når de vil 4: Beskriv utstyret i rommet og begrensningene til prototypen 5: Lær bort hvordan man tenker høyt 6: Forklar at du ikke kan tilby hjelp under testen 7: Beskriv oppgaven og introduser produktet 8: Spør om det er noe de lurer på og kjør testen 9: Avslutt testen med å la brukeren uttale seg før du samler evnt. løse tråder 10: Bruk resultatene

24 1: Introduser deg selv Fortell hvem du er og hvem de andre i teamet er Handhils som vanlig Hensikt - trygghet

25 2: Beskriv hensikten med testen Fortell at Vi trenger hjelp med å teste ut et produkt i en tidlig fase av design Vi trenger et friskt syn på dette slik at vi kan forbedre produktet Vi tester produktet og ikke deg Det er ikke deg og dine ferdigheter vi er interessert i men hvor brukbart produktet er Hensikt - forståelse for våre forventninger og behov

26 3: Fortell deltakerne at de kan avbryte når de vil Si at dersom brukeren av en eller annen grunn skulle føle ubehag ved å gjøre testen kan de avbryte testen uten at vi vil ha problemer med det Full frivillighet og kontroll Si at det ikke finnes skjulte motiver her. Det er ikke et intrikat psykologisk eksperiment hvor vi egentlig tester deg Hensikt - Trygghet tillit og følelse av kontroll

27 4: Beskriv utstyret i rommet Pek på alle dingser og forklar hva de brukes til Også til som ikke inngår i testen men som bare står der Hensikt - fokus på det testen skal handle om

28 5: Lær hvordan du tenker høyt For å få et innblikk i de indre prosessene som ligger bak brukernes handlinger er det viktig at de verbaliserer det de tenker Lær bort tenke-høyt-metoden ved å gjøre det selv og sammen med brukeren Hensikt - få innsikt i brukerens strategier og mentale modeller

29 6: Forklar at du ikke kan tilby hjelp under testen Forklar at du ikke kan svare på spørsmål underveis fordi vi ønsker brukerens mening Men at det blir anledning til å spørre og diskutere etterpå Be likevel om at de sier det de lurer på underveis slik at det blir lettere å huske det til etterpå Forklar om prototypensbeskaffenhet og hvordan den avviker fra virkeligheten

30 7: Beskriv oppgaven og produktet Beskriv de oppgavene du vil brukerene skal utføre Legg en summarisk oppgaveliste ved siden av dem Beskriv produktet/systemet Pass på å ikke avsløre funksjonalietet eller operative begrep (objekter og relasjoner) som du ønsker feedback på

31 8: Spør om det er noe brukeren lurer på - kjør testen La brukeren komme til orde før testen starter Kjør testen og vær da bare observatør - reflekter brukerens spørsmål tilbake til dem Det er viktig å ikke gripe inn når ting går galt, men se om brukeren får tilstrekkelig informasjon til å komme seg på rett spor igjen Ta detaljerte notater - bruk video om mulig

32 Under testen er det viktig å: Gi brukeren en tidlig følelse av suksess (lette oppgaver) Presenter en oppgave av gangen (reduserer mental belastning) Hold en avslappet atmosfære i testrommet (server kaffe/ta pauser) Unngå forstyrrelser; lukk døren og sett opp lapp. Slå av telefoner Aldri hint til brukeren om at hun gjør feil eller jobber sakte Minimer antall observatører i rommet (sett opp monitor i rommet ved siden av) Ikke la overordnede observere brukerne Hvis forsøkslederen får en følelse av at testsituasjonen er belastende for brukeren: Avslutt forsøket

33 Observer testen upartisk, ikke la brukeren få en følelse av dine preferanser. Vær oppmerksom på hvordan du sier ting og ditt eget kroppsspråk. Det skal svært lite til før brukerne aner hva du mener Behandle hver enkelt bruker som et individ (ta pauser mellom brukerne) Ikke redd brukerne når de sliter med et problem Vær sikker på at brukerene er ferdig med oppgaven før du går videre (brukeren er ofte veldig usikker, selv om hun har utført den riktige responsen) Interager med brukeren underveis for å sikre verbalisering

34 Når du interagerer med brukeren: Ikke vis at du er overasket (si for eksempel "hadde du forventet at det skulle skje?") Fokuser på hva brukeren forventer når hun utfører en handling Hold deg i bakgrunnen, og reflekter tilbake det brukeren har sagt. Hjelp brukeren med å uttrykke det de tenker Bruk en passiv språkform Hvis du avbryter brukeren, gjør diskusjonen kort. Spar lengre diskusjoner til etterpå Vær oppmerksom på brukerens verbale og nonverbale responser. ("var det problematisk?", "Hva tenker du på nå?") Vær hele tiden på jakt etter å forså rasjonalen bak brukerens handlinger. Hvis brukeren indikerer en annen designløsning: følg opp dette.

35 Fokuser på ett moment av gangen Ikke korriger problemer i produktet der og da Hjelp brukeren bare som en siste utvei: Når de er veldig "lost" eller veldig forvirret Når oppgaven tydelig gjør brukeren ukomfortabel Når brukeren er så frustrert at det er like før hun gir opp Når det er en "missing link" i produktet Under bugs eller krasj i systemet Når du hjelper brukeren: Ikke skyld på brukeren Hjelp brukeren gradvis forbi problemet (det ligger mye verdifull informasjon i en slik situasjon) Vær oppmerksom på at hjelpen også kan påvirke det som skjer senere i forsøket. Vær forsiktig!

36 9: Avslutt testen og samle løse tråder Avslutt testen når alle oppgaver er avsluttet eller tiden er oppbrukt Svar på brukerens spørsmål Diskuter ting dere fant interessant underveis Be om en subjektiv vurdering og eventuelle forslag til redesign La videoen gå!

37 Etter testen: Debrifing: Fortell brukeren at hun var til god hjelp. Snakk med brukeren om hvordan hun opplevde forsøket Hold brukeren anonym ved videre bruk av resultatene Informer brukerne om at de kan bli informert om funnene hvis de skulle ønske det Ikke vis videoopptak utenfor brukbarhetsgruppen uten brukerens tillatelse

38 Noen punkter for gjennomføring av debreifingen 1. Begynn med å la brukeren få utrykke hva hun har på hjertet 2. Begynn diskusjonen på "høyt" nivå (generelle aspekter) 3. Beveg dere så mot mer konkrete aspekt 4. Gå tilbake til punkter du evt. noterte deg under seansen 5. Fokuser på å forstå problemene, ikke på å løse de 6. Etter at alle aspekter er diskutert, åpne for innspill fra de andre i labben 7. Hvis mulig, åpne for at brukeren kan komme tilbake for ytterligere informasjon eller innspill Husk å fremdeles holde deg upartisk når dere diskuterer etterpå. Ikke si noe som gjør at brukeren føler hun må forsvare handlingene sine.

39 10: Bruk resultatene! Etter at alle testene er gjort: Analyser sammenbruddene List opp og priorieter problemene Finn årsakene til de viktigste problemene Let etter alternative design løsninger Husk - hensikten med testen er input til redesign Hensikten med prototypen er å ha materiale å teste Tester der resultatene ikke brukes er bortkastet tid Prototyper som aldri testes er bortkastet tid

40 Tolkning av sammenbrudd Tre årsaker til sammenbrudd : Manglende funksjonalitet. Manglende kommunikasjon om funksjonalitet. Feil målgruppe (kunnskapskrav, fysiologi++) Kilder til innsikt: Observasjon av bruk. Intervju etterpå. Egne erfaringer.

41 Etiske aspekt ved brukbarhetstesting Selv om brukbarhetstesting ikke er farlig for forsøkspersonene, blir de likevel utsatt for et psykisk press, og det er derfor viktig før testen starter å: Ha alt klart når brukeren kommer Understrek at det er systemet som blir testet, ikke brukeren Gjør oppmerksom på at produktet er nytt, og kan ha bugs Informer om at brukeren kan trekke seg når som helst Forklar hva som blir registrert under testen (introduser utstyr) Forklar brukerne at resultatene er konfidensielle og hvordan de skal brukes Vær sikker på at du har besvart brukerens spørsmål før testen

42 Noen oppsummerende poeng All testing er bedre enn ingen testing (spør noen på gangen ) Prototyper skal lages i løpet av timer og dager ikke uker og måneder Ikke kast bort tiden på å diskutere design spørsmål som kan testes Job iterativt: Design - Test - Design - Test - Design..