Observasjonsteknikker ISO 13407

Transkript

1 Observasjonsteknikker Observasjon i designprosessen. Teknikker som er i vanlig bruk. Hvordan velge teknikker for et prosjekt? Hva kjennetegner en god og en dårlig teknikk? ISO ISO 13407: User-centered design of interactive systems (1999). Beskriver prosesskrav i forhold til utvikling av bruker-sentrert utvikling av software. Fokus på iterasjoner, brukbarhets-evaluering, og dokumentasjon av brukbarhet. I forbindelse med RUP 2000 refereres det til ISO Ratifisert som NS-EN ISO

2 Fra ISO En bruker-sentrert designprosess har typisk: Aktiv involvering av brukere, og en klar forståelse av bruker og oppgavene. En avveid allokering av ressurser mellom teknikk og bruker. En iterativ prosess Tverrfaglige utviklingsteam. Sterkt fokus på at utvikler må forstå og kunne formulere produktets brukssammenheng (context of use). Fokus på kommunikasjon med bruker gjennom konkrete prototyper etc. ISO prosess Identifisere behov for brukersenteret design Forstå og spesifisere brukssammenheng Evaluere design mot krav Systemet tilfredstiller bruker og organisasjons krav Spesifisere bruker og organisasjons krav Utvikle designløsninger 2

3 ISO prosess Identifisere behov for brukersenteret design Forstå og spesifisere brukssammenheng Evaluere design mot krav Systemet tilfredstiller bruker og organisasjons krav Spesifisere bruker og organisasjons krav Utvikle designløsninger for bestemte brukere med bestemte mål i bestemte omgivelser 3

4 Eksempel: Praktisk modell for brukersentrert designprosess i Telenor mobil. Segmenteringsmodell Personas, visualisering av hvem som skal bruke produktet RealityCheck verktøy Oppgaveanalyse Papir prototyping Evaluering1: Simulering (papir prototyping) Evaluering2: Ekspertevaluering Eksempel MMS Lab-tester av tidlige applikasjoner (vår 2002) Jan 2003: 3 vennegrupper får utdelt Nokia 7650 telefoner som de kan bruke gratis i 3 måneder Intervjuer av gruppene gjennom perioden Logging av trafikkdata (datavarehus) for utvalg av 1500 MMS 7650 telefoner (julekampanje 2002) Innsamling av informasjon fra eksterne kilder (rapporter etc.) 4

5 Segmenteringsmodell, fordeling på abonnenter Ung og Den Mobile 12 uetablert 25 Etablerende 35 familie 55 x % Skoleelev x% x% x% x% x % Ung i jobb x% Student x % x % Ung og karrierefokusert x % Sosialiserende x % Basisbruker Karriere- og multibruker x% Aktiv fritid x % Nøktern med balanse jobb/fritid Midt i livet/ Eldre x % Golden oldies x % Trygg alderdom Inaktive brukere*: x % x % x % x % Personas Velg målgruppe(r) for produktet Hvert segment er representert ved en person. Bruk disse personene, og ikke brukere generelt under utvikling. Vurder om personene dere har valgt ville brukt funksjonene. 5

6 RealityCheck Enkel sjekk basert på segmenter Fokus på teknologivalg Gir tjenesten unik nytte, eller greier brukerne seg godt uten? Empiriske evalueringsmetoder Spørreskjemaer Intervjuer Fokusgrupper og workshops Feltstudie Brukbarhetstester Logging av faktisk bruk - online hjelp og feilrapportering. 6

7 Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. 7

8 Spørreskjemaer Identifiser brukergruppen. Bruk tid på å lage et godt skjema. Ta gjerne utgangspunkt i f.eks. skjemaet i læreboka. Bruk tid på å analysere resultatet. Gjør helst noe intervju og observasjon først for å unngå hull i spørreundersøkelsen. Spørreskjemaer General establish background, gender, experience, personality can overlap other categories but usually not opinion-based Open-ended unpromped opinion on a question Can you suggest...? How would you...? often result in brief answers, cannot be summarized statistically Scalar judge statement on numeric scale 1-5, 1-7, -2-2 used to balance coarse/fine negative choice (hostile, vague, misleading) on left, positive (friendly, specific, beneficial) on right Multi-choice choose one or more from a list of explicit responses ex: How do you get help with the system: manual, online, colleague gather info on user's previous experience Ranked place an ordering on a list to indicate user's preferences ex: Please rank usefulness of methods: menu, command line, accelerator University of Maryland's QUIS (see Table 4.1), IBM's Post-Study System Usability Questionnaire 8

9 Eksempel 9

10 Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. 10

11 Intervju Utvelgelse av intervjuobjekter Typer av intervju: Strukturert intervju Semi-strukturert intervju Åpent intervju Intervju-guide Datainnsamlingsteknikker Analyse av intervjuet Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. 11

12 Fokusgrupper og workshops Samle et antall brukere for noen timer eller en hel dag. Gå igjennom systemene og få tilbakemeldinger. Viktig: Ha en detaljert plan klar på forhånd over hva som skal skje. Ha også en plan B i nødfall. Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Få svar på spesifikke spørsmål I hovedsak kvantitative Kan nå mange personer Vi må vite hva vi skal spørre om Intervju Utforske. Få innblikk i et tema. Gi innsikt i et problem. Dialog med bruker. Tar tid, og viser ikke faktisk arbeidskontekst. Fokusgrupper og workshops Dialog med gruppe av brukere Komme dypt i å forstå et problem. Brukerinvolvering Ressurskrevende. Feltstudie Studie av faktisk brukskontekst Forstå brukerens faktiske hverdag. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Brukbarhetstesting. Evaluering av prototyp eller produkt og kvantitativt Evaluere brukskvalitet av prototyp/produkt. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Logging av bruk Evaluering av faktisk bruk Kvantitativt Faktisk bruk. Mange personer. Gir ikke innsyn i årsaker til problemer. 12

13 Samfunnsvitenskapelig metode Studere menneskelig adferd i naturlige omgivelser. Meningsdimensjonen. Hva betyr dette sett fra de det gjelder. Observatøren som instrument. Vi må fortolke det vi observerer. Vi påvirker det vi observerer. Eksperimenter er ikke like lett (Big brother ++). Kvalitative data og metoder. Fokus på å forstå. Feltstudie Hva er vi interessert i å vite mer om? Hvor skal vi observere? Når skal vi observere? Hva skal vi ha fokus på? Hvordan skal vi gjøre datainnsamlingen? Hvordan skal vi tolke dataene? 13

14 IT system for planlegging av kirurgiske inngrep. Kirurg Registrer tilgjengelig tid Sykepleier Gjennomførings plan Problemer: Kirurgene nektet å ta systemet i bruk Sykepleierne elsket systemet Kilde: Ina Wagner 1993 IT system for planlegging av kirurgiske inngrep MANDA G TIRSDAG ONSDAG FRI SØNDAG Konferanse

15 Fremgangsmåte 1. Bli kjent med arbeidssituasjonen og oppgavene (begynn med oppgaveanalyse, se på karakteristiske scenarier) 2. Bli kjent med brukere (demografiske data, mål, verdier etc. Oppsummer i personas) 3. Bli kjent med historier og ritualer 4. Skap interaksjonsideer ved å forstå situasjoner med kroppen (Bodystorming) 5. Sett sammen situasjonene som en historie (Rollespill) 6. Bruk rekvisitter til å muliggjøre situasjonene/historien (Tenke med Ting) En sosial tilnærming 15

16 Bli kjent med historier og ritualer Cultural Probes: Dagbok, Bilder, Artefakter Intervju: Livsstil, verdier, klær, gjenstander, favoritt ting Kommunikasjonskartlegging: Hvilke typer historier fortelles til hvem? Fantasihistorier, gamledager, familierelasjoner, fremmede/situasjonsrelaterte Steder og roller: Hvordan oppfører man seg? Hva sier man? Kommunikasjonskartlegging Tegn opp aktørene og de geografiske stedene Tegnogbeskriv kommunikasjonslinjene mellom dem 16

17 Opplev arbeidssituasjoner med kroppen Emotional behavior contributes to usability Users reacted to interpretations of the machines attitude and helpfulness. The machine was perceived as intelligent cool obstinate 17

18 Observasjonsrapport Oppsummering av observasjon og intervju i forhold til bruk og behov. Hvem er brukeren? Hva holder de på med ( tasks )? Hvilken eksisterende teknologi inngår? Scenarier. Forståelse av rammebetingelser, bedriftskultur og praksis. 18

19 QuickTime and a TIFF (Uncompressed) decompressor are needed to see this picture. Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. 19

20 Brukbarhetstesting: Ifg. ISO13407: " to ensure that the delivered product reaches a minimum required level of usability, to provide feedback during the design on the extent to which the objectives are being met, and to identify potential usability defects in the product". European Usability Support Centers Brukbarhetslaboratoriet: 20

21 Ulike typer av brukbarhetstester Utforskende tester (kvalitativ) Brukes på et tidlig stadium for å vurdere effektiviteten av tidlige modeller (designets "høyere" nivå) Vurderingstester (kvalitativ og kvantitativ) Den vanligste formen for brukbarhetstester. Gjennomføres tidlig eller midtveis i designprosessen. Verifiseringstester (kvantitativ) Objektiv sertifisering av produktets brukbarhet Breakdown 21

22 Tilstede for hånden Tilstede i hånden Observasjonsteknikker - oversikt Navn Formål Type data God på Dårlig på Spørreskjema Intervju Fokusgrupper og workshops Feltstudie Brukbarhetstesting. Logging av bruk Få svar på spesifikke spørsmål Utforske. Få innblikk i et tema. Dialog med gruppe av brukere Studie av faktisk brukskontekst Evaluering av prototyp eller produkt Evaluering av faktisk bruk I hovedsak kvantitative og kvantitativt Kvantitativt Kan nå mange personer Gi innsikt i et problem. Dialog med bruker. Komme dypt i å forstå et problem. Brukerinvolvering Forstå brukerens faktiske hverdag. Evaluere brukskvalitet av prototyp/produkt. Faktisk bruk. Mange personer. Vi må vite hva vi skal spørre om Tar tid, og viser ikke faktisk arbeidskontekst. Ressurskrevende. Tar tid. Krever ofte tillatelse, f.eks. på sykehus. Krever at man har prototyp. Skjer ikke i faktisk kontekst. Gir ikke innsyn i årsaker til problemer. 22

23 Logging av bruk Krever en installasjon med automatisk logging. Genererer anonymiserte loggdata. Krever analyseverktøy for å se sammenhenger. Kan gi viktig feedback på en tidlig versjon av et system. Kriterier for valg av metode Fase i prosjektet (tidlig, midt, sent) Velkjent type prosjekt vs. nytt og uprøvd. Antall brukere og installasjoner. Kritiske grensesnitt? (for eksempel sykehus og romfart). Totalbudsjett for prosjekt og budsjett for evaluering. Tid tilgjengelig (kalendertid og persontid). Erfaringsnivå i utviklingsteamet. 23

24 Fase i prosjektet Tidlig, f.eks.: Feltstudier og spørreskjemaer Intervjuer og fokusgrupper Midt, f.eks.: Papirprototyper m/ Wizard of Oz tester Kjørende prototyper m/brukbarhetstester Ekspertgjennomganger Sent, f.eks.: Felttester Akseptansetest Logging av bruk, intervjuer, online hjelp. Velkjent type prosjekt vs. nytt Velkjent: Standardiserte tester. Veletablert hvem som er brukere Ny type produkt Åpent i forhold til brukere og bruk Mer utforskende tester Mer intervju og feltstudier 24

25 Antall brukere og installasjoner. Mange brukere: Viktig å få oversikt over brukergruppene. Spørreskjemaer. Brukbarhetstest med representative brukere. Få brukere: Observasjon, fokusgrupper og tester. Direkte dialog med brukere, og større mulighet for å involvere de aktivt i utviklingsprosessen. Kritiske grensesnitt Eksempler: Sykehus, Prosesser i industri, El. nettet, telenettet. Krever: Omfattende tester av kritiske deler av grensesnittet. Analyse av risiko ved operatørfeil, og allokering av ressurser tilsvarende. Dyp forståelse av arbeidsprosess og mulige feilsituasjoner. Utstrakt bruk av scenarie (daglig drift + worst case ). 25

26 Totalbudsjett for prosjekt og budsjett for evaluering. Mye penger: Kombiner mange metoder for å kunne få verifisert funn via mange kanaler (s.k. metodetriangulering ). Planlegg evalueringer som en integrert del av utviklingsprosessen. Lite penger: Sørg for et minimum av intervjuer, papairprototyping og wizard-of-oz tester. Fokuser på å identifisere brukersentrerte aktiviteter som gir mest uttelling i forhold til en risikoanalyse av prosjektet. Tid tilgjengelig (kalendertid og persontid) Kalendertid: God tid: Planlegg inn flere iterasjoner og bruk flere metoder. Kort time-to-market : Gjør en risikoanalyse og planlegg deretter. Persontid: Mye ressurser: Gjør flere ting samtidig (intervjuer, observasjon, spørreskjemaer) Lite ressurser: Prioriter utifra prosjektets egenart. 26

27 Erfaringsnivå i utviklingsteamet Mye erfaring: Åpner for et spektrum av metoder. Lite erfaring: Bruk tid på å lære noen grunnleggende metoder som intervjuteknikk, observasjon med video, papirprototyping og enkel brukbarhetstesting. Hva er en god og en dårlig teknikk? Validitet Reliabilitet Generaliserbarhet 27

28 Validitet gyldighet Måler vi det vi ønsker å måle? Det vi ønsker å måle. Det vi faktisk måler. 100% match Reliabilitet pålitelighet Kan vi stole på dataene? Godheten til måleinstrumentene. Måler de det samme uavhengig av: Tid Personer som utfører målingen Omgivelsene målingen skjer i Egenskaper ved det som måles 28

29 Generaliserbarhet Har funnene gyldighet utover observasjonen eller eksperimentet? Fare for overgeneralisering. Popper: Teoretisk kan en hypotese aldri bevises empirisk, bare sannsynliggjøres. Generaliserbarhet dersom mange funn (stor N), gjort over tid, i ulike sammenhenger. Eksempel: Newtons gravitasjonslover. Moteksempel: Freuds fokus på seksuelle traumer. Wien 1900, lite antall, kvinner fra overklassen, kun en forskningsmetode, kun en setting. Eksperimenter Eksperimenter laboratorie eksperiment Eks: Turing-testen felt eksperiment eksperiment i en organisatorisk kontekst forskeren manipulerer noen variable og observerer/måler resultatene uavhengige variable: kontrolleres av forskeren avhengige variable: det som måles analogi: matematisk funksjon Endrer på de uavhengige variablene 29

30 Feltstudier vs. eksperimenter Grad av kontroll Naturvitenskapelig metode: Kontrollere alle parametere unntatt én Målbarhet Repeterbarhet, objektivitet HF/SVT metode: Studere sosiale systemer i naturlige omgivelser Meningsdimensjonen Observatøren som instrument vs. kvantitativt Typen av data: Tall vs. tekst/bilder Kvantitativt, eksempler: Tid for å utføre en oppgave Antall hit på en hjemmeside Gj.snitt alder i en brukergruppe, eksempler: Bruk av metaforer i talk aload protokoll /News arkiv Skisser på servietter 30