Forelesning 8 februar 2017. Utføre enkle brukerundersøkelser Velkommen til denne forelesningen. La oss repetere læringsmålene for den modulen som vi er inne i nå: Etter å ha fullført Modul A - Informatikk, brukere og samfunnet: kan du drøfte samspillet mellom teknologi og individer, organisasjoner og samfunnet. kan du utføre enkle brukerundersøkelser. kjenner du til sentrale lover og forskrifter for utvikling av digitale systemer, og drøfte etiske problemstillinger. Vi er nå på det andre læringsmålet, der du etter to forelesninger og to bolker med gruppetimer og eget arbeide med Oblig 2 altså snart kan utføre enkle brukerundersøkelser. I forrige del, så gikk vi igjennom samspill mellom teknologi og individer, organisasjoner og samfunnet. Der var et av poengene at du skulle få erfaring med å kartlegge interesser og interessenter, i tillegg til at du jobbet med deg selv som bruker av teknologi. Vi snakket om at du er ekspert på din bruk av teknologier. Kanskje du fikk fornemmelse av at du manglet noe informasjon om hvordan andre bruker teknologien? Var det noe du skulle ønske du visste mer om? Det er ingen overraskelse kanskje at det ofte er ukjente størrelser vi her snakker om; altså om hvordan andre individer og organisasjoner bruker digitale løsninger. Det er heller ingen overraskelse at vi ofte gjør antagelser om hvordan teknologier vi jobber med blir brukt av individer, organisasjoner og i samfunnet. Det er heller kanskje ikke noen overraskelse at teknologier blir benyttet på oppfinnsomme måter og i situasjoner som de i utgangspunktet ikke var laget for. I denne forelesningen skal vi gjøre følgende: Et video eksempel fra Xerox Parc; og Lucy Suchman Om brukerundersøkelser, hvorfor gjøre det? hvordan, når, hvem... Om litteratur på området utover pensum Først så kan dere gjøre en observasjon av et samspill her og nå; mellom denne kulepennen, papiret og meg. Gjerne lytte til det som blir sagt, se på kroppsbevegelser, på input/output. Dere kan forestille dere at det jeg er bruker i samspill med denne pennen, og dette papiret. Fore-stille. Penn og papir. Og til slutt piano. Xerox Parc observere bruk av kopimaskiner Vi starter med en video der det er en sekvens fra studien til Lucy Sucman om bruk av kopimaskinen: https://www.youtube.com/watch?v=nv0jy5vgymi Fra: 2:40-5:00 Her vises levende bilder av hvordan Alan Newell og Ron Kaplan bruker og interagerer med en kopimaskin. Alan Newell fikk Turing Award, som Kristen Nygaard også fikk. Ron Kaplan 1
jobbet med naturlig språk og Informatikk. Dette er altså flinke folk i sine fag, men som vi ser så sliter de med å få tatt kopier av papirer. Hvordan kan vi forstå dette? Videoen kan åpne øynene for at det ikke er brukere som er dumme, men at teknologier og løsninger kan være utformet på en slik måte at de ikke er mulig å bruke eller forstå. Også av veldig smarte folk. Her kan ikke noen komme unna med at brukerne er dumme eller burde forstått bedre. I boka Plans and situated action; the problem of human machine communication fra 1987 til Lucy Suchman, som er beskrevet i notatet på pensumsiden, så er det utfyllende informasjon om metoden som brukes og rammeverket som er satt opp for å gjøre analyse av dataene fra observasjonene. Selve analysen gjøres altså med tabellen som er beskrevet i notatet ved å fylle inn observasjoner fra opptakene av både de levende bildene og samtalene som foregår. For de av dere som er interessert, så kan også resten av videoen anbefales. Den handler om etnografi generelt, og hvordan gjøre undersøkelser av praksiser. Lucy Suchman har vært her ved IfI tidligere og holdt kurs og workshops, der hun har bragt med seg kunnskaper om hvordan brukerundersøkelser kan gjøres, hvordan dataene kan analyseres, og spørsmål en kan få svar på gjennom undersøkelser av bruk. Vise video en gang til. Om brukerundersøkelser, hvorfor gjøre det? og hvordan, når, hvem... Første gang en gjør brukerundersøkelser kan det hende at en kan få ideer om at det er da veldig pussig at brukerne ikke følger med og ikke forstår hva de skal gjøre, at de dummer seg ut og ikke skjønner systemet. Kanskje en kan tenke at det rett og slett er noe galt med brukerne? De må da skjønne at for å lagre et dokument, så skal de gjøre A, eller at for å finne frem så skal de søke i feltet B? Eller for å opprette en forbindelse til en database, så skal de gjøre C? Spesielt så ser vi dette om det vi gjør brukerundersøkelser av er noe vi selv har laget, en prototype for eksempel. Det er ikke sjelden at en da vil forsøke å forklare og kanskje til og med forsvare det en har laget, istedenfor å observere og finne ut mer av hvordan brukeren jobber med det en har laget. Det er ingenting feil med brukere!!! Det er ofte systemet eller systemene det er noe galt med. Når individer med andre erfaringer og med andre forutsetninger, forventinger og interesser enn utviklere og testere har vansker med å bruke en digital løsning er det systemet det er noe feil med, ikke brukeren. Et eksempel: Når min mor på 89 år, som bor alene og klarer seg finfint i hverdagslivet, har problemer med å lagre bilder på en PC fra 2016, så er det fordi grensesnittet og interaksjonen har endret seg fra forrige versjon av bildeprogrammet hun bruker. Det er lagt til funksjoner som hun ikke har bedt om eller ønsker. På en 10 år gammel PC fungerer det fint og hun mestrer dette. Med papirbilder, så får hun det helt fint til. Det samme gjelder banktjenester og tjenester for skatt. Er det hun det er noe galt med, eller systemene? Dere har sikkert tilsvarende eksempler på det samme; at er systemene det er noe feil med. En som har skrevet mange gode eksempler på dette er Jonas Söderström i boka Jævla 2
Drittsystem! Hvordan IT systemer kan ødelegge arbeidsdagen, og hvordan vi kan ta kontrollen tilbake. Denne boka ble gitt ut i 2011, og ble oversatt til Norsk i 2013. Boka har informative nettsider. Brukertesting, brukerundersøkelser, bruksundersøkelser, evaluering... det er mange ulike navn og begreper for denne type aktivitet. Vi skal jobbe med brukerundersøkelser. Brukerundersøkelser handler om å gjøre undersøkelser av bruk, vi kan kanskje si at vi skal gjøre undersøkelser av samspillet mellom brukeren og den teknologien brukeren benytter, i en gitt situasjon, omgivelse eller kontekst. Et ord som ofte benyttes for å beskrive systemer i dagligtalen er brukervennlig. Og at vi gjør brukerundersøkelser for å kunne lage brukervennlige systemer. Vi kan kjenne igjen brukervennlige systemer, grensesnitt eller interaksjoner når vi ser det eller opplever det. Noe er vennlig, det fungerer fint og vi får gjort det vi skal gjøre. Det er noe underlig over ordet vennlig i denne sammenheng, er teknologien vennlig? En tidligere IfI student, Morten Tollefsen, som noen av dere møtte på Sundvollen i høst, bruker ofte et annet begrep, at teknologiene også kan være brukervemmelig. Det han peker på er at ved stadig endringer på grensesnitt og interaksjon, så kan det oppleves som krevende å bruke systemene. Både vennlig og vemmelig er ord vi vanligvis bruker om møter med andre mennesker eller grupper av mennesker, men vi snakker altså slik om teknologier i dag også. Brukervennlig, som begrep, benyttes ofte i dagspressen, for eksempel der det rapporteres fra brukertesting av produkter, tjenester og applikasjoner. Ofte er det i tillegg konklusjoner på undersøkelser av brukervennlighet med et terningkast som evalueringsskala; 1-6. Det finnes andre begreper å snakke om dette på, og noen slike begreper skal vi ta opp nå. Istedenfor brukervennlig benyttes gjerne begrepene brukbarhet eller brukskvalitet på norsk. Dette er oversettelser av det engelske usablity. ISO 9241, del 11, definerer brukskvalitet, usability, slik: "the extent to which a product can be used by specified users to achieve specific goals with effectiveness, efficiency and satisfaction in a specified context of use". Her er det en internasjonal standard, som forteller noe om brukskvalitet. Vi gjør undersøkelser av bruk ofte fordi vi er interessert i å øke eller bedre brukskvaliteten til et system. Produkt, spesifikk bruker, spesifikke mål, effektivitet, tilfredsstillende og ikke minst spesifisert brukskontekst eller situasjon alt dette er med i standarden som definerer brukskvalitet. Merk at på engelsk, så er det to ord som ikke lar seg helt enkelt oversette til norsk; effectiveness og efficiency der begge blir oversatt til effektiv. Det første har med om systemet gjør de riktige tingene, altså at det gjør det det skal, og det andre har med ressursbruk i forhold til måloppnåelse å gjøre, for eksempel hvor lang tid noe tar. Det er en rekke andre måter å beskrive brukskvalitet, og J Nielsen (også gode nettsider til Norman Nielsen) har en mye brukt liste av karakteristikker; at systemet skal være... Lett å lære. Effektivt. 3
Lett å huske Relativt feilfritt og feiltolerant Behagelig å bruke Brukerundersøkelser kan for eksempel gjøres gjennom å operasjonalisere noe av det overfor og undersøke spesifikke brukskvaliteter. En ser her at gjennom å være mer spesifikk enn å kun bruke ordet brukervennlig, så kan vi gå inn og finne mer ut av enkelte deler av brukskvaliteten, som for eksempel hvordan det er å lære for en gitt bruker, for en gitt oppgave, i en gitt kontekst. Som i andre undersøkelser kan en både benytte kvalitative og kvantitative metoder. Og, siden det har med undersøkelser der det er mennesker tilstede, så er vi i den heldige situasjonen at vi har språket tilgjengelig, at vi kan snakke sammen og finne mer ut av for eksempel hvor lett noe er å lære eller hvor behagelig noe er å bruke. De tre hovedmåtene å gjøre undersøkelser av bruk på er: - Intervjuer, fokus grupper, samtaler - Spørreskjema - Observasjon, direkte eller indirekte I dette kurset, så får dere gjennom obligen øvelse i å gjøre undersøkelser gjennom observasjon. Det er både noe av det enkleste og noe av det vanskeligste vi kan gjøre!! For hva er det å observere? Uten for mye antagelser og forutinntatte meninger? Er det i det hele tatt mulig? I en av artiklene, Puri, så kommer det frem at vi ser med et blikk og et perspektiv, og at vi legger merke til ulike saker i det vi observerer. Det å gjøre observasjon av interaksjon med systemer, har noen fortrinn fremfor spørreskjema og intervjuer. Det er en kjensgjerning er at vi mennesker ofte sier andre ting enn det som faktisk foregår når vi representerer noe gjennom samtale eller intervju. Det kommer mer, og annen, informasjon frem gjennom observasjon enn det som kommer frem gjennom samtaler. Du har sikkert noen eksempler på dette selv, der det ikke alltid er samsvar mellom det du sier du gjør og det du gjør. I samtaler gjør vi ofte generaliseringer og at detaljer blir dermed borte. Vi summerer, trekker sammen og generaliserer. Med observasjon, så kommer en ofte nærmere det en skal undersøke og en kan jobbe med konkrete, spesifikke brukere, som har spesifikke mål i en spesifikk kontekst. Om en skal gjøre observasjoner i en laboratoriesetting eller utenfor laboratoriet er også noe en trenger å ta stilling til. I en laboratoriesetting så kan en kontrollere omgivelsene, og gjøre forsøk og undersøkelser i mer kontrollerte former enn gjennom å undersøke in the wild, som altså er betegnelse for det som foregår utenfor labben. De som har jobbet med mobile tjenester i de siste 20 årene har en sett verdien av å også gjøre observasjoner utenfor lab omgivelser. Hvorfor det? Tenk på betaling av billetter med kollektiv transport. Her er det mulig å tenke seg at en får dette fint til i en kontrollert lab setting, men at det i praksis ikke fungerer ute på en holdeplass. In the wild er det fotgjengere, biler, holdeplasser, snøvær, forsinkelser, venner det er ikke helt trivielt å skulle få til å simulere alt dette i en lab omgivelse. Samtidig, så vil en kunne gjøre helt andre observasjoner i en lab omgivelse, ofte detaljerte studier av noe det kan være vanskelig å gjøre in the wild, hvordan fungerer 4
denne knappestørrelsen, eller denne feilmeldingen kan være noe en ønsker detaljerte informasjoner om. Et annet forhold kan være at de instrumentene en bruker for å gjøre observasjoner kan være mere nøyaktige i en lab omgivelse, for eksempel bruk av øyesporing, eller tidsbruk med nøyaktig målinger av tid. Hvorfor bry seg med undesøkelser av bruk? Dette er det svært mange ulike svar på selvsagt. Nedenfor er det noen argumenter: Ofte så er det jo slik at for å kunne tilby tjenester eller produkter til et marked, så ønsker de som leverer at det skal være bra å bruke for brukeren, og da er det selvsagt mange måter å lage dette på, der en måte er å finne ut om bruk og brukere gjennom observasjon. Det finnes mange eksempler på systemer som i ytterste konsekvens kan føre til tap av menneskeliv. Noe av årsaken er at det er feilaktige antagelser om hvordan mennesker jobber og de praksisene de har. Tenk på systemer som er i fly, mellom fly og kontrolltårn eller på sykehus. Systemer som representerer informasjon om aktiviteter som bare må bli oppfattet korrekt av mennesker, og at mennesker må gi inn riktig informasjon. Her er det selvsagt ekstra viktig å gjøre gode undersøkelser av bruk. Det finnes mange eksempler på systemer som er utviklet basert på antagelser som ikke stemmer om brukere og arbeidspraksiser, og at det koster svært mye å utvikle disse systemene. En grunn til å bry seg med brukerundersøkelser kan altså være at en ikke benytter for mye ressurser i forhold til det en ønsker å oppnå. Det er selvsagt mange andre årsaker til at nye systemer ikke fungerer som de er tiltenkt, og det at en ikke har gjort grundige brukerundersøkelser kan være en av forklaringene. Når en jobber med universell utforming, og tilgjengelighet, så er det ekstra viktig å gjøre undersøkelser av bruk og brukspraksiser. Tenk bare på hvordan en døv, blind, eller person med begrenset bevegelighet i en situasjon skal kunne benytte en digital tjeneste for avstemming ved valg. Er det mulig å tenke seg at dette kan gjøres uten å undersøke med spesifikke brukere, i spesifikke kontekster? Når gjør en undersøkelser av bruk i utviklingsprosesser? Et kort svar på dette er oftere og oftere. Ved etablering av krav i starten på prosjekter, ved testing og evaluering før leveranser, ved prototyping og ellers når en trenger å få testet ut antagelser om bruk og brukere. Eller når en ønsker å lære om en situasjon som kan være viktig for å kunne lage de gode systemene. Hvilke betydninger har situasjonen, eller konteksten til en bruker, for det en utvikler kan være et slikt spørsmål. Dette betyr altså at i potensielt alle faser i systemutvikling kan undersøkelser av bruk gjennomføres. Også før selve utviklingen starter som et prosjekt, og lenge etter at utviklingen er ferdig. Kanskje det skal gjøres oppgraderinger til et eksisterende system? De tradisjonelle, klassiske fasene en gjør observasjoner undersøkelser i er ved etablering av krav til løsningen en jobber med, og når en ønsker å undersøke og forstå mer av behov som individer og organisasjoner har. 5
Hvilke betydninger har type system en jobber med for undersøkelse av bruk? Det er svært ulike situasjoner en gjør brukerundersøkelser i, og dermed også hvordan dette gjøres, avhengig av hva en jobber med. Ved produktutvikling, der et produkt eller tjeneste skal tilbys til et marked. Såkalte masseprodukter som en ny nettleser. Ved utvikling av innomhus produkter eller tjenester. Eksempel her kan være at USIT lager noe for kontorstøtte eller studentstøtte Ved utvikling basert på kontrakt mellom kunde og utvikler. Observasjon kan gjøres enten automatisk, med sensorer eller sporinger i dataprogrammer eller det kan gjøres av mennesker. Vi tar her for oss observasjon som blir gjort av mennesker, noe dere får trening gjennom denne obliggen. Hvordan gjør eller utføre observasjoner? Kortversjon, og den som dere skal øve på i Oblig er at det først er en planleggingsfase, deretter en gjennomføringsfase etterfulgt av en analyse. Altså: Planlegge; sette oppgaver, mål, rekruttere. Gjennomføre samle inn data Beskrive og representere dataene Analysere dataene Observasjon noe av det enkleste og minst ressurskrevende en kan gjøre for å undersøke bruk. Her er enklest forstått som noe som ikke er komplisert. Det betyr ikke at det nødvendigvis er enkelt å gjøre gode observasjoner, observasjoner som gir bedre forståelse for et fenomen. Det å observere eller se kan sies å være noe av det vanskeligste en gjør, flere har forsøkt å si noe om dette at observasjon uten å evaluere eller bedømme er krevende og kanskje helt umulig? Mange som har erfaring fra observasjon forteller at det er noen kvaliteter hos den som observerer som er viktig. En av disse er tålmodighet. Altså, det å ta seg tid tid til å se og høre nøye etter det som foregår. En annen kvalitet er å ha kunne se og oppfatte detaljer detaljer som kanskje er viktige å forstå for å kunne gjøre endringer og forbedringer til et system. Interesse for bruk er også en kvalitet. Det er også mye som er sagt om hvor lenge en skal gjøre undersøkelser, antall deltagere etc. En kortversjon er at en finner ut mye i de første observasjonene, og så dabber det av etter hvert. Om en gjør kvalitative undersøkelser, så vil en være åpen for å se og kunne observere mye i starten, og så vil en se tema og hendelser om igjen etter hvert som en gjør flere repetisjoner. Kanskje det blir lenge mellom hver gang en ser noe nytt av betydning etter å ha observert 5, 10 eller 20 ganger, og da kan en stoppe eller ta en pause. Inntil nye spørsmål kommer opp, og en trenger å gå tilbake til bruken, brukeren og brukssituasjonene. Det en samler inn av data fra brukere kan være både personlig og sensitivt. I oblig 2, så skal dere jobbe med samtykkeerklæringen for datainnsamling, og reflektere over hvorfor dette 6
er viktig. Dette kommer vi også noe tilbake til i siste læringsmål, der lover og etikk er på dagsorden. Hvorfor gjøres det ikke mer undersøkelser av bruk, om det er så viktig? Dette er sentrale spørsmål. Et svar er at det krever ressurser i form av penger og tid. Og det er som kjent begrensninger eller ofte rammer for det. Et annet svar er at det er mangel på utviklere som har erfaringer og kunnskaper til å utføre undersøkelser av bruk. Det kreves jo kunnskaper og ferdigheter for å kunne gjøre det. Et tredje mulig svar er at det er usikkerhet i hva en får ut av undersøkelser av bruk, der mennesker og teknologiers samspill blir undersøkt. Det er jo ikke garantert at det vil komme noe nytt ut av undersøkelsene. Det er heller ikke garantert at en i det hele tatt får det til, det kan være krevende å få tilgang til brukere og deres situasjoner. Hvor finner jeg mer informasjon om det å gjøre brukerundersøkelser? Til dette læringsmålet er det både et par notater og noen artikler. Disse finner du på pensumsiden til kurset. Vi håper at du har noen spørsmål til disse artiklene, og at du leser og skriver om disse aktivt. Istedenfor å presentere disse her, så har vi valgt å la dere jobbe med de i gruppetimene, slik at de kan diskuteres og gjøres rede for der igjennom de obligatoriske oppgavene. Diskuter gjerne artiklene i grupper, og gjør notater bring gjerne notatene med inn i oblig arbeidene. Suchman sin artikkel handler om å gjøre arbeid synlig. Resultatet av studier er gjerne representasjoner, og disse er ikke nøytrale er et av poengene hennes. Puri sin artikkel handler om observasjon, og hva vi ser. Becker sin artikkel handler om at å bli en bruker er noe vi ofte lærer igjennom et fellesskap. I tillegg til de artiklene som er valgt ut, så finnes det mye godt stoff i bøker og andre artikler. Det å for eksempel søke på: praktisk brukertesting eller user studies vil gi mange henvisninger til alt fra svært detaljerte rammeverk og oppskrifter for hvordan en går frem, til metodologiske og filosofiske problemstillinger og spørsmål knyttet til det å kunne gjennomføre undersøkelser av bruk. I obliggen, så er hovedoppgaven å gjennomføre en observasjon av en person som bruker et digitalt system, der den personen er en annen enn deg selv. I tillegg, så har vi satt opp en annen øvelse, at dere skal reflektere over egen bruk av sosiale medier. Det kan kanskje virke litt rart å skulle ha denne andre øvelsen med i denne obliggen, for hva er det en observerer her gjennom å ikke bruke noe? Det vi ønsker er å også gi en mulighet for at dere skal sette ord på, og kanskje bli kjent med noen antagelser om egen bruk, for det er slik at disse antagelsene en har kan være med på å farge hvordan en observerer og ser andres bruk. Når er en så ferdig utlært? Når kan vi si at læringsmålet om å kunne gjennomføre enkle brukerundersøkelser er oppnådd? Hva tror dere? Her tenker jeg at det å starte, og så å fortsette er det sentrale. At en gjennom å gjøre eller praktisere vil lære, og at en kan holde på lenge med å forbedre sin praksis. Vi sa i det forrige læringsmålet som handlet om samspill, at dere er eksperter på eget samspill og interaksjon med teknologi. Det å kunne gjennomføre brukerundersøkelser med brukere og situasjoner som er svært annerledes enn 7
det en er vant med krever øvelse. Kanskje kan ekko teorien om læring her kan hjelpe? At det handler om å Prøve, og så øve, øve, øve, øve, øve... Neste onsdag kommer Gerd Berget fra HiOA for å fortelle om sitt PhD arbeide her ved IfI, om brukerstudier av søk. Tone Bratteteig kommer også og skal gi en kort oversikt over sentrale lover og forskrifter. Fortsatt godt arbeide med oblig 2. 8