INF Introduksjon til design, bruk, interaksjon Evaluering del 1

Transkript

1 INF Introduksjon til design, bruk, interaksjon Evaluering del oktober 2014 Institutt for Informatikk, Universitetet i Oslo joshi@ifi.uio.no INF1500 Evaluering, del 1 1

2 Oppsummering av midtveisevaluering Kurset fungerer godt - det er både interessant og passe vanskelig (men kan gjøres mer spennende!) Kvaliteten på forelesningene er gode, og foreleser er godt forberedt Lysarkene fra forelesning er gode, og bruk av både video og quiz fungerer godt Dere føler dere som oftest får svar fra foreleser på det dere lurer på Dere finner enkelt frem til informasjon og oppgaver på emnesiden Ukesoppgavene oppleves som gode (hovedsakelig de praktiske oppgavene) Det må settes av egen tid i timeplanen til grublegrupper Det må vises enda flere eksempler på grensesnitt! Om dere ønsker å komme med mer detaljert tilbakemelding på hvordan dere opplever kurset er vi alltid glad for det. Mail oss! joshi@ifi.uio.no / johe@ifi.uio.no Ta kontakt om du har lyst til å se all statistikken. Vi deler gjerne! INF1500 Evaluering, del 1 2

3 Hvor kan vi bli bedre? (1) Hva synes du om kvaliteten på forelesningene? Dårlig Ganske dårlig Passe Ganske god God Hva synes du om progresjonen på forelesningene? Tilbakemelding: Vi får litt bedre tilbakemelding enn tidligere men vi går for fort frem For mye stoff per forelesning Foreleser snakker for fort Vår tilpasning: Mindre tekst på hvert lysark Prate saktere (meg) Legge ut opptak rett etter forelesning Mer involvering av studenter 0 Sakte Ganske sakte Passe Ganske raskt Raskt Bli flinkere til å bruke resultater fra quizene INF1500 Evaluering, del 1 3

4 Hvor kan vi bli bedre? (2) Hvor tydelig synes du oppgaveteksten er i de obligatoriske oppgavene? Utydelig Ganske utydelig Passe Ganske tydelig Tydelig 29 6 Tilbakemelding: Det er fortsatt for mange som mener oppgaveteksten i obligen er for upresis Forventninger til innleveringen er hovedproblemet med teksten Men vanskelighetsgraden er vi fornøyd med Hvor vanskelig synes du nivået på de obligatoriske oppgavene er? Lett Ganske lett Passe Ganske vanskelig Vanskelig 15 6 Vår tilpasning: Tydeligere presentasjon av obligen på forelesning Gruppelærerne presenterer obligen i detalj på gruppetimen Vi reviderer oppgavene videre til neste år INF1500 Evaluering, del 1 4

5 Hvor kan vi bli bedre? (3) Hvor interessant synes du kurset har vært sålangt? Kjedelig 2 4 Ganske kjedelig 26 Helt greit 39 Ganske spennende Hvordan synes du bruken av quiz under forelesning fungerer? Spennende Dårlig Ganske dårlig Passe Ganske godt Godt Tilbakemelding: Vi må bruke flere eksempler og gjøre pensum mer relevant Bruk av videoer og quiz fungerer godt Vår tilpasning: Mer involvering av studenter Flere videoer og quizer Mer konkurranse (?) Hvordan synes du bruken av video under forelesning fungerer? Dårlig Ganske dårlig Passe Ganske godt Godt INF1500 Evaluering, del 1 5

6 Men hva med deres egen innsats? Hvor mange timer i uken bruker du på kurset? Hvor ofte går du på gruppetimer? Aldri Sjeldent Annenhver uke Hver uke Har du lest noe fra pensumoversikten utover obligatorisk pensum? Har du måttet nedprioritere dette kurset på grunn av andre kurs du tar? Nei 19 Ja Nei Ja Ja (pga. INF1000) INF1500 Evaluering, del 1 6

7 Konkurranse Konkurransen er snart over To quizer igjen Gjennomsnittet på quiz 3 var på 4,2 av 7 poeng Husk at det er flotte premier å vinne! Hva synes du om konkurransen? Dårlig Ganske dårlig Passe INF1500 Evaluering, del 1 7

8 Ukene fremover I dag er temaet evaluering (del 1) Vi går gjennom DECIDE-rammeverket neste uke Forberedelse til neste (og nest siste) pensumforelesning: les kapittel 13 Om to uker kommer Morten Tollefsen for å snakke om universell utforming Om tre uker kommer Tone Bratteteig for å snakke om INF sosial event Det kommer en repetisjonsforelesning Det kommer (hvis tid) også en prøveeksamen før eksamen Oblig 3 er publisert INF1500 Evaluering, del 1 8

9 Evaluering "Everything that can be counted does not necessarily count; everything that counts cannot necessarily be counted (A. Einstein) "True genius resides in the capacity for evaluation of uncertain, hazardous, and conflicting information" (W. Churchill) The only man who behaves sensibly is my tailor; he takes my measurements anew every time he sees me, while all the rest go on with their old measurements and expect me to fit them (G. B. Shaw) INF1500 Evaluering, del 1 9

10 Oversikt over dagens forelesning Hva er evaluering? Hvorfor evaluere? Tre tilnærminger til evaluering Brukbarhetstesting Feltstudier Analytisk evaluering Metoder, teknikker og paradigmer Evaluering analyse Obligatorisk oppgave 1 Behovsanalyse kravspesifikasjon Eksempler på tilnærminger Eksempler fra virkeligheten Obligatorisk oppgave 3 Obligatorisk oppgave 3 Design prototype Obligatorisk oppgave 2 INF1500 Evaluering, del 1 10

11 Evaluering Evaluering - etymologi: évaluation, évaluer "å finne verdien av" Eksempler på generelle typer evalueringsstudier: Kvantitativt numeriske studier, statistikk Kvalitativt studier av mening, tekst, samtale Case study lavt antall, men høyt detaljerte beskrivelser Etnografi studier i naturlige omgivelser Software testing er ikke det samme som HCI-evaluering INF1500 Evaluering, del 1 11

12 Evaluering Evaluering er en sentral del av brukersentrert design og generell HCI Inngår på forskjellige måter i de ulike modellene, men er viktig i alle Mange av teknikkene som benyttes under kravinnsamling kan også brukes under evaluering Å jobbe med begrensinger er en sentral utfordring for evaluatorer Tre tilnærminger: Brukbarhetstesting Feltstudier Analytisk evaluering INF1500 Evaluering, del 1 12

13 Hva, hvordan, hvorfor og når? Hvorfor: bør vi evaluere? Hva: kan vi evaluere? Hvor: kan vi evaluere? Når: kan vi evaluere? INF1500 Evaluering, del 1 13

14 Hva, hvordan, hvorfor og når? Hvorfor: for å undersøke om brukerne kan benytte løsningen For å kontrollere at designet vårt på riktig vei møter vi brukernes behov? Identifiserer bruksproblemer, frustrasjonsmomenter og forbedringspotensialer Hva: konseptuelle modeller, tidlige prototyper, endelige prototyper Alt som kan gi brukeren en idé om endelig løsning kan evalueres Hvor: i laboratorium eller «naturlige omgivelser» Avgjøres av en rekke faktorer, f.eks. modenhet, tilgang, deltagere, formål etc. Når: tidlig, sent, når som helst, så ofte som mulig Kan gjøres som en gjennomgående aktivitet eller hovedsakelig tilknyttet milepæler INF1500 Evaluering, del 1 14

15 Hvorfor evaluere? Avgjøre hvor brukbar en løsning er for ulike brukere og brukergrupper Identifisere gode og dårlige egenskaper for å drive videre design Sammenlikne designalternativer og hjelpe oss med å ta beslutninger Observere effekten spesifikken interaksjoner og grensesnitt har på brukeren Husk: Evaluering er en prosess, ikke en hendelse Gode designideer stammer ofte fra evaluering av eksisterende løsninger "Making things better" starter alltid med evaluering INF1500 Evaluering, del 1 15

16 Tre tilnærminger til evaluering Brukbarhetstesting Brukere gjør definerte oppgaver i kontrollerte omgivelser Observasjoner, målinger og feil blir rapportert Feltstudier Brukere utfører oppgaver i "naturlige" omgivelser Observasjoner og beskrivelser blir rapportert Analytisk evaluering Brukere holdes utenfor evaluering og kan gjøres hvor som helst Problemer og tilbakemeldinger blir rapportert INF1500 Evaluering, del 1 16

17 Metoder og teknikker Brukbarhetstesting Observasjon Spørre brukere Testing Feltstudier Observasjon Spørre brukere Spørre eksperter Analytisk evaluering Spørre eksperter (HCI eller domene) Modellere INF1500 Evaluering, del 1 17

18 Kombinasjon Kombinerte tilnærminger (s.442) Opportunistisk evaluering Feltstudie for å evaluere utkast til designideer og få tidlig feedback Gjøre designendringer Brukbarhetsteste for å sjekke spesifikke designegenskaper Feltstudie for å se hvordan designet fungerer i naturlige omgivelser Gjøre endelige designjusteringer INF1500 Evaluering, del 1 18

19 Evalueringsmetoder og teknikker Flere tilnærminger kan brukes samtidig, og ulike metoder og teknikker kan brukes i flere av tilnærmingene: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Spørre brukere Spørre eksperter Sett kryss i riktige ruter Testing Modellering INF1500 Evaluering, del 1 19

20 Evalueringsmetoder og teknikker Flere tilnærminger kan brukes samtidig, og ulike metoder og teknikker kan brukes i flere av tilnærmingene: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon X X Spørre brukere X X Spørre eksperter X X Testing X Modellering X INF1500 Evaluering, del 1 20

21 Evalueringsmetoder og teknikker Eksempler på teknikker som brukes: Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere Observasjon Video og interaksjonslogg Etnografiske teknikker: skygging, flue-på-veggen - Spørre brukere Pre- og posttestingsspørsmål, strukturerte intervjuer Intervjuer og diskusjoner - Spørre eksperter - Heuristisk evaluering, diskusjoner Heuristisk evaluering Testing Testing av typiske oppgaver (brukbarhetstesting) - - Modellering - - HTA, GOMS og annen teori INF1500 Evaluering, del 1 21

22 Evalueringsparadigmer Evalueringsparadigme: Quick and dirty Brukbarhetstesting Feltstudier Analytisk evaluering Hvilken rolle har brukeren i evalueringen Naturlig oppførsel Å gjennomføre oppgaver Naturlig oppførsel Ingen Hvem styrer evalueringen Evaluatoren har minimalt med kontroll Evaluatoren har sterk kontroll Forholdet mellom evaluatoren og deltagerne Eksperter Hvor foregår evalueringen Naturlig omgivelser eller laboratorium Laboratorium Naturlig omgivelser Naturlig omgivelser eller laboratorium Når gjennomfører man evalueringen Når som helst Når ferdig prototype er klar Tidlig Med prototype Hvilken type data samles inn under evalueringen Kvalitativ; uformell diskusjon Kvantitativ; statistisk Kvalitativ, skisser Liste over problemer Hvordan blir dataen tilført designprosessen Skisser og sitater Rapport på prestasjoner Beskrivelse på workshop, rapport og skisser Rapport Hvilken filosofi eller teori ligger bak evalueringen Brukersentrert design Vitenskapelig/eksper imentell Etnografisk Praktisk heuristikk, annen teori (Tabellen er hentet fra førsteugaven av læreboken) INF1500 Evaluering, del 1 22

23 Evaluering - begreper Analytisk evaluering Kontrollerte eksperimenter Feltstudier Formativ evaluering Heuristisk evaluering Prediktiv evaluering Summative evaluering Brukerstudier Brukbarhetsstudier Brukbarhetstesting Brukertesting INF1500 Evaluering, del 1 23

24 Brukbarhetstesting Eksempel på evaluering i kontrollerte omgivelser Evaluering av en løsning isolert sett Som regel bes brukeren om å utføre en spesifikk oppgave Observerer og måler som ofteste med følgende metrikker: Tid Fullføringsrate Antall feil Antall forsøk Tilfredshet Men viktigst av alt: du får observert noen som bruker løsningen INF1500 Evaluering, del 1 24

25 Formativ og summativ testing Formativ Summativ Validering Utføres i en tidlig fase Typisk low-fi prototyper Fokus på hvordan grensesnittet oppfattes (fremfor oppgaveløsing) Billig, raskt og kan utføres på flere alternativer Lettere å være kritisk Utføres i en senere fase Formell prototype er klar Høy-nivåbeslutninger er allerede tatt F.eks. evaluering av brukbarheten ved et designvalg Grensnittet eller funksjonalitet måles opp mot andre tilsvarende løsninger (benchmarking) F.eks.: klarer brukeren å løse en oppgave på 30 sekunder? Brukes mer sjeldent Dette er pensum i INF2260, så dere behøver kun å kjenne til disse begrepene i dette kurset. INF1500 Evaluering, del 1 25

26 Hva ønsker vi å finne ut av? Tre standard ISO-definerte dimensjoner på brukbarhet: Hvor godt vi klarer å løse oppgaver (effectiveness) Hvor raskt vi klarer å løse oppgaver (efficiency) Hvor tilfreds vi er med å løse oppgaver (satisfaction) I tillegg legger man gjerne på: Hvor lett kan vi lære oss å løse oppgaver (learnability) Hvor mye som huskes hvis vi etter stund skal løse oppgaver (memorability) INF1500 Evaluering, del 1 26

27 Feltstudier i naturlige omgivelser Evaluering av en prototype i brukssituasjonens naturlige omgivelser Foretas ofte i en senere fase når: Prototypen er mer sofistikert og utviklet Ikke bare horisontale, men også vertikale funksjoner Prototypen allerede er evaluert i kontrollerte omgivelser Fordeler: Representative omgivelser (beliggenhet og kontekst) Bruker oppfører seg mer naturlig Mer realistisk (støy, andre personer, dekningsproblemer etc.) Kan utvides til langtidsstudier Men hvilke ulemper? INF1500 Evaluering, del 1 27

28 Etnografi Eksempel på evaluering i naturlige omgivelser En kvalitativ forskningsmetode som stammer fra sosialvitenskapen Brukes mye for å forstå brukere og brukskontekst Typiske observasjonsteknikker inkluderer skygging og flue-på-veggen Kan også bruke intervjuteknikker, for eksempel in-situ intervjuer med designer Ulik grad av deltagelse: fra passiv til aktiv (deltagende) observasjon INF1500 Evaluering, del 1 28

29 Analytisk evaluering Analytisk: teori, modeller, retningslinjer (eksperter) Empirisk: observasjoner, spørreundersøkelser, litteratur (brukere) Finnes flere metoder som kan benyttes for analytisk evaluering: Gjennomganger Finnes flere ulike typer, feks. kognitiv eller pluralistisk gjennomgang Inkluderer domeneeksperter Gjøres ofte i grupper med HCI-eksperte og domeneeksperter Heuristisk evaluering Gjennomgang etter retningslinjer Nielsen mente man kun trengte 3-5 brukere for å finne 80 % Brukes mye i næringslivet og industrien INF1500 Evaluering, del 1 29

30 Ekspertevaluering ensitising_event_city_park_workshop_storey Eksempel på analytisk evaluering En eller flere eksperter evaluerer en løsning og påpeker problemer og svakheter Ekspertene setter seg inn i brukers rolle Kan være både HCI-eksperter og domeneeksperter INF1500 Evaluering, del 1 30

31 Eksempler MIT: innendørstesting med UAV mit_indoor_uav.jpg HISP: mobiltelefoner i India Apple: ipadens oppstandelse JPL & NASA: simulering i 3D-programmer og kunstige omgivelser INF1500 Evaluering, del 1 31

32 Hvilken type evaluering er egnet? DNT prototyper en løsning for elektroniske kompass for turgåere Studentgruppe som lager iphone-app for oversikt over dagens rett i kantina NASA-ansatte lager et nytt dusjsystem som skal utplasseres på ISS i verdensrommet Mozilla ønsker å teste ut sin siste versjon av nettleseren Firefox IT-selskap utvikler en ny touchskjerm for eldre mennesker som lider av demens Medisinske forskere som har fremstilt medisiner som skal løse fremtidens kreftgåter Undervisningsledelsen som jobber med å kartlegge digital eksamen DnB vil ha tilbakemelding på hvordan deres eksisterende «mobilbank» fungerer INF1500 Evaluering, del 1 32

33 Facebooks utvikling Alle bilder er lånt fra: INF1500 Evaluering, del 1 33

34 Facebooks utvikling INF1500 Evaluering, del 1 34

35 Facebooks utvikling INF1500 Evaluering, del 1 35

36 Facebooks utvikling INF1500 Evaluering, del 1 36

37 Obligatorisk oppgave 3 Obligatorisk oppgave 3 handler om å planlegge og gjennomføre en evaluering av designforslagene dere har laget i obligatorisk oppgave 2 Dere skal sette opp en evalueringsplan ved hjelp av DECIDE-rammeverket Dere velger selv omfanget på evalueringen, men den skal altså gjennomføres Obligen er allerede lagt, og dere bør begynne på den med en gang! Begynn å tenke på: Hvilke oppgaver vil du be deltagerne om å utføre? Hvilke metrikker du vil bruke under evalueringen? Hvordan du har tenkt å måle brukernes prestasjoner når de utfører oppgaver? Skal prototypene evalueres opp mot hverandre eller evalueres isolert? Hvilke egenskaper innehar deltagere du inkluderer i evalueringen? INF1500 Evaluering, del 1 37