Forskningsmetoder i menneske-maskin interaksjon Kapittel 2- Eksperimentell forskning
Oversikt Typer atferdsforskning Forskningshypoteser Grunnleggende om eksperimentell forskning Signifikanstesting Begrensninger i eksperimentell forskning
Typer atferdsforskning Beskrivende undersøkelser fokuserer på å bygge en nøyaktig beskrivelse av hva som skjer. Relasjonelle undersøkelser gjør det mulig for forskeren å identifisere relasjoner mellom flere faktorer. Imidlertid kan relasjonelle studier sjelden fastslå årsakssammenheng mellom flere faktorer. Eksperimentell forskning tillater etablering av årsakssammenheng.
Typer atferdsforskning
Forskningshypotese Et eksperiment starter normalt med en prosjekthypotese. En hypotese er en presis problemuttalelse som kan testes gjennom en empirisk undersøkelse. Sammenlignet med en teori, er en hypotese et mindre, mer fokusert, utsagn som kan undersøkes av et enkelt eksperiment.
Hypotesetyper Nullhypotesen: sier vanligvis at det er ingen forskjell mellom eksperimentelle behandlinger. Alternativ hypotese: en setning som er gjensidig utelukkende med nullhypotesen. Målet med et eksperiment er å finne statistisk bevis for å avkrefte eller forkaste nullhypotesen og dermed støtte den alternative hypotesen. En hypotese bør angi uavhengige variabler og avhengige variabler.
Avehngige og uavhengige variabler Uavhengige variabler (IV) refererer til faktorer som forskerne er interesserte i å studere, eller den mulige "årsaken" av endringen i den avhengige variabelen. IV er uavhengig av en deltakers atferd. IV er vanligvis behandlinger eller forhold som forskerne kan kontrollere. Avhengige variabler (DV) refererer til utfallet eller effekten som forskerne er interessert i. DV er avhengig av en deltakers atferd eller endringer i IVer. DV er vanligvis resultatene som forskerne trenger å måle.
Typiske uavhengige variabler I MMI De som er knyttet til teknologi Typer teknologi eller maskiner (apparater, redskaper) Typer design De som forholder seg til brukere: alder, kjønn, erfaring med datamaskiner, profesjon, utdanning, kultur, motivasjon, humør og funksjonshemninger De som er knyttet til brukskonteksten: Fysisk status Bruker status Sosial status
Typiske avhengige variabler I MMI Effektivitet: f.eks, oppgavens ferdigstillelsestid, hastighet Nøyaktighet : f.eks, antall feil Subjektiv tilfredshet: f.eks, Likert skala graderingen Enkelhet av læring og retensjon (hukommelse) Fysisk eller kognitiv etterspørsel: f.eks, NASA oppgavemengde indeks NASA task load index
Komponenter av eksperimentet Fremgang, eller vilkår: de forskjellige teknikkene, enhetene eller prosedyrene som vi ønsker å sammenligne. Enheter: gjenstanden som blir utsatt for eksperimentell behandling. I MMI forskning er enhetene vanligvis mennesker med spesifikke egenskaper, som kjønn, alder eller dataerfaring. Tildelingsmetode: måten de eksperimentelle enhetene blir tildelt forskjellige behandlinger.
Randomisering Randomisering: tilfeldig tildeling av oppdrag til de eksperimentelle enheter eller deltakere. I en helt randomisert eksperiment vil ingen, inkludert forskerne selv, kunne forutsi tilstanden som en deltaker vil bli tildelt. Randomiseringsmetoder Preprosesseringsmetoder Randomiseringsmatrise Software drevet randomisering
Signifikanstest Hvorfor trenger vi signifikanstester? Når alle verdiene av elementene i sammenligningsgruppene er kjente, kan du sammenligne dem direkte, og trekke en konklusjon. Ingen signifikanstest er nødvendig ettersom det ikke er usikkerhet involvert. Når befolkningen er stor, kan vi bare prøve et utvalg mennesker fra hele befolkningen. Signifikanstester tillater oss å avgjøre hvor sikre vi er på at resultatene som er observerte fra prøve-utvalget kan generaliseres til hele befolkningen.
Type I og Type II feil Alle betydning tester er underlagt risikoen for Type I og Type II feil. En Type I feil (også kalt α feil eller en "falsk positiv") refererer til den feilen å forkaste nullhypotesen når den er sann. En Type II feil (også kalt β feil eller en "falsk negativ") refererer til den feilen å ikke forkaste nullhypotesen når den er usann og dermed bør avvises.
Type I og Type II feil
Type I og Type II feil Det er generelt antatt at Type I feil er verre enn Type II feil. Statistikere kaller Type I feil en feil som involverer "godtroenhet". En Type I feil kan resultere i en tilstand verre enn den nåværende tilstanden. Type II-feil er feil som involverer "blindhet" En Type II feil kan forårsake at man mister muligheten til å forbedre nåværende tilstand.
Kontroll av feil-risiko I statistikk blir sannsynligheten for å gjøre en Type I feil kalt alfa (eller signifikansnivå, p- verdi). Sannsynligheten for å gjøre Type II feil kalles beta. Den statistiske styrken til en test, definert som 1-β, refererer til sannsynligheten for vellykket avvisning av en nullhypotese når den er usann og bør avvises.
Kontroll av feilrisiko Alfa og beta er ikke uavhengige verdier. Det å redusere alfa reduserer sjansen for Type I feil, men øker sjansen for Type II feil. I eksperimentell forskning, er det generelt antatt at Type I feil er verre enn Type II feil. En meget lav p-verdi (0,05) er allment brukt som en verdi som kontrollerer forekomsten av Type I feil.
Begrensninger av eksperimentell forskning Eksperimentell forskning krever veldefinerte, testbare hypoteser som består av et begrenset antall avhengige og uavhengige variabler. Eksperimentell forskning krever streng kontroll av faktorer som kan påvirke de avhengige variablene. Lab-baserte eksperimenter kan er ofte ikke en god representasjon av brukernes typiske interaksjonsatferd.
Slutten av kapittelet Oppsummering Diskusjon Øvelse
Individuell oppgave En e-handel har bestilt 3 nye, forskjellige webløsninger. De har bestemt seg å teste de med 30 deltagere og implementere den beste. 1) Hvordan ville du velge de deltagerene? 2) Formuler noen null og alternative hypoteser og gi eksempel på noen fornuftige avhengige og uavhengige variabler. 3) Hvordan ville du tildele oppgavene for deltakerne slik at du ungår feil (læringseffekt og andre) 4) Kan du få noen feil av Type I aller II? Gi eksempel eller forklaring på hvorfor kan du ikke gjøre det.