Eksperimentelle design Frode Svartdal UiTø April 2015 Frode Svartdal
Eksperimentelle design Design = plan for en undersøkelse, her eksperiment Eksperimenter har som hensikt å dokumentere at variabler har kausal effekt på andre variabler The experiment is a matter of logic, not of location.
Eksperimentet Kjennetegn: Manipulasjon av uavhengige variabler Måling av effekt av denne manipulasjonen på avhengige variabler Kontroll for at andre forhold ikke påvirker den avhengige variabel Confounding variabler Annet
Eksperimentet: Sentrale begreper Manipulasjon av UV, måling av AV Kontroll, randomisering Indre validitet, confounding Signifikans, effektstørrelse Type I og Type II feil i statistiske slutninger Power
Eksperimentet: Design Mellomgruppe-design: Ulike grupper av eltakere inngår i hver betingelse Flere varianter! Innen-gruppe: Samme gruppe eksponeres for ulike betingelser i eksperimentet Mixed design: Mellomgruppe + innengruppe Kvasi-eskperimentelt design: Ligner på eksperiment (manipulasjon), men NOE mangler N=1: En deltaker undersøkes om gangen
Eksperimentelle design Samme problemstilling kan undersøkes på ulike måter (ulike design) Design som velges avhenger av mange faktorer (praktisk, teoretisk, ) Hovedhensikt: Trekke slutning om kausal variabel på en mest mulig sikker måte (dvs. ingen confounding variabler truer vår konklusjon)
Indre validitet og confounding Kan vi påvise kausalitet, dvs. at en variabel påvirker en annen? Et eksperiment er indre valid når slik kausalitet påvises Eksperimenter kontrollerer for mulig effekt av tredje-variabler, og kan derfor ivareta kravet om indre validitet Confounding foreligger når man er i tvil om eksperimentet faktisk kontrollerer for en gitt tredjevariabel
Eksperimentelle design MANIPULASJON OG KONTROLL Arrangere ulike nivåer av uavhengig variabel Gjøre dette i en kontekst hvor andre forhold ikke varierer systematisk
Variasjon i data Prinsipielt sett tre kilder: 1. Tilfeldig variasjon variasjon som ikke kan tilskrives noen manipulert faktor Eks.: Variasjon mellom individer gir forskjeller i prestasjon 2. Systematisk variasjon som kan tilskrives en manipulert faktor Eks.: Variasjon i prestasjon som følge av høy vs. lav motivasjon 3. Systematisk variasjon som kan tilskrives confounding (forstyrrende) variabler Eks.: Variasjon i prestasjon som følge av testing om morgen vs. ettermiddag (men tidspunkt er ikke med i designet)
Design med uavhengige grupper
Uavhengige grupper Deltakere fordeles tilfeldig til to eller flere grupper (randomisering) Manipulasjonen(e) innføres på gruppenivå Effekt måles ved å sammenligne grupper
Uavhengige grupper Når foretrekkes design med uavhengige grupper? Ofte! Når vi har lett tilgang på deltakere Når vi antar at deltakerne ikke er veldig forskjellige på relevante variabler Kan løses ved matching Når det er en fordel eller et krav at forsøkspersonen er naiv for betingelsene i eksperimentet
Randomisering Populasjon utvalg Ikke alltid tilfredsstilt i eksperimentell forskning: Vi bruker folk som er lett tilgjengelige (eks. studenter) Kreves i undersøkelser der utvalget skal være representativt for populasjonen Randomisert fordeling betingelser Ufravikelig krav i eksperimenter. Forskjeller mellom deltakere blir ikke borte, men de utvannes på gruppenivå
Matching Mål: Aggresjon Vi vet at det er stor variasjon i aggresjon mellom folk Vi rangerer deltakere i kategorier (lav, middels, høy) jfr. presjekk To med høy i et par Tilfeldig fordeling til betingelsene Sikrer rimelig like grupper på relevant variabel, men samtidig randomisering
Kjennetegn ved gruppedesign Uavhengige grupper Mellomgruppe-design Unike personer i hver betingelse Enkel randomisering vanligst Matchet randomisering hvis det er store forskjeller mellom deltakerne
Post-test design R E K Manipulasjon X Test Enkelt, rimelig, godt!
Post-test design Problemstilling: Kan subliminale stimuli påvirke humøret vårt? Manipulasjon: Stimuli som ikke registreres bevisst (presentert < 50 ms) Manipulasjon Test E kreft, kakerlakk, K tre, skrivebord, Humør negativt Humør nøytralt Jfr. Chartrand & Bargh (2000); S & P, s. 185
Data-analyse Deltakere (24) Betingelser (negativ og nøytral) Humør
VURD Data-analyse t (22) = -2,92, p = 0,008 36 34 32 30 Box & Whisker Plot: VURD Snitt nøytr: 27,7 Snitt neg: 16,9 28 26 24 22 20 18 16 14 12 NEG MANIP NOYT Mean Mean±SE Mean±1,96*SE
Data-analyse t-test Variasjon som tilskrives betingelsene i eksperimentet systematisk variasjon i data usystematisk variasjon i data Variasjon som ikke tilskrives betingelsene i eksperimentet
Pre-test post-test R E K Pretest Manipulasjon X Test + Sjekk av gruppene før manipulasjon + Info om grunner til mortalitet - Pretest kan gi info om hypotese, manipulasjon
Pre-test post-test Problemstilling: Virker hypnose av røykere på røykekutt? Manipulasjon: Posthypnotisk suggesjon: Du klarer å slutte å røyke vs. nøytral Pretest Manipulasjon Test E Sjekk Du klarer å slutte å røyke Røyking? K Sjekk Du er en god sjåfør Røyking? Mål på variabler av betydning for røykekutt. Hvilke?
Aktivering Faktorielle design To eller flere variabler (faktorer) manipuleres i samme design Oppgavetype Enkel Vanskelig Høy Gr. 1 Gr. 2 Lav Gr. 3 Gr. 4 Merk: Uavgengige grupper i hver betingelse Hver gruppe får en unik kombinasjon av faktorene Deltakerne fordeles tilfeldig til betingelsene
Faktorielle design Unike individer i hver betingelse: Randomisering Hver gruppe får en unik kombinasjon av de to faktorene Gruppe 1: Høy aktivering + enkel oppgave Gruppe 2: Høy aktivering + vanskelig oppgave Gruppe 3: Lav aktivering + enkel oppgave Gruppe 4: Høy aktivering + vanskelig oppgave
Faktorielle design Hovedeffekter Hva betyr hver av de to faktorene hver for seg? Aktivering? Oppgavetype? Interaksjonseffekt Hvordan samspiller de? Effekten av en variabel påvirkes av nivåer på en annen variabel Virker aktivering forskjellig, avhengig av om oppgaven er vanskelig eller lett?
Faktorielle design Hovedeffekt av aktivering 30 25 20 (30+16)/2 =23 15 10 5 Lett Vanskelig (14+22)/2 =18 0 Høy akt. Lav akt.
Faktorielle design Hovedeffekt av oppgavetype 30 (30+14)/2 = 22 25 20 15 10 Lett Vanskelig 5 0 Høy akt. Lav akt. (16+22)/2 = 19
Faktorielle design Effekt av aktivering avhenger av oppgave: Interaksjonseffekt aktivering og oppgavetype 30 25 20 15 10 Lett Vanskelig 5 0 Høy akt. Lav akt.
Faktorielle design To eller flere uavhengige variabler Aktivering, oppgavetype, kjønn, alder, Enkleste form: 2 X 2 design (Aktivering x oppgavetype) Komplekse former: Flere faktorer, flere nivåer på hver faktor Egentlig det samme som å kjøre separate eksperimenter med en uavhengig variabel i hvert, bortsett fra Fordel?
Faktorielle design Antall faktorer (variabler) = mulige hovedeffekter Kjønn mulig hovedeffekt Motivasjon mulig hovedeffekt Hver faktor kan inngå i interaksjon med de andre faktorene Kjønn * motivasjon
Faktorielle design Faktorer: Kjønn (SEX); motivasjon (MOT) Avhengig mål: Prestasjon (PREST) Datafilen er organisert slik; det er 12 deltakere i dette eksemplet
Statistisk analyse Prediktorvariabler Avhengig variabel
Statistisk analyse F = Signal: Variasjon Mellom gruppene Støy: Variasjon mellom individene
PREST Faktorielle design Ingen hovedeffekt av kjønn 36 Current effect: F(1, 8)=,49370, p=,50221 34 32 30 28 26 24 22 20 18 K SEX M
PREST Faktorielle design Signifikant effekt av motivasjon 50 Current effect: F(1, 8)=31,597, p=,00050 45 40 35 30 25 20 15 10 5 L MOT H
PREST Faktorielle design Ikke signifikant interaksjon SEX * MOT 50 SEX*MOT Current effect: F(1, 8)=1,2191, p=,30163 45 40 35 30 25 20 15 10 5 0 K NB!!! Lav power!!!!!!!!!! SEX M MOT L MOT H
Within-subjects (innen-gruppe) E Pretest Manip. Test Test Test
Within-subjects (innen-gruppe) Effekt av manipulasjon: Skoleklasse sosial ferdighetstrening sjekk etter 1, 2, 3, mnd. 60 50 Nivå etter 40 Nivå før 30 20 10 0 Pretest MANIP test2 test3 test4 test5
Repeterte målinger Innen-gruppe-design ( within groups ) Samme deltakere i alle betingelsene Fordeler: Trenger færre forsøkspersoner Mindre variasjon som skyldes variasjon mellom personer, dvs. lettere å oppdage eksperimentell effekt Ulemper Order-effects: Rekkkefølgen på betingelsene kan ha betydning Løsning: Motbalansering Carry-over-effekter: Effekt av en betingelse kan påvirke neste betingelse Løsning: Øke tid mellom betingelsene
Motbalansering Problemstilling: Har mørketiden en negativ effekt på kognisjon? Mål: Ulike kognitive oppgaver Testtidspunkt: Sommer og vinter 100 deltakere Testing Problem: Har rekkefølge på testtidspunktene en effekt? Løsning: Gruppe 1 (50): Sommer vinter Gruppe 2 (50): Vinter sommer Data Sommer = data fra 1. gangs testing i Gruppe 1 og 2. gangs testing i Gruppe 2 Vinter = data fra 2. gangs testing i Gruppe 1 og 1. gangs testing i Gruppe 2
Mixed design Dvs: Både manipulasjon mellom grupper og innen hver gruppe E Pretest Manip. Test Test Test K Pretest Test Test Test
Mixed design Tolman & Honzik, 1930: Rotter (tre grupper), læring i labyrint, 17 dager, en test per dag E 1 Test B Test B Test B Test B Test B Test B 17 E 2 Test Test Test Test B 11 Test B Test B Test B 17 K Test Test Test... Test 17
Tolman & Honzik, 1930 Bel. fra dag 11 Kontroll Bel. hele tiden
Kvasi-eksperimentelle design Ikke randomisering Skoleklasse A vs. skoleklasse B Prøveordning i Tromsø vs. Harstad Ikke kontrollgruppe Dvs. randomisering mangler Comparison group
Kvasi-eksperimentelle design Problemstilling: Virker tiltak X fartsdempende på en bestemt veistrekning? Tiltak (manipulasjon): Nytt skilt 50 45 40 35 30 25 20 15 10 5 0 Fart Tiltak
Kvasi-eksperimentelle design Hva kan vi gjøre for å sannsynliggjøre at det er TILTAK som gir observert effekt? Tidspunkt for tiltak Sammenligning med tilsvarende situasjoner
Kvasi-eksperimentelle design Viktige sjekkpunkter: 1. Endring i gjennomsnitt Snitt før vs. snitt etter tiltak: 55 vs. 42 2. Endring i nivå Nivå dagen før tiltak vs. nivå dagen etter osv. 3. Endring i tendens Synkende, stigende, 4. Latenstid for endring Hvor kjapt ses en evt. endring etter tiltaket?
Design med enkeltindivider
N=1-design A B A B A = observasjonsfase, B = tiltaksfase Multiple baseline To uavhengige atferdsformer behandles på ulike tidspunkter Changing criterion Krav til målatferd skjerpes gradvis Individet er sin egen kontroll
ABA Barnehage; Anne (4) leker for lite med andre barn A (observasjonsfase) Anne leker mye alene voksne kommer til (forsterker denne atferden) Anne leker lite med de andre barna B (tiltaksfase) Anne leker alene ignoreres Anne leker med andre barn forsterkes A (ny observasjonsfase) Anne leker mindre alene, mer med de andre barna
N=1 Kontroll for effekt? Tid; personene egen atferd under ulike betingelser Eksperiment Ja! Fordi vi har manipulasjon + kontroll
Multiple baseline Målatferd Verbal aggresjon Fysisk aggresjon Begge observeres Målatferd 1 utsettes for tiltak Målatferd 2 utsettes for tiltak Differensiell effekt = dokumentasjon av eksperimentell kontroll
Multiple baseline 25 20 15 10 Verbal Fysisk 5 0 t1 t2 t3 t4 t5 t6 Tiltak verbal Tiltak fysisk
Changing criterion 15 10 5 20 18 16 14 12 10 8 6 4 2 0 t1 t2 t3 t4 t5 t6 t7 t8 t9 t1 Kaffekopper
Problemer med tolkning Historie: Mye skjer mellom de to testtidspunktene i tilllegg til manipulasjonen Modning: Folk endres over tid Testing: Testing ved T1 endrer testsituasjonen ved T2 Instrumentering: Målemetoden(e) kan endres Statistisk regresjon Mortalitet: Frafall fra undersøkelsen Utvanning mellom betingelsene