Eksperimentelle design

Transkript

1 Eksperimentelle design Frode Svartdal UiTø April 2015 Frode Svartdal

2 Eksperimentelle design Design = plan for en undersøkelse, her eksperiment Eksperimenter har som hensikt å dokumentere at variabler har kausal effekt på andre variabler The experiment is a matter of logic, not of location.

3 Eksperimentet Kjennetegn: Manipulasjon av uavhengige variabler Måling av effekt av denne manipulasjonen på avhengige variabler Kontroll for at andre forhold ikke påvirker den avhengige variabel Confounding variabler Annet

4 Eksperimentet: Sentrale begreper Manipulasjon av UV, måling av AV Kontroll, randomisering Indre validitet, confounding Signifikans, effektstørrelse Type I og Type II feil i statistiske slutninger Power

5 Eksperimentet: Design Mellomgruppe-design: Ulike grupper av eltakere inngår i hver betingelse Flere varianter! Innen-gruppe: Samme gruppe eksponeres for ulike betingelser i eksperimentet Mixed design: Mellomgruppe + innengruppe Kvasi-eskperimentelt design: Ligner på eksperiment (manipulasjon), men NOE mangler N=1: En deltaker undersøkes om gangen

6 Eksperimentelle design Samme problemstilling kan undersøkes på ulike måter (ulike design) Design som velges avhenger av mange faktorer (praktisk, teoretisk, ) Hovedhensikt: Trekke slutning om kausal variabel på en mest mulig sikker måte (dvs. ingen confounding variabler truer vår konklusjon)

7 Indre validitet og confounding Kan vi påvise kausalitet, dvs. at en variabel påvirker en annen? Et eksperiment er indre valid når slik kausalitet påvises Eksperimenter kontrollerer for mulig effekt av tredje-variabler, og kan derfor ivareta kravet om indre validitet Confounding foreligger når man er i tvil om eksperimentet faktisk kontrollerer for en gitt tredjevariabel

8 Eksperimentelle design MANIPULASJON OG KONTROLL Arrangere ulike nivåer av uavhengig variabel Gjøre dette i en kontekst hvor andre forhold ikke varierer systematisk

9 Variasjon i data Prinsipielt sett tre kilder: 1. Tilfeldig variasjon variasjon som ikke kan tilskrives noen manipulert faktor Eks.: Variasjon mellom individer gir forskjeller i prestasjon 2. Systematisk variasjon som kan tilskrives en manipulert faktor Eks.: Variasjon i prestasjon som følge av høy vs. lav motivasjon 3. Systematisk variasjon som kan tilskrives confounding (forstyrrende) variabler Eks.: Variasjon i prestasjon som følge av testing om morgen vs. ettermiddag (men tidspunkt er ikke med i designet)

10 Design med uavhengige grupper

11 Uavhengige grupper Deltakere fordeles tilfeldig til to eller flere grupper (randomisering) Manipulasjonen(e) innføres på gruppenivå Effekt måles ved å sammenligne grupper

12 Uavhengige grupper Når foretrekkes design med uavhengige grupper? Ofte! Når vi har lett tilgang på deltakere Når vi antar at deltakerne ikke er veldig forskjellige på relevante variabler Kan løses ved matching Når det er en fordel eller et krav at forsøkspersonen er naiv for betingelsene i eksperimentet

13 Randomisering Populasjon utvalg Ikke alltid tilfredsstilt i eksperimentell forskning: Vi bruker folk som er lett tilgjengelige (eks. studenter) Kreves i undersøkelser der utvalget skal være representativt for populasjonen Randomisert fordeling betingelser Ufravikelig krav i eksperimenter. Forskjeller mellom deltakere blir ikke borte, men de utvannes på gruppenivå

14 Matching Mål: Aggresjon Vi vet at det er stor variasjon i aggresjon mellom folk Vi rangerer deltakere i kategorier (lav, middels, høy) jfr. presjekk To med høy i et par Tilfeldig fordeling til betingelsene Sikrer rimelig like grupper på relevant variabel, men samtidig randomisering

15 Kjennetegn ved gruppedesign Uavhengige grupper Mellomgruppe-design Unike personer i hver betingelse Enkel randomisering vanligst Matchet randomisering hvis det er store forskjeller mellom deltakerne

16 Post-test design R E K Manipulasjon X Test Enkelt, rimelig, godt!

17 Post-test design Problemstilling: Kan subliminale stimuli påvirke humøret vårt? Manipulasjon: Stimuli som ikke registreres bevisst (presentert < 50 ms) Manipulasjon Test E kreft, kakerlakk, K tre, skrivebord, Humør negativt Humør nøytralt Jfr. Chartrand & Bargh (2000); S & P, s. 185

18 Data-analyse Deltakere (24) Betingelser (negativ og nøytral) Humør

19 VURD Data-analyse t (22) = -2,92, p = 0, Box & Whisker Plot: VURD Snitt nøytr: 27,7 Snitt neg: 16, NEG MANIP NOYT Mean Mean±SE Mean±1,96*SE

20 Data-analyse t-test Variasjon som tilskrives betingelsene i eksperimentet systematisk variasjon i data usystematisk variasjon i data Variasjon som ikke tilskrives betingelsene i eksperimentet

21 Pre-test post-test R E K Pretest Manipulasjon X Test + Sjekk av gruppene før manipulasjon + Info om grunner til mortalitet - Pretest kan gi info om hypotese, manipulasjon

22 Pre-test post-test Problemstilling: Virker hypnose av røykere på røykekutt? Manipulasjon: Posthypnotisk suggesjon: Du klarer å slutte å røyke vs. nøytral Pretest Manipulasjon Test E Sjekk Du klarer å slutte å røyke Røyking? K Sjekk Du er en god sjåfør Røyking? Mål på variabler av betydning for røykekutt. Hvilke?

23 Aktivering Faktorielle design To eller flere variabler (faktorer) manipuleres i samme design Oppgavetype Enkel Vanskelig Høy Gr. 1 Gr. 2 Lav Gr. 3 Gr. 4 Merk: Uavgengige grupper i hver betingelse Hver gruppe får en unik kombinasjon av faktorene Deltakerne fordeles tilfeldig til betingelsene

24 Faktorielle design Unike individer i hver betingelse: Randomisering Hver gruppe får en unik kombinasjon av de to faktorene Gruppe 1: Høy aktivering + enkel oppgave Gruppe 2: Høy aktivering + vanskelig oppgave Gruppe 3: Lav aktivering + enkel oppgave Gruppe 4: Høy aktivering + vanskelig oppgave

25 Faktorielle design Hovedeffekter Hva betyr hver av de to faktorene hver for seg? Aktivering? Oppgavetype? Interaksjonseffekt Hvordan samspiller de? Effekten av en variabel påvirkes av nivåer på en annen variabel Virker aktivering forskjellig, avhengig av om oppgaven er vanskelig eller lett?

26 Faktorielle design Hovedeffekt av aktivering (30+16)/2 = Lett Vanskelig (14+22)/2 =18 0 Høy akt. Lav akt.

27 Faktorielle design Hovedeffekt av oppgavetype 30 (30+14)/2 = Lett Vanskelig 5 0 Høy akt. Lav akt. (16+22)/2 = 19

28 Faktorielle design Effekt av aktivering avhenger av oppgave: Interaksjonseffekt aktivering og oppgavetype Lett Vanskelig 5 0 Høy akt. Lav akt.

29 Faktorielle design To eller flere uavhengige variabler Aktivering, oppgavetype, kjønn, alder, Enkleste form: 2 X 2 design (Aktivering x oppgavetype) Komplekse former: Flere faktorer, flere nivåer på hver faktor Egentlig det samme som å kjøre separate eksperimenter med en uavhengig variabel i hvert, bortsett fra Fordel?

30 Faktorielle design Antall faktorer (variabler) = mulige hovedeffekter Kjønn mulig hovedeffekt Motivasjon mulig hovedeffekt Hver faktor kan inngå i interaksjon med de andre faktorene Kjønn * motivasjon

31 Faktorielle design Faktorer: Kjønn (SEX); motivasjon (MOT) Avhengig mål: Prestasjon (PREST) Datafilen er organisert slik; det er 12 deltakere i dette eksemplet

32 Statistisk analyse Prediktorvariabler Avhengig variabel

33 Statistisk analyse F = Signal: Variasjon Mellom gruppene Støy: Variasjon mellom individene

34 PREST Faktorielle design Ingen hovedeffekt av kjønn 36 Current effect: F(1, 8)=,49370, p=, K SEX M

35 PREST Faktorielle design Signifikant effekt av motivasjon 50 Current effect: F(1, 8)=31,597, p=, L MOT H

36 PREST Faktorielle design Ikke signifikant interaksjon SEX * MOT 50 SEX*MOT Current effect: F(1, 8)=1,2191, p=, K NB!!! Lav power!!!!!!!!!! SEX M MOT L MOT H

37 Within-subjects (innen-gruppe) E Pretest Manip. Test Test Test

38 Within-subjects (innen-gruppe) Effekt av manipulasjon: Skoleklasse sosial ferdighetstrening sjekk etter 1, 2, 3, mnd Nivå etter 40 Nivå før Pretest MANIP test2 test3 test4 test5

39 Repeterte målinger Innen-gruppe-design ( within groups ) Samme deltakere i alle betingelsene Fordeler: Trenger færre forsøkspersoner Mindre variasjon som skyldes variasjon mellom personer, dvs. lettere å oppdage eksperimentell effekt Ulemper Order-effects: Rekkkefølgen på betingelsene kan ha betydning Løsning: Motbalansering Carry-over-effekter: Effekt av en betingelse kan påvirke neste betingelse Løsning: Øke tid mellom betingelsene

40 Motbalansering Problemstilling: Har mørketiden en negativ effekt på kognisjon? Mål: Ulike kognitive oppgaver Testtidspunkt: Sommer og vinter 100 deltakere Testing Problem: Har rekkefølge på testtidspunktene en effekt? Løsning: Gruppe 1 (50): Sommer vinter Gruppe 2 (50): Vinter sommer Data Sommer = data fra 1. gangs testing i Gruppe 1 og 2. gangs testing i Gruppe 2 Vinter = data fra 2. gangs testing i Gruppe 1 og 1. gangs testing i Gruppe 2

41 Mixed design Dvs: Både manipulasjon mellom grupper og innen hver gruppe E Pretest Manip. Test Test Test K Pretest Test Test Test

42 Mixed design Tolman & Honzik, 1930: Rotter (tre grupper), læring i labyrint, 17 dager, en test per dag E 1 Test B Test B Test B Test B Test B Test B 17 E 2 Test Test Test Test B 11 Test B Test B Test B 17 K Test Test Test... Test 17

43 Tolman & Honzik, 1930 Bel. fra dag 11 Kontroll Bel. hele tiden

44 Kvasi-eksperimentelle design Ikke randomisering Skoleklasse A vs. skoleklasse B Prøveordning i Tromsø vs. Harstad Ikke kontrollgruppe Dvs. randomisering mangler Comparison group

45 Kvasi-eksperimentelle design Problemstilling: Virker tiltak X fartsdempende på en bestemt veistrekning? Tiltak (manipulasjon): Nytt skilt Fart Tiltak

46 Kvasi-eksperimentelle design Hva kan vi gjøre for å sannsynliggjøre at det er TILTAK som gir observert effekt? Tidspunkt for tiltak Sammenligning med tilsvarende situasjoner

47 Kvasi-eksperimentelle design Viktige sjekkpunkter: 1. Endring i gjennomsnitt Snitt før vs. snitt etter tiltak: 55 vs Endring i nivå Nivå dagen før tiltak vs. nivå dagen etter osv. 3. Endring i tendens Synkende, stigende, 4. Latenstid for endring Hvor kjapt ses en evt. endring etter tiltaket?

48 Design med enkeltindivider

49 N=1-design A B A B A = observasjonsfase, B = tiltaksfase Multiple baseline To uavhengige atferdsformer behandles på ulike tidspunkter Changing criterion Krav til målatferd skjerpes gradvis Individet er sin egen kontroll

50 ABA Barnehage; Anne (4) leker for lite med andre barn A (observasjonsfase) Anne leker mye alene voksne kommer til (forsterker denne atferden) Anne leker lite med de andre barna B (tiltaksfase) Anne leker alene ignoreres Anne leker med andre barn forsterkes A (ny observasjonsfase) Anne leker mindre alene, mer med de andre barna

51 N=1 Kontroll for effekt? Tid; personene egen atferd under ulike betingelser Eksperiment Ja! Fordi vi har manipulasjon + kontroll

52 Multiple baseline Målatferd Verbal aggresjon Fysisk aggresjon Begge observeres Målatferd 1 utsettes for tiltak Målatferd 2 utsettes for tiltak Differensiell effekt = dokumentasjon av eksperimentell kontroll

53 Multiple baseline Verbal Fysisk 5 0 t1 t2 t3 t4 t5 t6 Tiltak verbal Tiltak fysisk

54 Changing criterion t1 t2 t3 t4 t5 t6 t7 t8 t9 t1 Kaffekopper

55 Problemer med tolkning Historie: Mye skjer mellom de to testtidspunktene i tilllegg til manipulasjonen Modning: Folk endres over tid Testing: Testing ved T1 endrer testsituasjonen ved T2 Instrumentering: Målemetoden(e) kan endres Statistisk regresjon Mortalitet: Frafall fra undersøkelsen Utvanning mellom betingelsene