Endring over tid. Endringsskårer eller Ancova? Data brukt i eksemplene finner dere som anova-4-1.sav, anova-4-2.sav og likelonn.sav.

Transkript

1 Endring over tid. Endringsskårer eller Ancova? Data brukt i eksemplene finner dere som anova-4-1.sav, anova-4-2.sav og likelonn.sav.

2 Analyse av endringsskårer (change scores).

3 Vi så forrige gang på analyser av design med en innen-person faktor (within, repeated) og en mellom-person faktor (between). Her er et nytt eksempel med veldig enkel data. Vi har 100 personer som er målt før og etter en intervensjon (treatment), men de ble delt i to grupper og bare den ene gruppen ble utsatt for intervensjonen: pre-post med kontrollgruppe. Resultatene ble slik: Og de kan fremstilles grafisk slik: Kontroll 1 Eksperiment pre post Som vi har snakket om tidligere ser vi at dersom vi hadde undersøkt effekten av intervensjonen ved et vanlig post-test only design, så ville vi overestimert effekten siden gruppene var forskjellige allerede ved pretesten. Det må vi kontrollere for og det kan vi her siden vi har data fra pre-testen.

4 Dette kan vi formulere på to måter. Vi kan studere forskjellen mellom gruppene post etter at vi har trukket fra forskjellen pre: ( ) ( ) =.71 Eller vi kan undersøke om endringen fra pre til post var forskjellig i de to gruppene (ofte en mer nyttig måte å formulere problemet på men resultatet blir det samme): ( ) ( ) =.71 Og den mest generelle måten å analysere dette på ville være å benytte repeated measures Anova :

5 Og resultatet fra denne analysen blir slik: I et slikt design kan vi alltid estimere hovedeffekter av Tid og Gruppe. Disse er imidlertid helt uinteressante her det eneste vi er interesserte i er om hovedeffekten av tid er forskjellig i de to gruppene og det er nettopp det Tid*Gruppe interaksjonen forteller oss. I det enkle tilfellet her med bare to repeterte målinger, kunne vi gjort dette på en enklere måte. Vi kunne fjernet hele hovedeffekten av tid ved å konstruere en endringsskåre (change score) for hver person, og analysert denne direkte. I SPSS gjør vi det slik: COMPUTE Endring = Post Pre. Bruk gjerne menyen Transform, Compute i SPSS:

6 Vi kan nå studere denne endringsvariabelen på samme måte som enhver annen avhengig variabel. Dere har på 3. semester brukt lineær regresjonsanalyse og har sett at dersom en forklaringsvariabel er dikotom, så kan den behandles som en kvantitativ variabel. Det er jo gruppevariabelen her så vi kunne brukt regresjonsmodellen: Endring i = α + β*gruppe + ε i og β ville da gi oss effekten av å øke Gruppe med 1.. Test gjerne dette med regresjonsprogrammet (husk å skru på Part and partial correlations under Statistics): Og vi får nøyaktig samme resultat som i forrige analyse. Vi kan til og med kvadrere den såkalte partielle korrelasjonen ( =.046) og finne partial eta squared. Og t 2 ( = 4.69) gir sannelig samme F-verdi som i forrige analyse. Dette er åpenbart samme analyse gjort på to forskjellig måter. Og vi kunne selvsagt også brukt programmet GLM, Univariate med Endring som avhengig variabel (skru på Estimates of effect size under Options) og fått akkurat samme resultater:

7 En slik analyse av endringsskårer har en rekke fordeler: Endringsskåren gir oss et enkelt tolkbart mål på individuell endring over tid. Analysen kan generaliseres til simultan analyse av endring over flere tidspunkter ved repeated measures Anova. Det er enkelt å konstruere modeller hvor man kontrollerer for flere kovariater i tillegg til intervensjonsvariabelen(e). Men debatten rundt det med endring over tid er komplisert og har vedvart gjennom år nå, og flere har argumentert mot bruk av slike skårer. Noen har til og med frarådet dette Denne debatten rekker vi på ingen måte nå og er ikke eksamensrelevant men noen av dere vil etter hvert kunne støte på reviewere og kanskje til og med veiledere og sensorer - som kjenner disse innvendingene. Så for de helt spesielt interesserte finnes det en god (synes jeg) oppsummering her: En oppsummering av debatten angående "change scores". Kritikerne av analyser av endringsskårer har selvsagt foreslått alternativer. Vi ser på det vanligste.

8 Kovariansanalyse (analysis of covariance - Ancova).

9 Vi så at vi ville hatt problemer med det enkle post-test only designet siden gruppene allerede var forskjellige på pre-testen. Det måtte vi korrigere for. Og i de forrige analysene formulerte vi spørsmålet slik: er det forskjeller mellom gruppene (eksperiment og kontroll) med hensyn til gjennomsnittlig endring fra pre til post? Vi kunne også formulert spørsmålet slik: ville det vært forskjeller mellom gruppene på post-testen dersom de hadde vært like på pre-testen og dersom det viser seg å være det, så kan det tilskrives intervensjonen. Dere kjenner sikkert fra 3. semester en nyttig tolkning av regresjonskoeffisientene i en multippel regresjonsanalyse: effekten av variabel x for personer med samme verdier på variablene z, t,osv. Vi holder altså andre forklaringsvariabler konstante i en slik analyse. Det skulle bety at vi her kunne analysere regresjonsmodellen: Post i = α + β 1 *Gruppe + β 2 *Pre i + ε i og det er det som er Ancova modellen Og analysen kan her gjøres med det vanlige regresjonsprogrammet i SPSS: Og dere ser at i dette eksemplet får vi nøyaktig samme resultat som vi fikk fra de andre analysene!

10 Og vi kunne selvsagt gjort akkurat samme analysen med GLM, Univariate. Det ville vært veldig arbeidsbesparende dersom vi hadde hatt mer enn to grupper!

11 I dette eksemplet ga altså analyse av endringsskårer og Ancova samme resultat. Slik vil det imidlertid ikke alltid være. Her hadde vi to grupper som tilfeldigvis var forskjellige på pre-testen. Det kan sammenlignes med at vi har brukt et eksperimentelt design med randomisert tilordning til grupper, men vi har vært litt uheldige med randomiseringen, slik at gruppene fortsatt var litt forskjellige på pre-testen. Om vi da kontrollerer for dette ved å bruke endringsskårer eller Ancova spiller liten rolle. Men hva skjer dersom vi har et design med to grupper som er systematisk forskjellige på pre-testen? Vi har samme type data som i forrige eksempel: 100 personer og et pre-post med kontroll gruppe design. Resultatene ble nå slik: pre post 0 Kontroll 1 Eksperiment Større forskjeller mellom gruppene generelt men ikke så ulike resultatene i forrige eksempel

12 Forsker 1 velger å analysere endringsskårene og starter med å konstruere en slik.

13 Deretter gjennomfører han en regresjonsanalyse med endring fra pre til post avhengig av Gruppe og dette vil i det enkle tilfellet her være ekvivalent med en repeated measures Anova: Og finner bare en svak (partial eta 2 = =.02) og ikke statistisk signifikant effekt av gruppe, og tvinges til å konkludere med at det ikke her er mulig å dokumentere at disse gruppene har endret seg forskjellig fra pre til post. Forsker 2 velger Ancova med postskårer avhengig av Gruppe når man har kontrollert for pre-test nivå: Og finner en sterkere (partial eta 2 = =.05) og statistisk signifikant effekt av gruppe, og konkluderer med at det her ser ut til at gruppene har endret seg forskjellig fra pre til post og kanskje også med at dette er i samsvar med at intervensjonen har hatt en effekt. Så hvem skal vi stole på: forsker 1 eller forsker 2?

14 Eller vi kan illustrere dette problemet ved reelle data hentet fra en datafil i Fronter som vi har brukt tidligere: likelonn.sav Problemstillingen er egentlig akkurat den samme. Vi har 474 personer hvor vi har data både for begynnerlønn (Salbeg) og nåværende lønn (Salnow). Alle vil ha hatt en økning i lønn, men det vi er interessert i her er om lønnsutviklingen har vært forskjellig for kvinner og menn (Sex). Vi starter med å konstruere en endringsskåre:

15 Forsker 1 analyserer dette ved hjelp av endringsskåren og gjør en regresjonsanalyse med endring avhengig av kjønn (Sex): Han finner en soleklar statistisk effekt av kjønn på endringen, og effekten er særdeles sterk. Partial eta 2 er =.14 og konkluderer med at det er betydelige forskjeller m.h.t. lønnsutvikling. Forsker 2 velger Ancova modellen og gjør en regresjonsanalyse med nåværende lønn (Salnow) avhengig av kjønn (Sex) når man kontrollerer for begynnerlønn (Salbeg): Han finner en marginalt statistisk effekt av kjønn på endringen (p<.05), men effekten er så svak at den sannsynligvis vil være helt uten praktisk interesse. Partial eta 2 er =.01 Så igjen: hvem skal vi stole på: forsker 1 eller forsker 2?

16 Hadde jeg nå hatt et enkelt svar på spørsmålet om hvem av disse forskerne man burde stole på i hvert tilfelle, så skulle jeg ikke holdt det for meg selv, det kan jeg garantere! Men det finnes nok ikke. Vi kunne diskutert det litt mer i detalj, men det ville kreve mer tid enn vi har til rådighet. De interesserte kan more seg med å google Lord s paradox, og se på de forslagene til løsning av det som har versert de siste årene. Det som er helt sikkert, er at dersom man skal sammenligne løsninger av et problem, så må man først formulere problemet likt. Og disse forskerne verken formulerer problemet likt, eller kontrollerer for initiale forskjeller på samme måte og da blir jo ofte løsninger forskjellige. Uten annen informasjon om prosessen som har generert data enn pre- og postskårer og gruppetilhørighet, så vil det ikke være mulig å si noe sikkert om hvem som trekker riktig konklusjon. En av dem kan ha rett eller dersom de har lagt ulike forutsetninger til grunn og dermed undersøkt ulike ting så kan det faktisk hende at begge har rett.. Husk bare foreløpig på at når vi er interesserte i forskjeller i endring over tid i ikke-eksperimentelle design hvor vi kan anta at grupper er systematisk forskjellige initialt så er ikke disse metodene ekvivalente!