Det hjalp ingenting! Den standardiserte regresjonskoeffisienten kan ikke tolkes som en korrelasjon når sex og produktet er med i modellen.

Transkript

1 Noen tips i forbindelse med differanser mellom korrelasjoner. Vi har tidligere sett at dersom vi er interesserte i om effekten av en variabel varierer over nivåene på en annen variabel (interaksjon), så er dette et ganske trivielt problem. Vi bare analyserer en modell som inneholder en slik interaksjonseffekt for eksempel med Linear Regression og inkluderer et produktledd eller enklest med GLM Univariate. Men i psykologisk forskning er vi ofte interesserte i forskjeller mellom korrelasjoner. Vi kan for eksempel ha validitetskoeffisienter fra to ulike populasjoner, og er interesserte i om disse er forskjellige. Eller vi har ingen formening om retningen på en sammenheng: vi er bare interesserte i om sammenhengen mellom Y og X er forskjellig for ulike nivåer av Z. Vi bruker «likelonn.sav» fra første uken, og er av en eller annen grunn interesserte i om korrelasjonen mellom Beginning Salary og Current Salary er forskjellig for menn og kvinner. Vi kunne formulere dette som et interaksjonsproblem: Avhenger effekten av salbeg på salnow av sex: salnow = a + b 1*salbeg + b 2*sex + b 3*(salbeg*sex)? Det ser ikke slik ut.. Men vi vet jo at den standardiserte regresjonskoeffisienten er det samme som korrelasjonskoeffisienten. Da kan vi vel studere det samme som over med standardiserte variabler og teste forskjeller mellom korrelasjoner på den måten: Det hjalp ingenting! Den standardiserte regresjonskoeffisienten kan ikke tolkes som en korrelasjon når sex og produktet er med i modellen. Men hadde vi hatt en hypotese om retning og vært interesserte i effekter, så hadde begge de over vært OK.

2 Vi har ingen direkte tester på differanser mellom korrelasjoner i SPSS, men vi kan jo bruke en «bootstrap» strategi. Bruk Data, split-file på sex og slå på Bootstrap. Da får man et ikke-parametrisk 95% konfidensintervall for hver av korrelasjonene: Siden de to konfidensintervallene overlapper, så kan man være fristet til å konkludere med at det ikke er noen statistisk signifikant forskjell mellom de to korrelasjonene. Det kan fort være en feil konklusjon! På nettet kan man finne tester for differanser mellom korrelasjoner: For eksempel her: Dette programmet har brukt Fisher transformasjonen og antatt at transformerte korrelasjoner er normalfordelte: med SE og

3 Hvorfor Fisher transformasjonen? Slik ser samplingfordelingen til korrelasjonen ut når vi trekker utvalg på n=30 fra en populasjon hvor r=.80: Og slik ser den ut når vi har Fisher transformert: Samplingfordelingen til korrelasjoner som avviker fra 0 blir ikke normalfordelte, og da blir heller ikke differanser mellom dem det. Men dersom vi transformerer, så blir de det og vi kan anta normalfordelte samplingfordelinger! Men den testen ga jo en helt annen konklusjon. Med en to-halet p-verdi på Kan det være noe galt med bootstrap tilnærmingen?

4 Jeg gjør samme bootstrap-analysen i R. Da får jeg en mulighet til å se nærmere på samplingfordelingen til differansen mellom de to korrelasjonene. Her ser denne slik ut: Og det ser ikke ut til at mange differanser er 0 eller lavere. Og dersom jeg konstruerer et ikke-parametrisk 95% konfidensintervall for differansen, så blir det slik: Det betyr at vi kan forkaste H0 om at differansen er null på.05 nivå. Men når jeg nå har bootstrap fordelingen til differansen mellom korrelasjonene, så kan jeg jo også se på bootstrap fordelingen til differansen mellom Fisher transformerte korrelasjoner. Denne kan vi anta er normalfordelt. Jeg teller opp og finner at.005 av differansene er 0 eller lavere. Det gir en tohalet p på.01. Litt høyere enn i testen fra nettet - men likevel klart lavere enn.05! Så dersom vi ser på bootstrap-fordelingen til differansen mellom de to korrelasjonene eller bruker den klassiske testen fra nettet, så kommer vi til en helt annen konklusjon enn dersom vi ser på «overlappen» mellom konfidensintervallene. Dersom dere har 95% konfidensintervaller fra to grupper, og disse IKKE overlapper, så er forskjellen signifikant på 5% nivå selv om den «reelle» p- verdien for forskjellen vil være et ukjent sted lavere. Men dersom konfidensintervallene overlapper, så kan fortsatt den «reelle» p-verdien være lavere enn.05 og man kan gjøre en type II feil. Og dette gjelder selvsagt ikke bare forskjeller mellom korrelasjoner!

5 Grunnen til det ser man dersom man ser på det enkleste tilfellet: to gjennomsnitt, to like store grupper samplet fra populasjoner med samme varians og vi antar normalfordelt samplingfordeling: Standardfeilen til et gjennomsnitt er: sqrt(δ 2 /n) og: 95%KI er M ± sqrt(δ 2 /n)*1.96 Standardfeilen til en differanse mellom to gjennomsnitt er: sqrt((δ 2 *2)/n) Hvor stor må en differanse være før vi slutter at den er statistisk signifikant? Ved å studere «overlapp» mellom konfidensintervaller må den være: Ved en standard test av differansen må den være: sqrt(δ 2 /n)*1.96*2 sqrt((δ 2 *2)/n)*1.96 Differansen må altså være ca. 40% større før vi slutter at den er «statistisk signifikant» dersom vi baserer slutningen på overlappende konfidensintervaller! Det gir oss en test med svært lav statistisk styrke. Mer om problemet med "overlappende konfidensintervaller" finnes her: Så dersom dere har problemstillinger angående forskjeller mellom korrelasjoner og ikke stoler på ideen med overlappende konfidensintervaller: - Se om problemet kan omformuleres til å angå forskjeller mellom effekter (interaksjon). Kanskje det egentlig er forskjeller mellom effekter som er interessant? Da finnes det enkle løsninger. - Bruk den klassiske testen for differansen mellom korrelasjoner. Slike finnes på nettet eller kan enkelt beregnes i for eksempel Excel. - Og dersom dere ikke stoler på at forutsetningene som ligger til grunn for den testen er tilstede, så har dere et «ikke-parametrisk» alternativ i boostrap-strategien, men se da på bootstrap-fordelingen til differansen ikke på overlapp mellom konfidensintervallene. Ingen av de to siste strategiene er dessverre umiddelbart tilgjengelige i SPSS

6 Men vi kan da ikke gi oss der? Jeg vet at minst en deltaker på kurset hadde en problemstilling hvor man var interessert i forskjeller mellom flere korrelasjoner. Jeg bruker et eksempel fra samme datafilen hvor jeg er interessert i korrelasjonene mellom Beginning salary (salbeg), Current salary (salnow), Job seniority (time) og Work experience (work). Dersom man har korrelasjoner mellom fire variabler fra to grupper kan man teste 6 differanser mellom korrelasjoner. Da vil ganske sikkert en eller annen reviewer synes det er lurt med korreksjon for «familywise error» problemet. Med en enkel Bonferroni korreksjon, så kan man bruke dersom man er interessert i å holde sannsynligheten for type I feil på 5%:.05/antall tester (her:.008) for hver test. Da vil det bare være testen basert på Fisher transformasjoner og parametriske antagelser om normalfordeling som fortsatt gir en signifikant forskjell mellom korrelasjonene. Men noen reviewere vil ikke være fornøyd med det heller. De vil kunne etterlyse en «overall-test» tilsvarende den i Anova. Vi kunne teste påstanden om at alle gruppe-vise forskjeller mellom korrelasjoner er 0. For korrelasjoner er man da inne i opprørt statistisk hav. Hvordan man optimalt kan konstruere en slik test har vært diskutert og diskuteres fortsatt. Googler dere litt i blogger og den slags, så finner dere fort rådet: bruk SEM. Tja men hvordan? Å undersøke forskjeller mellom varians-kovarians matriser med SEM er rimelig greit. Forskjeller mellom korrelasjoner er verre. SEM programmer kan ikke holde variabler standardiserte og dermed ikke estimere korrelasjoner korrekt. De vil i utgangspunktet estimere varianser og kovarianser. Det hjelper heller ikke å dytte inn standardiserte variabler eller korrelasjonsmatriser. Jeg har med rimelig hell benyttet en strategi foreslått av Preacher: Kristopher J. Preacher (2006): Testing Complex Correlational Hypotheses with Structural Equation Models. Structural Equation Modeling, 13(4),

7 For dette eksemplet ville man lage en slik modell i Amos: Man lager en latent variabel for hver observert. Variansen til disse settes til 1. De observerte variablene må ha feil-ledd men variansen til disse settes til 0. I Amos kan man gi korrelasjonene navn: jeg har brukt bokstavene a f. Nå gjør man en «multigruppe» analyse i Amos og tilpasser den samme modellen for menn og kvinner. Koeffisienter som gis samme navn i Amos vil tvinges til å være like under estimeringen. Dersom man nå kan forkaste en modell hvor alle korrelasjoner settes likt for kvinner og menn så har man forkastet «overall hypotesen», og må konkludere med at for minst en av korrelasjonene er det en forskjell mellom kvinner og menn. Siden noen ikke har adgang til Amos, noen foretrekker å skrive programkode fremfor å tegne, noen synes at skal man gjøre noe så skal det gjøres i R, osv. så har jeg for moro skyld i tillegg til Amos lagt ved syntax til hvordan man kan gjøre en slik analyse i MPLUS men siden dette også er et kostbart program, la jeg også ved syntax for to gratisalternativer i R (lavaan og OpenMx). Den siste trengte jeg hjelp til siden jeg ikke kan det programmet i det hele tatt. Som dere ser vil alle programmene gi identiske resultater med en liten forskjell for Amos hvor chikvadratverdien er ørlite lavere ( versus for de andre). Forklaringen på det finnes i dokumentasjonen for Lavaan: In addition, the chi-square statistic is computed by multiplying the minimum function value with a factor $n$ (instead of $n-1$). This is similar to the Mplus program. If you prefer to use an unbiased covariance, and $n-1$ as the multiplier to compute the chi-square statistic, you need to specify the likelihood = "wishart" argument when calling the fitting functions. The value of the test statistic will be closer to the value reported by programs like EQS, LISREL or AMOS, since they all use the 'Wishart' approach when using the maximum likelihood estimator. Vi får håpe det valget ikke vil ha avgjørende betydning for psykologisk forskning. Konklusjonen blir imidlertid fra alle at en påstand om at alle forskjeller i korrelasjoner mellom kvinner og menn er 0 ikke kan forkastes p >.05. Og da vil kanskje en reviewer antyde at den ene statistisk signifikante differansen vi startet med muligens kan være en type I feil?

8 Man kan selvsagt bruke denne strategien også for en enkelt korrelasjon: Chi-square = Degrees of freedom = 1 Probability level =.001 Og vi kommer til samme konklusjon som vi har vært innom tidligere for akkurat denne korrelasjonen ser det ut til å være en forskjell mellom kvinner og menn. Vær oppmerksomme på at disse testene også krever antagelser om multivariate normalfordelinger i populasjonen og fungerer best i utvalg av en rimelig størrelse. Men da har dere i vertfall en mulig strategi når flere enn en korrelasjon skal sammenlignes over en eller flere grupper.

9 AMOS: R (lavaan): library(lavaan) #les SPSS library(haven) likelonn <- read_sav("m:/data/r/data/exdata/likelonn.sav") View(likelonn) attach(likelonn) modellen <- ' f1 =~ NA*salbeg f2 =~ NA*salnow f3 =~ NA*time f4 =~ NA*work f1 ~~ 1*f1 f2 ~~ 1*f2 f3 ~~ 1*f3 f4 ~~ 1*f4 salbeg ~~ 0*salbeg salnow ~~ 0*salnow time ~~ 0*time work ~~ 0*work f1 ~~ c(a,a)*f2 f1 ~~ c(b,b)*f3 f1 ~~ c(c,c)*f4 f2 ~~ c(d,d)*f3 f2 ~~ c(e,e)*f4 f3 ~~ c(f,f)*f4 ' fit <- cfa(modellen, data = likelonn, group = "sex") summary(fit)

10 MPLUS: TITLE: Differanser mellom korrelasjonsmatriser DATA: FILE IS M:\data\kurs\drpsy\sem\diff_corr\likelonn-2.csv; VARIABLE: NAMES ARE id,salbeg,sex,time,age,salnow, edlevel,work,jobcat,minority; grouping is sex(0=male,1=female); USEVARIABLES ARE salbeg,time,salnow,work; MODEL: f1 BY salbeg; f2 BY time; f3 BY salnow; f4 BY work; f1 with f2; f1 with f3; f1 with f4; f2 with f3; f2 with f4; f3 with f4; MODEL male: f1 BY salbeg; f2 BY time; f3 BY salnow; f4 BY work; f1 with f2(1); f1 with f3(2); f1 with f4(3); f2 with f3(4); f2 with f4(5); f3 with f4(6); MODEL female: f1 BY salbeg; f2 BY time; f3 BY salnow; f4 BY work; f1 with f2(1); f1 with f3(2); f1 with f4(3); f2 with f3(4); f2 with f4(5); f3 with f4(6); ANALYSIS: ESTIMATOR=ML;

11 OpenMx (takk til Espen Moen Eilertsen for denne metoden): rm(list = ls()) library(haven) library(openmx) dat = read_sav("m:/data/kurs/drpsy/sem/diff_corr/likelonn.sav") yvrs = c("salbeg", "salnow", "time", "work") # Different correlations DatMale = subset(dat, sex == 0)[, yvrs] ModMale = mxmodel("modmale", mxmatrix("stand", 4, 4, T, 0, paste0("rmale", 1:6), name = "Rmale"), mxmatrix("diag", 4, 4, T, 0, name = "Lmale"), mxalgebra(lmale%*%rmale%*%t(lmale), name = "Smale"), mxmatrix("full", 1, 4, T, 0, name = "Mmale"), mxexpectationnormal("smale", "Mmale", yvrs), mxfitfunctionml(), mxdata(datmale, "raw")) DatFemale = subset(dat, sex == 1)[, yvrs] ModFemale = mxmodel("modfemale", mxmatrix("stand", 4, 4, T, 0, paste0("rfemale", 1:6), name ="Rfemale"), mxmatrix("diag", 4, 4, T, 0, name = "Lfemale"), mxalgebra(lfemale%*%rfemale%*%t(lfemale), name = "Sfemale"), mxmatrix("full", 1, 4, T, 0, name = "Mfemale"), mxexpectationnormal("sfemale", "Mfemale", yvrs), mxfitfunctionml(), mxdata(datfemale, "raw")) ModDiff = mxmodel("moddiff", ModMale, ModFemale, mxfitfunctionmultigroup(c("modmale", "ModFemale"))) FitDiff = mxrun(moddiff) summary(fitdiff) # Equal correlations ModEqual = omxsetparameters(moddiff, labels = paste0("rmale", 1:6), newlabels = paste0("rfemale", 1:6), name = "ModEqual") FitEqual = mxrun(modequal) summary(fitequal) # Compare mxcompare(fitdiff, FitEqual) Og som dere ser, så betaler man en pris for å bruke et program hvor man skal kunne gjøre omtrent hva som helst..

12 Resultater (korrelasjoner bare for gruppen male siden disse i denne modellen vil være identiske for female). AMOS: Chi-square = Degrees of freedom = 6 Probability level =.091 Covariances: (Group number 1 - Default model) Estimate S.E. C.R. P Label BS <--> CS *** a BS <--> JS b BS <--> WE c CS <--> JS d CS <--> WE *** e JS <--> WE f MPLUS: Chi-Square Test of Model Fit Value Degrees of Freedom 6 P-Value Group MALE MODEL RESULTS F1 F2 F3 Two-Tailed Estimate S.E. Est./S.E. P-Value WITH F F F WITH F F WITH F R (lavaan): Estimator ML Minimum Function Test Statistic Degrees of freedom 6 P-value (Chi-square) Covariances: Estimate Std.Err z-value P(> z ) f1 ~~ f2 (a) f3 (b) f4 (c) f2 ~~ f3 (d) f4 (e) f3 ~~ f4 (f)

13 OpenMx: Estimate Std.Error base comparison ep minus2ll df AIC diffll diffdf 1 ModDiff ModDiff ModEqual p

14 Selvsagt kan dere også bruke Amos som et syntax-drevet program. Dersom dere setter opp en modell i Amos, så kan dere alltid bruke: Tools, Write a program. Da skrives et program for å analysere modellen ut i et tekstvindu. Dersom man skal analysere mange variabler, så er det ofte tungvint å tegne hele modellen. Et triks kan da være å sette den opp med bare noen variabler skrive syntaxen ut redigere denne med klipp og lim og tilføyelser av nye variabler og kjøre den fra syntax vinduet i Amos med: File, Run. Syntaxen for modellen her vil se ut som på neste side. Det ser jo fryktinngytende ut, men det er bare det som er skrevet med uthevet skrift som dreier seg om hvordan modellen er satt opp, og den er ganske lik syntaxen for de andre programmene. Resten dreier seg bare om hvordan Amos gjør analysen og skal ikke endres. Det man egentlig gjør er å skrive et lite program for å gjøre analysen i Amos. Slike programmer kan skrives i Visual Basic (som her) eller C# - og man kan faktisk også kjøre Amos fra R dersom det skulle være ønskelig.

15 #Region "Header" Imports System Imports System.Diagnostics Imports Microsoft.VisualBasic Imports AmosEngineLib Imports Amos Imports AmosEngineLib.AmosEngine.TMatrixID #End Region Module MainModule Public Sub Main() Dim Sem As AmosEngine Sem = New AmosEngine Sem.TextOutput AnalysisProperties(Sem) ModelSpecification(Sem) Sem.FitAllModels() Sem.Dispose() End Sub Sub ModelSpecification(Sem As AmosEngine) Sem.GenerateDefaultCovariances(False) Sem.BeginGroup("M:\data\kurs\drpsy\sem\diff_corr\likelonn.sav", "likelonn", "sex", 0) Sem.GroupName("Group number 1") Sem.AStructure("salbeg = (1) e1 + BS") Sem.AStructure("salnow = (1) e2 + CS") Sem.AStructure("time = (1) e3 + JS") Sem.AStructure("work = (1) e4 + WE") Sem.AStructure("BS <--> CS (a)") Sem.AStructure("BS <--> JS (b)") Sem.AStructure("BS <--> WE (c)") Sem.AStructure("CS <--> JS (d)") Sem.AStructure("CS <--> WE (e)") Sem.AStructure("JS <--> WE (f)") Sem.AStructure("e1 (0)") Sem.AStructure("e2 (0)") Sem.AStructure("e3 (0)") Sem.AStructure("e4 (0)") Sem.AStructure("BS (1)") Sem.AStructure("CS (1)") Sem.AStructure("JS (1)") Sem.AStructure("WE (1)") Sem.BeginGroup("M:\data\kurs\drpsy\sem\diff_corr\likelonn.sav", "likelonn", "sex", 1) Sem.GroupName("Group number 1") Sem.AStructure("salbeg = (1) e1 + BS") Sem.AStructure("salnow = (1) e2 + CS") Sem.AStructure("time = (1) e3 + JS") Sem.AStructure("work = (1) e4 + WE") Sem.AStructure("BS <--> CS (a)") Sem.AStructure("BS <--> JS (b)") Sem.AStructure("BS <--> WE (c)") Sem.AStructure("CS <--> JS (d)") Sem.AStructure("CS <--> WE (e)") Sem.AStructure("JS <--> WE (f)") Sem.AStructure("e1 (0)") Sem.AStructure("e2 (0)") Sem.AStructure("e3 (0)") Sem.AStructure("e4 (0)") Sem.AStructure("BS (1)") Sem.AStructure("CS (1)") Sem.AStructure("JS (1)") Sem.AStructure("WE (1)") Sem.Model("Default model", "") End SubSub AnalysisProperties(Sem As AmosEngine) Sem.Iterations(50) Sem.InputUnbiasedMoments Sem.FitMLMoments Sem.Standardized Sem.Seed(1) End Sub End Module