Forelesning 9 STK3100/4100

Transkript

1 p. 1/3 Forelesning 9 STK3100/4100 Plan for forelesning: 18. oktober 2012 Geir Storvik 1. Lineære blandede modeller 2. Marginale modeller 3. Estimering - ML og REML 4. Modell seleksjon

2 p. 2/3 Modell med alle antagelser Y i =X i β + Z i b i + ε i,i = 1,...,N b i N(0,D) ε i N(0,Σ i ) b 1,..,b N,ε 1,...,ε N uavhengige Laird & Ware modell formulering Ofte: Forenklede strukturer på D,Σ i D = d 2 I,Σ i = σ 2 I

3 p. 3/3 Marginal modell/likelihood Y i N(X i β,v i ) V i =Z i DZ T i + Σ i avh av parametre ψ L i =f(y i ;β,ψ) 1 = (2π) n i/2 V i 1/2 exp{ 1(Y 2 i X i β) T V 1 i (Y i X i β)} l i = n i log(2π) 1 log V 2 2 i 1(Y 2 i X i β) T V 1 i (Y i X i β N l(β,ψ) = i=1 l i

4 p. 4/3 Direkte spesifisering av marginal modell V i = τ 2 φ φ φ φ φ τ 2 φ φ φ φ φ τ 2 φ φ φ φ φ τ 2 φ φ φ φ φ τ 2 Compound symmetric structure, svarer til Σ i =σ 2 I,Z i = 1 T,D = d 2 = φ,τ 2 = σ 2 + d 2

5 p. 5/3 Direkte spesifisering av marginal modell V i = τ 2 c 21 c 31 c 41 c 51 c 21 τ 2 c 32 c 42 c 52 c 31 c 32 τ 2 c 43 c 53 c 41 c 42 c 43 τ 2 c 54 c 51 c 52 c 53 c 54 τ 2 general correlation matrix

6 p. 6/3 Eksempel Blandet modell > M.mixed <- lme(richness NAP, random = 1 fbeach, method = "REML", data = RIKZ) > summary(m.mixed)$coef$fixed (Intercept) NAP Marginal modell > M.gls <- gls(richness NAP, method = "REML", correlation = corcompsymm(form = 1 fbeach), data = RIKZ) > coef(m.gls) (Intercept) NAP

7 p. 7/3 ML estimering l(β,ψ) = N i=1 1 Kan maksimeres numerisk [ n i 2 log(2π) 1 2 log V i (Y 2 i X i β) T V 1 i (Y i X i β)] Gir forventningsskjeve estimater for varianser Finnes alternative strategier som gir forventningsrette estimater Lettest illustert først i vanlig lineær regresjonsmodell.

8 p. 8/3 Estimering Vanlig: ML estimering. gir ˆµ = ȳ og Y i uif N(µ,σ 2 ) ˆσ 2 = 1 n n (y i ȳ) 2 Forventningsskjev i=1 Foretrekker ofte ˆσ 2 = 1 n 1 n (y i ȳ) 2 Forventningsrett i=1 Forventningsskjevhet i ML-estimat: Tar ikke hensyn til usikkerhet i µ

9 p. 9/3 REML REML = Restricted maximum likelihood Modell (vanlig lineær regresjon): Y i = X i β + ε i, ε i N(0,σ 2 ) Ide: Transformere data slik at β forsvinner. A er en n (n p) matrise slik at A T X = 0. Gir A T Y =A T Xβ + A T ε N(0,σ 2 A T A) Estimer σ 2 ved ML basert på A T Y i.

10 p. 10/3 REML (forts) 1 1 L REML = exp{ Y T A[A T A] 1 A T Y} (2π) N/2 σ 2 A T A 1/2 2σ 2 l REML = N 2 log(2π) n p log σ log AT A 1 Y T A[A T A] 1 A T Y 2σ 2 Gir ˆσ 2 = 1 n p YT A[A T A] 1 A T Y

11 p. 11/3 Eksempel Y i uif N(µ,σ 2 ) X =1 N = 1 N 1 1, A T = A T X =I N 1 1 N 1 1 N 1 = 0 Y 1 Y N A T Y =. (I N 1 1 N 1 ) Y N 1 Y N ˆσ 2 = 1 n (y i ȳ) 2 n 1 i=1 Utledning av ˆσ 2 krever noe regning!

12 p. 12/3 REML og blandede modeller Modell: Y i N(X i β,v i ), V i = Z i DZ T i + Σ i Kombinert: Y N(Xβ,V) X T =(X T 1,...,X T N),V = Diag{V i } Definer A slik at A T X = 0. Gir A T Y N(0,A T VA) Estimer parametre i V ved ML estimering basert på A T Y. Merk: Resultat ikke avhengig av hvordan vi spesifiserer A. Gir forventningsrette estimater! Resultater avhengig av parametrisering (faktorer)!

13 p. 13/3 Eksempel RIKZ$fExp<-RIKZ$Exposure RIKZ$fExp[RIKZ$fExp==8]<-10 RIKZ$fExp<-factor(RIKZ$fExp,levels=c(10,11)) M0.ML <- lme(richness NAP, data = RIKZ, random = 1 fbeach, method = "ML") M0.REML <-lme(richness NAP, data = RIKZ, random = 1 fbeach, method = "REML") M1.ML <- lme(richness NAP+fExp, data = RIKZ, random = 1 fbeach, method = "ML") M1.REML <- lme(richness NAP+fExp, data = RIKZ, random = 1 fbeach, method = "REML")

14 Estimater p. 14/3

15 p. 15/3 Modell valg i blandede modeller To modell-deler Faste effekter/forklaringsvariable Tilfeldige effekter/korrelasjonsstruktur Vil påvirke hverandre Nødvendig med ulike metoder

16 p. 16/3 Modell seleksjonsprotokoll Hovedide: Ønsker mest forklart gjennom faste effekter 1. Start med modell med alle forklaringsvariable og så mange interaksjoner som mulig 2. Finn optimal struktur på tilfeldige effekter. Her bør REML brukes! 3. Finn optimal struktur for faste effekter. Her bør ML brukes! 4. Presenter endelig modell med REML estimering.

17 p. 17/3 Metoder To hovedstrategier Informasjonskriterier: AIC, BIC Via hypotesetesting på parametre (nøstede modeller) t-observator (Wald test) F -observator (flere parametre/faktorer) Likelihood ratio test

18 p. 18/3 AIC/BIC og ML AIC = 2 l(ˆθ) + 2 q BIC = 2 l(ˆθ) + log(n) q Feil i boka q: Antall parametre i modell (β-er og σ-er) n = N i=1 n i AIC: Minimerer prediksjonsfeil, kan gi for store modeller BIC: Vil asymptotisk velge riktig modell, men kan velge for små modeller for endelig n. Kan brukes direkte ved ML estimering l(ˆθ) er log-likelihood verdi oppnådd ved ML.

19 p. 19/3 AIC/BIC og REML AIC = 2 l(ˆθ) + 2 q BIC = 2 l(ˆθ) + log(n p) q Feil i boka p: Antall regresjonsparametre Her er nå l(ˆθ) likelihood verdi oppnådd ved REML. Kan vise L REML (θ) = N i=1 X T i V 1 i X i 1/2 L ML (θ)

20 p. 20/3 Eksempel gal tilnærming Biodiversitet: Starter med kun NAP som forklaringsvariabel Finner optimal struktur for tilfeldig effekt Ingen tilfeldige effekter Tilfeldig konstantledd for hvert område Tilfeldig konstantledd og stigningstall Sammenlikning med REML Merk: lm bruker ML, lme krever tilfeldig effekt, gls mulig.

21 p. 21/3 Eksempel gal tilnærming > Wrong1 <- gls(richness 1 + NAP, method = "REML", data = RIKZ) > Wrong2 <- lme(richness 1 + NAP, random = 1 fbeach, method = "REML", data = RIKZ) > Wrong3 <- lme(richness 1 + NAP, method = "REML", random = 1 + NAP fbeach, data = RIKZ) > cbind(aic(wrong1,wrong2,wrong3),bic(wrong1,wrong2,wrong3)) df AIC df BIC Wrong Wrong Wrong Best med tilfeldig konstantledd og stigningsledd.

22 p. 22/3 LR tester for tilfeldige effekter Likelihood ratio test gjennom anova kommandoen: > anova(wrong1,wrong2,wrong3) Model df AIC BIC loglik Test L.Ratio p-valu Wrong Wrong vs Wrong vs Problem: Tester H 0 : σ 2? Gir feil P-verdi! = 0 som er på randen av parameterrrommet

23 p. 23/3 LR tester for tilfeldige effekter H 0 : θ Θ 0 mot H 1 : θ Θ a LR test: Vanlig asymptotisk teori krever Θ 0 i det indre av Θ = Θ 0 Θ a. Har da 2LR χ 2 q a q 0. P-verdi = Pr(χ 2 q a q 0 > 2LR). Her: Tester H 0 : d 2 11 = 0. På grensen av Θ : {d }. Kan vise: P-verdi for stor. Konservativ test. Presist: Anta k tilfeldige effekter under H 0, k + 1 tilfeldige effekter under H a. T = 2LR Pr(T > c) = 0.5 [Pr(χ 2 k > c) + Pr(χ 2 k+1 > c)] Spesielt: k = 0: Pr(T > c) = 0.5 Pr(χ 2 1 > c)

24 p. 24/3 Trinn 2: Valg av tilfeldige effekter Wrong1 mot Wrong2: > 1-0.5*(pchisq(T,0)+pchisq(T,1)) [1] Wrong2 mot Wrong3 > T = anova(wrong1,wrong2,wrong3)[3,8] > 1-0.5*(pchisq(T,1)+pchisq(T,2)) [1] Velger modell Wrong3, dvs tilfeldig konstantledd og stigningskoefficient.

25 p. 25/3 Trinn 3: Faste effekter > summary(wrong3) Fixed effects: Richness 1 + NAP Value Std.Error DF t-value p-value (Intercept) e+00 NAP e-04 NAP signifikant, legger til Exposure og interaksjon > RIKZ$fExp<-RIKZ$Exposure > RIKZ$fExp[RIKZ$fExp==8]<-10 > RIKZ$fExp<-factor(RIKZ$fExp,levels=c(10,11)) > Wrong4 <- lme(richness 1 + NAP * fexp,random = 1 + NAP fbeach method = "ML", data = RIKZ) Error in lme.formula(richness 1 + NAP * fexp, random = 1 + NAP nlminb problem, convergence error code = 1 > lmc <- lmecontrol(niterem = 5000, msmaxiter = 5000) > Wrong4 = lme(richness 1 + NAP * fexp,random = 1 + NAP fbeach, method = "ML", data = RIKZ,control=lmc)

26 p. 26/3 Trinn 3 (forts) > anova(wrong4) numdf dendf F-value p-value (Intercept) <.0001 NAP fexp NAP:fExp > summary(wrong4) Fixed effects: Richness 1 + NAP * fexp Value Std.Error DF t-value p-value (Intercept) NAP fexp NAP:fExp Interaksjon ikke signifikant

27 p. 27/3 Trinn 3: Faste effekter > Wrong4.2 <- lme(richness 1 + NAP + fexp,random = 1 + NAP fbea method = "ML", data = RIKZ) > anova(wrong5) numdf dendf F-value p-value (Intercept) <.0001 NAP fexp > summary(wrong4.2) Fixed effects: Richness 1 + NAP + fexp Value Std.Error DF t-value p-value (Intercept) NAP fexp > cbind(aic(wrong4,wrong4.2),bic(wrong4,wrong4.2)) df AIC df BIC Wrong Wrong Exposure også på kanten av å være signifikant på 5% nivå. Endelig modell: Y ij =α + b 1i + (β + b 2i )NAP ij + ε ij

28 p. 28/3 Frihetsgrader Brukes i t og F tester Forklaringsvariable delt inn i to grupper Nivå 1: Variable med ulike verdier for hver observasjon innen gruppe. fg: Totalt antall obs - antall grupper/klustre - antall nivå 1 variable Eksempel: NAP, fg=45-9-1=35 Nivå 2: Variable med samme verdi innen hver gruppe. fg: Antall grupper - antall nivå 2 variable (inkl konstantledd) Eksempel: Exposure, fg=9-2=7

29 p. 29/3 Testing og ML > lmc <- lmecontrol(niterem = 5200, msmaxiter = 5200) > Wrong4A <- lme(richness 1 + NAP, method="ml", control = lmc, data = RIKZ, random = 1+NAP fbeach) > Wrong4B <- lme(richness 1 + NAP + fexp, random = 1 + NAP fbeach, method="ml", data = RIKZ,control = lmc) > Wrong4C <- lme(richness 1 + NAP * fexp, random = 1 + NAP fbeach, data = RIKZ, method = "ML", control = lmc) > anova(wrong4a, Wrong4B, Wrong4C) Model df AIC BIC loglik Test L.Ratio p-valu Wrong4A Wrong4B vs Wrong4C vs Optimal modell: Kun NAP

30 p. 30/3 Trinn 4: Endelig modell > Wrong5 <- lme(richness 1 + NAP,random = 1 + NAP fbeach, + method = "REML", data = RIKZ) > summary(wrong5) Random effects: Formula: 1 + NAP fbeach Structure: General positive-definite, Log-Cholesky parametrization StdDev Corr (Intercept) (Intr) NAP Residual Fixed effects: Richness 1 + NAP Value Std.Error DF t-value p-value (Intercept) e+00 NAP e-04 Number of Observations: 45 Number of Groups: 9

31 p. 31/3 God metode, trinn 1 Innkluderer begge variable med interaksjon > B1=gls(Richness 1+NAP*fExp,method="REML",data=RIKZ) > B2=lme(Richness 1+NAP*fExp,data=RIKZ,random= 1 fbeach,method="rem > B3=lme(Richness 1+NAP*fExp,data=RIKZ,random= 1+NAP fbeach,method= > AIC(B1,B2,B3) df AIC B B B Best modell: Tilfeldig effekt i konstantledd

32 p. 32/3 God metode: Trinn 2 > summary(b2) Fixed effects: Richness 1 + NAP * fexp Value Std.Error DF t-value p-value (Intercept) NAP fexp NAP:fExp Dropper interaksjon

33 p. 33/3 God metode: Trinn 3 > B2B=lme(Richness 1+NAP+fExp,data=RIKZ,random= 1 fbeach,method="re > summary(b2b) Linear mixed-effects model fit by REML Data: RIKZ AIC BIC loglik Random effects: Formula: 1 fbeach (Intercept) Residual StdDev: Fixed effects: Richness 1 + NAP + fexp Value Std.Error DF t-value p-value (Intercept) NAP fexp Endelig modell: Y ij =α + b i + β 1 NAP ij + β 2 Exposure i + ε ij

34 p. 34/3 Modell validering Modell-valg: Velger mellom et antall mulige modeller Vil endelig modell beskrive data godt? Modell validering: Sjekke endelig modell Goodness-of-fit test Residual-plott

35 p. 35/3 Modell validering/residualer Respons residualer (default i R): Y ij ŷ ij Standardiserte residualer (Pearson residualer) Y ij ŷ ij sd[y ij ] Begge kan beregnes på ulike nivåer: Nivå 0: Populasjonsnivå. ŷ ij = X T i ˆβ. Nivå 1: Innen gruppe. ŷ ij = X T i ˆβ + Z T i ˆb i. (Default) sd[y ij ] justert etter hvilket nivå en bruker. Merk: Nivå 0 residualer er avhengige!

36 p. 36/3 Residual plott for RIKZ data - nivå 0 plot(fitted(b2b,level=0),residuals(b2b,level=0)) residuals(b2b, level = 0) fitted(b2b, level = 0)

37 p. 37/3 Residual plott for RIKZ data - nivå 1 plot(fitted(b2b,level=1),residuals(b2b,level=1)) residuals(b2b, level = 1) fitted(b2b, level = 1)