7. november 2011 Geir Storvik

Transkript

1 Forelesning 13 STK3100/4100 Plan for forelesning: 7. november 2011 Geir Storvik Generaliserte lineære blandede modeller 1. Sammenlikning ulike estimeringsmetoder 2. Tolkning parametre 3. Inferens Konfidensintervaller Estimeringsmetoder Penalized quasi-likelihood Maksimum likelihood Laplace approksimasjon Gauss-Hermite integrasjon (Diskusjon om REML egnet for GLMM) Hypotesetesting Modell-seleksjon Prediksjon p. 1/3 p. 2/3 Sammenlikning ulike estimeringsmetoder #Penalized quasi-likelihood > library(mass) > DE.PQL<-glmmPQL(Ecervi.01 CLength * fsex, + random = 1 ffarm, family = binomial, data = DeerEcervi) #ML: Laplace approximation with lmer > library(lme4) > DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), #ML: Laplace approx with glmmml > library(glmmml) > DE.glmmML<-glmmML(Ecervi.01 CLength * fsex, + cluster = ffarm,family=binomial, data = DeerEcervi) #ML: Gauss-Hermite with glmmml > DE.glmmML2<-glmmML(Ecervi.01 CLength * fsex,method="ghq", + cluster = ffarm,family=binomial, data = DeerEcervi) Merk: Ingen gjør REML, selv om lmer tilsynelatende gjør dette (fra hjelpesiden) Sammenlikninger Default Gauss-Hermite (20) Estimates SE Estimates SE GLM Intercept Length Sex Length Sex glmmpql Intercept Length Sex Length Sex lmer Intercept Length Sex Length Sex glmmml Intercept Length Sex Length Sex

2 Tolkning parametre Lineære blandede modeller: Y ij =X T ij β + Z T ij b i + ε ij b i N(0,D) E[Y ij b i ] =X T ij β + Z T ij b i E[Y ij ] =X T ij β En enhets endring i X ijk tilsvarer endring i forventning på β k både i individbasert betinget forventing E[Y ij b i ], og populasjonsbasert forventning E[Y ij ] Tolkning parametre (forts) Hypotetiske data om sann sannsynlighet for å få en sykdom før og etter behandling Individ Baseline Post-Baseline Forskjell Log(Odds Ratio) A B C Populasjons gjennomsnitt / Antar i populasjon like mange av typene A, B og C. Absolutt forskjell: Gjennomsnittelig forbedring kontra forbedring av totale gjennomsnitt = = 0.13 Ikke like enkelt med GLMM. p. 5/3 p. 6/3 Tolkning parametre (forts) Individ Baseline Post-Baseline Forskjell Log(Odds Ratio) A B C Populasjons gjennomsnitt / Log-odds: = Gjennomsnittelig forbedring på individnivå: Halvere odds exp( 0.697) = (Tilnærmet riktig også innen hver gruppe) log 0.37(1 0.37) 0.5(1 0.5) = Forbedring på populasjonsnivå: Reduksjon på 40% i odds: exp( 0.532) = Tolkning av parametre - generelt I GLMM: Målsetning med inferens enten individet eller populasjon Regresjonskoeffisienter har tolkning i endring av E[Y ij b i ], dvs individnivå (transformert gjennom link-funksjon). Marginale modeller: For LMM Y i N(X i β,z i DZ T i + Σ i ) Tolkning av β kan også gjøres på populasjonsnivå. For GLMM: Y i har ingen enkel marginal modell. Vanskelig å tolke parametre på populasjonsnivå.

3 Hjorte-data > fit<-lmer(ecervi.01 CLength + fsex +(1 ffarm), > summary(fit) Estimate Std. Error z value Pr(> z ) (Intercept) * CLength <2e-16 *** fsex * Endring i odds når lengde øker med 1 enhet: Odds-ratio = π 1 π π 1 π = exp(0.0517) = Hjorte-data og interaksjoner > DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), > summary(de.lme4) Estimate Std. Error z value Pr(> z ) (Intercept) ** CLength e-08 *** fsex ** CLength:fSex ** Female=1: Endring i odds når lengde øker med 1 enhet: Odds-ratio = π 1 π π 1 π = exp( ) = Male=2: Endring i odds når lengde øker med 1 enhet: p. 9/3 Odds-ratio = π 1 π π 1 π = exp( ) = p. 10/3 Inferens Konfidensintervaller Testing av hypoteser Sammenlinke test observatorer med deres fordeling under null hypotese Velge beste modell Sammenlikner tilpasning av ulike modeller Hypotesetesting/informasjonskriterier Evaluere forskjell i tilpasning mellom modeller Konfidensintervaller PQL > intervals(de.pql) Approximate 95% confidence intervals lower est. upper (Intercept) CLength fsex CLength:fSex attr(,"label") [1] "" Random Effects: Level: ffarm lower est. upper sd((intercept)) Within-group standard error: lower est. upper

4 Konfidensintervaller lmer Wald-basert (for hånd) DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), family = binomial, data = DeerEcervi) #Confidence intervals est = c( , , , ) se = c( , , , ) M = cbind(est -1.96*se,est+1.96*se) rownames(m) = c("(intercept)","clength","fsex2","clength:fsex2") colnames(m) = c("0.025%","0.975%") M 0.025% 0.975% (Intercept) CLength fsex CLength:fSex Testing av tilfeldige effekter LR ok for testing av tilfeldige effekter Krever korreksjon mhp randeffekter (H 0 : σ 2 a = 0 på randen av lovlige verdier) Bedre enn Wald tester som krever flere antagelser p. 13/3 p. 14/3 Rand-effekter Vanlig teori for LR tester: LR tilnærmet χ 2 v der v er forskjell i antall parametre. Krever at H 0 spesifiserer parameter i det indre av parameter-rom H 0 : σa 2 = 0 på randen Alternativ teori (i enkle situasjoner) LR tilnærmet en mikstur av χ 2 v og χ 2 v 1 For v = 1, kan dele vanlig p-verdi på 2. IC er har tilsvarende problemer Hjortedata - testing av tilfeldig effekt > DE.lme4.ml<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), > DE.lme4.ml2<-lmer(Ecervi.01 CLength * fsex +(1+CLength ffarm), > anova(de.lme4.ml,de.lme4.ml2,test="chisq") Data: DeerEcervi Models: DE.lme4.ml: Ecervi.01 CLength * fsex + (1 ffarm) DE.lme4.ml2: Ecervi.01 CLength * fsex + (1 + CLength ffarm) Df AIC BIC loglik Chisq Chi Df Pr(>Chisq) DE.lme4.ml DE.lme4.ml * --- Signif. codes: 0 *** ** 0.01 * Merk: 2 frihetsgrader, ny varians og korrelasjon! P-verdi LR > 1-0.5*pchisq(6.9303,2)-0.5*pchisq(6.9303,1) [1]

5 Hypotesetesting av faste effekter LR tester ikke anbefalt for testing av faste effekter da ikke god for små til moderate datasett. Krever forholdet mellom totalt antall observasjoner og antall faste effekter er stort antall nivåer for en tilfeldig effekt er stor Ingen dispersjonsparameter: Wald Z, χ 2 tester Med dispersjonsparameter: Wald t, F tester Avhenger av effektivt frihetsgrader i residualer Vanskelig å beregne da effektivt antall frihetsgrader for tilifeldige effekter ligger mellom 1 (variansparameter) og I 1 (en parameter for hvert nivå av tilfeldig effekt. (Liten σ 2 a gir sterke restriksjoner på b i -ene) Hjortedata - testing av interaksjon > DE.lme4.ml2<-lmer(Ecervi.01 CLength * fsex +(1+CLength ffarm), + family = binomial, data = DeerEcervi,REML=FALSE) > summary(de.lme4.ml2) Generalized linear mixed model fit by the Laplace approximation Formula: Ecervi.01 CLength * fsex + (1 + CLength ffarm) Data: DeerEcervi AIC BIC loglik deviance Random effects: Groups Name Variance Std.Dev. Corr ffarm (Intercept) CLength Number of obs: 826, groups: ffarm, 24 Estimate Std. Error z value Pr(> z ) (Intercept) ** CLength e-05 *** fsex * CLength:fSex ** p. 17/3 P-verdi: for Wald z test p. 18/3 Prediksjon Usikkerhet i prediksjon Ofte interessert i prediksjon av (ikke-lineære funksjoner) av tilfeldige effekter, f. eks Anta av interesse ψ = h(v T β) µ ij = g 1 (X ij β + Z ij b i ) Som for LMM, kan gjøres på ulike nivåer: Nivå 0: µ ij = g 1 (X ij β) der h er monoton (voksende). Har Usikkerhetsanslag? ψ = h(v T β) Nivå 1: µ ij = g 1 (X ij β + Z ij b i ) b i = E[b i Y, β, θ].

6 Usikkerhet i faste effekter Betrakt først v T β: I R: var[v T β] = v T Var[β]v > v = matrix(c(1,rikz$nap[1]),ncol=1) > mu = t(v)%*%mglmmpql$coef$fixed > V = t(v)%*%vcov(mglmmpql)%*%v > c(mu-1.96*sqrt(v),mu+1.96*sqrt(v)) [1] Har h = exp: L <v T β < U h(l) <h(v T β) < h(u) > exp(c(mu-1.96*sqrt(v),mu+1.96*sqrt(v))) [1] Usikkerhet i prediksjon (forts) Anta av interesse der h er monoton (voksende). To kilder til usikkerhet: Usikkerhet i estimat for β Usikkerhet i b i h(v T β + w T b i ) Ikke opplagt hva man skal gjøre her! Mulig tilnærming: Kun ta hensyn til usikkerhet i b i. Eksempel: Hjortedata, anta av interesse nytt individ uten data. For hun-hjort (fsex=1) p ij = exp{ Length ij + a i} 1 + exp{ Length ij + a i } p. 21/3 p. 22/3 Hjortedata For hun-hjort (fsex=1) logit(p ij ) = Length ij + a i, a i N(0, ) Mulig tilnærming: Anta β = b β, ta hensyn til usikkerhet i a i. a i [ , ] med sanns Kan lage konfidensbånd for p ij for ulike verdier av Length ved å putte inn a i = , 0, Probability of presence of E. cervi L Ugle data Tigge oppførsel av ugler i søskenflokk. NCalls Antall kall før ankomst av forelder (respons) SexParent(SexP) Mor eller far FoodTreatment (FoodT)Ekstra føde tilsatt (Satiated) eller deler av føde fjernet (Deprived) ArrivalTime (ArrT) Tidspunkt for ankomst av forelder ( ) LBroodSize Antall unger i reir fnest Faktor som identifiserer reir Length

7 Modell for ugle data NCalls is Poisson(µ is ) log(µ is ) =η is η is =offset(lbroodsize is ) + β 1 SexP is + β 2 FoodT is + β 3 ArrT is + β 4 SexP is FoodT is + β 5 SexP is ArrT is + a i a i N(0, σa 2 ) Ugle data - R kode > Owls$LBroodSize<-log(Owls$BroodSize) > O1.lmer<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ + SexP*ArrT+(1 fnest),data=owls,family=poisson) > summary(o1.lmer) Data: Owls AIC BIC loglik deviance Random effects: Groups Name Variance Std.Dev. fnest (Intercept) Number of obs: 599, groups: fnest, 27 Estimate Std. Error z value Pr(> z ) (Intercept) e-10 *** SexPMale FoodTSatiated < 2e-16 *** ArrT < 2e-16 *** SexPMale:FoodTSatiated SexPMale:ArrT p. 25/3 p. 26/3 Ugle data - flere tilfeldige effekter? > O1.lmer<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ + SexP*ArrT+(1 fnest),data=owls,family=poisson) > O1.lmer2<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ +> anova(o1.lmer,o1.lmer2,test="chisq") Data: Owls Models: O1.lmer: NCalls offset(lbroodsize) + SexP * FoodT + SexP * ArrT + O1.lmer: fnest) O1.lmer2: NCalls offset(lbroodsize) + SexP * FoodT + SexP * ArrT O1.lmer2: ArrT fnest) Df AIC BIC loglik Chisq Chi Df Pr(>Chisq) O1.lmer O1.lmer < 2.2e-16 *** Testing av faste effekter Trinnvis modell-seleksjon med Wald-test Skript Owl.R Justert P-verdi: > 1-0.5*pchisq(177.37,2)-0.5*pchisq(177.37,1) [1] 0 Merk: anova gir her både AIC/BIC og LR Bør også korrigere AIC/BIC

8 Problemer med GLMM Bolker et al 2009: 311 av 537 GLMM analyser innen økologi og evolusjon var gjort utilfredsstillende! Hypotesetesting Holdbarhet av trinnvis regresjon Bruk av Bayesiansk statistikk Bolker et al (2009) ML underestimerer varianser, men er mest nyttig for å sammenlikne modeller med ulike faste effekter. PQL enklest, tilgjengelig i mange pakker, men gir forventningsskjeve parameterestimater hvis varianser til tilfeldige effekter er store (spesielt binære data) Virker dårlig for Poisson data når µi < 5 eller binomiske data når n i p i < 5 eller n i (1 p i ) < 5 Vanskelig å bruke til inferens (usikkerhetsanslag, testing) Finnes forbedringer, ikke så lett tilgjengelige MCMC/Bayesianske metoder et godt alternativ (ikke i dette kurset) Tilnærmet likt ML for informative datasett Takler lett mange tilfeldige effekter Mange andre problemer p. 29/3 p. 30/3