Forelesning 13 STK3100/4100 Plan for forelesning: 7. november 2011 Geir Storvik Generaliserte lineære blandede modeller 1. Sammenlikning ulike estimeringsmetoder 2. Tolkning parametre 3. Inferens Konfidensintervaller Estimeringsmetoder Penalized quasi-likelihood Maksimum likelihood Laplace approksimasjon Gauss-Hermite integrasjon (Diskusjon om REML egnet for GLMM) Hypotesetesting Modell-seleksjon Prediksjon p. 1/3 p. 2/3 Sammenlikning ulike estimeringsmetoder #Penalized quasi-likelihood > library(mass) > DE.PQL<-glmmPQL(Ecervi.01 CLength * fsex, + random = 1 ffarm, family = binomial, data = DeerEcervi) #ML: Laplace approximation with lmer > library(lme4) > DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), #ML: Laplace approx with glmmml > library(glmmml) > DE.glmmML<-glmmML(Ecervi.01 CLength * fsex, + cluster = ffarm,family=binomial, data = DeerEcervi) #ML: Gauss-Hermite with glmmml > DE.glmmML2<-glmmML(Ecervi.01 CLength * fsex,method="ghq", + cluster = ffarm,family=binomial, data = DeerEcervi) Merk: Ingen gjør REML, selv om lmer tilsynelatende gjør dette (fra hjelpesiden) Sammenlikninger Default Gauss-Hermite (20) Estimates SE Estimates SE GLM Intercept 0.652 0.109 Length 0.025 0.005 Sex 0.163 0.174 Length Sex 0.020 0.009 glmmpql Intercept 0.888 0.337 Length 0.027 0.006 Sex 0.610 0.213 Length Sex 0.034 0.010 lmer Intercept 0.941 0.354 0.940 0.355 Length 0.038 0.006 0.039 0.007 Sex 0.624 0.222 0.624 0.224 Length Sex 0.035 0.011 0.036 0.011 glmmml Intercept 0.939 0.357 0.942 0.361 Length 0.038 0.006 0.039 0.007 Sex 0.624 0.224 0.624 0.224 Length Sex 0.035 0.111 0.036 0.011
Tolkning parametre Lineære blandede modeller: Y ij =X T ij β + Z T ij b i + ε ij b i N(0,D) E[Y ij b i ] =X T ij β + Z T ij b i E[Y ij ] =X T ij β En enhets endring i X ijk tilsvarer endring i forventning på β k både i individbasert betinget forventing E[Y ij b i ], og populasjonsbasert forventning E[Y ij ] Tolkning parametre (forts) Hypotetiske data om sann sannsynlighet for å få en sykdom før og etter behandling Individ Baseline Post-Baseline Forskjell Log(Odds Ratio) A 0.80 0.67-0.13-0.68 B 0.50 0.33-0.17-0.71 C 0.20 0.11-0.09-0.70 Populasjons gjennomsnitt 0.50 0.37-0.13-0.697/-0.532 Antar i populasjon like mange av typene A, B og C. Absolutt forskjell: Gjennomsnittelig forbedring kontra forbedring av totale gjennomsnitt 0.13 0.17 0.09 3 = 0.37 0.50 = 0.13 Ikke like enkelt med GLMM. p. 5/3 p. 6/3 Tolkning parametre (forts) Individ Baseline Post-Baseline Forskjell Log(Odds Ratio) A 0.80 0.67-0.13-0.68 B 0.50 0.33-0.17-0.71 C 0.20 0.11-0.09-0.70 Populasjons gjennomsnitt 0.50 0.37-0.13-0.697/-0.532 Log-odds: 0.68 0.71 0.70 3 = 0.697 Gjennomsnittelig forbedring på individnivå: Halvere odds exp( 0.697) = 0.498. (Tilnærmet riktig også innen hver gruppe) log 0.37(1 0.37) 0.5(1 0.5) = 0.532 Forbedring på populasjonsnivå: Reduksjon på 40% i odds: exp( 0.532) = 0.587 Tolkning av parametre - generelt I GLMM: Målsetning med inferens enten individet eller populasjon Regresjonskoeffisienter har tolkning i endring av E[Y ij b i ], dvs individnivå (transformert gjennom link-funksjon). Marginale modeller: For LMM Y i N(X i β,z i DZ T i + Σ i ) Tolkning av β kan også gjøres på populasjonsnivå. For GLMM: Y i har ingen enkel marginal modell. Vanskelig å tolke parametre på populasjonsnivå.
Hjorte-data > fit<-lmer(ecervi.01 CLength + fsex +(1 ffarm), > summary(fit) Estimate Std. Error z value Pr(> z ) (Intercept) 0.836488 0.357245 2.341 0.0192 * CLength 0.051721 0.005849 8.843 <2e-16 *** fsex2 0.477092 0.216103 2.208 0.0273 * Endring i odds når lengde øker med 1 enhet: Odds-ratio = π 1 π π 1 π = exp(0.0517) = 1.053 Hjorte-data og interaksjoner > DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), > summary(de.lme4) Estimate Std. Error z value Pr(> z ) (Intercept) 0.939676 0.355261 2.645 0.00817 ** CLength 0.038978 0.006816 5.719 1.07e-08 *** fsex2 0.624512 0.222855 2.802 0.00507 ** CLength:fSex2 0.035857 0.011348 3.160 0.00158 ** Female=1: Endring i odds når lengde øker med 1 enhet: Odds-ratio = π 1 π π 1 π = exp(0.038978) = 1.040 Male=2: Endring i odds når lengde øker med 1 enhet: p. 9/3 Odds-ratio = π 1 π π 1 π = exp(0.038978 + 0.035857) = 1.078 p. 10/3 Inferens Konfidensintervaller Testing av hypoteser Sammenlinke test observatorer med deres fordeling under null hypotese Velge beste modell Sammenlikner tilpasning av ulike modeller Hypotesetesting/informasjonskriterier Evaluere forskjell i tilpasning mellom modeller Konfidensintervaller PQL > intervals(de.pql) Approximate 95% confidence intervals lower est. upper (Intercept) 0.22782065 0.88836974 1.54891884 CLength 0.02508005 0.03786082 0.05064159 fsex2 0.19193683 0.61045698 1.02897714 CLength:fSex2 0.01380908 0.03506664 0.05632420 attr(,"label") [1] "" Random Effects: Level: ffarm lower est. upper sd((intercept)) 1.02504 1.462108 2.085538 Within-group standard error: lower est. upper 0.9162549 0.9620576 1.0101499
Konfidensintervaller lmer Wald-basert (for hånd) DE.lme4<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), family = binomial, data = DeerEcervi) #Confidence intervals est = c( 0.939676,0.038978,0.624512,0.035857) se = c(0.355261,0.006816,0.222855,0.011348) M = cbind(est -1.96*se,est+1.96*se) rownames(m) = c("(intercept)","clength","fsex2","clength:fsex2") colnames(m) = c("0.025%","0.975%") M 0.025% 0.975% (Intercept) 0.24336444 1.63598756 CLength 0.02561864 0.05233736 fsex2 0.18771620 1.06130780 CLength:fSex2 0.01361492 0.05809908 Testing av tilfeldige effekter LR ok for testing av tilfeldige effekter Krever korreksjon mhp randeffekter (H 0 : σ 2 a = 0 på randen av lovlige verdier) Bedre enn Wald tester som krever flere antagelser p. 13/3 p. 14/3 Rand-effekter Vanlig teori for LR tester: LR tilnærmet χ 2 v der v er forskjell i antall parametre. Krever at H 0 spesifiserer parameter i det indre av parameter-rom H 0 : σa 2 = 0 på randen Alternativ teori (i enkle situasjoner) LR tilnærmet en mikstur av χ 2 v og χ 2 v 1 For v = 1, kan dele vanlig p-verdi på 2. IC er har tilsvarende problemer Hjortedata - testing av tilfeldig effekt > DE.lme4.ml<-lmer(Ecervi.01 CLength * fsex +(1 ffarm), > DE.lme4.ml2<-lmer(Ecervi.01 CLength * fsex +(1+CLength ffarm), > anova(de.lme4.ml,de.lme4.ml2,test="chisq") Data: DeerEcervi Models: DE.lme4.ml: Ecervi.01 CLength * fsex + (1 ffarm) DE.lme4.ml2: Ecervi.01 CLength * fsex + (1 + CLength ffarm) Df AIC BIC loglik Chisq Chi Df Pr(>Chisq) DE.lme4.ml 5 832.56 856.14-411.28 DE.lme4.ml2 7 829.62 862.64-407.81 6.9303 2 0.03127 * --- Signif. codes: 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 Merk: 2 frihetsgrader, ny varians og korrelasjon! P-verdi LR > 1-0.5*pchisq(6.9303,2)-0.5*pchisq(6.9303,1) [1] 0.01987153
Hypotesetesting av faste effekter LR tester ikke anbefalt for testing av faste effekter da ikke god for små til moderate datasett. Krever forholdet mellom totalt antall observasjoner og antall faste effekter er stort antall nivåer for en tilfeldig effekt er stor Ingen dispersjonsparameter: Wald Z, χ 2 tester Med dispersjonsparameter: Wald t, F tester Avhenger av effektivt frihetsgrader i residualer Vanskelig å beregne da effektivt antall frihetsgrader for tilifeldige effekter ligger mellom 1 (variansparameter) og I 1 (en parameter for hvert nivå av tilfeldig effekt. (Liten σ 2 a gir sterke restriksjoner på b i -ene) Hjortedata - testing av interaksjon > DE.lme4.ml2<-lmer(Ecervi.01 CLength * fsex +(1+CLength ffarm), + family = binomial, data = DeerEcervi,REML=FALSE) > summary(de.lme4.ml2) Generalized linear mixed model fit by the Laplace approximation Formula: Ecervi.01 CLength * fsex + (1 + CLength ffarm) Data: DeerEcervi AIC BIC loglik deviance 829.6 862.6-407.8 815.6 Random effects: Groups Name Variance Std.Dev. Corr ffarm (Intercept) 2.39633557 1.548010 CLength 0.00086071 0.029338 0.649 Number of obs: 826, groups: ffarm, 24 Estimate Std. Error z value Pr(> z ) (Intercept) 1.09088 0.36248 3.009 0.00262 ** CLength 0.04308 0.01049 4.107 4.02e-05 *** fsex2 0.55797 0.22582 2.471 0.01348 * CLength:fSex2 0.03120 0.01204 2.591 0.00958 ** p. 17/3 P-verdi: 0.00958 for Wald z test p. 18/3 Prediksjon Usikkerhet i prediksjon Ofte interessert i prediksjon av (ikke-lineære funksjoner) av tilfeldige effekter, f. eks Anta av interesse ψ = h(v T β) µ ij = g 1 (X ij β + Z ij b i ) Som for LMM, kan gjøres på ulike nivåer: Nivå 0: µ ij = g 1 (X ij β) der h er monoton (voksende). Har Usikkerhetsanslag? ψ = h(v T β) Nivå 1: µ ij = g 1 (X ij β + Z ij b i ) b i = E[b i Y, β, θ].
Usikkerhet i faste effekter Betrakt først v T β: I R: var[v T β] = v T Var[β]v > v = matrix(c(1,rikz$nap[1]),ncol=1) > mu = t(v)%*%mglmmpql$coef$fixed > V = t(v)%*%vcov(mglmmpql)%*%v > c(mu-1.96*sqrt(v),mu+1.96*sqrt(v)) [1] 1.330078 2.001843 Har h = exp: L <v T β < U h(l) <h(v T β) < h(u) > exp(c(mu-1.96*sqrt(v),mu+1.96*sqrt(v))) [1] 3.781339 7.402687 Usikkerhet i prediksjon (forts) Anta av interesse der h er monoton (voksende). To kilder til usikkerhet: Usikkerhet i estimat for β Usikkerhet i b i h(v T β + w T b i ) Ikke opplagt hva man skal gjøre her! Mulig tilnærming: Kun ta hensyn til usikkerhet i b i. Eksempel: Hjortedata, anta av interesse nytt individ uten data. For hun-hjort (fsex=1) p ij = exp{0.8883 + 0.0379 Length ij + a i} 1 + exp{0.8883 + 0.0379 Length ij + a i } p. 21/3 p. 22/3 Hjortedata For hun-hjort (fsex=1) logit(p ij ) = 0.8883 + 0.0379 Length ij + a i, a i N(0,1.462 2 ) Mulig tilnærming: Anta β = b β, ta hensyn til usikkerhet i a i. a i [ 1.96 1.462,1.96 1.462] med sanns. 0.95. Kan lage konfidensbånd for p ij for ulike verdier av Length ved å putte inn a i = 1.96 1.462, 0,1.96 1.462. Probability of presence of E. cervi L1 0.0 0.2 0.4 0.6 0.8 1.0 Ugle data Tigge oppførsel av ugler i søskenflokk. NCalls Antall kall før ankomst av forelder (respons) SexParent(SexP) Mor eller far FoodTreatment (FoodT)Ekstra føde tilsatt (Satiated) eller deler av føde fjernet (Deprived) ArrivalTime (ArrT) Tidspunkt for ankomst av forelder (21.71-29.25) LBroodSize Antall unger i reir fnest Faktor som identifiserer reir 80 60 40 20 0 20 40 Length
Modell for ugle data NCalls is Poisson(µ is ) log(µ is ) =η is η is =offset(lbroodsize is ) + β 1 SexP is + β 2 FoodT is + β 3 ArrT is + β 4 SexP is FoodT is + β 5 SexP is ArrT is + a i a i N(0, σa 2 ) Ugle data - R kode > Owls$LBroodSize<-log(Owls$BroodSize) > O1.lmer<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ + SexP*ArrT+(1 fnest),data=owls,family=poisson) > summary(o1.lmer) Data: Owls AIC BIC loglik deviance 3329 3359-1657 3315 Random effects: Groups Name Variance Std.Dev. fnest (Intercept) 0.20983 0.45808 Number of obs: 599, groups: fnest, 27 Estimate Std. Error z value Pr(> z ) (Intercept) 0.62349 0.09659 6.455 1.08e-10 *** SexPMale -0.01990 0.04607-0.432 0.6657 FoodTSatiated -0.66683 0.05610-11.886 < 2e-16 *** ArrT -0.11948 0.01440-8.298 < 2e-16 *** SexPMale:FoodTSatiated 0.13243 0.07044 1.880 0.0601. SexPMale:ArrT -0.01647 0.01836-0.897 0.3697 p. 25/3 p. 26/3 Ugle data - flere tilfeldige effekter? > O1.lmer<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ + SexP*ArrT+(1 fnest),data=owls,family=poisson) > O1.lmer2<-lmer(NCalls offset(lbroodsize)+sexp*foodt+ +> anova(o1.lmer,o1.lmer2,test="chisq") Data: Owls Models: O1.lmer: NCalls offset(lbroodsize) + SexP * FoodT + SexP * ArrT + O1.lmer: fnest) O1.lmer2: NCalls offset(lbroodsize) + SexP * FoodT + SexP * ArrT O1.lmer2: ArrT fnest) Df AIC BIC loglik Chisq Chi Df Pr(>Chisq) O1.lmer 7 3328.6 3359.3-1657.3 O1.lmer2 9 3155.2 3194.8-1568.6 177.37 2 < 2.2e-16 *** Testing av faste effekter Trinnvis modell-seleksjon med Wald-test Skript Owl.R Justert P-verdi: > 1-0.5*pchisq(177.37,2)-0.5*pchisq(177.37,1) [1] 0 Merk: anova gir her både AIC/BIC og LR Bør også korrigere AIC/BIC
Problemer med GLMM Bolker et al 2009: 311 av 537 GLMM analyser innen økologi og evolusjon var gjort utilfredsstillende! Hypotesetesting Holdbarhet av trinnvis regresjon Bruk av Bayesiansk statistikk Bolker et al (2009) ML underestimerer varianser, men er mest nyttig for å sammenlikne modeller med ulike faste effekter. PQL enklest, tilgjengelig i mange pakker, men gir forventningsskjeve parameterestimater hvis varianser til tilfeldige effekter er store (spesielt binære data) Virker dårlig for Poisson data når µi < 5 eller binomiske data når n i p i < 5 eller n i (1 p i ) < 5 Vanskelig å bruke til inferens (usikkerhetsanslag, testing) Finnes forbedringer, ikke så lett tilgjengelige MCMC/Bayesianske metoder et godt alternativ (ikke i dette kurset) Tilnærmet likt ML for informative datasett Takler lett mange tilfeldige effekter Mange andre problemer p. 29/3 p. 30/3