Forelesning 8 STK3100/4100

Transkript

1 Forelesning STK300/400 Plan for forelesning: 0. oktober 0 Geir Storvik. Lineære blandede modeller. Eksempler - data og modeller 3. lme 4. Indusert korrelasjonsstruktur. Marginale modeller. Estimering - ML og REML 7. Modell seleksjon Eksempel: Vekst av rotter Vekt av 30 rotter målt ukentlig i uker Weight days p. /33 p. 3/33 Lineær regresjon Modell y i = x T i β + ε i, i =,...,n der E[ε i ] = 0 ε,...,ε n uavhengige Var[ε i ] = σ (samme for alle obs) Vanlig lineær modell Respons Y i,j er vekt av rotte i for uke j. Individuelle forskjeller i nivå. Mulig modell: Y i,j = α i + β x j + ε i,j, ε i,j N(0,σ ) der x j er antall dager. Kan estimere α,...,α 30,β,σ ved vanlig lineær regresjon. ε i er Gaussisk Hva hvis noen av disse antagelsene ikke er tilstede? Her: Se på situasjonen med uavhengighet p. /33 p. 4/33

2 Eksempel rotter (forts) 30 rotter utvalg av populasjon. Av interesse hele populasjonen. Alternativ modell Y i,j = α + b i + β x j + ε i,j, ε i,j N(0,σ ) der nå b i N(0,d ). Eksempel på blandet modell Eksempel: Biomangfold i sjøen Antall arter RIKZ målt innenfor 9 områder. observasjoner innen hvert område (ulike sites ) Ønsker å forklare variasjon ved NAP : Høyde ved stasjon i forhold til gj.snittelig høyde Exposure: Index kombinert fra ulike ting (felles for hvert område) Totalt 4 obsevasjoner p. /33 p. 7/33 Indusert korrelasjonsstruktur Boksplott Y i,j =α + b i + β x j + ε i,j Var[Y ij ] =d + σ 0 hvis k i Cov[Y ij,y k,l ] = d hvis k = i,l j 0 hvis k i Cor[Y ij,y k,l ] = d hvis k = i,l j d +σ p. /33 p. /33

3 Regresjon innen område Kombinert modell Y ij = α i + β i NAP ij + ε ij Y ij =α i + β i NAP ij + ε ij β i =η + τexposure i + b i RIKZ$Richness gir Y ij =α i + (η + τexposure i + b i )NAP ij + ε ij =α i + ηnap ij + τexposure i NAP ij + b i NAP ij + ε ij RIKZ$NAP p. 9/33 p. /33 To-trinns analyse > round(beta,3) [] Nivå modell β i = η + τexposure i + b i > exp = RIKZ$Exposure[c(:9)*-4] > fit = lm(beta exp) > summary(fit) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) exp Ulemper to-trinns analyse Oppsummerer data fra hvert område med en parameter (β i ) Analyserer regresjonsparametre, ikke respons Usikkerhet i ˆβ i ikke brukt i -trinn. Endelig modell fornuftig, men ønsker en enhetlig analyse Residual standard error:.9 on 7 degrees of freedom Multiple R-squared: 0.3,Adjusted R-squared: F-statistic:. on and 7 DF, p-value: 0.97 p. 0/33 p. /33

4 Lineære blandede modeller Antar Y i = X i β + Z i b i + ε i Rotte modell Y i =X i β + Z i b i + ε i Fast effekt/parameter: β med forklaringsvariable X i Tilfeldig effekt: b i med forklaringsvariable Z i. Kalles Blandet modell (mixed model) og Y i,j =α + β x j + b i + ε i,j, ε i,j N(0,σ ) p. 3/33 gir β = (α,β) T, b i = b i,σ = σ I,D = d og x x X i = x 3, Z i = x 4 x p. /33 Modell med alle antagelser Y i =X i β + Z i b i + ε i b i N(0,D) ε i N(0,Σ i ) b,..,b N,ε,...,ε N uavhengige Laird & Ware modell formulering Ofte: Forenklede strukturer på D,Σ i D = d I,Σ i = σ I Biomangfold Forenklet modell Y ij =α + b i + β i NAP ij + ε ij gir β = (α,β) T, b i = b i,σ = σ I,D = d og NAP i NAP i X i = NAP i3, Z i = NAP i4 NAP i p. 4/33 p. /33

5 Tilfeldig konstantledd Random intercept modell Y ij =α + b i + x T i β + ε ij Konstantledd (intercept) α + b i N(α,d ). Funksjonen lme - output - Rottedata > summary(fit) Linear mixed-effects model fit by REML Data: d AIC BIC loglik Random effects: Formula: id (Intercept) Residual StdDev: Fixed effects: weight days Value Std.Error DF t-value p-value (Intercept) days Number of Observations: 0 Number of Groups: 30 Her er ˆd = = og ˆσ =.03 = p. 7/33 p. 9/33 Funksjonen lme lme: Lineære blandede modeller Kall vedlig likt lm. Ekstra variabel random som beskjriver tilfeldig variabel (Merk: ε ij er som vanlig direkte spesifisert i modellen) > library(nlme) > names(rats) [] "days" "weight" "id" > fit = lme(weight days,random= id,data=rats) id er her en faktor som angir hvilken rotte en observasjon tilhører random= id betyr at vi modellerer et konstantledd innenfor id, dvs vår b i. Antar direkte (default) Uavhengighet mellom bi -ene bi N(0, d ). Biomangfold > RIKZ$fBeach <- factor(rikz$beach) > Mlme <- lme(richness NAP, random = fbeach,data=rikz) > summary(mlme) Linear mixed-effects model fit by REML Data: RIKZ AIC BIC loglik Random effects: Formula: fbeach (Intercept) Residual StdDev: Fixed effects: Richness NAP Value Std.Error DF t-value p-value (Intercept) NAP Her er ˆd =.944 =. og ˆσ = 3.00 = 9.3. p. /33 p. 0/33

6 Koeffisienter > Mlme <- lme(richness NAP, random = fbeach,data=rikz) > summary(mlme)$coef $fixed (Intercept) NAP $random $random$fbeach (Intercept) ˆbi = E[b i data, estimerte parametre]. Tilpassede verdier Richness NAP 97 Level 0 Level p. /33 p. 3/33 Tilpassede verdier Y i =X i β + Z i b i + ε i To opsjoner for tilpassede verdier: ˆµ i =X iˆβi Nivå 0 µ i =X iˆβi + Z i ˆbi Nivå Mlme <- lme(richness NAP, random = fbeach,data=rikz) F0<-fitted(Mlme,level=0) F<-fitted(Mlme,level=) Tilfeldig konstant- og stigningsledd Random intercept and slope model Biomangfold Y ij =α + b i + (β + b i )NAP i + ε ij Konstantledd (intercept) α + b i N(α,d ). Stigning (slope) β + b i N(β,d ). Kan også ha Cov[b i,b i ] = d = d. Mlme <- lme(richness NAP, random = + NAP fbeach, data = RIKZ) p. /33 p. 4/33

7 R kode Indusert korrelasjonsstruktur > Mlme <- lme(richness +NAP, + random = + NAP fbeach, data = RIKZ) > summary(mlme) Random effects: Formula: + NAP fbeach Structure: General positive-definite, Log-Cholesky parametrization StdDev Corr (Intercept) (Intr) NAP Residual.7079 Fixed effects: Richness NAP Value Std.Error DF t-value p-value (Intercept) e+00 NAP e-04 Correlation: (Intr) NAP -0.9 gir Y i =X i β + Z i b i + ε i b i N(0,D) ε i N(0,Σ i ) Y i N(X i β,v i ) V i =Z i D Z T i + Σ i p. /33 p. 7/33 Tilpassede linjer Indusert korrelasjonsstruktur Y ij =α + b i + (β + b i )NAP i + ε ij RIKZ$Richness Var[Y ij ] =d + NAP ij d + NAP ij d + σ Cov[Y ij,y ik ] =d + (NAP ij + NAP ik ) d + (NAP ij NAP ik ) d + σ RIKZ$NAP p. /33 p. /33

8 Intrakorrelasjon og effektiv sample størrelse Enkel situasjon: Y i = (Y i,...,y in ), E[Y ij ] =µ, Var[Y ij ] = σ, Cov[Y ij,y ik ] = ρσ ˆµ =Ȳ Var[Ȳ ] = n [ n j= Var[Y ij ] + k j Cov[Y ij,y ik ]] = + n(n )ρσ ] = σ [ + (n )ρ] n [nσ n Varians økt med + (n )ρ. Design effekt Eksempel: n =, ˆρ = 0.4 gir + (n )ρ =.9. Effektiv sample størrelse: N effective = N n design effekt = 9.9 =.4 p. 9/33 REML REML = Restricted maximum likelihood Modell (vanlig lineær regresjon): Y i = X i β + ε i, ε i N(0,σ ) Ide: Transformere data slik at β forsvinner. A er en n (n p) matrise slik at A T X = 0. Gir A T Y i =A T X i β + A T ε i N(0,σ A T A) Estimer σ ved ML basert på A T Y i. p. 3/33 Estimering Vanlig: ML estimering. REML og blandede modeller Modell gir ˆµ = ȳ og Y i uif N(µ,σ ) kombinert Y i N(X i β,v i ), V i = Z i D Z T i + Σ i ˆσ = n Foretrekker ofte n (y i ȳ) Forventningsskjev i= ˆσ = n n (y i ȳ) Forventningsrett i= Forventningsskjevhet i ML-estimat: Tar ikke hensyn til usikkerhet i µ p. 30/33 Y N(Xβ,V) Definer A slik at A T X = 0. Gir A T Y N(0,A T VA) Estimer parametre i V ved ML estimering basert på A T Y. Merk: Resultat ikke avhengig av hvordan vi spesifiserer A. Gir forventningsrette estimater! p. 3/33

9 Eksempel RIKZ$fExp<-RIKZ$Exposure RIKZ$fExp[RIKZ$fExp==]<-0 RIKZ$fExp<-factor(RIKZ$fExp,levels=c(0,)) M0.ML <- lme(richness NAP, data = RIKZ, random = fbeach, method = "ML") M0.REML <-lme(richness NAP, data = RIKZ, random = fbeach, method = "REML") M.ML <- lme(richness NAP+fExp, data = RIKZ, random = fbeach, method = "ML") M.REML <- lme(richness NAP+fExp, data = RIKZ, random = fbeach, method = "REML") p. 33/33