Forelesning 3 STK3100

Transkript

1 Eks. Fødselsvekt mot svangerskapslengde og kjønn Forelesning 3 STK september 2008 S. O. Samuelsen Plan for forelesning: 1. Generelt om lineære modeller 2. Variansanalyse - Kategoriske kovariater 3. Koding av kategoriske kovariater 4. Hat-matrise 5. Residualer Fødselsvekt Y i, indikator for gutt x i1, indikator for jente x i2, svangerskapslengde x i3. Generell (apriori) modell tillater ulike vekstrater for gutter og jenter: Y i = β 1 x i1 + β 2 x i2 + β 3 x i3 x i1 + β 4 x i3 x i2 + ε i Vil teste nullhypotesen H 0 : β 3 = β 4, dvs. samme veksthastighet, som er gitt ved modell Y i = β 1 x i1 + β 2 x i2 + β 3 x i3 + ε i Forelesning 3 STK3100 p. 1/44 Forelesning 3 STK3100 p. 3/44 Lineær modell: Uavhengige responser, i = 1,...,n, der Y i N(µ i,σ 2 ) µ i = β 1 x i1 + β 2 x i2 + + β p x ip = β x i der x ij -ene er forklaringsvariable eller kovariater for respons nr. i og og β j -ene regresjonsparametre. Alternativt kan vi skrive dette som Y i -ene er uavhengige med forventning µ i = β x i konstant varians Var(Y i ) = σ 2 Y i -ene er normalfordelt Forelesning 3 STK3100 p. 2/44 Notasjon - Data Respons for "individ" nr. i: Y i,i = 1,...n Vektor av responser Y = x ij = Forklaringsvariabel nr j,j = 1,...,p for individ nr. i Kovariatmatrise eller Designmatrise for forklaringsvariablene: x 11 x 12 x 1p x 21 x 22 x 2p X =.... x n1 x n2 x np Y 1 Y 2. Y n Forelesning 3 STK3100 p. 4/44

2 Designmatrise for apriorimodell. fødselvekter: Y i = β 1 x i1 + β 2 x i2 + β 4 x i4 + β 5 x i5 + ε i der x i1 = indikatorvariabel for gutt, x i2 = indikatorvariabel for jente, x i4 = x i1 x i3 = produkt av varighet og indikator gutt og x i5 = x i2 x i3 = produkt av varighet og indikator jente Designmatrisen blir da, når det er nummerert slik at de første 12 individene er gutter, 1 0 x 1, x 12,3 0 X = x 13, x 24,3 Forelesning 3 STK3100 p. 5/44 Kvadratsum / Likelihood På matriseform kan vi skrive µ = (µ 1,...,µ n ) = Xβ. Dermed kan kvadratsummen kan skrives n S(β) = (Y i µ i ) 2 = (Y Xβ) (Y Xβ) i=1 Likelihood for Y 1,...,Y n blir da L(β) = [ ] n 1 i=1 2πσ 2 exp( 1(Y 2 i µ i ) 2 ) = (2πσ 2 ) n/2 exp( 1 2 S(β)) Forelesning 3 STK3100 p. 7/44 Designmatrise for nullhypotesemodell Y i = fødselvekt individ nr. i x i1 = x i2 = x i3 = indikatorvariabel for gutt indikatorvariabel for jente svangerskapslengde Nullhypotesemodellen blir da Y i = β 1 x i1 + β 2 x i2 + β 3 x i3 + ε i Nå blir designmatrisen 1 0 x 1, x 12,3 X = 0 1 x 13, x 24,3 Estimering: MK = ML Med Y vektor av responser og X designmatrisen blir log-likelihood l(β) = 1 2σ 2(Y Xβ) (Y Xβ) + K (der K ikke inneholder β) og score-ligninger så MLE = MKE gis ved såsant X X er inverterbar. 1 σ 2( X Y + X Xˆβ)) = 0, ˆβ = (X X) 1 X Y Forelesning 3 STK3100 p. 6/44 Forelesning 3 STK3100 p. 8/44

3 R-tilpasning fødselsvekt, begge modeller > lm(vekt factor(kjonn)+uker-1,data=fvekt) Call: lm(formula = vekt factor(kjonn) + uker - 1, data = fvekt) factor(kjonn)1 factor(kjonn)2 uker > x4<-uker*(kjonn==1) > x5<-uker*(kjonn==2) > lm(vekt factor(kjonn)+x4+x5-1,data=fvekt) Call: lm(formula = vekt factor(kjonn) + x4 + x5-1, data = fvekt) factor(kjonn)1 factor(kjonn)2 x4 x Fordelingsegenskaper Siden E[Y] = Xβ fås E[ˆβ] = (X X) 1 X E[Y] = (X X) 1 X Xβ = β, dvs. forventningsrett. Dessuten er kovarians-matrisen til Y gitt som σ 2 I der I er en nxn identitetsmatrise, dermed blir kovariansmatrisen til ˆβ og vi har altså (X X) 1 X σ 2 IX(X X) 1 = σ 2 (X X) 1 ˆβ N(β,σ 2 (X X) 1 ) eksakt siden ˆβ er en lineærkombinasjon av normale Y i. Forelesning 3 STK3100 p. 9/44 Forelesning 3 STK3100 p. 11/44 Eks: Fødselsvekt Variansen σ 2 estimeres forventningsrett ved fłdselsvekt (g) H0 Apriori n ˆσ 2 i=1 = (Y i ˆβ x i ) 2 n p Dessuten har vi at (n p)ˆσ 2 σ 2 = 1 n p (Y X ˆβ) (Y X ˆβ) χ 2 n p, igjen et eksakt resultat når Y i -ene er normalfordelt svangerskapslengde (uker) Felles (H 0 ) stigningskoeffisient: Apriori for gutter og for jenter. Forelesning 3 STK3100 p. 10/44 Forelesning 3 STK3100 p. 12/44

4 Likelihood Ratio Test (LRT) Anta at Mod 0 er et spesialtilfelle av Mod 1 og at vi vil teste nullhypotesen H 0 : Mod 0 er sann under antagelse på forhånd (apriori) av at Mod 1. LRT består da i å forkaste hvis = 2(ˆl l ) er stor der ˆl og l er maksimal loglikelihood under hhv. Mod 1 og Mod 0. Vi har da tilnærmet under H 0 at = 2(ˆl l ) χ 2 q når q antall færre parametre i Mod 0. F-test og LRT Dessuten er = S(β ) S(ˆβ) σ 2 eksakt og ˆσ 2 uavhengige, dermed får vi at F = [S(β ) S(ˆβ)]/q F ˆσ 2 q,n p dvs. Fisher-fordelt med q og n p frihetsgrader under H 0 : β p q+1 = = β p = 0 når Y i -ene er normale. Dette resultatet kan brukes til å teste f.eks. ingen effekt av en kovariat x som inngår i modellen både med leddet x og x 2. Men mer typisk brukes det til å teste om det er en effekt av en kategorisk kovariat. Forelesning 3 STK3100 p. 13/44 Forelesning 3 STK3100 p. 15/44 LRT og lineærnormale modeller Anta at Mod 0 gis ved H 0 : β p q+1 = = β p = 0 samt at σ 2 er kjent. La dessuten ˆβ og β være MLE/MKE under hhv. apriorispesifikasjon og H 0 slik at Da blir β p q+1 = = β p = 0 = 2(ˆl l ) = S(β ) S(ˆβ) σ 2. For lineærnormale modeller holder dessuten χ 2 q eksakt. En noe mer generell nullhypotese, de J & H La C være en q p matrise. Vi kan mer generelt være interessert i å teste H 0 : Cβ = 0 Spesielt får vi testen presentert foran ved å sette C = Vi antar at rangen til C er lik q(< p). Forelesning 3 STK3100 p. 14/44 Forelesning 3 STK3100 p. 16/44

5 En noe mer generell F-test, de J & H La som før X være designmatrisen og ˆβ paramterestimat for apriorimodellen, X og β er designmatrise og parameterestimater under nullhypotesen. Vi kan skrive kvadratsummen S(ˆβ) = (Y Xˆβ) (Y Xˆβ) = Y Y ˆβ X Y Y Xˆβ ˆβ X Xˆβ = Y Y ˆβ X Y siden ˆβ X Xˆβ = ˆβ X X(X X) 1 X Y = ˆβ X Y. Tilsvarende fås for nullhypotesemodellen S(β ) = Y Y β X Y der X er designmatrisen generert av Cβ = 0. Dermed blir F-observatoren F = (S(β ) S(ˆβ))/q ˆσ 2 = (ˆβ X Y β X Y)/q F ˆσ 2 q,n p Forelesning 3 STK3100 p. 17/44 Noen ganger inndeles lineære modeller i 1. Multippel lineær regresjon Kun "skala"-kovariater 2. Variansanalyse - ANOVA Kun kategoriske kovariater 3. Kovariansanalyse Både kategoriske kovariater og skala-kovariater Denne inndelingen er imidlertid ikke så vanlig innen GLM-rammen, vi har typisk både skala- og kategoriske kovariater, og snakker uansett om multippel regresjon. Forelesning 3 STK3100 p. 19/44 F-test for ulik veksthastighet mellom kjønn > mod0<-lm(vekt factor(kjonn)+uker-1,data=fvekt) > mod1<-lm(vekt factor(kjonn)+x4+x5-1,data=fvekt) > anova(mod0,mod1) Model 1: vekt factor(kjonn) + uker - 1 Model 2: vekt factor(kjonn) + x4 + x5-1 Res.Df RSS Df Sum of Sq F Pr(>F) Siden n = 24,p = 4 og q = 1 blir F = ( )/ /20 = 0.19 Eks: Kategoriske kovariater Y = Inntekt etter kjønn og sosioøkonomisk gruppe: Sted 1 Sted 2 Sted 3 Mann Kvinne Altså to kategoriske kovariater = faktorer i R-terminologi: 1. Kjønn med 2 nivåer 2. Sted med 3 nivåer Ikke-signifikante relativt til F-fordeling, p=0.66. Forelesning 3 STK3100 p. 18/44 Forelesning 3 STK3100 p. 20/44

6 Parametrisering med enveis variansanalyse Sammenligning av forventning mellom J grupper: Modell: Anta at individ i er i gruppe j. Da er Y i N(µ j,σ 2 ) La for j = 1,...,J 1 hvis i er i gruppe j x ij = 0 ellers Da kan vi skrive dette som en lineær modell uten konstantledd µ j = E[Y i ] = µ 1 x i1 + µ 2 x i2 + + µ J x ij Denne parametriseringen er imidlertid kan imidlertid ikke benyttes med flere kategoriske kovariater (for flere kovariater samtidig). Forelesning 3 STK3100 p. 21/44 Eks: Designmatrise for Sted uten konstantledd > enveisfit<-lm(inntekt factor(sted)-1,x=t) > enveisfit$x factor(sted)1 factor(sted)2 factor(sted) Forelesning 3 STK3100 p. 23/44 Eks: Inntekt over sted Ser bort fra kjønn. Kun en faktor og altså enveis ANOVA. > inntekt<-c(300,350,370,360,400,370,420,390,400,430,420,410,300,320,310, > kjonn<-c(rep(1,12),rep(2,12)) > sted<-rep(c(1,1,1,1,2,2,2,2,3,3,3,3),2) > lm(inntekt factor(sted)-1) factor(sted)1 factor(sted)2 factor(sted) > summary(lm(inntekt factor(sted)-1)) Estimate Std. Error t value Pr(> t ) factor(sted) <2e-16 *** factor(sted) <2e-16 *** factor(sted) <2e-16 *** Signif. codes: 0 *** ** 0.01 * Forelesning 3 STK3100 p. 22/44 Hjørnepunkt-parametrisering = "treatment-kontrast" Vi kan velge en av gruppene som referansegruppe, f.eks. gruppe 1 og skrive om enveis ANOVA til µ j = E[Y i ] = µ 1 + (µ 2 µ 1 )x i2 + + (µ J µ 1 )x ij = β 1 + β 2 x i2 + + β J x ij der altså β 1 = µ 1 og β j = µ j µ 1 for j > 1. Denne parametriseringen er naturlig hvis man vil sammenligne J 1 nye behandlinger med en tradisjonell behandling. Hjørnepunkt-parametrisering / treatment-contrast er default i R. Forelesning 3 STK3100 p. 24/44

7 Eksempel inntekt med hjørnepunkt-parametrisering > summary(lm(inntekt factor(sted))) Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** factor(sted) ** factor(sted) *** Signif. codes: 0 *** ** 0.01 * Residual standard error: on 21 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 2 and 21 DF, p-value: > anova(lm(inntekt factor(sted))) Response: inntekt Df Sum Sq Mean Sq F value Pr(>F) factor(sted) *** Residuals Forelesning 3 STK3100 p. 25/44 Sum-parametrisering (kontrast) Tradisjonelt i ANOVA benyttes imidlertid ofte "sum-parametrisering" med der µ j = E[Y i ] = α 0 + α 1 x i1 + α 2 x i2 + + α J x ij α 1 + α α J = 0 Merk at J j=1 x ij = 1 og med konstantledd α 0 i modellen er det overparametrisert uten en restriksjonen som J j=1 α j = 0 Med sum-parametrisering blir α J = (α α J 1 ) og µ j = α 0 + α 1 x i1 + + α J 1 x i,j 1 (α α J 1 )x ij = α 0 + α 1 (x i1 x ij ) + + α J 1 (x i,j 1 x ij ) = α 0 + α 1 x i1 + + α J 1 x i,j 1 Forelesning 3 STK3100 p. 27/44 Eks: Designmatrise for Sted med treatment-kontrast Sum-parametrisering (kontrast), forts. > enveisfit<-lm(inntekt factor(sted),x=t) > enveisfit$x (Intercept) factor(sted)2 factor(sted) Forelesning 3 STK3100 p. 26/44 Sum-parametriseringen gir altså J parametre i - på samme måte som hjørnepunkt-paramterisering - men med kovariater x ij = x ij x ij Sum-kontrast spesifiseres i R ved options(contrasts=c("contr.sum","contr.poly")) Se bare bort fra "contr.poly" som benyttes for en spesiell type kategorisk kovariat. For å komme tilbake til hjørnepunk/treatment-parametrisering: options(contrasts=c("contr.treatment","contr.poly")) Forelesning 3 STK3100 p. 28/44

8 Eks: Inntekt over sted med sum-kontrast > options(contrasts=c("contr.sum","contr.poly")) > summary(lm(inntekt factor(sted))) Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** factor(sted) *** factor(sted) Residual standard error: on 21 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 2 and 21 DF, p-value: > anova(lm(inntekt factor(sted))) Response: inntekt Df Sum Sq Mean Sq F value Pr(>F) factor(sted) *** Residuals Forelesning 3 STK3100 p. 29/44 Signif. codes: 0 *** ** 0.01 * Toveis variansanalyse uten interaksjon Y i N(E[Y i ],σ 2 ) uavhengige med nivå j på faktor 1 med ialt J nivåer nivå k på faktor 2 med ialt K nivåer Med hjørnepunkt-parametrisering kodes 1. faktor ved x ij = 1 mens x ij = 0 og 2. faktor ved z ik = 1 mens z ik = 0 slik at forventningen blir (med β 1 = α 1 = 0) E[Y i ] = β 0 + J β j x ij + j=2 K α k z ik = β 0 + β j + α k k=2 Forelesning 3 STK3100 p. 31/44 Eks: Designmatrise for Sted uten sum-kontrast Eks: Toveis-Anova med hjørnepunkt > options(contrasts=c("contr.sum","contr.poly")) > enveisfit<-lm(inntekt factor(sted),x=t) > enveisfit$x (Intercept) factor(sted)1 factor(sted) Forelesning 3 STK3100 p. 30/44 > options(contrasts=c("contr.treatment","contr.poly")) > toveisfit<-lm(inntekt factor(sted)+factor(kjonn),x=t) > summary(toveisfit) Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** factor(sted) e-05 *** factor(sted) e-07 *** factor(kjonn) e-06 *** Residual standard error: on 20 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 3 and 20 DF, p-value: 6.012e-08 > anova(toveisfit) Response: inntekt Df Sum Sq Mean Sq F value Pr(>F) factor(sted) e-07 *** factor(kjonn) e-06 *** Residuals Forelesning 3 STK3100 p. 32/44

9 Toveis ANOVA uten interaksjon med sum-kontrast Y i N(E[Y i ],σ 2 ) uavhengige med nivå j på faktor 1 med ialt J nivåer nivå k på faktor 2 med ialt K nivåer Toveis anova med interaksjon Y i N(E[Y i ],σ 2 ) uavhengige med nivå j på faktor 1 med ialt J nivåer nivå k på faktor 2 med ialt K nivåer Med x ij ogz ik som ved hjørnepunkt-parametrisering kodes nå 1. faktor ved x ij = x ij x ij og 2. faktor ved z ik = z ik z ik og E[Y i ] = α 0 + β j + γ k + (βγ) jk, dvs. et nivå for hver kombinasjon nivå j på faktor 1 og nivå k på faktor 2. Forelesning 3 STK3100 p. 33/44 Forelesning 3 STK3100 p. 35/44 Eks: Toveis-anova med sum-parametrisering > options(contrasts=c("contr.sum","contr.poly")) > toveisfit<-lm(inntekt factor(sted)+factor(kjonn),x=t) > summary(toveisfit) Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** factor(sted) e-07 *** factor(sted) factor(kjonn) e-06 *** Residual standard error: on 20 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 3 and 20 DF, p-value: 6.012e-08 > anova(toveisfit) Response: inntekt Df Sum Sq Mean Sq F value Pr(>F) factor(sted) e-07 *** factor(kjonn) e-06 *** Residuals Forelesning 3 STK3100 p. 34/44 Eks: Toveis-anova med sum-parametrisering > toveisfit<-lm(inntekt factor(sted)+factor(kjonn) +factor(sted)*factor(kjonn)) > anova(toveisfit) Response: inntekt Df Sum Sq Mean Sq F value Pr(>F) factor(sted) e-06 *** factor(kjonn) e-05 *** factor(sted):factor(kjonn) Residuals Signif. codes: 0 *** ** 0.01 * Forelesning 3 STK3100 p. 36/44

10 Predikerte verdier og Hat-matrisen Med estimater MKE ˆβ = (X X) 1 X Y får vi predikerte verdier for µ i og for Y i ved ˆµ i = Ŷi = ˆβ x i For vektoren Y = (Y 1,...,Y n ) blir disse gitt ved der Ŷ = Xˆβ = X(X X) 1 X Y = HY H = X(X X) 1 X kalles Hat-matrisen fordi den "setter hatt på" Y. H og M idempotent og symmetriske For en symmetrisk matrise A er A = A En idempotent matrise A tilfredstiller A 2 = AA = A. Resultat: H og M er symmetriske og idempotente. Viser at H er idempotent: HH = X(X X) 1 X X(X X) 1 X = X(X X) 1 X = H Siden dette også gjelder for M (oppgave!) får vi Mσ 2 IM = σ 2 MM = σ 2 M = σ 2 (I H) Forelesning 3 STK3100 p. 37/44 Forelesning 3 STK3100 p. 39/44 Residualer på matriseform La ê i = Y i Ŷi = Y i ˆµ i være de vanlige residualene og ê = (ê 1,...,ê n ) vektoren av residualer. Da finner vi ê = Y Ŷ = IY HY = (I H)Y = MY der I er nxn identitetsmatrisen og M = I H. Siden ê er lineært avhengig av Y er de normalfordelt med forventning E[ê] = ME[Y] = (I H)E[Y] = (I X(X X) 1 X )Xβ = 0 Studentiserte residualer og "leverage" Med H = [h ij ] n i,j=1 får vi at standardavviket til residualen ê i er lik σ (1 h ii ), dvs. avhenger av h ii. Dette foreslår at vi bør se på Studentifiserte residualer heller enn ê i = Y i Ŷi. r i = ê i ˆσ 1 h ii Størrelsene h ii kalles "leverage" = "moment på vektstang" og angir evnen til å påvirke ˆβ: Influens. og kovariansmatrise Mσ 2 IM = σ 2 M = σ 2 (I H) hvor første likhet vises på neste side. Forelesning 3 STK3100 p. 38/44 Oppgave: Vis at for enkel lineær regresjon, Y i = β 0 + β 1 x i + ε i, blir leverage h ii = 1 n + (x i x) 2 n i=1 (x i x) 2 Forelesning 3 STK3100 p. 40/44

11 Delta-Betas og Cook s distanse Observasjoner Y i,x i som har stor innflytelse på ˆβ kan også observeres ved såkalte Delta-Betas (eller noen ganger df-betas) i ˆβj = ˆβ j ˆβ j(i) der ˆβ j(i) er MKE for β j observasjon utelates fra estimeringen. Utfra uttrykk som leverage og influens kan man vel vente at det er en sammenheng mellom i ˆβj og leverages h ii. Denne kan uttrykkes som gjennom Cook s avstand Delta-Betas og Cook s distanse, forts. II En intuitiv begrunnelse for disse kriteriene fås ved å legge merke til at 1 pˆσ 2(ˆβ β) X X(ˆβ β) F p,n p og siden senter i F-fordelinger 1 vil en endring i D i 1 være verdt å merke seg. h ii D i = 1 ri 2 = 1 p 1 h ii pˆσ 2(ˆβ ˆβ (i) ) X X(ˆβ ˆβ (i) ) der ˆβ (i) ) = (ˆβ 1(i),..., ˆβ p(i) ). Forelesning 3 STK3100 p. 41/44 Forelesning 3 STK3100 p. 43/44 Delta-Betas og Cook s distanse, forts. Man ser av denne ligningnen at estimatene påvirkes betydelig dersom Studentisert residual r i er stor Leverage h ii er stor Som en tommelfingerregel bør verdier sjekkes hvis D i > 0.5 Eksempel: Fødselsvekt mot kjønn og sv.lengde Residualplottet nederst til høyre gir Cook s distanse D i, max-verdi 0.5. Residuals Residuals vs Fitted Fitted values Standardized residuals Normal Q Q Theoretical Quantiles 8 4 alltid hvis D i > 1 (Cook & Weisberg, 1999, Applied Regression Including Computing and Graphics). Standardized residuals Scale Location 9 8 Standardized residuals Residuals vs Leverage Cook s distance Fitted values Leverage Forelesning 3 STK3100 p. 42/44 Forelesning 3 STK3100 p. 44/44