Forelesning STK september 2011

Transkript

1 Forelesning STK setember 2011 Geir Storvik (S. O. Samuelsen) Plan for forelesning: 1. Mer om evians 2. Devians og Gooness-of-fit tester 3. GLM og resiualer En Mettet (saturate) moell er en moell som har en arameter er observasjon. Sesielt er alle anre moeller nøstet i en mettee moellen. Eks: Biller Den mettee moellen har ulike sannsynligheter µ i for hver giftose og tilassee sannsynligheter blir µ i = Y i /n i. For GLM får vi en erfekt tilasning til ata Y i slik at reikerte forventninger µ i = Y i. Den mettee moellen får også maksimal onåelig likelihoo l over alle tenkelige moeller. Forelesning STK /31 Forelesning STK /31 Mål å hvor go en moell er Ønsker mål å hvor go en moell er (log-)likelihoo vanskelig a skala avhenger av moell og menge ata Alternativ: Sammenlikne me best mulig moell. Devians Vi efinerer Deviansen ve 2( l l) er altså l er log-likelihoo for en mettee moellen. Eks: Y i N(µ i,σ 2 ): Den mettee moellen har µ i = Y i l = n 2 log(2µσ2 ) 1 2σ 2 (Y i µ i ) 2 l = n 2 log(2µσ2 ) Derme finner vi at likelihoo ratio mellom mettet moell og en vilkårlig moell (å log-skala) blir 2( l l) = 1 σ 2 (Y i µ i ) 2 Forelesning STK /31 Devians er generalisering av kvaratsum! Forelesning STK /31

2 Devians = 2( l l) Merk: l = l(θ,φ) l avhenger ikke av θ,φ = (θ,φ) = 2( l l(θ,φ)) arg max θ,φ l(θ,φ) = arg min θ,φ (θ,φ) Minimering av er ekvivalent me maksimering av likelihooen. Devians og binomisk foreling f(y i,µ i ) = ( ni y i µ i =y i /n i l(µ) = [log l = [log =2 ) µ y i i (1 µ i) n i y i ( ni y i ( ni y i ) + y i log(µ i ) + (n i y i ) log(1 µ i )] ) + y i log( µ i ) + (n i y i ) log(1 µ i )] [y i log( µ i /µ i ) + (n i y i ) log((1 µ i )/(1 µ i ))] Forelesning STK /31 Forelesning STK /31 Devians og Poisson foreling f(y i,µ i ) = µy i i e µ i y! µ i =y i l(µ) = [y i log(µ i ) µ i log(y i!)] l = [y i log(y i ) y i log(y i!)] =2 [y i log(y i /µ i ) (y i µ i )] Et ar anre begreer Resiual evians = Devians i aktuell moell g(µ i ) = β 0 + β 1 x i β x i, vs. eviansen innsatt MLE ˆβ Devians uner H 0 = Devians me Moell: µ i = µ eller g(µ i ) = β 0, vs. kun konstantle i moellen Maksimal evians Har 0 Resiual evians Null evians Forelesning STK /31 Forelesning STK /31

3 LRT og Devians Ariori MLE ˆβ = (ˆβ 1,..., ˆβ ) gir Devians ˆ = 2[ l ˆl] = 2[ l l(ˆβ)] Uner nullhyotesen er β q+1 = = β = 0. Da fås MLE β = (β 1,...,β q, 0,..., 0) som gir evians = 2[ l l ] = 2[ l l(β )]. Likelihoo ratio testen gis nå ve at uner H 0 G = 2[l(ˆβ) l(β )] = ˆ χ 2 q. Vi gjør altså LRT ve å beregne evianser for moellene som sammenlignes! Test for H 0 : β = β 0 : Wal-test Me ˆβ MLE for β og se stanarfeil for ˆβ : Z = ˆβ β 0 se N(0, 1) (tilnærmet) Likelihoo-Ratio-test: Ariori MLE ˆβ = (ˆβ 1,..., ˆβ ) Uner nullhyotesen fås MLE β = (β 1,...,β 1,β 0 ) Likelihoo ratio testen gis a ve at tilnærmet G = 2[l(ˆβ) l(β )] = ˆ χ 2 1 (kjikvaratforelt me 1 frihetsgra). Forelesning STK /31 Forelesning STK /31 Eksemel: Biller Ariori moell: logit(µ i ) = β 0 + β 1 x i Nullhyotese: β 1 = 0 Nullevians: = Resiual evians: ˆ = LRT: G = ˆ = , vs. soleklar forkastning sml. χ 2 1 Ariori moell: logit(µ i ) = β 0 + β 1 x i + β 2 x 2 i Nullhyotese: β 2 = 0 Devians uner H 0 : = Resiual evians: ˆ = LRT: G = ˆ = 8.03, -veri P(χ 2 1 > 8.03) = , vs. signifikant avvik LR-test for H 0 : β = β 0 0 i R For å utføre enne LR-testen i R benyttes et som kalles offset. Uner nullhyotesen er lineær reiktor η i = β 0 + β 1 x i1 + + β 1 x i, 1 + β 0 x i er β 0 x i er kjente størrelser. Disse må sesifiseres i rogrammet! I R gjøres ette ve å legge inn offset(beta0*x) i moellformelen, f.eks. > glm(y x1+x2+x3+offset(beta40*x4),family=oisson) Da vil arametrene β 0,β 1,β 2 og β 3 estimeres uner en forutsetning at β 4 = β 40. Forelesning STK /31 Forelesning STK /31

4 Eks. Biller: H 0 : β 1 = 40 uner logit-lineær moell β 0 + β 1 x i. Wal-test: Vi hae ˆβ 1 = me se 1 = Vi får Z 1 = = og (tosiig) -veri blir 2P(Z 1 > 1.966) = LR-test: Finn ˆ = = evians ariori Finner = = evians når β 1 = 40. Differansen G = ˆ = 3.49 Devians og gooness-of-fit tester Uner gitte forutsetninger gjeler tilnærmet ˆ χ 2 n 1 uner moell η i = β 0 + β 1 x i1 + + β x i Sesielt gjeler ette når Y i Bin(n i,µ i ) er n i µ i > 5 og n i (1 µ i ) > 5 Y i Po(µ i ) og µ i > 5 Dette kan brukes til å teste om moellen svikter. Dersom P(χ 2 n 1 > ˆ ) er liten er et grunn til å tvile å moellen. som skal være trukket fra en tilnærmet χ 2 1 uner nullhyotesen, gir -veri P(χ 2 1 > 3.49) = Forelesning STK /31 Forelesning STK /31 LR-Biller: H 0 : β 1 = 40 i R > glmfit0biller<-glm(cbin(doe,ant-doe) Dose,family=binomial) > glmfit2biller<-glm(cbin(doe,ant-doe) offset(40*dose), family=binomial) > anova(glmfit2biller,glmfit0biller,test="chisq") Analysis of Deviance Table Moel 1: cbin(doe, Ant - Doe) offset(40 * Dose) Moel 2: cbin(doe, Ant - Doe) Dose Resi. Df Resi. Dev Df Deviance P(> Chi ) > glmfit2biller Coefficients: (Intercet) Degrees of Freeom: 7 Total (i.e. Null); 7 Resiual Null Deviance: Resiual Deviance: AIC: Resiual evians i lineær-normal moell Me ˆµ i = ˆβ 0 + ˆβ 1 x i ˆβ x i blir resiual-eviansen ˆ = 1 σ 2 (Y i ˆµ i ) 2 = (n 1)ˆσ2 σ 2 er ˆσ 2 = n (Y i ˆµ i ) 2 /(n 1) er forventningsrett for σ 2. Men når Y i N(β 0 + β 1 x i β x i,σ 2 ) er essuten uten tilnærmelse. ˆ χ 2 n 1 Resultatet egner seg ikke til gooness-of-fit testing for lineærnormale moeller sien vi må estimere σ 2. I moeller uten (eller me kjent) sreningsle blir et annerlees. Forelesning STK /31 Forelesning STK /31

5 Eks: Biller Me (logit)-lineær moell β 0 + β 1 x i ble ˆ = Hvis ette er en go moell bure a ˆ = ikke være en ekstrem veri i forhol til χ 2 6. Vi finner P(χ 2 6 > 11.23) = 0.082, altså en inikasjon å at et er mulig å forbere moellen. Vi finner a også at kvaratleet i en utviee moellen er signifikant. Kvaratlesmoellen får resiualevians og me P(χ 2 5 > 3.195) = 0.67 er et ikke lenger antyning til moell-avvik. Pearson Kjikvarat X 2 Utrykket 1 σ 2 (Y i ˆµ i ) 2 kan også generaliseres ve Pearson Kjikvarat: X 2 = (Y i ˆµ i ) 2 Var(Y i ) Som resiualevians ˆ vil X 2 være tilnærmet χ 2 n 1 uner forutsetning av at Y i -ene er tilnærmet normalforelte. Binomisk Poisson X 2 = n (Y i n iˆµ i ) 2 X 2 = n n iˆµ i (1 ˆµ i ) (Y i ˆµ i ) 2 ˆµ i Forelesning STK /31 Forelesning STK /31 Kravene n i µ i > 5 og n i (1 µ i ) > 5 kan sjekkes: Beregner n iˆµ i > 5 og n i (1 ˆµ i ) > 5 > glmfit0biller<-glm(cbin(doe,ant-doe) Dose,family=binomial) > roun(ant*glmfit0biller$fit,2) > roun(ant*(1-glmfit0biller$fit),2) > glmfit1biller<-glm(cbin(doe,ant-doe) Dose+I(Doseˆ2),family=binomial) > roun(ant*glmfit1biller$fit,2) > roun(ant*(1-glmfit1biller$fit),2) Noen reikerte verier er litt små i forhol til kravet, gooness-of-fit testene å forrige sie er antagelig noe konservative. Pearson X 2 for billeataene Pearson X 2 er ikke imlementert i R, men lett å beregne: > yhat<-ant*glmfit0biller$fit > varhat<-ant*glmfit0biller$fit*(1-glmfit0biller$fit) > X2<-sum((Doe-yhat)ˆ2/varhat) > X2 [1] > 1-chisq(X2,6) [1] > yhat<-ant*glmfit1biller$fit > varhat<-ant*glmfit1biller$fit*(1-glmfit1biller$fit) > X2<-sum((Doe-yhat)ˆ2/varhat) > X2 [1] > 1-chisq(X2,5) [1] Altså X 2 nokså lik ˆ her. Forelesning STK /31 Forelesning STK /31

6 Resiualer LM: ˆε = y i ŷ i, tilnærmet normal GLM: Ikke normale, varianser avhengige av forventning. Trenger alternative resiualer Flere muligheter Deviansresiualer Vi kan også efinere resiualer basert å biragene til eviansen ˆ = 2 [ l i ˆl i ] er l i og ˆl i er log-likelihoo-birag i mettet moell og ve MLE ˆβ. Sesifikt efineres Devians-resiualer ve r i = sign(y i ˆµ i ) 2( l i ˆl i ) = + 2( l i ˆl i ) hvis Y i > ˆµ i 2( l i ˆl i ) hvis Y i < ˆµ i slik at vi onår ˆ = n r2 i. Forelesning STK /31 Forelesning STK /31 Pearson-resiualer efineres ve r Pi = Y i ˆµ i Var(Y i ) 0.5 og er altså en irekte generalisering av vanlige resiualer e i = (Y i ˆµ i )/ˆσ hvor et tas hensyn til at varians tyisk avhenger av forventningen i GLM. Deviansresiualer for binomiske ata r i = sign(y i n iˆµ i ) 2[Y i log( µ i ˆµ i ) + (n i Y i ) log( 1 µ i 1 ˆµ i )] ser ikke umielbart ut som resiualer, men gir verier som ofte ikke avviker mye fra Pearson-resiualer Merk at Pearson X 2 = n r2 Pi. > roun(resiuals(glmfit0biller,tye="earson"),2) > sum(resiuals(glmfit0biller,tye="earson")ˆ2) [1] Forelesning STK /31 > roun(resiuals(glmfit0biller,tye="eviance"),2) > sum(resiuals(glmfit0biller,tye="eviance")ˆ2) [1] De er essuten efault i R: roun(resiuals(glmfit0biller),2) Forelesning STK /31

7 Sammenligning av resiualene me (logit-)lineær moell: resiualer Deviansresiualer Pearson-resiualer Dose Anscomberesiualer For valgte funksjoner h() kan man generelt efinere resiualer ve r ia = h(y i) h(ˆµ i ) Var[h(Y i )] 0.5 Det viser seg at h() gitt ve h (µ) = V (µ) 1/3 gir trejeorensmoment E[h(Y i ) E(h(Y i ))] 3 0 tilnærmet symmetrisk foreling bere tilnærming til normalforeling Isåfall blir også Var[h(Y i )] φ i h (µ i ) 2 V (µ i )(= φ i V (µ i ) 1/3 ) og Anscombe-resiualene r ia = h(y i) h(ˆµ i ) φi h (ˆµ i ) V (ˆµ i ) Forelesning STK /31 Forelesning STK /31 Sammenligning av resiualene Anscomberesiualer, forts. me moell: logit(µ i ) = β 0 + β 1 x i + β 2 x 2 i V (µ) =µ Poisson resiualer Dose h (µ) =µ 1/3, h(µ) = 3 2 µ2/3 r ia = 3 Y 2/3 i ˆµ 2/3 i 2 ˆµ 1/6 i V (µ) =µ 3 h (µ) =µ 1, h(µ) = log µ r ia = log Y i log ˆµ i ˆµi Inv. Gaussisk Ser ingen kurvatur i lottet nå! V (µ) =µ(1 µ) Binomisk Forelesning STK /31 Forelesning STK /31

8 Anscomberesiualer, forts. Poeng me Anscomberesiualer: Nærmere normalforelte resiualer Sammenligning Anscombe, evians og Pearson resiualer: Viser seg å være tilnærmet like eviansresiualer resiualer a a a a a a a a a Devians Pearson Anscombe Forelesning STK /31 Dose Forelesning STK /31 Eks. Anscomberesiualer for billene M1<-glm(cbin(Doe,Ant-Doe) Dose,family=binomial,ata=biller) attach(biller) y0<-doe/ant n<-length(ant) varfu<-function(i) i*(1-i) her<-function(i) varfu(i)ˆ(-1/3) anscomberes<-numeric(0) for (i in 1:n) { i0<-m1$fit[i] anscomberes[i]<-integrate(her,i0,y0[i])$value anscomberes[i]<-anscomberes[i]*sqrt(ant[i])/(her(i0)*sqrt(varfu(i0))) } > roun(anscomberes,2) [1] Forelesning STK /31