Generaliserte Lineære Modeller

Eksponensiell klasse Generaliserte Lineære Modeller Y i f(y i ;θ i ) = c(y i ;φ) exp((θ i y i a(θ i ))/φ) µ i = E[Y i ] = a (θ i ) σ 2 i = Var[Y i ] = φa (θ i ) = φv (µ i ) STK3100-4. september 2011 Geir Storvik (Sven Ove Samuelsen) Plan for 3. forelesning: 1. Definisjoner av GLM 2. Linkfunksjoner, Kanonisk Link 3. Estimering GLM - Maximum Likelihood 4. Large sample resultater 5. Tester GLM - Likelihood Ratio - Devians Generaliserte Lineære Modeller p. 1/48 Generaliserte Lineære Modeller p. 3/48 Definisjon av GLM En GLM = Generalisert Lineær Modell kan defineres ved Uavhengige Y 1,Y 2,...,Y n fra samme eksponensiell klasse med tetthet f(y i ;θ i ) = c(y i ;φ) exp((θ i y i a(θ i ))/φ) og forventninger µ i = a (θ i ) Lineære komponenter (prediktorer) η i = β 0 + β 1 x i1 + + β p x ip = β x i Linkfunksjon g(): Med µ i = E[Y i ] kobles forventningen til lineær komponent ved at g(µ i ) = η i Lineær regresjon er en GLM Responser (Y i -er) fra normalfordelinger Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip E[Y i ] = µ i = η i, dvs. linkfunksjonen g(µ i ) = µ i er identitetsfunksjonen Spesielt gjør R-kommandoene lm for lineær regresjon og glm essensielt det samme bare med litt forskjellig utskrift. Lineær regresjon er spesielt default-spesifikasjonen av for glm Merk at µ i avhenger av β gjennom g(µ i ) = η i, dvs µ i = g 1 (η i ). Dermed avhenger også θ i av β via sammenhengen µ i = a (θ i ). Generaliserte Lineære Modeller p. 2/48 Generaliserte Lineære Modeller p. 4/48

Eks. 1: Fødselsvekter > lm(vekt sex+svlengde) Call: lm(formula = vekt sex + svlengde) (Intercept) sex svlengde -1447.2-163.0 120.9 Linkfunksjoner Binomiske data Invers av linkfunksjon for logistisk regresjon g(µ) = log( µ 1 µ ) er µ = g 1 (η) = exp(η) 1 + exp(η), Merk: a (θ) = exp(θ) 1+exp(θ) = g 1 (θ). Dvs θ = η > glm(vekt sex+svlengde) <Call: glm(formula = vekt sex + svlengde) (Intercept) sex svlengde -1447.2-163.0 120.9 Degrees of Freedom: 23 Total (i.e. Null); 21 Residual Null Deviance: 1830000 Residual Deviance: 658800 AIC: 321.4 Generaliserte Lineære Modeller p. 5/48 Generaliserte Lineære Modeller p. 7/48 Logistisk regresjon er en GLM Responser (Y i -er) fra binomiske fordelinger bin(n i,µ i ) Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip E[Y i ]/n i = µ i = exp(η i) 1+exp(η i ). Dermed fås linkfunksjon g(µ i ) = log( µ i 1 µ i ) Kaller g(µ) = log( µ ) = logit(µ) for logit-funksjonen. 1 µ > glm(cbind(dode,ant-dode) Dose,family=binomial) Call: glm(formula = cbind(dode, Ant - Dode) Dose, family = binomial) (Intercept) Dose -60.72 34.27 Linkfunksjoner Binomiske data µ = g 1 (η) = exp(η) 1 + exp(η), dvs. g 1 (η) er en kumulativ fordelingsfunksjon for en kontinuerlig fordeling Kontinuerlig og strengt voksende g 1 ( ) = 0 og g 1 ( ) = 1 Kan generelt definere linkfunksjoner ved g(µ) = F 1 (µ) der F() er en kontinuerlig kum.fu. Degrees of Freedom: 7 Total (i.e. Null); 6 Residual Null Deviance: 284.2 Residual Deviance: 11.23 AIC: 41.43 Generaliserte Lineære Modeller p. 6/48 Generaliserte Lineære Modeller p. 8/48

Andre linkfunksjoner Binomiske data Spesielt benyttes ofte probit-link, der Φ(η) = η g 2 (µ) = Φ 1 (µ) exp( x 2 /2) 2µ dx = kumulativ for N(0,1). En annet alternativ er Komplementær log-log-link g 3 (µ) = log( log(1 µ)) Eks GLM: Poisson-regresjon Responser Y i Po(µ i ) Lineær komponent η i = β 0 + β 1 x i1 + + β p x ip Vanlige linkfunksjoner η i = g 0 (µ i ) = log(µ i ) eller µ i = exp(η i ), log-lineær modell η i = g 1/2 (µ i ) = µ i η i = g p (µ i ) = µ p i som er invers av F(η) = 1 exp( exp(η)) hvilket er kumulativ for "Gumbel-fordelingen" Generaliserte Lineære Modeller p. 9/48 Generaliserte Lineære Modeller p. 11/48 Eks. Linkfunksjoner > glm(cbind(dode,ant-dode) dose,family=binomial(link=probit)) Eks. Antall tidligere barn av gravide > glm(children age,family=poisson) (Intercept) dose -34.94 19.73 (Intercept) age -4.0895 0.1129 Degrees of Freedom: 7 Total (i.e. Null); 6 Residual Null Deviance: 284.2 Residual Deviance: 10.12 AIC: 40.32 Degrees of Freedom: 140 Total (i.e. Null); Null Deviance: 194.4 Residual Deviance: 165 AIC: 290 139 Residual > glm(cbind(dode,ant-dode) dose,family=binomial(link=cloglog)) > glm(children age,data=births,family=poisson(link=sqrt)) (Intercept) dose -39.57 22.04 (Intercept) age -0.61109 0.04477 Degrees of Freedom: 7 Total (i.e. Null); 6 Residual Null Deviance: 284.2 Residual Deviance: 3.446 AIC: 33.64 Degrees of Freedom: 140 Total (i.e. Null); Null Deviance: 194.4 Residual Deviance: 164.4 AIC: 289.3 139 Residual Generaliserte Lineære Modeller p. 10/48 Generaliserte Lineære Modeller p. 12/48

Kanonisk link Merk at µ i avhenger av β gjennom g(µ i ) = η i. Dermed avhenger også θ i av β via sammenhengen µ i = a (θ i ). Matematisk sett forenkles en GLM ved å anta θ i = η i, dvs. kanonisk (naturlig) parameter = lineær prediktor. Isåfall kalles linkfunksjonen g(µ i ) for kanonisk. Likelihood for GLM Siden Y i -ene er uavhengige med tetthet f(y i ;θ i ) blir likelihooden L(β,φ) = n f(y i ;θ i ) Merk at dette er en funksjon av regresjonskoeffisientene β siden θ i er en funksjon av µ i som igjen er en funksjon av β. Med log-likelihood-bidrag l i (β) = log(f(y i ;θ i ) blir log-likelihood l(β,φ) = l i (β,φ) = [ θ iy i a(θ i ) φ + log(c(y i ;φ))] Generaliserte Lineære Modeller p. 13/48 Generaliserte Lineære Modeller p. 15/48 Eksempler på kanonisk link Da blir µ i = g 1 (η i ) = g 1 (θ i ). Siden vi generelt også har µ i = a (θ i ) finner vi den kanoniske linken fra g 1 (θ i ) = a (θ i ) Normalfordeling: Vanlig lineær-normal modell a (θ) = θ = g 1 (θ) som medfører g(µ) = µ. Poissonfordeling: Log-lineær modell a (θ) = exp(θ) = g 1 (θ i ) som medfører g(µ) = log(µ). Estimering av β Merk: β inngår kun i θ i. Minimering av l(β,φ) = l i (β,φ) = [ θ iy i a(θ i ) φ mhp β er ekvivalent med minimering av l(β) = l(β, 1) = l i (β, 1) = + log(c(y i ;φ))] [θ i Y i a(θ i ) c(y i ; 1)] Binomisk fordeling: Logistisk regresjon a (θ) = exp(θ) 1+exp(θ) = g 1 (θ i ) som gir g(µ) = log(µ/(1 µ)) = logit(µ). Generaliserte Lineære Modeller p. 14/48 Generaliserte Lineære Modeller p. 16/48

Numerisk optimering Newton-Raphson: Scoring algoritmen: β (s+1) =β (s) [J(β (s) )] 1 s(β (s) ) s(β) =φ 1 l(β) β J(β) =φ 1 2 l(β) β β T β (s+1) =β (s) [I(β (s) )] 1 s(β (s) ) I(β) =E[J(β)] Scorefunksjon og estimeringsligninger for GLM Komponent j i scorefunksjonen s(β) = (s 1 (β),...,s p (β)) uttrykkes dermed s j (β) = l(β) β j = s ij (β) = Merk at E[s j (β)] = 0 siden E[Y i µ i ] = 0 x ij Y i µ i g (µ i )V (µ i ) Vi finner altså MLE ˆβ ved å løse ligningene, j = 1,...,p, s j (ˆβ) = x ij Y i ˆµ i g (ˆµ i )V (ˆµ i ) = 0 der ˆµ i er estimert forventning med β = ˆβ. Generaliserte Lineære Modeller p. 17/48 Generaliserte Lineære Modeller p. 19/48 Scorebidrag for GLM (antar her φ = 1) Score-bidrag utledes ved utstrakt bruk av kjerneregelen og regelen om derivert av invers funksjon der Altså blir η i β j = x ij s ij (β) = l i(β) β j = η i β j η i θ i l i θ i η i = 1 η i = 1 g(µ i ) = 1 g (µ i ) θ i = 1 = 1 a (θ i ) = 1 = 1 a (θ i ) V (µ i ) θ i θ i l i θ i = [θ iy i a(θ i )+log(c(y i ))] θ i = Y i a (θ i ) = Y i µ i Y i µ i s ij (β) = x ij g (µ i )V (µ i ) Estimeringsligninger med kanonisk link Matematisk sett forenkles en GLM ved å anta θ i = η i, dvs. kanonisk (naturlig) parameter = lineær prediktor. Isåfall kalles linkfunksjonen g(µ i ) for kanonisk. Vi får da at score-funksjonen gis ved siden l i (β) β j s j (β) = 1 φ x ij [Y i µ i ] = θ i β j l i θ i = x ij 1 φ [Y i µ i ] Generaliserte Lineære Modeller p. 18/48 Generaliserte Lineære Modeller p. 20/48

Observert informasjonsmatrise (generell link) der og J(β) = { Jj,k (β) } der J j,k (β) = s j β k 2 l β j β k = s j β k = 1 n φ x ij [(Y i µ i )/(g (µ i )V (µ i ))] β k = 1 n φ x ij η i [(Y i µ i )/(g (µ i )V (µ i ))] β k η i = 1 φ n x ijx ik 1 g (µ i ) [(Y i µ i )/(g (µ i )V (µ i ))] [(Y i µ i )/(g (µ i )V (µ i ))] 1 (Y = i µ i ) g (µ i )V (µ i ) +(Y i µ i ) [1/(g (µ i )V (µ i ))] 1 = + (Y g (µ i )V (µ i ) i µ i ) [1/(g (µ i )V (µ i ))] Kanonisk link: Observert info = Forventet info Observert informasjon J(β) = [ J kj (β)] p j,k=1 der J kj (β) = s j β k = 1 n φ x ij η i (Y i µ i ) β k η i = 1 n φ x 1 ijx ik = J g (µ i ) jk(β) siden J kj (β) ikke avhenger av noe stokastisk. Vi finner dessuten at J kj (β) = J jk (β) = 1 φ x ij x ik V (µ i ) siden θ i = η i g 1 (θ i ) = µ i = a (θ i ) V (µ i ) = a (θ i ) = 1 g (µ i ). Generaliserte Lineære Modeller p. 21/48 Generaliserte Lineære Modeller p. 23/48 Forventet informasjonsmatrise (generell link) Siden [ ] E (Y i µ i ) [1/(g (µ i )V (µ i ))] = 0 blir dermed forventet informasjon [ J (β) = E[ J(β)] = 1 1 x ij x ik φ g (µ i ) 2 V (µ i ) ] p j,k=1 Estimering av φ Maksimum likelihood: Profil-likelihood l(φ) = l(ˆβ,φ) = [ 1 φ ˆθ i y i a(ˆθ i ) + log(c(y i ;θ))] Kan maksimeres numerisk Alternativ: Momentmetoder og bruk av devians, se senere. som vi også finner ved J jk = Cov(s j,s k ) = 1 φ 2 n = 1 φ n x ij x ik g (µ i ) 2 V (µ i ) x ij x ik g (µ i ) 2 V (µ i ) 2 Var(Y i µ i ) siden s j (β) = 1 φ x ij Y i µ i g (µ i )V (µ i ) Generaliserte Lineære Modeller p. 22/48 Generaliserte Lineære Modeller p. 24/48

Large sample resultat for MLE (spesielt ved GLM) Under regularitetsantagelser vil n(ˆβ β) Np (0, J 1 0 ) der N p (0, J 0 ) angir multivariat normalfordeling med forventningsvektor 0 = (0,...,0) og kovariansmatrise J0 1. Dessuten er J 0 grensen til 1 J når n. n Noe heuristisk skrives dette resultatet av og til evt, ˆβ N p (β, J 1 ) ˆβ N p (β, J 1 ) (ikke så vanlig ved GLM siden uttrykket for J er enklere). Multivariat normalfordeling Vi definerer at en p-dimensjonal vektor Y = (Y 1,...,Y p ) er multivariat normalfordelt dersom vi kan skrive Y = AZ + µ der Z = (Z 1,...,Z p ) er en vektor av p uavhengige N(0,1) variable Z i, µ = (µ 1,...,µ p ) en vilkårlig p-dimensjonal vektor av tall og a 11 a 12 a 1p a 21 a 22 a 2p A = = [a.... ij ] p i,j=1 a p1 x p2 a pp Generaliserte Lineære Modeller p. 25/48 er en ikke-singulær matrise. Generaliserte Lineære Modeller p. 27/48 Large sample resultat scorefu. (spesielt ved GLM) Under regularitetsantagelser vil 1 n s(β) N p (0, J 0 ) Dette følger av det fler-dimensjonale sentralgrenseteoremet for ikke-identisk fordelte stokastiske variable via n l i (β) β l i (β) s(β) = β = 1. n l i (β) β p samt E[s(β)] = 0 og at kovariansmatrisen til s(β) er lik J. Kortform: s(β) N p (0, J ) Generaliserte Lineære Modeller p. 26/48 Momenter i multivariat normalfordeling Spesielt blir p Y j = a ji Z i + µ j som har E[Y j ] = µ j. Dermed blir forventningen i den p-dimensjonal normalfordelingen Dessuten blir variansen til Y j E[Y] = AE[Z] + µ = µ σ 2 j = Var[Y j ] = og kovariansen mellom Y j og Y k p ρ jk σ j σ k = Cov[Y j,y k ] = a 2 ji p a ji a ki Generaliserte Lineære Modeller p. 28/48

Kovariansmatrise til stokastisk vektor Y med Var(Y j ) = σj 2 og Cov(Y j,y k ) = ρ jk σ j σ k defineres ved σ1 2 ρ 12 σ 1 σ 2 ρ 1p σ 1 σ p ρ 12 σ 1 σ 2 σ2 2 ρ 2p σ 2 σ p V = = [Cov(Y.... j,y k )] p j,k=1 ρ 1p σ 1 σ p ρ 2p σ 2 σ p σp 2 Spesielt for multivariat normalfordelt Y = AZ + µ skriver vi Y N p (µ,v) Vi kan dessuten uttrykke V fra A ved V = AA (verifiser!) Generaliserte Lineære Modeller p. 29/48 Flerparameter Wald-test Sist så vi at hvis Y N p (µ,v) så er "eksponenten" i tettheten (Y µ) V 1 (Y µ) χ 2 p Under "helspesifiserte" nullhypoteser H 0 : β = β 0, eller H 0 : β 1 = β 01,...,β p = β 0p er dermed Wald-testobservatoren, med ˆ J lik J innsatt ˆβ, (ˆβ β 0 ) ˆ J (ˆβ β0 ) χ 2 p (tilnærmet). Generelt H 0 : Cβ = r, C en q p matrise (C ˆβ r) ˆ J (C ˆβ r) χ 2 q Generaliserte Lineære Modeller p. 31/48 Eksponentens fordeling For multivariate normalfordelinger er "eksponenten" (y µ) V 1 (y µ) et 2. gradspolynom i y og f Y (y) konstant på ellipsoider i det p-dimensjonale rom. Dessuten får vi at eksponenten innsatt stokastisk Y blir (Y µ) V 1 (Y µ) = Z Z = p Zi 2 χ 2 p altså kjikvadratfordelt med p frihetsgrader siden Z i N(0,1) og uavhengige. Flerparameter Score-test Basert på score funksjonen s(β). Merk: E[s(β)] = 0 hvis modell riktig. s(β) N n (0, J ). Under H 0 : β = β 0 s(β 0 ) J 1 s(β 0 ) χ 2 p der altså s(β 0 ) er scorefunksjonen evaluert i θ 0. Generaliserte Lineære Modeller p. 30/48 Generaliserte Lineære Modeller p. 32/48

Flerparameter Likelihood-ratio tester Ved 2. ordens Taylorutvikling kan det vises at G(β 0 ) = 2[l(ˆβ) l(β 0 )] (ˆβ β 0 ) J (ˆβ β 0 ), der l(β) er log-likelihood. Dermed får vi også tilnærmet G(β 0 ) χ 2 p under den helspesifiserte nullhypotesen H 0 : β = β 0. Wald-, Score- og Likelihood ratio (LR) testene asymptotisk ekvivalente, men kan avvike betydelig med "lite" data. Wald-testene har generelt noe dårligere small-sample egenskaper enn Score og LR. Siden LRT kan beregnes direkte fra log-likelihood l(β) er den enkel å bruke. Generaliserte Lineære Modeller p. 33/48 Delspesifiserte hypoteser Apriorispesifikasjon: g(µ i ) = β 1 x i1 + + β p x ip Helspesifisert hypotese: Spesifiserer verdiene for alle parametre Delspesifisert hypotese: Spesifiserer kun verdiene for noen parametre Typisk delspesifisert nullhypotese H 0 : β p q+1 = β p q+2 = = β p = 0 der q < p, slik at under H 0 blir g(µ i ) = β 1 x i1 + + β p q x i,p q Delspesifiserte hypoteser kan også testes med Wald, LR og Score-tester (men Score-tester er ikke så vanlige). For alle testene ender vi opp med χ 2 q fordelte test-observatorer. Generaliserte Lineære Modeller p. 35/48 Det er sjelden vi tester helspesifiserte hypoteser Eks. 1: Med Y i = antall biller av n i som dør med giftdose x i er Y i Bin(n i,µ i ) og vi antok µ i = exp(β 0 + β 1 x i ) 1 + exp(β 0 + β 1 x i ) og testet H 0 : β 1 = 0 uten å ta hensyn til konstantledd β 0. Eks. 2: Med fødselsvekt Y i = β 1 x i1 + β 2 x i2 + β 3 x i3 + β 4 x i4 + ε i x i1 = indikatorvariabel for gutt, x i2 = indikatorvariabel for jente, x i3 = produkt av varighet og indikator gutt, x i4 = produkt av varighet og indikator jente testet vi om veksthastigheten er den samme for gutter og jenter: H 0 : β 3 = β 4 uten å være opptatt av β 1 og β 2. Generaliserte Lineære Modeller p. 34/48 Delspesifisert Wald-test MLE ˆβ = (ˆβ 1,..., ˆβ p ) har (estimert) kovariansmatrise som kan blokkdeles ˆ J 1 = ˆΣ 11 ˆΣ 12 der ˆΣ 22 er kovariansmatrise for (ˆβ p q+1,..., ˆβ p ) Men marginalfordelinger i den multivariate normalfordelingen er også normalfordelt, altså ˆΣ12 ˆΣ 22 (ˆβ p q+1,..., ˆβ p ) N q (0, ˆΣ 22 ) q dimensjonalt normalfordelt med forventning 0 under H 0 og kovariansmatrise ˆΣ 22. Generaliserte Lineære Modeller p. 36/48

Delspesifisert Wald-test, forts. Dermed blir Wald-testen gitt ved at tilnærmet under H 0. (ˆβ p q+1,..., ˆβ p )ˆΣ 1 22 (ˆβ p q+1,..., ˆβ p ) χ 2 q Vi brukte implisitt dette resultatet når vi testet om giftdose har effekt på billedødelighet. ˆβ1 = 34.27 se 1 = 2.912 LRT med delspesifisert hypotese Som før: Apriori MLE ˆβ = (ˆβ 1,..., ˆβ p ) Under nullhypotesen er β p q+1 = = β p = 0. Da fås MLE β = (β1,...,β p q, 0,...,0) Likelihood ratio testen gis nå ved at G = 2[l(ˆβ) l(β )] χ 2 q er tilnærmet kjikvadratfordelt. z = ˆβ 1 /se 1 = 11.77 z 2 = 138.5 Generaliserte Lineære Modeller p. 37/48 Generaliserte Lineære Modeller p. 39/48 R-utskrift Biller > glmfit0biller<-glm(cbind(dode,ant-dode) Dose,family=binomial) > summary(glmfit0biller) Call: glm(formula = cbind(dode, Ant - Dode) Dose, family = binomial) Deviance Residuals: Min 1Q Median 3Q Max -1.5941-0.3944 0.8329 1.2592 1.5940 Estimate Std. Error z value Pr(> z ) (Intercept) -60.717 5.181-11.72 <2e-16 *** Dose 34.270 2.912 11.77 <2e-16 *** --- Signif. codes: 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 (Dispersion parameter for binomial family taken to be 1) Likelihood Ratio Test - Biller Definerer binomisk likelihood som funksjon og beregner G: > fit0<-glm(cbind(dode,ant-dode) 1,family=binomial) > loglik(fit0) log Lik. -155.2002 (df=1) > fit1<-glm(cbind(dode,ant-dode) Dose,family=binomial) > loglik(fit) log Lik. -18.71513 (df=2) > 2*(logLik(fit1)-logLik(fit0)) [1] 272.9702 attr(,"df") [1] 2 attr(,"class") [1] "loglik" NB. G = 272.97 finnes også som differans mellom "Null Devians" og "Residual Devians" på side 37. Null deviance: 284.202 on 7 degrees of freedom Residual deviance: 11.232 on 6 degrees of freedom AIC: 41.43 Generaliserte Lineære Modeller p. 38/48 Generaliserte Lineære Modeller p. 40/48

Nøstede modeller Eksempel: Biller, µ i = P( Død Dose x i ) Modell M0: logit(µ i ) = β 0 uavhengig av dose Modell M1: logit(µ i ) = β 0 + β 1 x i lineært avhengig av dose Modell M2: logit(µ i ) = β 0 + β 1 x i + β 2 x 2 i kvadratisk avhengig av dose Her er M0 nøstet i M1 som igjen er nøstet i M2. Dette fordi M0 er et spesialtilfelle av M1 som igjen er et spesialtilfelle av M2. Vi kan benytte M0 som nullhypotese for M1 og M2. Vi kan også benytte M1 som nullhypotese for M2. Generelt er en Modell A nøstet i en Modell B dersom A er et spesialtilfelle av B. Generaliserte Lineære Modeller p. 41/48 Devians Eks: Y i N(µ i,σ 2 ): Den mettede modellen har µ i = Y i l = n 2 log(2µσ2 ) 1 2σ 2 (Y i µ i ) 2 l = n 2 log(2µσ2 ) Dermed finner vi at likelihood ratio mellom mettet modell og en vilkårlig modell blir 2( l l) = 1 (Y σ 2 i µ i ) 2 og foreslår en generalisering av kvadratsum til GLM. Vi definerer generelt Deviansen ved = 2( l l) der altså l er log-likelihood for den mettede modellen. Generaliserte Lineære Modeller p. 43/48 Mettet (saturated) modell er en modell som har en parameter per observasjon. Spesielt er alle andre modeller nøstet i den mettede modellen. Eks: Biller Den mettede modellen har ulike sannsynligheter µ i for hver giftdose og tilpassede sannsynligheter blir µ i = Y i /n i. For GLM får vi en perfekt tilpasning til data Y i slik at predikerte forventninger blir µ i = Y i. Den mettede modellen får også maksimal oppnåelig likelihood l over alle tenkelige modeller. Generaliserte Lineære Modeller p. 42/48 Devians = 2( l l) Merk: Minimering av er ekvivalent med maksimering av likelihooden. Eksempler på Devianser: Poisson: = 2 n [Y i log(y i /λ i ) (Y i λ i )] Binomisk, µ i = Y i /n i : = 2 n [Y i log( µ i µ i ) + (n i Y i ) log( 1 µ i 1 µ i )] Et par andre begreper: Nulldevians = Devians med Modell: µ i = µ eller g(µ i ) = β 0, dvs. kun konstantledd i modellen Residual devians = Devians i aktuell modell g(µ i ) = β 0 + β 1 x i1 +... + β p x ip, dvs. deviansen innsatt MLE ˆβ Generaliserte Lineære Modeller p. 44/48

LRT og Devians Apriori MLE ˆβ = (ˆβ 1,..., ˆβ p ) gir Devians ˆ = 2[ l ˆl] = 2[ l l(ˆβ)] Under nullhypotesen er β p q+1 = = β p = 0. Da fås MLE β = (β 1,...,β p q, 0,..., 0) som gir devians = 2[ l l ] = 2[ l l(β )]. Likelihood ratio testen gis nå ved at under H 0 G = 2[l(ˆβ) l(β )] = ˆ χ 2 q. Vi gjør altså LRT ved å beregne devianser for modellene som sammenlignes! R-utskrift > glm(cbind(dode,ant-dode) Dose+I(Doseˆ2),family=binomial) Call: glm(formula = cbind(dode, Ant - Dode) Dose + I(Doseˆ2), family = (Intercept) Dose I(Doseˆ2) 431.1-520.6 156.4 Degrees of Freedom: 7 Total (i.e. Null); 5 Residual Null Deviance: 284.2 Residual Deviance: 3.195 AIC: 35.39 > summary(glm(cbind(dode,ant-dode) Dose+I(Doseˆ2),family=binomial))$coef Estimate Std. Error z value Pr(> z ) (Intercept) 431.1058 180.65356 2.386368 0.01701573 Dose -520.6153 204.52250-2.545516 0.01091164 I(Doseˆ2) 156.4116 57.86301 2.703136 0.00686887 > 1-pchisq(8.03,1) [1] 0.004600884 Generaliserte Lineære Modeller p. 45/48 Generaliserte Lineære Modeller p. 47/48 Eksempel: Biller Apriori modell: logit(µ i ) = β 0 + β 1 x i Nullhypotese: β 1 = 0 Nulldevians: = 284.2 Residual devians: ˆ = 11.23 LRT: G = ˆ = 272.97, dvs. soleklar forkastning sml. χ 2 1 Apriori modell: logit(µ i ) = β 0 + β 1 x i + β 2 x 2 i Nullhypotese: β 2 = 0 Devians under H 0 : D = 11.23 Residual devians: ˆ = 3.195 LRT: G = ˆ = 8.03, p-verdi P(χ 2 1 > 8.03) = 0.0046, dvs. signifikant avvik R-utskrift II > M0<-glm(cbind(Dode,Ant-Dode) 1,family=binomial) > M1<-glm(cbind(Dode,Ant-Dode) Dose,family=binomial) > M2<-glm(cbind(Dode,Ant-Dode) Dose+I(Doseˆ2),family=binomial) > anova(m0,m1,m2,test="chisq") Analysis of Deviance Table Model 1: cbind(dode, Ant - Dode) 1 Model 2: cbind(dode, Ant - Dode) Dose Model 3: cbind(dode, Ant - Dode) Dose + I(Doseˆ2) Resid. Df Resid. Dev Df Deviance P(> Chi ) 1 7 284.202 2 6 11.232 1 272.970 2.556e-61 3 5 3.195 1 8.037 0.005 > anova(m0,m2,test="chisq") Analysis of Deviance Table Resid. Df Resid. Dev Df Deviance P(> Chi ) 1 7 284.202 2 5 3.195 2 281.008 9.55e-62 Generaliserte Lineære Modeller p. 46/48 Generaliserte Lineære Modeller p. 48/48