Forelesning 10 STK3100

Transkript

1 Momenter i multinomisk fordeling Forelesning 0 STK november 2008 S. O. Samuelsen Plan for forelesning:. Multinomisk fordeling 2. Multinomisk regresjon - ikke-ordnede kategorier 3. Multinomisk regresjon - ordnede kategorier Spesielt er Y j Bin(n,π j ) marginalt. Derfor får vi E[Y j ] = nπ j og Var[Y j ] = nπ j ( π j ) Dessuten er, for k j, Cov[Y j,y k ] = nπ j π k Dette følger ved å se på Y ij = indikator for kjennetegn j i forsøk i. Da blir Cov[Y ij,y ik ] = P(Y ij =,Y ik = ) P(Y ij = )P(Y ik = ) Forelesning 0 STK300 p. /22 = 0 π j π k og n n Cov[Y j,y k ] = Cov[ Y ij, Y ik ] = i= i= n Cov[Y ij,y ik ] = nπ j π k i= Forelesning 0 STK300 p. 3/22 Multinomisk fordeling: n uavhengige forsøk Observerer ett av J ulike kjennetegn i hvert forsøk Sannsynligheten for kjennetegn j er lik π j i hvert forsøk der altså π + π π J = Med Y j = antall forsøk med kjennetegn j sier vi at Y = (Y,Y 2,...,Y J ) er multinomisk fordelt Y Multinom(n,π,π 2,...,π J ) Punktsannsynlighetene for Y gis da ved f(y n) = n! y!y 2!...y J! πy π y π y J J for y j {0,,...,n} og J j= y j = n Forelesning 0 STK300 p. 2/22 Sammenheng med Poissonfordeling Anta at Y j Po(µ j ),j =,,J er uavhengige. Da er (Y,...,Y J J Y j = n) Multinom(n,π,...,π J ) j= der sannsynlighetene π j = µ j / J k= µ k. Dette følger av at J j= Y j Po( J k= µ k). Dermed P(Y = y,...,y J = y J J j= Y j = n) = P(Y =y,...,y J =y J ) = " Q µ y # j J j j= y j! exp( µ j) ( P J j= µ j ) n n! exp( P J j= µ j) n! µ = y µy µyn n y!y 2!...y J! ( P J j= µ j ) n n! = y!y 2!...y J! πy π y π y J J P( P J j= Y j=n) Forelesning 0 STK300 p. 4/22

2 "Multinomisk regresjon" Eks. (Faraway, "Extending the linear model with R"): Undersøkelse om hvem som stemte på Demokrater, Republikanerne eller Uavhengige ved valg i USA i 996 etter utdannelse og inntekt. > table(spid) spid Democrat Independent Republican > table(nes96$educ) MS HSdrop HS Coll CCdeg BAdeg MAdeg > table(nes96$income) $3Kminus $3K-$5K $5K-$7K $7K-$9K $9K-$0K $0K-$K $K-$2K $2K-$3K $3K-$4K $4K-$5K $5K-$7K $7K-$20K $20K-$22K $22K-$25K $25K-$30K $30K-$35K $35K-$40K $40K-$45K $45K-$50K $50K-$60K $60K-$75K $75K-$90K $90K-$05K $05Kplus Forelesning 0 STK300 p. 5/22 Nominell multinomisk logit modell: Med π ji = sannsynlighet for responskategori j for individ med kovariat x i : Merk: J j= π ji = π i = π ji = π ji π i = exp(β jx i ) + P J j=2 exp(β j x i) exp(β j x i) + P J k=2 exp(β k x i) for j > Ulike β j = (β j,...,β jp ) for hvert nivå j = 2, 3,...,J Likelihood: Med responsvektor Y i = (Y,...,Y i J i) n L = i= n i! Y!Y i 2!...Y i i J!πY i i i πy 2 2i...π Y i J Ji Forelesning 0 STK300 p. 7/22 Eks. Faraway, forts. Respons: Partivalg 3 kategorier: Demokrater, Republikanerne eller Uavhengige Multinomiske data Ikke opplagt ordning mellom kategoriene Forklaringsvariable: Utdannelse og inntekt Regresjon Regresjon for multinomiske responser med ikke-ordnede kategorier: Nominell multinomisk logit modell Nominell multinomisk logit modell: R-implementasjon Optimering av likelihooden for nominelle multinomiske data kan gjøres i R med rutinen multinom som finnes i standard-r-biblioteket nnet (kort for "nevralt nett"). > library(nnet) > mmod <- multinom(spid neduc + nincome, nes96) > mmod > multinom(spid neduc+nincome) # weights: 2 (6 variable) initial value iter 0 value final value converged Coefficients: (Intercept) neduc nincome Independent Republican Forelesning 0 STK300 p. 6/22 Residual Deviance: AIC: Forelesning 0 STK300 p. 8/22

3 Eks: Utdannelse spiller ingen rolle gitt inntekt > multinom(spid )$dev # weights: 6 (2 variable) initial value final value converged [] > multinom(spid neduc)$dev [] > multinom(spid nincome)$dev [] > multinom(spid nincome+neduc)$dev [] Dev.endring = 0.79 med bare utdannelse Dev.endring = med bare inntekt Dev.endring = 0.39 med utdannelse i tillegg til inntekt Eks: Må selv lage tabell med estimater, standardfeil, t-verdier og p-verdier: koeftab<-function(nnetmod){ koef<-summary(nnetmod)$coefficients se<-summary(nnetmod)$standard.errors koefb<-c(koef[,],koef[2,]) seb<-c(se[,],se[2,]) tval<-koefb/seb pval<-2*pnorm(-abs(koefb/seb)) tab<-cbind(koefb,seb,tval,pval) tab } > round(koeftab(mod),4) koefb seb tval pval (Intercept) nincome neduc (Intercept) nincome neduc Forelesning 0 STK300 p. 9/22 Forelesning 0 STK300 p. /22 Eks: Standardfeil fra summary.multinom mod<-multinom(spid nincome+neduc) # weights: 2 (6 variable) initial value iter 0 value final value converged > summary(mod,cor=f) Call: multinom(formula = spid nincome + neduc) Coefficients: (Intercept) nincome neduc Independent Republican Std. Errors: (Intercept) nincome neduc Independent Republican Sammenheng vanlig og nominell multinomisk logit Vi har at Y i j Y i + Y i j = m i Bin(m i,π ji /(π i + π ji )) og π ji π i + π ji = exp(β j x i) + P J k=2 exp(β k x i) + P + exp(β j x i) J j=2 exp(β j x i) + P J k=2 exp(β k x i) = exp(β jx i ) + exp(β j x i), dvs. vanlig logistisk regresjons-modell for Y i j Y i + Y i j = m i. exp(β jl ) = OR jl = oddsratio mellom nivå j og for kovariat l Parametrene kan også estimeres ved separate logistiske regresjoner. Residual Deviance: AIC: Forelesning 0 STK300 p. 0/22 Forelesning 0 STK300 p. 2/22

4 Eks: Separate logistiske regresjoner > Rep<-*(sPID=="Republican") > Ind<-*(sPID=="Independent") > summary(glm(ind nincome+neduc,family=binomial,subset=rep!=)) Estimate Std. Error z value Pr(> z ) (Intercept) e-06 *** nincome e-07 *** neduc Null deviance: on 68 degrees of freedom Residual deviance: on 66 degrees of freedom AIC: > summary(glm(rep nincome+neduc,family=binomial,subset=ind!=)) Estimate Std. Error z value Pr(> z ) (Intercept) e-05 *** nincome e-09 *** neduc Null deviance: on 704 degrees of freedom Residual deviance: on 702 degrees of freedom AIC: Forelesning 0 STK300 p. 3/22 Ordnede (ordinale) kategoriske responser Eks: Fødselsvekt ble kategorisert i et eksempel til mindre (større) enn 2800 g. Kan også benytte flere terskelverdier, f.eks g. Eks: Muligens en skala fra Demokrater via Uavhengige til Republikanere Generelt: en underliggende (typisk latent) skala Z og et sett av terskelverdier C < C 2 < < C J slik at individet kategoriseres til nivå dersom Z C Y = nivå j dersom C j < Z C j nivå J dersom C J < Z Y = j Y = J Merk: Y defineres på annen måte enn for nominelle data. Forelesning 0 STK300 p. 5/22 Eks: Sammendrag separate logistiske regresjoner Underliggende skala og terskelverdier Estimater med multinomisk og separate logistisk regresjon er tilsvarende, men ikke identiske Standardfeil er også tilsvarende, men ikke identiske Multinomisk regresjon er en full likelihood analyse Kan være like oversiktlig å gjøre de separate logistisk regresjonene C C 2 C 3 Her vil Z flyttes fram og tilbake langs x-aksen ettersom kovariater varierer. Forelesning 0 STK300 p. 4/22 Forelesning 0 STK300 p. 6/22

5 Modellering av ordinale multinomiske data Siden det er mer struktur i ordnede kategoriske data kan man modellere med færre parametre. Vi antar, at gitt kovariat x i, er den latente variablen Z i = β x i + Z 0i der P(Z 0i z) = F(z) for en passende kumulativ fordelingsfunksjon F(z). Da fås P(Y i j) = P(Z i C j ) = P(Z 0i C j β x i ) = F(C j β x i ) Merk at det bare er en parametervektor β Eks: "Democrats" < "Independent" < "Republican" Proporsjonale oddsmodeller tilasses i R med rutinen polr som finnes i MASS-biblioteket. Spesielt skal responsen - den ordnede faktoren - være spesifisert som en faktor. > library(mass) > summary(polr(as.factor(spid) nincome+neduc)) Coefficients: Value Std. Error t value nincome neduc Dessuten er C j -ene ukjente, dvs. parametre Vi får ulike modeller med ulike valg av (invers) "link"-funksjon F(z) Forelesning 0 STK300 p. 7/22 Intercepts: Value Std. Error t value Democrat Independent Independent Republican Residual Deviance: AIC: Forelesning 0 STK300 p. 9/22 Proporsjonal oddsmodell: Logit-link Anta at F(z) = exp(z)/( + exp(z)). Da blir P(Y i j) = exp(c j β x i )/( + exp(c j β x i )) og med π ji = P(Y i = j) (som ved nominelle responser) og γ ji = P(Y i j) = π i + + π ji fås og dermed blir odds-ratioen γ ji γ ji = exp(c j β x i ) Eks: Sammendrag Estimatene for nincome og neduc har lignende koeffisienter som ved nominell logit modell Estimatene for nincome og neduc har også tilsvarende grad av signifikans Residual Devians var for nominell logit og altså mindre enn proporsjonale odds γ ji uavhengig av nivået C j. γ ji γ ji γ ji = exp(β (x i x i )) Forelesning 0 STK300 p. 8/22 Forelesning 0 STK300 p. 20/22

6 Utvidelser: Probit og Cloglog Spesifikasjonen P(Y i j) = F(C j β x i ) tillater andre (inverse) linkfunksjoner Probit: F(z) = φ(z) = z exp( z 2 /2) 2π dz Clog-log: F(z) = exp( exp(z)) Cauchit: F(z) = z dz = arctan(z) + π(+z 2 ) π 2 Forelesning 0 STK300 p. 2/22 Eks: Probit og Cloglog > summary(polr(as.factor(spid) nincome+neduc,method="probit")) Coefficients: Value Std. Error t value nincome neduc Intercepts: Value Std. Error t value Democrat Independent Independent Republican Residual Deviance: AIC: > summary(polr(as.factor(spid) nincome+neduc,method="cloglog")) Coefficients: Value Std. Error t value nincome neduc Intercepts: Value Std. Error t value Democrat Independent Independent Republican Residual Deviance: AIC: Forelesning 0 STK300 p. 22/22