Eksponensielle klasser

Eksponensielle klasser, de Jong & Heller, Kap. 3 Eksponensielle klasser STK3100-1. september 2008 Sven Ove Samuelsen En stokastisk variabel Y sies å ha fordeling i den eksponensielle fordelingsklasse dersom tettheten (pkt.sannsh. til Y kan skrives på formen der f(;θ, = c(, exp( θ a(θ θ kalles den kanonisk parameteren Plan for 2. forelesning: 1. Definisjoner av eksponensielle klasser 2. Eksempler 3. Forventningsstruktur eksponensielle klasser 4. Likelihood GLM Eksponensielle klasser p. 1/32 kalles spredningsparameteren funksjonene a(θ og c(, er spesifikke for hver enkelt fordeling Vi kan skrive opp normalfordelingen, binomisk fordeling, poissonfordeling, gammafordeling (eksponensialfordeling og diverse andre fordelinger på denne formen. Eksponensielle klasser p. 3/32 Definisjon av GLM Uavhengige responser: Y 1,Y 2,...,Y n Vektorer av forklaringsvariable x 1,x 2,...,x n der x i = (x i1,x i2,...,x ip er p-dimensjonale. Eksponensielle klasser uten spredningsledd Noen fordelinger er uten spredningsledd, dvs. = 1. Isåfall blir den eksponensielle klassen gitt ved f(;θ = c( exp(θ a(θ En GLM = Generalisert Lineær Modell er definert ved Y 1,Y 2,...,Y n kommer fra samme eksponensiell klasse (Eksponensielle klasser defineres neste slide, men normalfordelinger, binomiske, Poisson-fordelinger er i eksp. klasser Lineære komponenter (prediktorer η i = β 0 + β 1 x i1 + + β p x ip Dette gjelder f.eks. Poissonfordeling fordeling for binære responser, Y = 1 eller 0, med π = P(Y = 1 Binomisk fordeling normalfordeling med varians σ 2 = 1 Linkfunksjon g(: Med µ i = E[Y i ] kobles forventningen til lineær komponent ved at g(µ i = η i Eksponensielle klasser p. 2/32 Eksponensielle klasser p. 4/32

Eks. Poissonfordeling, Y Po(λ Pkt.sannsnlighetene til Y er da f(;λ = λ exp( λ = exp( log(λ λ log(!,! altså som tetthet i den eksponensielle fordelingsklasse med θ = log(λ a(θ = λ = exp(θ c( = 1! Eksempel: Y Bin(n, π Da har Y har tetthet f(;p = ( n π (1 π n som kan omformes til c( exp(θ a(θ med θ = log( π 1 π a(θ = n log(1 + exp(θ c( = ( n Legg spesielt merke til a (θ = n exp(θ = nπ = E[Y ] 1+exp(θ a (θ = n exp(θ (1+exp(θ 2 = nπ(1 π = Var[Y ] Vi skal se at dette er generelle regler for eksponensielle klasser. Eksponensielle klasser p. 5/32 Eksponensielle klasser p. 7/32 Eksempel: Binær respons 1 med sannsnlighet π Y = 0 med sannsnlighet 1 π Dvs. Y har tetthet f(;π = π (1 π 1 π = exp( log( + log(1 π 1 π som kan omformes til c( exp(θ a(θ med θ = log( π 1 π som gir π = π(θ = exp(θ 1+exp(θ som leder til a(θ = log(1 π(θ = log(1 + exp(θ (dessuten blir c( = 1 Eksempel: Y N(µ, 1 altså normalfordelt med varians σ 2 = 1. Da blir tettheten f(;µ = 1 2π exp( 1 2 ( µ2 = 1 2π exp(µ µ2 2 2 2 som kan omformes til c( exp(θ a(θ med θ = µ a(θ = θ2 2 c( = exp( 2 2 2π Igjen genereres forventning og varians fra c(θ: a (θ = θ = µ = E[Y ] Eksponensielle klasser p. 6/32 a (θ = 1 = Var[Y ] Eksponensielle klasser p. 8/32

Eksponensiell klasse med spredningsparameter Normalfordelinger med varians σ 2 1 kan også settes opp som en eksponensiell klasse, men den naturlige parameteren θ vil avhenge av både µ og σ 2 (vi utelater detaljene. Vi skal istedet se på slike fordelinger som en eksponensiell klasse med spredningsparameter: f(;θ, = c(, exp( θ a(θ der parameteren kalles spredningsleddet eller spredningsparameteren. Binomisk fordeling med (kjent spredningsledd Med Y Bin(n, π inngår antall forsøk n f.eks. i a(θ = n log(1 + exp(θ (der θ = log(π/(1 π. Vi kan omforme dette ved å se på andel suksesser Y 0 = Y n. Da har Y 0 tetthet ( n n 0 π n 0 (1 π n(1 0 som kan skrives som der c(, = ( n, a 0 (θ = log(1 + exp(θ c( 0, exp( 0θ a 0 (θ = 1 n I dette tilfellet er = 1 n må estimeres. kjent, vanligvis er det en parameter som Eksponensielle klasser p. 9/32 Eksponensielle klasser p. 11/32 Eksempel: Y N(µ,σ 2 altså normalfordelt med generell varians σ 2. Da blir tettheten f(;µ = 1 2πσ exp( 1 2σ 2 ( µ 2 = exp( µ µ2 /2 2 /2 σ 2 log( 2πσ som kan omformes til c(, exp((θ a(θ/ med θ = µ og a(θ = θ2 2 og med spredningsledd = σ 2 Dessuten blir c(, = exp( 2 2 2π Kan legge merke til at E[Y ] = µ = θ = a (θ Momentgenerende funksjon Hvis Y har tetthet f( defineres momentgenerende funksjon ved M Y (t = E[exp(Y t] = exp(tf(d såsant dette integralet eksisterer for alle t i en omegn om 0. Vi har da at (STK1100 E[Y ] = M Y (0 E[Y 2 ] = M Y (0 E[Y r ] = M (r Y (0 samt at M Y (0 = 1. Var[Y ] = σ 2 = = a (θ Eksponensielle klasser p. 10/32 Eksponensielle klasser p. 12/32

Momentgenerende funksjon for eksponensiell klasse Med tetthet f(;θ = c( exp(θ a(θ (dvs. eksp. klasse uten spredningsledd blir momentgenerende funksjon M Y (t = exp(tf(;θd = c( exp((t + θ a(θd = exp(a(t + θ a(θ (fra c( exp((t + θ a(t + θd = f(;t + θd = 1 altså integral mhp. en tetthet, og siden det kan vises at exp(tf(;θd < for t i en omegn om 0. Eksempel Poissonfordeling Med Y Po(λ var kanonisk parameter θ = log(λ og a(θ = exp(θ. Vi får altså E[Y ] = a (θ = exp(θ = λ var[y ] = a (θ = exp(θ = λ (som sikkert er velkjent Eksponensielle klasser p. 13/32 Eksponensielle klasser p. 15/32 Foventning og varians i eksponensiell klass Vi finner dermed at M Y (t = exp(a(t + θ a(θ har deriverte (mhp t M Y (t = a (t + θm Y (t M Y (t = a (t + θm Y (t + a (t + θ 2 M Y (t som gir E[Y ] = M Y (0 = a (θm Y (0 = a (θ E[Y 2 ] = M Y (0 = a (θ + a (θ 2 og dermed Var[Y ] = E[Y 2 ] (E[Y ] 2 = a (θ Dette var nettopp hva vi observerte for binomisk fordeling og normalfordeling med σ 2 = 1. Eksponensielle klasser p. 14/32 Likelihood-egenskaper Anta at vi observerer en Y fra f(; θ = c( exp(θ a(θ. Da fås Log-likelihood-bidrag l(θ = log(f(y ;θ = Y θ a(θ + log(c(y Score-bidrag U(θ = l(θ θ = Y a (θ Bidrag til "informasjon": J (θ = 2 l(θ θ 2 = a (θ Dermed blir også, ved forventnings og variansreglene for eksp.klasser, E[U(θ] = E[Y a (θ] = 0 Var[U(θ] = Var[Y a (θ] = a (θ = J (θ = E[J (θ] Dette er generelle likelihood egenskaper, som vi nå har vist for eksp.klasser. Eksponensielle klasser p. 16/32

M Y (t for eksp. klasse MED spredningsparameter Tetthet: f(;θ, = c(, exp( θ a(θ Da blir momentgenerende funksjon Dermed fås M Y (t = exp( M Y (t = a (t + θm Y (t a(t + θ a(θ M Y (t = a (t + θm Y (t + a (t + θ 2 M Y (t som leder til Eks. Binomisk fordeling Y Bin(n, π For Y 0 = Y n spesifiserte vi θ = log(π/(1 π a(θ = log(1 + exp(θ = 1 n som gir E[Y 0 ] = a (θ = exp(θ 1+exp(θ = π Var[Y 0 ] = a (θ = exp(θ = 1 π(1 π (1+exp(θ 2 n E[Y ] = M Y (t = a (θ E[Y 2 ] = M Y (0 = a (θ + a (θ 2 og dermed Var[Y ] = a (θ Eksponensielle klasser p. 17/32 Eksponensielle klasser p. 19/32 Eks: Normalfordeling N(µ,σ 2 Vi fant da at θ = µ og a(θ = θ2 2 = σ 2 som gir kjente formler E[Y ] = a (θ = θ = µ Var[Y ] = a (θ = = σ 2 Likelihood-egenskaper Med Y fra f(;θ = c(, exp( θ a(θ fås l(θ = log(f(y ;θ = Y θ a(θ U(θ = l(θ θ J (θ = 2 l(θ θ 2 = Y a (θ = a (θ + log(c(y, som leder til de generelle likelihood-egenskapene E[U(θ] = 1 E[Y a (θ] = 0 Var[U(θ] = a (θ 2 = E[J (θ] Vi skal senere se utledning av disse formlene for generelle (regulære likelihooder. Eksponensielle klasser p. 18/32 Eksponensielle klasser p. 20/32

de J & H s bevis for E[Y ] = a (θ og Var(Y = a (θ Vi har f (;θ,d = θ f(;θ,d = θ (1 = 0 Siden f (;θ, = a (θ f(;θ, blir dermed 0 = f (;θ,d = E[Y ] a (θ, dvs. E[Y ] = a (θ Tilsvarende fås 0 = f (;θ,d samt [ ( a ] 2 f (;θ, = (θ a (θ f(;θ, som gir 0 = Var(Y 2 a (θ Var(Y = a (θ Eksponensielle klasser p. 21/32 Variansfunksjon for noen fordelinger For normalfordelingen er a (θ = 1. Dermed blir variansfunksjonen V (µ = 1 (konstantfunksjonen For Poissonfordelingen er a (θ = exp(θ = µ, dvs. V (µ = µ (identitetsfunksjonen For binomisk fordeling, med Y 0 = Y/n, er a (θ = = π(1 π, dermed blir variansfunksjonen V (π = π(1 π eθ (1+e θ 2 Eksponensielle klasser p. 23/32 Variansfunksjon V (µ For eksponensielle klasser med spredningsparameter har vi vist Var(Y = a (θ Det er en 1-1 sammenheng mellom µ = E[Y ] = a (θ og θ. Derfor kan vi uttrkke θ = θ(µ som en funksjon av µ. Dermed kan vi definere variansfunksjonen V (µ = a (θ(µ slik at Var(Y = V (µ. For de vanligste fordelingene gis uttrkket for V (µ direkte. Andre medlemmer i den eksponensielle fordelingsklasse I tillegg til normalfordelinger, binomisk fordelinger og Poisson-fordelinger inneholder den eksponensiell fordelingsklasse bl.a. Gamma-fordelinger (og spesielt eksponensialfordelinger Negativt binomisk fordeling (og spesielt geometrisk fordeling Invers gaussisk fordeling Trunkerte fordelinger fra andre fordelinger i eksponensiell klasse Eksponensielle klasser p. 22/32 Eksponensielle klasser p. 24/32

Eksponensial- og gammafordeling Eksponensialfordeling g(; λ = λ exp( λ for > 0 µ = E[Y ] = 1 λ, Var[Y ] = 1 λ 2 = µ 2 Eksp. klasse uten spredningsledd og med var.fu. V (µ = µ 2 Gammafordeling g(;λ,ν = ν 1 λ ν Γ(ν exp( λ for > 0 µ = E[Y ] = ν λ, Var[Y ] = ν λ 2 = µ2 ν Eksp. klasse med spredningsledd = 1/ν og var.fu. V (µ = µ 2 Hensiktsmessig å reparametrisere til tetthet f(;µ,ν = ν 1 µ ν Γ(ν exp( ν/µ Geometrisk og negativ binomisk fordeling Geometrisk fordeling: P(Y = = π(1 π for = 0, 1, 2,... Eksp. kl. med µ = (1 π/π, ingen spredningsparameter og Var(Y = V (µ = µ(1 + µ Negativ binomisk fordeling, r = antall suksesser, Y = antall Bernoulli forsøk r: ( + r 1 P(Y = = π r (1 π for = 0, 1, 2,... r 1 Fordeling på = 0, 1, 2,... istedefor r,r + 1,... som i STK1100 (Rice Dette blir også en eksponensiell klasse med µ = E[Y ] = r(1 π/π, uten spredningsparameter, og med V (µ = µ(1 + µ/r. Eksponensielle klasser p. 25/32 Eksponensielle klasser p. 27/32 Invers gaussisk fordeling: Y har tetthet, for > 0, f(;µ,σ 2 = 1 2π3 σ exp( 1 ( µ 2 2 2 µ 2 σ 2 der µ = E[Y ] og Var(Y = σ 2 µ 3. Dette blir en eksponensiell klasse med spredningsledd = σ 2 og var.fu. V (µ = µ 3. Negativ binomisk fordeling, generalisering Vi kan skrive ( + r 1 Γ( + r = r 1!Γ(r Dette gir oss muligheten til å generalisere Neg.bin. fordeling til ikke-heltallige r ved punktsannsnligheter f( 0.0 0.1 0.2 0.3 mu=5, sigma2=0.01 mu=20, sigma2=0.01 f( 0.00 0.05 0.10 0.15 0.20 mu=5, sigma2=0.05 mu=20, sigma2=0.05 f( 0.00 0.05 0.10 0.15 0.20 mu=5, sigma2=0.1 mu=20, sigma2=0.1 P(Y = = Γ( + r!γ(r πr (1 π for = 0, 1, 2,... Med κ = 1/r blir dette også en eksp. kl. med µ = E[Y ] = r(1 π/π, uten spredningsparameter, og med V (µ = µ(1 + κµ. f( 0.00 0.01 0.02 0.03 0.04 0.05 f( 0.00 0.01 0.02 0.03 0.04 0.05 f( 0.00 0.02 0.04 0.06 Eksponensielle klasser p. 26/32 Denne fordelingen kan oppstå ved at Y λ Po(λ der λ er en stokastisk variabel med gammafordeling med forventing µ og formparameter r = 1/κ. Eksponensielle klasser p. 28/32

Oversikt (noen fordelinger i eksp. klasse Distrib. θ a(θ E[Y ] V (µ Bin(n,π log( π 1 π log(1 + eθ 1 nπ nπ(1 π Po(µ log(µ exp(θ 1 µ µ N(µ,σ 2 θ µ 2 σ 2 µ 1 2 Gamma(µ,ν 1 1 log( µ µ µ 2 µ ν Inv.G.(µ,σ 2 1 2θ σ 2 µ µ 3 2µ 2 NegBin(µ,κ log( κµ 1 log(1 1+κµ κ κeθ 1 µ µ(1 + κµ Estimering av spredningsparameter kan nå gjøres ved momentprinsippet siden ˆ = 1 n n i=1 (Y i ˆµ 2 V (ˆµ E[ (Y i µ 2 ] = Var(Y i = V (µ V (µ For normalfordeling blir ˆ også MLE, men for gammafordeling er MLE for mer kompleks. Eksponensielle klasser p. 29/32 Eksponensielle klasser p. 31/32 Estimering i eksponensielle klasser Anta at Y 1,,Y n er uavhengige og har samme tetthet f(;θ, = c(, exp( θ a(θ. Dette gir likelihood L(θ = n i=1 f(y i;θ, og log-likelihood l(θ = samt score-funksjon n i=1 U(θ = l(θ θ [ Y iθ a(θ = 1 + log(c(y i,] n [Y i a (θ], dvs. maximum likelihood estimatoren (MLE for θ gis ved å løse ligningen 1 n Y i = a (ˆθ = ˆµ n i=1 i=1 Eksponensielle klasser p. 30/32 Eksponensiell klasse definert noe annerledes Y har tetthet/pkt.sanns. f(;θ = exp(a(b(θ + c(θ + d( for gitte funksjoner a(,b(θ,c(θ,d(. Ser at med a( = og b(θ = θ fås eksp. kl. uten spredningsparameter. Ekspempler: Paretofordeling f(;θ = θ θ+1 for > 1 Weibullfordeling med kjent formparameter α med tetthet f(;λ = αλ α α 1 exp( (λ α for > 0 Kan vise at for V = a(y og γ = b(θ har V tetthet i "vanlig" eksponensiell klasse uten spredningsledd. Eksponensielle klasser p. 32/32