Eksponensielle klasser og GLM

Transkript

1 !! 3 ksponensielle klasser, Dobson, Kap 3 ksponensielle klasser GLM n stokastisk variabel sies å ha fordeling i den eksponensielle fordelingsklasse som tettheten pktsannsh til kan skrives på formen STK3-3 september 7 $ Sven Ove Samuelsen eller ekvivalent som Plan for 3 forelesning: Definisjoner av eksponensielle klasser ksempler 3 Forventningsstruktur eksponensielle klasser Likelihood GLM altså Merk symmetrien mellom ksponensielle klasser GLM p3 ksponensielle klasser GLM p33 Definisjon av GLM ks Poissonfordeling, -!!,- Uavhengige responser: Pktsannsynlighetene til er da Vektorer av forklaringsvariable er -dimensjonale 5 3 n GLM = Generalisert Lineær Modell er definert ved altså som tetthet i den eksponensielle fordelingsklasse kommer fra samme eksponensiell klasse ksponensielle klasser defineres neste slide, men normalfordelinger, binomiske, Poisson-fordelinger er i eksp klasser Lineære komponenter prediktorer 3 Linkfunksjon : Med lineær komponent ved at kobles forventningen til ksponensielle klasser GLM p3 ksponensielle klasser GLM p3

2 ksempel: Binær respons sannsynlighet sannsynlighet Dvs har tetthet som kan omformes til som gir som le til dessuten blir ksponensielle klasser GLM p73 - ksempel: Da har har tetthet som kan omformes til Legg spesielt merke til Vi skal se at dette er generelle regler for eksponensielle klasser ksponensielle klasser GLM p3 ks Poissonfordeling, forts Det er imidlertid flere måter å spesifisere denne eksponensielle klassen Alternativt kan vi ha som før 3 er klassen på kanonisk form Når er den naturlige eller kanoniske parameteren Med ksponensielle klasser GLM p53 Redefinisjon av eksponensiell klasse De eksponensielle klassene vi skal arbeide er kanoniske naturlig parameter Derfor skal vi heller benytte følgende definisjon: har fordeling i den eksponensielle klasse som tettheten kan skrives i forhold til Dobson Merk at vi har byttet ksponensielle klasser GLM p63

3 N ksempel: Da blir tettheten altså normalfordelt generell varians 5 som kan omformes til spredningsledd Dessuten blir Kan legge merke til at ksponensielle klasser GLM p3 Binomisk fordeling kjent spredningsledd feks i - Med inngår antall forsøk Da Vi kan omforme dette ved å se på andel suksesser har tetthet som kan skrives som, kjent, vanligvis er det en parameter som I dette tilfellet er må estimeres ksponensielle klasser GLM p3 N ksempel: Da blir tettheten altså normalfordelt varians 5 som kan omformes til : Igjen genereres forventning varians fra ksponensielle klasser GLM p93 ksponensiell klasse spredningsparameter Normalfordelinger varians kan så settes opp som en eksponensiell klasse, men den naturlige parameteren vil avhenge av både for detaljer se Dobson, Kap 3 Vi skal istedet se på slike fordelinger som en eksponensiell klasse spredningsparameter: parameteren kalles spredningsleddet eller spredningsparameteren ksponensielle klasser GLM p3

4 Foventning varians i eksponensiell klass har iverte Vi finner at mhp som gir Dette var nettopp hva vi observerte for binomisk fordeling normalfordeling ksponensielle klasser GLM p53 ksempel Poissonfordeling var kanonisk parameter -!!, - Med Vi får altså var som sikkert er velkjent ksponensielle klasser GLM p63 Momentgenerende funksjon defineres momentgenerende funksjon Hvis har tetthet ved i en omegn om såsant dette integralet eksisterer for alle Vi har da at STK samt at ksponensielle klasser GLM p33 Momentgenerende funksjon for eksponensiell klasse Med tetthet dvs eksp klasse uten spredningsledd blir momentgenerende funksjon fra altså integral mhp en tetthet, i en for siden det kan vises at omegn om ksponensielle klasser GLM p3

5 ks: Normalfordeling N Vi fant da at som gir kjente formler ksponensielle klasser GLM p93 - ks Binomisk fordeling spesifiserte vi For som gir ksponensielle klasser GLM p3 Likelihood-egenskaper Anta at vi observerer en fra Da fås L-likelihood-bidrag Score-bidrag Bidrag til informasjon: Der blir så, ved forventnings variansreglene for ekspklasser, Dette er generelle likelihood egenskaper, som vi nå har vist for ksponensielle klasser GLM p73 ekspklasser for eksp klasse MD spredningsparameter Tetthet: Da blir momentgenerende funksjon Der fås som le til ksponensielle klasser GLM p3

6 iansfunksjon For eksponensielle klasser spredningsparameter har vi vist Det er en - sammenheng mellom som en funksjon av Derfor kan vi uttrykke Der kan vi definere variansfunksjonen slik at direkte For de vanligste fordelingene gis uttrykket for ksponensielle klasser GLM p33 iansfunksjon for noen fordelinger Der blir For normalfordelingen er variansfunksjonen konstantfunksjonen, dvs For Poissonfordelingen er identitetsfunksjonen For binomisk fordeling,, er, blir variansfunksjonen ksponensielle klasser GLM p3 Likelihood-egenskaper fås Med fra som le til de generelle likelihood-egenskapene Vi skal neste gang se utledning av disse formlene for generelle regulære likelihoo ksponensielle klasser GLM p3 ksp klasse Dobson s parametrisering gir fås da Fra etter litt regning Vie gir ksponensielle klasser GLM p3

7 Andre lemmer i den eksponensielle fordelingsklasse I tillegg til normalfordelinger, binomisk fordelinger Poisson-fordelinger innehol den eksponensiell fordelingsklasse bla Gamma-fordelinger spesielt eksponensialfordelinger Negativt binomisk fordeling spesielt geometrisk fordeling Invers gaussisk fordeling Trunkerte fordelinger fra andre fordelinger i eksponensiell klasse Weibullfordelinger ikke-kanonisk fordeling! Paretofordeling ikke-kanonisk! Likelihood for GLM Siden -ene er uavhengige tetthet Merk at dette er en funksjon av regresjonskoeffisientene er en funksjon av som igjen er en funksjon av Med l-likelihood-bidrag l-likelihood blir likelihooden blir siden ksponensielle klasser GLM p53 ksponensielle klasser GLM p73 Spesifikk definisjon av GLM n GLM = Generalisert Lineær Modell kan defineres ved Uavhengige tetthet forventninger Lineære komponenter prediktorer fra samme eksponensiell klasse Scorebidrag for GLM Score-bidrag utledes ved utstrakt bruk av kjerneregelen regelen om ivert av invers funksjon Linkfunksjon : Med lineær komponent ved at kobles forventningen til Merk at avhenger av gjennom Der avhenger så av via sammenhengen Altså blir ksponensielle klasser GLM p63 ksponensielle klasser GLM p3

8 Kanonisk link Matematisk sett forenkles en GLM ved å anta dvs kanonisk naturlig parameter = lineær prediktor Isåfall kalles linkfunksjonen for kanonisk Vi får da at score-funksjonen gis ved siden ksponensielle klasser GLM p33 ksempler på kanonisk link Siden vi generelt så har finner vi den kanoniske linken fra Da blir Normalfordeling: Vanlig lineær-normal modell som fører Poissonfordeling: L-lineær modell som fører Binomisk fordeling: Listisk regresjon som gir lit ksponensielle klasser GLM p33 Scorefunksjon estimeringsligninger for GLM Komponent i scorefunksjonen uttrykkes siden Merk at, ved å løse ligningene, Vi finner altså ML er estimert forventning ksponensielle klasser GLM p93 stimeringsligninger GLM spredningsledd Sålangt har vi antatt observasjoner fra eksponensiell klasse uten spredningsledd Utledningen modifiseres lett til fordelinger tetthet siden Altså blir komponent i score-funksjonen inngår proporsjonalt ikke betyr noe for estimeringen ksponensielle klasser GLM p33