! * 2 2 2 Bevis : Anta Forelesning 4 STK3 september 27 S O Samuelsen Plan for annen forelesning: Likelihood-egenskaper 2 Konsistens for ML 3 Tilnærmet fordeling for ML 4 Likelihoodbaserte tester 5 Multivariat normalfordeling Da er selvfølgelig mhp integrasjon mhp dvs! Så når ombytte av derivasjon er lovlig fås!! Men scorefunksjonen basert på er nettopp! &! & vi har altså vist resultatet for skalar Forelesning 4 STK3 p/29 Forelesning 4 STK3 p3/2 Likelihoodegenskaper Anta at Da gjelder l-likelihood Score-funksjon er en regulær likelihood La videre Observert informasjon Forventet Fisher) informasjon Reglene gjelder så for vektorer for skalare, men vi skal bare vise dem Forelesning 4 STK3 p2/29 At forventning for score er lik holder mer generelt: Anta at ),- ller vi kan anta at altså er uavhengige, / Dermed har vi like fullt,! 3 43 43 2 Da er fortsatt! har simultantetthet! 3 43 så for ikke-identiske tilmed avhengige variable - såsant ombytte derivasjon integrasjon er lov 43 Forelesning 4 STK3 p4/2
ksponensiell klasse med spredningsparameter) Da er &! & Anta fås Og siden hvilket ble bevist ved momentgenerende funksjoner sist Det samme ble som så følger av Forelesning 4 STK3 p7/2 Merk: er en funksjon av den ukjente parameteren n likelihood : Våre data er generert av en spesiell parameterverdi Likelihood-egenskapene vi har utledet gjelder bare for denne sanne verdien vi har mer presist at vil, feks, typisk For andre verdier av! Forelesning 4 STK3 p8/2 iansen til scoren er lik forventet informasjon: følger av!! & samt eller ekv Dette gir! Forelesning 4 STK3 p5/29 iansen til scoren = forventet informasjon, forts: altså får vi Men siden av potensielt ikke-identiske Her utvides resultatet til vektorer 43 2 på med avhengige komponenter ved å bytte ut samme måte som for Forelesning 4 STK3 p6/29
Regulære ML er konsistente Anta at er identiske uavhengig fordelte uif) Vi har da at score-funksjonen, uttrykt gjennom score-bidragene, ) *,- Ved store talls lov vil da punktvis) / ksempel: ksponensialfordeling Gjsn L-lik, n= l -2-5 - -5 u -5 5 5 5 2 theta Gjsn L-lik, n= Gjsn Score, n= 5 5 2 theta Gjsn Score, n= for en funksjon Tilsvarende vil Spesielt har vi at, - l -2-5 - -5 u -5 5 Forventet Simulert / 5 5 2 5 5 2 der funksjonen generelt vil ha maksimum i Forelesning 4 STK3 p9/29 theta theta Forelesning 4 STK3 p/2 Heuristisk argument for at ML er konsistent Siden for stor:,, med maksimum i vil så når, dvs vi har rimeligvis) at ML ksempel: Uavhengige eksponensialfordelte Da blir som har nullpunkt for er konsistent, dvs ) med forventning, med forventning, Forelesning 4 STK3 p/29 Regulære ML er tilnærmet normalfordelt Anta er uif med tetthet La forventet informasjon fra en forventet informasjon fra Vi skal vise heuristisk) at når er stor has Merk: ), ML dermed eller Her er sann parameterverdi I disse resultatene kan vi bytte ut informasjon ), med observert Forelesning 4 STK3 p2/2
Large sample fordeling ML så vi får Men dvs er tilnærmet lik en lineærtransformasjon av som er tilnærmet normalfordelt Derfor blir selv tilnærmet normal med varians lest som tilnærmet fordelt) Altså med Alternativt uttrykkes dette Forelesning 4 STK3 p5/2 ksempel: ksponensialfordeling Fra tidligere slide har vi score dermed ML Dessuten blir informasjon altså tilnærmet samt Forelesning 4 STK3 p6/2 ormaltilnærming for score, Vi har for scorebidrag, - / varians er uif med forventing Men Dermed gir sentralgrenseteormet -ene gjennomsnittet av der Forelesning 4 STK3 p3/29 ordens Taylorutvikling av gir omkring verdi glatt funksjon Restledd Dermed har vi så for passende der Restledd Restledd for passende der Restledd Vi skal bruke dette resultatet for scorefunksjonen rekkeutviklet i denne sanne parameterverdien : Restledd raskere enn for Restledd Forelesning 4 STK3 p4/29
Simulering av eksponensialfordeling Histram Score, n= 5 5 2 25 5 5 2 - -5 5 u Histram Score, n= 5 5 2 5 5 Histram ML, n= 5 5 2 25 3 ML Histram ML, n= Kommentarer Wald- Scoretest For begge testene kan vi erstatte forventet informasjon med observert informasjon 2 Merk at både under nullhypotesen får en tilnærmet fordeling 3 Testene er asymptotisk ekvivalente, dvs de vil gi samme resultat ettersom datamengden øker, men i praksis vil gjerne Score-tester fungere noe bedre enn Wald-tester 4 Wald-tester kan avhenge av parametrisering, feks om vi ser på eller Score-testene blir de samme uavhengig av parametrisering -3-2 - 2 3 u 8 2 4 ML Forelesning 4 STK3 p7/29 Forelesning 4 STK3 p9/2 To likelihood-baserte tester Vi kan nå teste en nullhypotese H, både basert på Likelihood-ratio test LRT) Som et tredje alternativ kan vi teste under H ved likelihood-ratio test ved å se på forholdet mellom likelihood apriori under hypotesen eller ekvivalent Wald-testen benytter test-størrelse, der standardfeil for, under H Vi kan imidlertid så bruke Score-testen basert på er der has tilnærmet ), / Under under H dvs kjikvadratfordelt med en frihetsgrad, tilsvarende Wald- Score-testene Vi skal vise dette under H Forelesning 4 STK3 p8/29 Faktisk er så LR-testen asymptotisk ekvivalent med Wald- Scoretest Forelesning 4 STK3 p2/2
Momenter i multivariat normalfordeling - Spesielt blir / som har Dermed blir forventningen i den -dimensjonal normalfordelingen Dessuten blir variansen til - / kovariansen mellom - Cov / Forelesning 4 STK3 p23/2 Kovariansmatrise til stokastisk vektor defineres ved Cov med / Cov skriver vi Spesielt for multivariat normalfordelt ved fra Vi kan dessuten uttrykke verifiser!) Forelesning 4 STK3 p24/2 Taylor-utvikling av LRT-observator til: Vi 2ordens Taylor-utvikler her om Restledd Restledd Men tilnærmet er siden Dermed siden vi har tilnærmet Forelesning 4 STK3 p2/29 Multivariat normalfordeling Vi definerer at en -dimensjonal vektor er multivariat normalfordelt dersom vi kan skrive er en vektor av uavhengige,) en vilkårlig -dimensjonal vektor, der variable av tall / Forelesning 4 STK3 p22/29 er en ikke-singulær matrise
! Tetthet for multivariat normalfordeling, forts har gitt ved Videre er kovariansmatrisen til determinant samt invers brukt ved at identitetsmatrisen / Siste likhet følger av generelle matriseregel ) / / gir dette 43 Jac 43 Innsatt i 43 43 43 43 43 siden Forelesning 4 STK3 p27/2 Spesialtilfeller er på denne Univariat normaltetthet formen med 2 Bivariat normaltetthet! & & & & ) 43 43 med Forelesning 4 STK3 p28/2 Multivariat transformasjonssetning Fra Rice STK, s 2-3) has at hvis har multivariat tetthet invers funksjon) / med Jacobi-matrise Jac tetthet så har 43 Jac 43 43 43 er determinanten til Jac 43 Jac der Forelesning 4 STK3 p25/29 Tetthet for multivariat normalfordeling gis da ved 43 3 43 blir gitt fra Bevis: Den inverse transformasjonen har Jacobi-matrise har uavhengige tetthet Her vet vi dessuten at,) fordelte komponenter, altså har / Forelesning 4 STK3 p26/29
3 ksponentens fordeling For multivariate normalfordelinger er eksponenten et 2 gradspolynom i på ellipsoider i det -dimensjonale rom 43 43 43 konstant Dessuten får vi at eksponenten innsatt stokastisk blir - / altså kjikvadratfordelt med uavhengige frihetsgrader siden,) Forelesning 4 STK3 p29/29