Yushu.@hh.o Forelesg 5 og 6 Itroduksjo tl Bayesask statstkk 1. Itroduksjo Fortsatt atar v har stokastsk varabel X (X ka være stokastsk varabel vektor) kommer fra e fordelg med parametere ( ka være parameter vektor). I klasssk frekves statstkk, v atar alltd at parametere er determstske kostat. For eksempel, klasssk statstkk feres, parametere er ukjete kostat og v utvkler vdere feres for de ukjete determstske parametere etter v har fått observasjoee ( x1, x,..., x ) fra X: estmerg, CI, hypotese testg. I Bayesask statstkk, atar v at parametere er også stokastske varabler og agr fordelg tl parametere først, basert på førkuskap om parametere. V samler observasjoee ( x1, x,..., x ) etterpå og oppdaterer parameters fordelgee etter v har samlet data. et fes tre hoved tr år v gjeomføre Bayesask statstkk: (1) Pror fordelg for : først agr ma e pror-fordelg «pror dstrbuto» g( ) for parametere før data er samlet. g( ) skal beskrve og oppsummere førkuskap om parameterverdee : v velger g( ) utfra egeskapee tl parametere, basert på formasjo v har allerede hatt. f.eks. Hvs er dskrete, ka v bruker e dskrete fordelg g( ); hvs ka ta verder over hele tallje, ka v bruker e kotuelg fordelg g( ); hvs lgger tervallet 0-1, ka v sette g( ) U(0,1). () Fordelg for X: v samler data ( x1, x,..., x ) med fordelg fuksjo f( x ). Etter v har fått, ka v skrve ed lkelhood fuksjo f f x1 x x ( ) (,,..., ) (3) Posteror fordelg for : fra pror-fordelg g( ) og lkelhood fuksjo f( ), ka ma oppdatere fordelg tl og få posteror-fordelg «posteror dstrbuto» om : f ( ) g( ) h( ), med margalfordelge: f ( ) f ( ) g( ) d, ( x1, x,..., x ). a ka h( ) oppsummere all formasjo om parametere: formasjo fra førkuskap av (pror fordelg) + formasjo lgger observasjo (lkelhood fuksjo)
Yushu.@hh.o *a. Bayesask statstkk brukes ofte år pror formasjo for parameter er tlgjegelg, og formasjoe ka oppdateres etter ye observasjoer eller ekspermeter: har v hådtert ett datasett, bruker v det som førkuskap og v ka hådtere est y dataset for å oppdatere fordelge tl parametere. et betyr at posteror fordelg h( ) ka bl pror fordelg g( ) for este ekspermet: I dags posteror er morges pror. f ( ) g( ) b. et ka være vaskelg å fe e aalytsk form for h( ), me umersk metoder eller smulerg metoder slk som MCMC (Markov cha Mote Carlo) ka avedes.. Bayesask statstkk eksempler.1) skrete fordelg Eks 1. u har 4 vsuelt detske myter lomme - 3 er jeve med 50% sjase å få kroe kast, og 1 er speselle myt som kke er jeve med 70% sjase å få kroe kast. a. u kommer lomme og tlfeldg velge e myt og kaste de. Ata at du få kroe. Hva er sasylghete for at myte er de speselle myte? b. Etter ekspermet a. gjør v et ytt ekspermet: v tar de samme myte fra a. og kaste de 3 gager, og hver kaste resultert kroe. Nå hva er sasylghete for at myte er de speselle kvartal?.) Kotuerlg fordelg Eks. ( x1, x,..., x ) er observasjoer som tlsvarer uavhegge S.V ( 1,... ) (, ) X X N. Basert på tdlgere formasjo, er pror-fordelg for forvetg gtt som N(, ). F posteror-fordelg h( ) etter v har fått observasjoee. øsg: (1) Pror fordelg: 1 ( ) N(, ) g( ) exp
Yushu.@hh.o () kelhood fuksjo år v har fått observasjo ( x1, x,..., x ) fra uavhegge S.V ( X 1,... X ) N(, ) : f ( ) f ( x, x,..., x ) f ( x ) 1 1 1 1 / / 1 = exp ( ) ( ) ( ) exp ( ) x x 1 1 (3) Posteror-fordelg: f ( ) g( ) h( ), ( x1, x,..., x ), I dette tlfelle er margalfordelg f( ) rrelevat med, ford f( ) er bare e ormalsergskostat og ka goreres. V bruker symbelet slk at høyre sde av er ormalserg fra vestre sde av, f.esk., A B betyr at A costat* B. a: f ( ) g( ) h( ) f ( ) g( ) / / 1 1 ( ) ( ) ( ) exp ( x ) * exp 1 x 1 exp{ ( ) ( )} x / 1 N( x1... x, ); x 1 1 1 1 / / a x / 1 1 /, 1 1 1 / ormal fordelg også: N(, ), får v at poteror fordelg er faktsk Eks 3. V atar at forvetg tl høyder av jeter aldere 18 er ormal fordelt som g ( ) ~ N(165, ). 10 jeter aldere 18 hadde høyder blr målt som ( cm): 169.6,166.8,157.1,181.1,158.4,165.6,166.7,156.5,168.1,165.3 V atar at varas tl høyder er 50 cm og fe de oppdaterte fordelge tl forvetg for høyder av jeter aldere 18.
Yushu.@hh.o Fgure 1: Fordelger tl pror, lkelhood og posteror 3. Statstsk feres for Bayesask statstkk Alle statstsk fereser for ka bl gjeomført basert på posteror-fordelg h( ) 3.1.Pukt estmerg I klasssk frekves statstkk, de ukjete parametere er fast kostat, og ka estmeres ved bruk av estmator (f.eks. Momet estmator, ME). I Bayesask statstkk, Pukt estmator for ka bygges på posteror-fordelg h( ), eks, pukt estmator for ka være forvetg av posteror-fordelg ˆ E( ) h( ) d *meda eller mode av posteror-fordelg ka bl alteratve estmator. 3. 100(1 ) % troverdghetstervall (credblty terval) for V deferer tervallet [, ] er 100(1 ) % troverdghetstervall (credblty terval) U for slk som P ( ) U U h( ) d 1. Et 100(1 ) % troverdghetstervall for er et tervall der v med sasylghet 1 tror at θ befer seg etter at dataee er samlet. 100(1 ) % troverdghetstervall tlsvare tl 100(1 ) % kofdestervall frekvetsk statstkk. Me v tolker 100(1 ) % kofdestervall frekvetsk statstkk som: hvs v utgjører ekspermet 100 gager, (1 ) gager vl tervallet dekke de ukjete determstsk.
Yushu.@hh.o 3.3. Statstsk hypotesetestg V ka utføre statstsk hypotesetestg ved bruk av troverdghetstervall f.esk., H0: 0 mot 0 og [, U] er et 1 troverdghetstervall for. forkast H 0 dersom 0 [, U] Eks 4. Studet Ole fra skole W bygger e statstsk modell for has score på stadard IQ-tester. Ha meer at, geerelt, er has score ormalfordelt med ukjet forvetg og varase 80. Pror formasjo (fesk. Kuskap fra ekspert) meer at IQ av studeter skole W, er ormal fordelt med forvetg 110 og varas 10. Ole tok to IQ-tester og scoret 98 de første og 104 de adre. a. Hva er de bayesaske estmat av Oles IQ frekvetsk statstkk b. Hva er de bayesaske estmat av Oles IQ? c. Fe 95% kofdestervall for Oles IQ d. Fe 95% troverdghetstervall for Oles IQ. 4. Numersk metode Bayesask statstkk I mage tlfeller er margalfordelg f( ) kke ormalsergskostat og det fes kke e aalytsk form for f ( ) g( ) h( ) : det ka bl vaskelg for å få tegrasjo f ( ) f ( ) g( ) d. V ka derfor bruke umersk eller smulerg metoder for å få fordelg h( ), f.eks, Markov Cha Mote Carlo (MCMC) a. E Markov-kjede er e tdssere der verde å ku avhege av forrge verd. Ekelte tdsserer stablserer seg slk at de har e fordelg som kke foradrer seg over td, de såkalte stasjoærfordelge (Etter de blå lje Fgure ). b. et er mulg å lage e tdssere som er slk at de stasjoære fordelge er lk de fordelge du er ute etter selv, f.eks, h( ). ette kalles MCMC Fgure : MCMC smulerg ka føre tl e stasjoær fordelg (etter blår lje)