TMA4300 Mod. stat. metoder

Transkript

1 TMA4300 Mod stat metoder Norges teknsk-naturvtenskapelge unverstet Insttutt for matematske fag Løsnngsforslag - Eksamen jun 2007 Oppgave Pseudokode for å evaluere θ: Generer uavhengge realsasjoner x,,x n N(0,) 2 For =,,n generer uavhengge realsasjoner y Posson(e x ) 3 Evaluer θ = n y Ved å benytte x som kontrollvarat får man estmatoren θ = [ y + cx ], n hvor man har benyttet at E[x ] = 0 Størst varansreduksjon får man ved å velge c = Cov[ y,x ] Var[x ] Var[x ] =, mens Cov[ y,x ] er kke analytsk tlgjengelg og må dermed estmeres Psudokode for å evaluere θ blr: Generer uavhengge realsasjoner x,,x n N(0,) 2 For =,,n generer uavhengge realsasjoner y Posson(e x ) 3 Benytt at E[x ] = 0 og Var[x ] = og estmer Cov[ y,x ] = E[x y ] med ĉ = Ĉov[ y,x ] = n x y 4 Evaluer θ = n [ y + ĉx ] eksjun07l June 8, 2007 Sde

2 TMA4300 Mod stat metoder Oppgave 2 a) Vsualserng av modellen blr α β λ y y 2 y n Den fulle betngede fordelngen for λ blr med b) π(λ α,β,y,,y n ) π(α,β,λ,y,,y n ) π(λ) Fordelngen tl v χ 2 ν er n π(y α,β,λ) = λ 4 exp λ } n [ ] λ 2 2 exp λ y (α + β(x x)) } ( )} λ n+ exp λ y (α + β(x x)) λ n+ exp λ Q(α,β,y,,y n ) = 2 + ( )} 2 + Q(α,β,y,,y n ), y (α + β(x x)) f v (v) v ν 2 exp v } 2 Transformasjonsformelen gr da at λ = v r er (λ = v r v = λ/r) ) } f λ (λ) = f v ( λ r ( λ r r ) ν 2 exp λ 2r λ ν 2 exp Den smulerte λ vl dermed få den ønskede fordelng ved å velge ν 2 = n + ν = 2n + 4 og 2r = 2 + Q(α,β,y,,y n ) r = λ } 2r Q(α,β,y,,y n ) eksjun07l June 8, 2007 Sde 2

3 TMA4300 Mod stat metoder c) Her fnnes det selvfølgelg mange rktge svar Mest naturlg er det kanskje å benytte en sngle-ste-metropols Hastngs-algortme For eksempel ved følgende pseudokode: Intalser α 0,β 0,λ 0 med lovlge verder 2 For k =,,K (a) Trekk λ k π(λ α k,β k,y,,y n ) ved algortma fra forrge punkt [Akseptsannsynlgheten her er lk sden dette er et gbbs-steg] (b) Foreslå α k N(α k,σ 2 α ) [for en passende verd σ2 α ] (c) Trekk u k α Unf[0,] (d) Hvs u k α a α( α k α k,β k,λ k ) sett α k = α k, ellers sett α k = α k [Uttrykk for akseptsannsynlgheten er regnet ut under] (e) Foreslå β k N(β k,σ 2 β ) [for en passende verd σ2 β ] (f) Trekk u k β Unf[0,] (g) Hvs u k β a β( β k β k,α k,λ k ) sett β k = β k, ellers sett β k = β k [Uttrykk for akseptsannsynlgheten er regnet ut under] Forslagene for α og β benyttet her er begge metropolsforslag slk at forslagssannsynlghetene kan forkortes uttrykkene for akseptsannsynlghetene Innsettng de generelle uttrykket for akseptsannsynlgheten en metropolsalgortme gr (etter ltt regnng, og denne mellomregnngen må selvfølgelg være med en besvarelse selv om den kke er gtt her) α 2 α 2 }} a α ( α α,β,λ) = mn,exp + λ(q(α,β,y,,y n ) Q( α,β,y,,y n )) 200 og a β ( β β,α,λ) = mn d),exp β 2 β Antar en burn-n på R terasjoner P(β > 0 y,,y n ) kan estmeres ved P(β > 0 y,,y n ) = ( + λ Q(α,β,y,,y n ) Q(α, β,y,,y n )) }} k=r+ I(β k > 0) eksjun07l June 8, 2007 Sde 3

4 TMA4300 Mod stat metoder 2 Ved å benytte setnngen om dobbeltforventnng og at y 0 er betnget uavhengg av y,,y n når α,β og λ er gtt får v E[y 0 y,,y n ] = E[E[y 0 y,,y n,α,β,λ] y,,y n ] = E[E[y 0 α,β,λ] y,,y n ] = E[α + β(x 0 x) y,,y n ] Man kan dermed estmere E[y 0 y,,y n ] ved Ê[y 0 y,,y n ] = k=r+ ( ) α k + β k (x 0 x) Alternatvt kan man for hver k = R +,,K smulere y0 k (uavhengg av hverandre) ved y0 k π(y 0 x 0,α k,β k,λ k ), dvs fra en dobbel eksponensalfordelng, og estmere E[y 0 y,,y n ] ved Ê[y 0 y,,y n ] = k=r+ men denne sste estmatoren vl ha større Monte-Carlo-varans enn den første 3 Her kan man benytte setnngen om total sannsynlghet og at y 0 er betnget uavhengg av y,,y n når α,β og λ er gtt og få π(y 0 y,,y n ) = π(y 0 α,β,λ,y,,y n )π(α,β,λ y,,y n )dαdβdλ y k 0, = π(y 0 α,β,λ)π(α,β,λ y,,y n )dαdβdλ Man kan dermed estmere π(y 0 y,,y n ) ved = π(y 0 y,,y n ) = k=r+ k=r+ π(y 0 α k,β k,λ k ) λ k } 2 exp λ k y 0 (α k + β k (x 0 x) Alternatvt kan man gjen smulere y0 R+,,y0 K som punkt 2 over og benytte dsse tetthetsestmerng, men dette vl gjen g større Monte-Carlo-varans enn den første metoden eksjun07l June 8, 2007 Sde 4

5 TMA4300 Mod stat metoder Oppgave 3 a) Parametrsk bootstrappng: Beregn α, β og λ fra de observerte data y,,y n 2 For =,,n (a) sett x = x (b) smuler ε λ } 2 exp λ ε (c) sett y = α + β(x x) + ε Bootstrappng av (estmerte) resdualer: Beregn α, β og λ fra de observerte data y,,y n 2 For =,,n beregn estmaterte resdualer ε = y ( α + β(x x)) 3 For =,,n (a) sett x = x (b) trekk k Unform(,,n) og sett y = α + β(x x) + ε k Bootstrappng av observasjonspar: For =,,n (a) trekk k Unform(,,n) (b) sett x = x k og y = y k Dersom man er skker på at den parametrske modellen er korrekt er parametrsk bootstrappng det beste Dersom man kke stoler på den parametrske modellen og også er uskker på om sannsynlghetsfordelngen for resdualene er uavhengg av x bør man benytte bootstrappng av observasjonspar Dersom verden tl x ene er valgt (og dermed kke bør betraktes som stokastske) bør man benytte parametrsk bootstrappng eller bootstrappng av estmerte resdualer (slk at verdene tl x ene forblr uforandret) eksjun07l June 8, 2007 Sde 5

6 TMA4300 Mod stat metoder b) Estmere SD( β): (a) For b =,,B beregn α (b) og β (b) med utgangspunkt (x (b) )} n (b) Estmer SD( β) ved ŜD( β) = B ( β (b) B β ) 2, ( ) b= der β ( ) = B 2 Percentlntervall for E(y 0 ) = α + β(x 0 x): B β (b) b= (a) For b =,,B beregn α (b) og β (b) med utgangspunkt (x (b) )} n (b) For b =,,B beregn der µ (b) = α (b) + β (b) (x 0 x (b) ) x (b) = (/n) x (b) (c) Et ( a) 00%-konfdensntervall er da [ µ L, µ U ] der µ L og µ U er henholdsvs den Ba/2 nte mnste verden og den Ba/2 nte største verden av µ (),, µ (B) c) Et predksjonsntervall kan estmeres ved parametrsk bootstrappng eller ved å resample estmerte resdualer Å resample observasjonspar fører her kke frem ford man da kke er stand tl å smulere y 0 -verder Algortme for danne bootstrapp-predksjonsntervall: Generer bootstrapputvalg (x (b) )} n,b =,,B 2 For b =,,B beregn α (b) og β (b) med utgangspunkt (x (b) )} n eksjun07l June 8, 2007 Sde 6

7 TMA4300 Mod stat metoder 3 For b =,,B, generer ε (b) 0 uavhengge av hverandre Hvs parametrsk bootstrappng benyttes, generer ε (b) 0 fra fordelng med tetthet ε (b) 0 λ } 2 exp λ ε (b) 0 Hvs resamplng av estmerte resdualer benyttes, trekk ε (b) 0 tlfeldg fra ε,, ε n 4 For b =,,B beregn y (b) 0 = α (b) + β (b) (x x) + ε (b) 0 5 Et ( a) 00%-predksjonsntervall for y 0 er da [y0,l,y 0,U ] der y 0,L og y 0,U er henholdsvs den Ba/2 nte mnste verden og den Ba/2 nte største verden av y () 0,,y (B) 0 eksjun07l June 8, 2007 Sde 7