ST1101/ST6101 Sannsynlighetsregning og statistikk Vår 2019

Transkript

1 Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag ST111/ST611 Sannsynlighetsregning og statistikk Vår 219 Løsningsforslag Øving mars 219 Side 1 av 18

2

3

4

5

6 Løsningsforslag Øving X er geometrisk fordelt, med p X (k θ) = (1 θ) k 1 θ for k = 1, 2,.... Vi antar at a priori-fordelingen til til θ er en Beta-fordeling med parametere r og s: θ Γ(r+s) Γ(r)Γ(s) θr 1 (1 θ) s 1. Da er posteriori-fordelingen til θ gitt ved Bayes formel: Dermed: p(θ k) = p(θ)p(k θ) p(k) p(θ k) = = = Γ(r + s) Γ(r)Γ(s) θr 1 (1 θ) s 1 (1 θ) k 1 θ 1 p(k) Γ(r + s) Γ(r)Γ(s)p(k) θr 1+1 (1 θ) s 1+k 1 Γ(r + s) Γ(r)Γ(s)p(k) θr (1 θ) s+k 2 θ (r+1) 1 (1 θ) (s+k 1) 1 Vi gjenkjenner dette som noe som er proporsjonalt med en Beta-fordeling med parametere r + 1 og s + k 1 (vi trenger dermed ikke regne ut p(k)) Vi vil finne the squared-error lossbayes-estimatet for θ fra Eksempel 5.8.2, som vi kaller ˆθ, og uttrykke det som et vektet snitt av sannsynlighetsmaksimeringsestimatet (SME) til θ og forventningen til prioren. SME til θ er θ e = k/n. Prioren til θ er en Beta-prior: θ som har gjennomsnitt r/(r + s). Γ(r + s) Γ(r)Γ(s) θr 1 (1 θ) s 1 Vi må finne Bayes-estimatet til θ, og med teorem vet vi at Bayes-estimatet med kvadratisk taps-funksjon er forventningsverdien assosiert med a posteriori-fordelingen. Fra eksempelet får vi at likelihood-funksjonen er binomisk: p X (k θ) = ( n k) θ k (1 θ) n k. Dermed får vi følgend a posteriori-fordeling for θ: p(θ k) ( ) Γ(r + s) n Γ(r)Γ(s) θr 1 (1 θ) s 1 θ k (1 θ) n k k θ r 1 (1 θ) s 1 θ k (1 θ) n k = θ (r+k) 1 (1 θ) (s+n k) 1 som vi gjenkjenner som noe som er proporsjonalt med en Beta-fordeling med parametere r + k og s + n k. Forventningsverdien til en Beta(r + k, s + n k)-fordelt r+k variabel er gitt ved (r+k)+(s+n k) = r+k r+s+n. Dermed har vi at Bayes-estimatet til θ er 22. mars 219 Side 6 av 18

7 Løsningsforslag Øving 12 ˆθ = r + k r + s + n Dette kan vi skrive som ˆθ = wθ e + (1 w)e(θ) = w 1 k/n + w 2 r/(r + s) (et vektet gjennomsnitt, vanlig gjennomsnitt har w = 1/2). Da ender vi med ligningen r + k r + s + n = w k n r + (1 w) r + 1 som gir at w = n/(n + r + s) (ligning med én ukjent). Eksamensoppgaver Eksamen vår 213, oppgave 2 og desember 212, oppgave mars 219 Side 7 av 18

8

9

10

11

12

13

14 Løsningsforslag Øving 12 Ark 1 y Bernoulli(θ), med θ 1. a) Y kan ta verdiene og 1, altså to mulige utfall, det samme som et myntkast. Hvis θ =.5 vil vi ha et "vanlig"myntkast, der begge sidene er like sannsynlige, og for θ.5 vil mynten være tuklet med og ha større sjanse for å lande på den ene siden. Parameteren θ angir hvor sannsynlig hver side av mynten er. θ =.5 gir "vanlig"mynt, mens θ >.5 gir større sjanse for 1 enn (og motsatt for θ <.5). b) Vi antar at θ har en uniform prior i intervallet til parameteren, altså at θ Unif(, 1). Dette betyr at vi tenker oss at alle verdier av θ er sannsynlige, før vi gjør noe forsøk/ser data fra et forsøk. c) Vi vet at θ er uniformt fordelt, og får dermed at µ = E(θ) = 1 2, m = median(θ) = 1 2, og σ = 1 Var(θ) = 12 = Vi vil også finne dekningsfaktor k sånn at Prob( θ m kσ) = 1 α = 95% =.95 (husk at θ er standard uniformfordelt så F θ (a) = Prob(θ < a) = a): Prob( θ m kσ) = Prob( θ 1 2 k ) = Prob( k θ 1 2 k ) = Prob( 1 2 k θ k ) = Prob(θ k ) Prob(θ 1 2 k ) = k ) (1 2 k ) = k 1 =.95 3 som betyr at k = mars 219 Side 14 av 18

15 Løsningsforslag Øving 12 d) Myntkast med resultat Y = y = 1. A posteriorifordeling til θ y når f(θ) = 1, θ 1 ( ellers) og f(y θ) = θ y (1 θ) 1 y : f(θ y) = f(θ)f(y θ) f(y) = f(θ)f(y θ) 1 f(θ)f(y θ)dθ = 1 θy (1 θ) 1 y 1 1 θy (1 θ) 1 y dθ Når vi vet at Y = y = 1: f(θ y = 1) = θ1 (1 θ) θ1 (1 θ) 1 1 dθ = θ 1 θdθ = θ 1/2 = 2θ Vi ser at tettheten flytter seg så vi får mer masse til høyere verdier av θ. Siden stor verdi av θ gir større sjanse for å få 1, gir det mening at modellen er sikrere på høy θ etter vi observerer y = 1. e) Vi vil ha forventningsverdi, median, standarddavik og 95% dekningsfaktor for (θ y = 1): 22. mars 219 Side 15 av 18

16 Løsningsforslag Øving 12 Forventningsverdi: µ = E(θ y = 1) = = = = θ f(θ y = 1)dθ θ 2θdθ 2θ 2 dθ [ 1 3 θ3 ] 1 = 2 3 Median: 1 2 = = 2 m [ 1 2 θ2 f(θ y = 1)dθ ] m = m 2 = m = 1 2 = 1 2 Standarddavik: σ 2 = = = = θ 2 f(θ y = 1)dθ µ 2 θ 2 2θdθ 2θ 3 dθ µ 2 [ 1 4 θ4 ] 1 µ 2 = = = σ = 18 = 1 = mars 219 Side 16 av 18

17 Løsningsforslag Øving 12 Dekningsfaktor: = Prob( θ m kσ) = Prob( θ 1 2 k ) ( k 1 ) 2 ( k 1 ) = Prob( k θ 1 2 k ) = Prob( 1 2 k 1 = 1 2 +k k [ 1 = 2 2 θ2 = 4 1 k = 3 2 θ 1 + k ) 2θdθ ] 1 2 +k k k =.95 = k = f) Rimelighetsestimatet: Likelihood: L(θ y) = θ y (1 θ) 1 y Log-likelihood: l(θ y) = log L(θ) = y log(θ) + (1 y) log(1 θ) Deriverer og setter lik : 22. mars 219 Side 17 av 18

18 Løsningsforslag Øving 12 d dθ l(θ y) = y θ 1 y 1 θ = y(1 θ) (1 y)θ = y yθ θ + yθ = y θ = = ˆθ = y Siden vi har y = 1 er altså ˆθ = 1. Dette er forskjellig fra både posterior median og forventningsverdi (som er hhv.77 og.67). Medianen og forventningsverdien til a posteriori-fordelingen minimerer Bayes posterior risiko gitt fra tapsfunksjonene L = θ ˆθ (median) og L = θ ˆθ 2 (forventningsverdi). 22. mars 219 Side 18 av 18