Observatorer. STK Observatorer - Kap 6. Utgangspunkt. Eksempel høyde Oxford studenter

Transkript

1 Observatorer STK00 - Observatorer - Kap 6 Geir Storvik 4. april 206 Så langt: Sannsynlighetsteori Stokastiske modeller Nå: Data Knytte data til stokastiske modeller Utgangspunkt Eksempel høyde Oxford studenter Observert x,..., x x,..., x n observert Antar x,..., x n er realisasjoner av stokastiske variable X,..., X n Antar alle X i er uavhengige fra samme fordeling (px (x) eller f X (x)) Hva kan vi si om p X (x)/f X (x) hvis vi bare har x,..., x n? x = n x i = s 2 = n s = s 2 Gjennomsnitt (x i x) 2 = Empirisk varians Empirisk standardavvik Hva kan disse si om f X (x), µ X, σ X?

2 Eksempel simulerte data Observatorer Simuler data x,..., x n fra gamma(3.6598,.208). Gir µ X = 4.43, σ X = Gjentar 4 ganger med n = 30. Gir Rep Rep 2 Rep 3 Rep 4 x std(x) Øker til n = 000 gir Rep Rep 2 Rep 3 Rep 4 x std(x) simgamma.m Definisjon: En observator er en numerisk størrelse som kan beregnes fra innsamlede data. Før data er samlet inn er det usikkerhet om verdien til en observator, dvs det er en stokastisk variabel Stokastisk variabler: Store bokstaver Observert verdier: Små bokstaver Eksempler Stokastisk variabel Observert verdi X = n n X i x = n n x i S 2 = n n (X i X) 2 s 2 = n n (x i x) 2 Enhver observator har en sannsynlighetsfordeling Eksempel binomiske variable Eksempel Anta X i Binom(, 0.5) for i =, 2 og X, X 2 er uavhengige X = 2 (X + X 2 ) {0, 2, } P(X = 0) = P(X = 0, X 2 = 0) = = 0.25 P(X = ) = P(X =, X 2 = ) = = 0.25 P(X = 2 ) = = 0.5 Saynnsynlighetsmodell for observator avhenger av Anta X, X 2 {, 5, 0}, trekkes uniform 2 Observator S = (X i X) 2 2 Med tilbakelegging: P(S = 0) = P(X = X 2 ) = 3 Uten tilbakelegging: P(S = 0) = P(X = X 2 ) = 0 Sannsynlighetsmodell for enkeltobservasjoner X,..., X n Innsamlingsmetode (f.eks om data er uavhengige/avhengige)

3 Tilfeldige utvalg Utledning av sannsynlighetsmodell for observator Definisjon: X,..., X n er et tilfeldig utvalg av størrelsee n hvis Xi ene er uavhengige Hver Xi har samme sannsynlighetsmodell. Vi sier ofte at de er uavhengige og identisk fordelte (UIF) Trekning fra en populasjon av størrelse N: Med tilbakelegging: UIF. Uten tilbakelegging og n << N: Tilnærmet UIF Uendelig stor populasjon: UIF (også uten tilbakelegging) Alltid enklere når vi har UIF! Enkle observatorer: Bruke sannsynlighetsmodeller direkte Simuleringer Lineær kombinasjoner: Momentgenererende funksjoner Stor n: Asymptotiske tilnærminger Eksempel MP3 spillere: 2GB:$ 80, 4GB:$ 00, 8GB:$ 20 Sannsynlighetsmodell for hva kunder velger: x p(x) µ X = 06, σ 2 X = 244 To solgte en dag, X, X 2 uavhengige: Eksempel - forts Øker nå til n = 4, X, X 2, X 3, X 4 uavhengige = 8 muligheter µ X = µ X, V (X) = σ2 X 4 Gir P(X = 00) = = 0.29 µ X = = 06 = µ X! V (X) = 22 = = σ2 X 2

4 Eksempel - forts Generelle strukturer Anta X,..., X n er UIF µ X = µ X V (X) = σ2 X n for n stor så likner fordeling til X på en normalfordeling Eksempel X i = tid til å betjene kunde i et supermarked Anta X i exp(λ), X i R. X, X 2 er uavhengige T o = X + X 2 F X (t) =P( 2 (X + X 2 ) t) =P((X + X 2 ) 2t) = λe λx λe λx 2 dx 2 dx (x,x 2 ):x +x 2 2t = e 2λt 2λte 2λt f X (t) =4λ 2 te 2λt t 0 X Gamma(α = 2, β = /2λ) E(X) = 2 2λ = λ = E(X i) Var(X) = 2 = 4λ 2 2λ = Var(X i ) 2 Utledning ved simulering. Gjenta for i =,..., k. Simuler X,..., X n.2 Beregn observator T (X,..., X n ), sett lik t i 2. Se på fordeling av t,..., t k. Trenger å spesifisere observator av interesse (X, S etc) spesifisere fordeling til X i spesifisere n spesifisere antall simuleringer k Eksempler:sim_gnsnitt_norm.m, sim_gnsnitt_lognorm.m

5 Fordeling til gjennomsnitt (6.2) Normalfordelte variable Proposisjon La X, X 2,..., X n være et tilfeldig utvalg fra en fordeling med E(X i ) = µ og Var(X i ) = σ 2. Da er. E(X) = µ X = µ 2. V (X) = σ 2 X = σ2 /n og σ X = σ/ n I tillegg, med T o = X + + X n, så er E(T o ) = nµ og V (T o ) = nσ 2. Proposisjon La X, X 2,..., X n være et tilfeldig utvalg fra en normalfordeling med E(X i ) = µ og Var(X i ) = σ 2. Da er X normalfordelt med E(X) = µ X = µ og V (X) = σ 2 /n Chebyshev s ulikhet Store talls lov P( Y µ Y kσ Y ) k 2 Med Y = X: P( X µ k σ n ) k 2 Setter k = ε n σ P( X µ ε) σ2 nε 2 Teorem Anta X,..., X n er UIF med E(X i ) = µ og σ Xi = σ. Da konvergerer X mot µ. med hensyn på forventet kvadratisk avvik: E[(X µ) 2 ] 0 2. i sannsynlighet: P( X µ ε) 0. Grunnlag for å bruke X til å estimere µ Vi sier X er en konsistent estimator for µ Dvs for stor n så er X nær µ med stor sannsynlighet!

6 Eksempel Sentralgrenseteoremet Anta vi kaster en mynt n ganger, { hvis kron X i = 0 hvis mynt La X, X 2,..., X n være et tilfeldig utvalg fra en fordeling med E(X i ) = µ og Var(X i ) = σ 2. Da er X, for n stor, tilnærmet normalfordelt med E(X) = µ X = µ og V (X) = σ 2 /n Hvis rettferdig mynt: X 0.5 Sentralgrenseteoremet Eksempel Proposisjon La X, X 2,..., X n være et tilfeldig utvalg fra en normalfordeling med E(X i ) = µ og Var(X i ) = σ 2. Da er ( ) lim P X µ n σ/ = P(Z z) = Φ(z) n der Z er standard normalfordelt. Dette betyr at for stor n så er X N(µ, σ 2 /n) Har også at T o = n X i N(nµ, nσ 2 ) X = antall ganger en tilfeldig kunde bruker bankautomat µ X = 3.2, σ X = 2.4 X: Gjennomsnitt av 00 tilfeldige kunder P(X > 4) =? ( P(X > 4) =P X / > / 00 P ( Z > = Φ(3.33) = ) )

7 Hvor stor må n være? Binomisk fordeling Tilnærming eksakt hvis X i er normalfordelt Tilnærming avhengig av hvor stort avvik fordelingen til X i har fra normalfordeling For symmetriske fordelinger med lette haler vil tilnærming være god for n = 0 Tilnærming følsom for ekstreme observasjoner. Bør sjekke for outliere Generell tommelfinger regel: Hvis n > 30 så kan sentralgrenseteoremet brukes. Anta X Binom(n, p). Da er X = X + X n der X i er Bernoulli variable. Hvis n er stor, er X = nx tilnærmet N(np, np( p)). Dermed er, for nn stor, X tilnærmet N(p, p( p)/n). Produkter av variable Lineærkombinasjoner og momenter (6.3) Y = X X 2 X n ln(y ) = ln(x ) + ln(x 2 ) + + ln(x n ) Sentralgrenseteoremet: ln(y ) N(nµ ln, nσln 2 ) der µ ln = E(ln(X i )), σln 2 = V (ln(x i )) Dermed er Y tilnærmet lognormal fordelt. Anta E(X i ) = µ i, V (X i ) = σ 2 i. Lineær kombinasjon: Y = a X + + a n X n = n a ix i Proposisjon E( V ( V ( a i X i ) = a i X i ) = a i X i ) = a i µ i a i a j Cov(X i, X j ) j= ai 2 σi 2 hvis uavhengige

8 Bevis forventning Bevis varians n = 2 (kontinuerlig tilfelle): E(a X + a 2 X 2 ) = [a x + a 2 x 2 ]f (x, x 2 )dx 2 dx x x 2 = a x f (x, x 2 )dx 2 dx + a 2 x 2 f (x, x 2 )dx 2 dx x x 2 x x 2 = a x f (x, x 2 )dx 2 dx + a 2 x 2 f (x, x 2 )dx dx 2 x x 2 x 2 x =a x f x /x )dx + a 2 x 2 f x2 x 2 )dx 2 x x 2 x =a E(X ) + a 2 E(X 2 ) Generell n: Induksjon. n = 2: V (a X + a 2 X 2 ) =E{[a X + a 2 X 2 (a µ + a 2 µ 2 )] 2 } =E{[a (X µ ) + a 2 (X 2 µ 2 )] 2 } =E{a(X 2 µ ) 2 + a2(x 2 2 µ 2 ) 2 + 2a a 2 (X µ )(X 2 µ 2 )} =ae(x 2 µ ) 2 + a2e(x 2 2 µ 2 ) 2 + 2a a 2 E(X µ )(X 2 µ 2 ) 2 2 = Cov(X i, X j ) j= Generell n: Induksjon. Gjennomsnitt Differanser X,..., X n uif X = n n X i a i = n Gir E(X) = V (X) = n µ = µ σ 2 = σ2 n 2 n Y = X X 2 a =, a 2 = Gir E(X X 2 ) =E(X ) E(X 2 ) V (X X 2 ) =V (X ) + V (X 2 ) + 2Cov(X, X 2 ) =V (X ) + V (X 2 ) hvis uavhengige

9 Momentgenererende funksjoner Lineærkombinasjoner av normalfordelte variable Anta X,..., X n er uavhengige med X i N(µ i, σ 2 i ). X, X 2,..., X n uavhengige Y = n a ix i Momentgenererende funksjon: M Y (t) =E(e ty ) = E(e t n a i X i ) =E(e ta X e ta 2X2 e ta nx n ) uavh = E(e ta X )E(e ta 2X 2 ) E(e ta nx n ) =M X (a t)m X2 (a 2 t) M Xn (a n t) M Xi (t) = e µ i t+σ 2 i t 2 /2 La Y = n X i. Da er M Y (t) =M X (t)m X2 (t) M Xn (t) =e µ t+σ 2 t 2 /2 e µ 2t+σ 2 2 t 2 /2 e µ nt+σ 2 n t 2 /2 =e (µ +µ 2 + +µ n )t+(σ 2 +σ σ2 n )t 2 /2 = e µ Y t+σ 2 Y t 2 /2 Svarer til momentgenererende funksjon for N(µ Y, σ 2 Y ). Entydighet på momentgenererende funksjon medfører Y N(µ Y, σ 2 Y )! Kan enkelt modifisere til Y = n a ix i. Sum av Poisson fordelt variable Bevis sentralgrenseteoremet Omskrivning Anta X Poisson(λ), Y Poisson(ν) og X og Y er uavhengige. M X (t) = e λ(et ), M Y (t) = e ν(et ) M X+Y (t) = e λ(et ) e ν(et ) = e (λ+µ)(et ) Svarer til momentgenererende funksjon til Poisson(λ + µ). Entydighet på momentgenererende funksjon medfører Y Poisson(λ + µ) Y = X µ σ/ n = = n [ X µ σ + X 2 µ σ n ] + + X n µ σ n [W + W W n ] = n W n der E(W i ) = 0, V (W i ) =

10 Bevis sentralgrenseteoremet Y = n W = n n W i M Y (t) = M W (t/ n)m Wn (t/ n) M Wn (t/ n) = [M(t/ n)] n M(0) =, M (0) = 0, M (0) =. Vil vise at M Y (t) e t 2 /2 når n. Vil vise at ln[m Y (t)] = n ln[m(t/ n) t 2 /2 når n. Sett u = / n, u 0 når n. ln[m Y (t)] = ln[m(tu)] u når u 0 L Hôpital: ln[m(tu)] M lim = lim (tu)t/m(tu) u 0 u 2 u 0 2u = lim M (tu)t u 0 2uM(tu) = 0 0 L Hôpital igjen: ln[m(tu)] M lim = lim (tu)t 2 u 0 u 2 u 0 2M(tu)+2utM (tu) = t t 0 = t 2 /2