Tema 2: Stokastiske variabler og sannsynlighetsfordelinger Kapittel 3 ST :44 (Gunnar Taraldsen)

Transkript

1 Tem 2: Stokstiske vribler og snnsynlighetsfordelinger Kpittel 3 ST :44 (Gunnr Trldsen) Det nts i nottet t S er et utfllsrom utstyrt med en snnsynlighet P (A) for enhver hendelse A F. F er en σ-lgebr v delmengder. Det nts med ndre ord t (S, F, P ) er et underliggende snnsynlighetsrom som lle ndre definisjoner bseres på. I forelesningene benyttes noen gnger symbolene (Ω, E, P ) for det underliggende snnsynlighetsrommet. Dette er et vnlig vlg i mnge lærebøker. Stokstiske vribler Definisjon: En stokstisk vribel X er en funksjon X : S R slik t (X x) = {s X(s) x} lltid er en hendelse. Den kumultive fordelingsfunksjonen F X til X er definert ved F X (x) = P (X x). Diskret stokstisk vribel X : S R Verdimengden X = X(S) er tellbr Kontinuerlig stokstisk vribel Y : S R Snnsynlighetstettheten f Y = F Y Simulering v stokstiske vribler i R in=10000 # Number of trils X = runif(in) # experiment! Use rnorm(in, 0, 1) in Ex1 :-) summry(x) # Show results eksisterer. Verdimengden Y = Y (S) er d ikke-tellbr uendelig ## Min. 1st Qu. Medin Men 3rd Qu. Mx. ## hist(x) 1

2 Histogrm of X Frequency X g = function(x) x^2 + exp(x) Y = g(x) summry(y) # Show results ## Min. 1st Qu. Medin Men 3rd Qu. Mx. ## hist(y) 2

3 Histogrm of Y Frequency Y Diskret stokstisk vribel X : S R, X (verdimengen) endelig eller tellbr uendelig Definisjon D.1: p X (x) er en punktsnnsynlighet og p X : X R er snnsynlighetsfordelingen til X dersom 1. p X (x) = P (X = x) = P ({e S : X(e) = x}) 2. p X (x) 0 for lle x X 3. x X p X(x) = 1 Definisjon D.2: Den kumultive fordelingsfunksjonen til X, med snnsynlighetsfordeling p X er F X (x) = P (X x) = k x p X (k), k X Kumultiv fordelingsfunksjon Regneregler 1. F X (x) = P (X x) = 1 P (X > x) 2. P (x 1 < X x 2 ) = x 2 k=x 1+1 p X(k) = F X (x 2 ) F X (x 1 ) Egenskper F X (x) 3

4 0 F X (x) 1 F X (x) er voksende F X (x) er en høyrekontinuerlig trppefunksjon Kontinuerlig stokstisk vribel Y : S R, verdimengde Y ikke-tellbr uendelig Definisjon K.1: Funksjonen f Y (y) er en snnsynlighetstetthet for Y dersom 1. P ( Y b) = P ({e S : Y (e) b}) = b f Y (y)dy 2. f Y (y) 0 for lle y R 3. f Y (y)dy = 1 Definisjon K.2: Den kumultive fordelingsfunksjonen til Y, med snnsynlighetstetthet f Y (y), er F Y (y) = P (Y y) = y f Y (t)dt Teorem f Y (y) = d dy F Y (y) Forventningsverdi Forventningsverdien til en stokstisk vribel er gjennomsnittet vi vil få dersom vi repeterer det stokstiske forsøket uendelig mnge gnger: Gjennomsnittet X til et tilfeldig utvlg fr fordelingen til X konvergerer med snnsynlighet 1 mot forventningsverdien E(X) når utvlgets størrelse går mot uendelig. Dette er store tlls lov og det gir spesielt tolkningen v snnsynligheten til en hendelse som en grense v reltiv hyppighet. Definisjon: L X være en diskret stokstisk vribel med punktsnnsynligheter gitt v p X (x) og nt t verdimengden X = X(S) er endelig. D er X en enkel stokstisk vribel og forventningsverdien til X er definert ved E(X) = µ = x X x p X (x) Forventningsverdien E(X) til en generell stokstisk vribel defineres som en grense E(X) = lim E(X n ) hvor X n er enkle stokstiske vrible som konvergerer mot X. Dette definerer smtidig integrlet E(X) = X(s) P (ds) Definisjon Forventningsverdi L X være en diskret stokstisk vribel med punktsnnsynligheter gitt v p X (x). Forventningsverdien til X er definert ved E(X) = µ = x X x p X (x) 4

5 L Y være en kontinuerlig stokstisk vribel med snnsynlighetstetthet f Y (y). Forventningsverdien til Y er gitt ved E(Y ) = µ = y f Y (y)dy Teorem For en tilfeldig vribel X binomisk(n, p), så er E(X) = np. Definisjon Medin L X være en diskret stokstisk vribel. Medinen er den verdien m som oppfyller P (X < m) = P (X > m). Dersom P (X m 1 ) = P (X m 2 ) = 0.5 så er m = m1+m2 2. L Y være en kontinuerlig stokstisk vribel. Medinen er løsningen på likningen m f Y (y)dy = 0.5. Se eksempel Funksjoner v stokstiske vrible Teorem: L Y = g(x). D gjelder E(Y ) = E(g(X)) = g(x(s)) P (ds) = g(x) P X (dx) hvor P X (A) = P (X A) = P {s X(s) A}. Teorem ) X diskret, verdimengde X, punktsnnsynlighet p X (x). D er E(g(X)) = x X g(x)p X (x) hvis x X g(x) p X(x) < Teorem b) Y kontinuerlig, snnsynlighetstetthet f Y (y). D er hvis g(y) f Y (y)dy <. Korrolr E(g(Y )) = g(y)f Y (y)dy W er en stokstisk vribel med forventningsverdi E(W ). For konstnter og b så er E(W + b) = E(W ) + b Vrins Definisjon ) X diskret, punktsnnsynlighet p X (x), forventningsverdi E(X) = µ. D er 5

6 Vr(X) = σ 2 = E((X µ) 2 ) = x X(x µ) 2 p X (x) Definisjon b) Y kontinuerlig, snnsynlighetstetthet f Y (y), forventningsverdi E(Y ) = µ. D er Vr(Y ) = σ 2 = E((Y µ) 2 ) = Teorem W stokstisk vribel, forventningsverdi E(W ) = µ, og E(W 2 ) <. (y µ) 2 f Y (y)dy Teorem Vr(W ) = σ 2 = E(W 2 ) µ 2 W stokstisk vribel, forventningsverdi E(W ) = µ, og E(W 2 ) <. For konstnter og b så er Vr(W + b) = 2 Vr(W ) Momenter og momentgenererende funksjoner Definisjon (1) Moment r for en stokstisk vribel W er µ r = E(W r ) Definisjon Den momentgenererende funksjonen M W (t) for W er M W (t) = E(e tw ) for lle t der E(e tw ) eksisterer. Teorem Dersom moment r eksisterer så er Teorem E(W r ) = dr dt r M W (t) t=0 = M (r) W (0) For to stokstiske vrible W 1 og W 2 der M W1 (t) = M W2 (t) så er f W1 (w) = f W2 (w). Med ndre ord hr W 1 og W 2 smme snnsynlighetsfordeling. Teorem (): L W være en stokstisk vribel med momentgenererende funksjon M W (t). L V = W + b. D er M V (t) = e bt M W (t). 6

7 Simultnfordeling Definisjon Diskret simultnfordeling X : S R, Y : S R er diskrete stokstiske vrible. Simultn punktsnnsynlighet er definert som Merk: p X,Y (x, y) 0 x y p X,Y (x, y) = 1 p X,Y (x, y) = P (X = x, Y = y) = P ({e S : X(e) = x og Y (e) = y}) Teorem Diskret mrginlfordeling L p X,Y (x, y) være simultn punktsnnsynlighet for diskrete vrible X og Y. D er p X (x) = y p X,Y (x, y), og p Y (y) = x p X,Y (x, y) Definisjon Kontinuerlig simultnfordeling X : S R, Y : S R er kontinuerlige stokstiske vrible. Simultn snnsynlighetstetthet f X,Y (x, y) for et rel A R 2 er definert ved P ({e S : (X(e), Y (e)) A}) = P ((X, Y ) A) = f X,Y (x, y)dxdy Merk: f X,Y (x, y) 0 f X,Y (x, y)dxdy = 1 Teorem Kontinuerlig mrginlfordeling L f X,Y (x, y) være simultn snnsynlighetstetthet for kontinuerlige vrible X og Y. D er f X (x) = f X,Y (x, y)dy, og f y (y) = Definisjon Kumultiv simultnfordeling A f X,Y (x, y)dx L U og V være to stokstiske vrible. D er den kumultive simultnfordelingen Teorem F U,V (u, v) = P (U u og V v) L X og Y være to kontinuerlige stokstiske vrible med kumultiv simultnfordeling F X,Y (x, y). D er f x,y = 2 x y F X,Y (x, y) Simultnfordelinger for mer enn to vrible Diskret: p X1,...,X n (x 1,..., x n ) = P (X 1 = x 1,..., X n = x n ) Kontinuerlig: For en region R R n : P (Y 1,..., Y n R) = f Y1,...,Y n (y 1,..., y n )dy 1 dy n R 7

8 Betinget snnsynlighet og uvhengige stokstiske vrible Definisjon () Betinget punktsnnsynlighet L X og Y være diskrete, med simultn punktsnnsynlighet p X,Y (x, y). Betinget punktsnnsynlighet for Y, gitt t X = x er p Y x (y) = P (Y = y X = x) = p X,Y (x, y) p X (x) for p X (x) > 0 Definisjon (b) Betinget snnsynlighetstetthet L X og Y være kontinuerlige, med simultn snnsynlighetstethet f X,Y (x, y). Betinget snnsynlighetstetthet for Y, gitt t X = x er f Y x (y) = f X,Y (x, y) f X (x) for f X (x) > 0. Dermed er P ( Y b X = x) = b f Y x (y)dy Definisjon Uvhengige stokstiske vrible L X og Y være diskrete, med simultn punktsnnsynlighet p X,Y (x, y). D er X og Y uvhengige dersom p X,Y (x, y) = p X (x)p Y (y) L X og Y være kontinuerlige, med simultn snnsynlighetstethet f X,Y (x, y) D er X og Y uvgengige dersom b d c f X,Y (x, y)dydx = b f X (x)dx d c f Y (y)dy Teorem L X og Y være kontinuerlige, med simultn snnsynlighetstethet f X,Y (x, y) D er X og Y uvgengige hvis og bre hvis f X,Y (x, y) = g(x)h(y) for funksjoner g(x) og h(y). Dersom dette er snt, så finnes en konstnt k slik t f X (x) = kg(x) og f Y (y) = 1 k h(y), ltså er g(x)h(y) = f X(x)f Y (y). Lineærtrnsformsjoner - snnsynlighetsfordeling Y = X + b, E(Y ) = E(X) + b, Vr(Y ) = 2 Vr(X) Teorem X diskret, Y = X + b, ( ) y b p Y (y) = p X Teorem X kont, Y = X + b, f Y (y) = 1 f X ( ) y b 8

9 Lineærtrnsformsjoner Teorem X diskret, Y = X + b Teorem X kont, Y = X + b ( ) y b p Y (y) = p X f Y (y) = 1 f X ( ) y b Kombinsjoner v stokstiske vribler Z = g(x, Y ), g : R 2 R Teorem X, Y diskrete med simultn punktsnnsynlighet p X,Y (x, y). D er E(g(X, Y )) = g(x, y)p X,Y (x, y) x y X, Y kontinuerlige med simultntetthet f X,Y (x, y). D er E(g(X, Y )) = Sum v to stokstiske vrible Teorem g(x, y)f X,Y (x, y)dxdy E(X + by ) = E(X) + be(y ) for X og Y diskrete, eller X og Y kontinuerlige, X og Y vhengige eller X og Y uvhengige Teorem Definisjon kovrins Kovrinsen til to stokstiske vribler X og Y er Vr(X + by ) = 2 Vr(X) + b 2 Vr(Y ) + 2bCov(X, Y ) Cov(X, Y ) = E((X E(X))(Y E(Y )))E(XY ) E(X)E(Y ) Teorem Dersom X og Y er uvhengige så er Cov(X, Y ) = 0. Korollr

10 Dersom X og Y er uvhengige så er Vr(X + by ) = 2 Vr(X) + b 2 Vr(Y ) Korrelsjon Corr(X, Y ) = Cov(X, Y ) Vr(X) Vr(Y ) 1 Corr(X, Y ) 1 Sum v to uvhengige stokstiske vribler Z = X + Y, X og Y uvhengige. E(Z) = E(X) + E(Y ) Vr(Z) = Vr(X) + Vr(Y ) p Z (z) =?, f Z (z) =? Teorem (b) L Z = X + Y. For uvhengige stokstiske vrible X og Y med momentgenererende funksjoner M X (t) og M Y (t) så er M Z (t) = M X (t) M Y (t) Teorem (1) X og Y er diskrete stokstiske vrible og Z = X + Y. D er p Z (z) = x X p X (x)p Y (z x) Teorem (2) X og Y er kontinuerlige stokstiske vrible og Z = X + Y. D er f Z (z) = f X (x)f Y (z x)dx Tilfeldig utvlg og sentrlgrenseteoremet Definisjon L X 1,..., X n være n uvhengige stoktiske vrible fr den smme snnsynlighetsfordelingen (p X (x) eller f X (x)) - ltså er de identisk fordelte. D er X 1,..., X n et tilfeldig utvlg fr p X (x) eller f X (x). Stndrdisering v stokstiske vrible L X være en stokstisk vribel med forventningsverdi E(X) = µ og vrins Vr(X) = σ 2. D er X µ σ en stokstisk vribel med forventningsverdi 0 og vrins 1. L X 1,..., X n være identisk fordelte, uvhengige stokstiske vribler, slik t E(X i ) = µ og Vr(X i ) = σ 2 for lle i = 1,..., n. D er E( n i=1 X i) = nµ og Vr( n i=1 X i) = nσ 2, slik t vribel med forventningsverdi 0 og vrins 1. n i=1 Xi nµ nσ 2 er en stokstisk L X = 1 n n i=1 X i. D er E( X) = µ og Vr( X) = σ2 X µ n. D er en stokstisk vribel med forventningsverdi 0 og vrins 1. σ 2 n 10

11 Normltilnærming til binomisk fordeling L X binom(n, p), d er lim P n ( < ) X np b 1 b = e 1 2 z2 dz np(1 p) 2π Det følger t P ( X b) P ( Y b) der Y N(np, np(1 p)). Når n ikke er særlig stor så kn vi gjøre en kontinutetskorreksjon. Vi hr sett t P ( X b) P ( 0.5 < Y b+0.5) gir en bedre tilnærming når n er liten. Dersom vi endrer ulikhetene får vi tilsvrende P ( < X b) P (+0.5 < Y b+0.5), osv. Dette er enklest å se ved å tegne et snnsynlighetshistogrm for den binomiske fordelingen og snnsynlighetstettheten for normlfordelingen. Teorem Sentrlgrenseteoremet L X 1,..., X n være identisk fordelte, uvhengige stokstiske vribler, slik t E(X i ) = µ og Vr(X i ) = σ 2 for lle i = 1,..., n. D er Alterntiv formulering ( n lim P i=1 < X ) i nµ b 1 b = e 1 2 z2 dz n nσ 2 2π lim P n < X µ σ 2 n b = b 1 2π e 1 2 z2 dz 11