FORMELSAMLING TIL STK1100 OG STK1110

Transkript

1 FORMELSAMLING TIL STK1100 OG STK1110 (Versjon av 16. november 2009) 1. Sannsynlighet La A, B, A 1, A 2,...,B 1, B 2,... være begivenheter, dvs. delmengder av et utfallsrom Ω. a) Aksiomene: Et sannsynlighetsmål P er en funksjon fra delmengder av utfallsrommet Ω til de reelle tall som tilfredsstiller b) P(A c ) = 1 P(A) c) P( ) = 0 P(Ω) = 1 P(A) 0 P(A 1 A 2 ) = P(A 1 ) + P(A 2 ) hvis A 1 A 2 = ( ) P A i = P(A i ) hvis A i A j = for i j d) A B P(A) P(B) e) Addisjonsetningen: f) Betinget sannsynlighet: P(A B) = P(A) + P(B) P(A B) P(A B) = P(A B) P(B) hvis P(B) > 0 g) Total sannsynlighet: P(A) = P(A B i )P(B i ) hvis n B i = Ω og B i B j = for i j h) Bayes setning: P(B j A) = P(A B j)p(b j ) n P(A B i)p(b i ) under samme betingelser som i g) i) A og B er uavhengige begivenheter hvis P(A B) = P(A)P(B) 1

2 j) A 1,...,A n er uavhengige begivenheter dersom P(A i1 A im ) = P(A i1 )P(A i2 ) P(A im ) for alle delmengder av indekser i 1, i 2,...,i m k) Produktsetningen: P(A 1 A n ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A n A 1 A 2 A n 1 ) 2. Kombinatorikk a) To operasjoner som kan gjøres på henholdsvis n og m måter kan kombineres på n m måter. b) Antall ordnete utvalg med tilbakelegging av r elementer fra en mengde med n elementer er n r c) Antall ordnete utvalg uten tilbakelegging av r elementer fra en mengde med n elementer er n(n 1) (n r + 1) d) Antall måter n elementer kan ordnes i rekkefølge på (permuteres) er n! = (n 1) n e) Antall ikke-ordete utvalg av r elementer fra en mengde med n elementer er ( ) n n(n 1) (n r + 1) n! = = r r! r! (n r)! f) Antall måter en mengde med n elementer kan deles inn i r delmengder med n i elementer i den i-te delmengden er ( ) n n! = n 1 n 2 n r n 1! n 2! n r! 2

3 3. Sannsynlighetsfordelinger a) For en stokastisk variabel X (diskret eller kontinuerlig) er den kumulative fordelingsfunksjonen F(x) = P(X x) b) For en diskret stokastisk variabel X som kan anta verdiene x 1, x 2, x 3,... har vi p(x j ) = P(X = x j ) F(x) = x j xp(x j ) Betingelsene for at p(x j ) skal være en punktsannsynlighet er p(x j ) 0 for alle j p(x j ) = 1 c) For en kontinuerlig stokastisk variabel X har vi j P(a < X < b) = F(x) = x f(x) = F (x) b a f(u)du f(x)dx Betingelsene for at f(x) skal være en sannsynlighetstetthet er f(x) 0 f(x)dx = 1 d) For to stokastiske variabler X og Y (diskrete eller kontinuerlige) er den simultane kumulative fordelingsfunksjonen F(x, y) = P(X x, Y y) e) For diskrete stokastiske variabler X og Y som kan anta henholdsvis verdiene x 1, x 2,... og y 1, y 2,... har vi p(x i, y j ) = P(X = x i, Y = y j ) F(x, y) = p(x i, y j ) x i x y j y Betingelsene for at p(x i, y j ) skal være en simultan punktsannsynlighet er analoge til betingelsene i b) 3

4 f) For kontinuerlige stokastiske variabler X og Y har vi P ( (X, Y ) A ) = f(u, v)dvdu F(x, y) = x y f(x, y) = 2 F(x, y) x y A f(u, v)dvdu Betingelsene for at f(x, y) skal være en simultan sannsynlighetstetthet er analoge til betingelsene i c) g) Marginale punktsannsynligheter: p X (x i ) = j p Y (y j ) = i p(x i, y j ) (for X) p(x i, y j ) (for Y ) h) Marginale sannsynlighetstettheter: f X (x) = f(x, y)dy (for X) f Y (y) = f(x, y)dx (for Y ) i) Uavhengighet: De stokastiske variablene X og Y er uavhengige dersom p(x i, y j ) = p X (x i )p Y (y j ) f(x, y) = f X (x)f Y (y) (diskret) (kontinuerlig) j) Betingete punktsannsynligheter: p X Y (x i y j ) = p(x i, y j ) p Y (y j ) p Y X (y j x i ) = p(x i, y j ) p X (x i ) (for X gitt Y = y j ) (for Y gitt X = x i ) Det forutsettes at p Y (y j ) > 0 og p X (x i ) > 0, henholdsvis. De betingete punktsannsynlighetene kan behandles som vanlige punktsannsynligheter. 4

5 k) Betingete sannsynlighetstettheter: f X Y (x y) = f Y X (y x) = f(x, y) f Y (y) f(x, y) f X (x) (for X gitt Y = y) (for Y gitt X = x) Det forutsettes at f Y (y) > 0 og f X (x) > 0, henholdsvis. De betingete sannsynlighetstetthetene kan behandles som vanlige synlighetstettheter. 4. Forventning a) Forventningsverdien til en stokastisk variabel X er definert ved E(X) = j x j p(x j ) (diskret) E(X) = xf(x)dx (kontinuerlig) b) For en reell funksjon g(x) av en stokastisk variabel X er E[g(X)] = j g(x j )p(x j ) (diskret) E[g(X)] = g(x)f(x)dx (kontinuerlig) c) E(a + bx) = a + be(x) d) For en reell funksjon g(x, Y ) av to stokastiske variabler X og Y er E [ g(x, Y ) ] = g(x i, y j )f(x i, y j ) (diskret) i j E [ g(x, Y ) ] = g(x, y)f(x, y)dydx (kontinuerlig) e) Hvis X og Y er uavhengige er E [ g(x)h(y ) ] = E [ g(x) ] E [ h(y ) ] f) Hvis X og Y er uavhengige er E(XY ) = E(X) E(Y ) ( ) g) E a + n b i X i = a + n b i E(X i ) 5

6 h) Betinget forventning: E(Y X = x i ) = j y j p Y X (y j x i ) (diskret) E(Y X = x) = yf Y X (y x)dy (kontinuerlig) 5. Varians og standardavvik a) Variansen og standardavviket til en stokastisk variabel X er definert ved Var(X) = E[(X µ) 2 ] sd(x) = Var(X) b) Var(X) = E(X 2 ) ( E(X) ) 2 c) Var(a + bx) = b 2 Var(X) d) Hvis X 1,...,X n er uavhengige har vi ( ) Var a + b i X i = b 2 i Var(X i ) e) Var ( a + ) b i X i = b 2 i Var(X i ) + b i b j Cov(X i, X j ) j i f) Chebyshev s ulikhet: La X være en stokastisk variabel med µ = E(X) og σ 2 = Var(X). For alle t > 0 har vi P( X µ > t) σ2 t 2 6. Kovarians og korrelasjon a) La X og Y være stokastiske variabler med µ X = E(X), σx 2 = Var(X), µ Y = E(Y ) og σy 2 = Var(Y ). Da er kovariansen og korrelasjonen til X og Y definert ved Cov(X, Y ) = E [ (X µ X )(Y µ Y ) ] ρ = Corr(X, Y ) = Cov(X, Y ) σ X σ Y 6

7 b) Cov(X, X) = Var(X) c) Cov(X, Y ) = E(XY ) E(X)E(Y ) d) X, Y uavhengige Cov(X, Y ) = 0 e) Cov ( a + ) m b i X i, c + d j Y j = j=1 m b i d j Cov(X i, Y j ) j=1 f) 1 Corr(X, Y ) 1 og Corr(X, Y ) = ±1 hvis og bare hvis det finnes to tall a, b slik at Y = a + bx (bortsett, eventuelt, på et område med sannsynlighet 0) 7. Momentgenererende funksjoner a) For en stokastisk variabel X (diskret eller kontinuerlig) er den momentgenererende funksjonen M X (t) = E(e tx ) b) Hvis den momentgenererende funksjonen M X (t) eksisterer for t i et åpent intervall som inneholder null, så bestemmer den entydig fordelingen til X c) Hvis den momentgenererende funksjonen M X (t) eksisterer for t i et åpent intervall som inneholder null, så eksisterer alle momenter til X, og vi kan finne det r-te momentet ved E(X r ) = M (r) X (0) d) M a+bx (t) = e at M X (bt) e) Hvis X og Y er uavhengige er M X+Y (t) = M X (t)m Y (t) 8. Noen diskrete sannsynlighetsfordelinger a) Binomisk fordeling: Punktsannsynlighet: P(X = k) = ( n k) p k (1 p) n k k = 0, 1,..., n Momentgenererende funksjon : M X (t) = (1 p + pe t ) n E(X) = np Varians : Var(X) = np(1 p) Tilnærmelse 1: Z = X np np(1 p) er tilnærmet standard normalfordelt når np og n(1 p) begge er tilstrekkelig store (minst 10) Tilnærmelse 2: X er tilnærmet Poisson fordelt med parameter λ = np når n er stor og p er liten 7

8 Addisjonsregel: X binomisk (n, p), Y binomisk (m, p) b) Geometrisk fordeling: og X, Y uavhengige X + Y binomisk (n + m, p) Punktsannsynlighet: P(X = k) = (1 p) k 1 p k = 1, 2,... Momentgenererende funksjon : M X (t) = e t p/[1 (1 p)e t ] E(X) = 1/p Varians: Var(x) = (1 p)/p 2 Addisjonsregel: Summen av r uavhengige geometriske fordelte variabler er negativt binomisk fordelt c) Negativ binomisk fordeling: Punktsannsynlighet: P(X = k) = ( ) k+r 1 r 1 p r (1 p) k k = 0, 1, 2,... Momentgenererende funksjon : M X (t) = {p/[1 (1 p)e t ]} r E(X) = r(1 p)/p Varians: Var(X) = r(1 p)/p 2 Addisjonsregel: d) Hypergeometrisk fordeling: Punktsannsynlighet: Varians: Tilnærmelse: e) Poisson fordelingen: Punktsannsynlighet: E(X) = m r n P(X = k) = k)( m k) (r n r ( m) n Var(X) = m r n (1 r n )n m n 1 X negativ binomisk (r 1, p), Y negativt binomisk (r 2, p) og X, Y uavhengige X + Y negativt binomisk (r 1 + r 2, p) X er tilnærmet binomisk (m, r ) når m er mye mindre enn n n P(X = k) = λk k! e λ k = 0, 1,... Momentgenererende funksjon : M X (t) = e λ(et 1) Varians: Tilnærmelse: E(X) = λ Var(X) = λ Z = X λ er tilnærmet standard normalfordelt λ når λ er tilstrekkelig stor (minst 10) 8

9 Addisjonsregel: X Poisson (λ 1 ), Y Poisson (λ 2 ) e) Multinomisk fordeling: og X, Y uavhengige X + Y Poisson (λ 1 + λ 2 ) Punktsannsynlighet: P(N 1 = n 1,...,N r = n r ) = n! n 1! n pn 1 r! 1 pnr r Her er r p i = 1 og r n i = n Marginalfordeling: N i binomisk (n, p i ) 9. Noen kontinuerlige sannsynlighetsfordelinger a) Normalfordelingen: Tetthet: f(x) = 1 2πσ e (x µ)2 /2σ 2 < x < Momentgenererende funksjon : M X (t) = e µt e σ2 t 2 /2 E(X) = µ Varians: Var(X) = σ 2 Transformasjon: X N(µ, σ 2 ) a + bx N(a + bµ, b 2 σ 2 ) X N(µ, σ 2 ) Z = X µ N(0, 1) σ Addisjonsregel: X N(µ X, σx 2 ), Y N(µ Y, σy 2 ), X, Y uavhengige X + Y N(µ X + µ Y, σx 2 + σ2 Y ) b) Eksponentialfordelingen: Tetthet: f(x) = λe λx x > 0 Momentgenererende funksjon : E(X) = 1/λ Varians: Var(X) = 1/λ 2 M X (t) = λ/(λ t) for t < λ Addisjonsregel: X exp(λ), Y exp(λ), X og Y uavhengige X + Y gamma(2, 1/λ) c) Gammafordelingen: Tetthet: f(x) = 1 β α Γ(α) xα 1 e x/β x > 0 Gammafunksjonen: Momentgenererende funksjon : E(X) = αβ Γ(α) = 0 u α 1 e u du Γ(α + 1) = αγ(α) Γ(n) = (n 1)! når n er et helt tall Γ(1/2) = π, Γ(1) = 1 M X (t) = [1/(1 βt)] α 9

10 Varians: Var(X) = αβ 2 Addisjonsregel: X gamma(α, β), Y gamma(δ, β), X og Y uavhengige X + Y gamma(α + δ, β) d) Kji-kvadratfordelingen: Tetthet: f(v) = 1 2 n/2 Γ(n/2) v(n/2) 1 e v/2 v > 0 n er antall frihetsgrader Varians: Addisjonsregel: E(V ) = n Var(V ) = 2n U χ 2 n, V χ2 m, U og V uavhengige U + V χ 2 n+m Resultat: Z N(0, 1) Z 2 χ 2 1 e) Students t-fordeling: Tetthet: f(t) = Γ[(n+1)/2] nπγ(n/2) (1 + t2 n ) (n+1)/2 n er antall frihetsgrader E(T) = 0 (n 2) Varians: Var(T) = n/(n 2) (n 3) < t < Resultat: Z N(0, 1), U χ 2 n, Z, U uavhengige Z/ U/n t n f) Binormal fordeling: Tetthet: f(x, y) = { 1 exp 1 2πσ X σ Y 1 ρ 2 2(1 ρ 2 ) [ (x µx ) 2 σ 2 X + (y µ Y ) 2 σ 2 Y 2ρ (x µ X)(y µ Y ] } ) σ X σ Y Marginalfordeling: X N(µ X, σ 2 X ), Y N(µ Y, σ 2 Y ) Korrelasjon: Betinget fordeling: Corr(X, Y ) = ρ Gitt X = x er Y normalfordelt med forventning E(Y X = x) = µ Y + ρ σ Y σ X (x µ X ) og varians Var(Y X = x) = σy 2 (1 ρ2 ) 10. Ett normalfordelt utvalg Hvis X 1, X 2,...,X n er uavhengige og N(µ, σ 2 )-fordelte så har vi at: a) X = 1 n b) X N(µ, σ 2 /n) X i og S 2 = 1 n 1 (X i X) 2 er uavhengige 10

11 c) (n 1)S 2 /σ 2 χ 2 n 1 d) X µ S/ n t n To normalfordelte utvalg La X 1, X 2,...,X n være uavhengige og N(µ X, σ 2 )-fordelte, og Y 1, Y 2,...,Y m uavhengige og N(µ Y, σ 2 )-fordelte. De to utvalgene er uavhengige av hverandre. La X, Y, SX 2 og SY 2 være definert i henhold til 10a). Da har vi at: a) Sp 2 = [(n 1)S2 X + (m 1)S2 Y ]/(m + n 2) er en vektet estimator for σ2 b) X Y N ( µ X µ Y, σ 2 ( 1 n + 1 m )) c) (n + m 2)S 2 p /σ2 χ 2 m+n 2 d) X Y (µ X µ Y ) S p 1 n + 1 m t m+n Regresjonsanalyse Anta at Y i = β 0 + β 1 x i + ǫ i ; i = 1, 2,...,n; hvor x i -ene er kjente tall og ǫ i -ene er uavhengige og N(0, σ 2 )-fordelte. Da har vi at: a) Minste kvadraters estimatorer for β 0 og β 1 er ˆβ 0 = Y ˆβ 1 x og ˆβ1 = n (x i x)(y i Y ) n (x i x) 2 b) Estimatorene i a) er normalfordelte og forventningsrette, og Var(ˆβ 0 ) = σ2 n x2 i n n (x i x) 2 og Var(ˆβ 1 ) = σ 2 n (x i x) 2 c) La SSE= n (Y i ˆβ 0 ˆβ 1 x i ) 2. Da er S 2 = SSE/(n 2) en forventningsrett estimator for σ 2, og (n 2)S 2 /σ 2 χ 2 n 2 11