FORMELSAMLING TIL STK1100 OG STK1110

Transkript

1 FORMELSAMLING TIL STK1100 OG STK1110 (Versjon av 11. november 2017) 1. Sannsynlighet La A, B, A 1, A 2,..., B 1, B 2,... være begivenheter, dvs. delmengder av et utfallsrom Ω. a) Aksiomene: Et sannsynlighetsmål P er en funksjon fra delmengder av utfallsrommet Ω til de reelle tall som tilfredsstiller b) P (A ) = 1 P (A) c) P ( ) = 0 P (Ω) = 1 P (A) 0 P (A 1 A 2 ) = P (A 1 ) + P (A 2 ) hvis A 1 A 2 = ( ) P A i = P (A i ) hvis A i A j = for i j d) A B P (A) P (B) e) Addisjonsetningen: f) Betinget sannsynlighet: P (A B) = P (A) + P (B) P (A B) P (A B) = P (A B) P (B) hvis P (B) > 0 g) Total sannsynlighet: P (A) = P (A B i )P (B i ) hvis n B i = Ω og B i B j = for i j h) Bayes setning: P (B j A) = P (A B j)p (B j ) n P (A B i)p (B i ) under samme betingelser som i g) i) A og B er uavhengige begivenheter hvis P (A B) = P (A)P (B) 1

2 j) A 1,..., A n er uavhengige begivenheter dersom P (A i1 A im ) = P (A i1 )P (A i2 ) P (A im ) for alle delmengder av indekser i 1, i 2,..., i m k) Produktsetningen: P (A 1 A n ) = P (A 1 )P (A 2 A 1 )P (A 3 A 1 A 2 ) P (A n A 1 A 2 A n 1 ) 2. Kombinatorikk a) To operasjoner som kan gjøres på henholdsvis n og m måter kan kombineres på n m måter. b) Antall ordnete utvalg med tilbakelegging av r elementer fra en mengde med n elementer er n r c) Antall ordnete utvalg uten tilbakelegging av r elementer fra en mengde med n elementer er n(n 1) (n r + 1) d) Antall måter n elementer kan ordnes i rekkefølge på (permuteres) er n! = (n 1) n e) Antall ikke-ordete utvalg av r elementer fra en mengde med n elementer er ( ) n n(n 1) (n r + 1) n! = = r r! r! (n r)! f) Antall måter en mengde med n elementer kan deles inn i r delmengder med n i elementer i den i-te delmengden er ( ) n n! = n 1 n 2 n r n 1! n 2! n r! 2

3 3. Sannsynlighetsfordelinger a) For en stokastisk variabel X (diskret eller kontinuerlig) er den kumulative fordelingsfunksjonen F (x) = P (X x) b) For en diskret stokastisk variabel X som kan anta verdiene x 1, x 2, x 3,... har vi p(x j ) = P (X = x j ) F (x) = x j x p(x j ) Betingelsene for at p(x j ) skal være en punktsannsynlighet er p(x j ) 0 for alle j p(x j ) = 1 c) For en kontinuerlig stokastisk variabel X har vi j P (a < X < b) = F (x) = x f(x) = F (x) b a f(u)du f(x)dx Betingelsene for at f(x) skal være en sannsynlighetstetthet er f(x) 0 f(x)dx = 1 d) For to stokastiske variabler X og Y (diskrete eller kontinuerlige) er den simultane kumulative fordelingsfunksjonen F (x, y) = P (X x, Y y) e) For diskrete stokastiske variabler X og Y som kan anta henholdsvis verdiene x 1, x 2,... og y 1, y 2,... har vi p(x i, y j ) = P (X = x i, Y = y j ) F (x, y) = p(x i, y j ) x i x y j y Betingelsene for at p(x i, y j ) skal være en simultan punktsannsynlighet er analoge til betingelsene i b) 3

4 f) For kontinuerlige stokastiske variabler X og Y har vi P ( (X, Y ) A ) = f(u, v)dvdu F (x, y) = x y f(x, y) = 2 F (x, y) x y A f(u, v)dvdu Betingelsene for at f(x, y) skal være en simultan sannsynlighetstetthet er analoge til betingelsene i c) g) Marginale punktsannsynligheter: p X (x i ) = j p Y (y j ) = i p(x i, y j ) (for X) p(x i, y j ) (for Y ) h) Marginale sannsynlighetstettheter: f X (x) = f(x, y)dy (for X) f Y (y) = f(x, y)dx (for Y ) i) Uavhengighet: De stokastiske variablene X og Y er uavhengige dersom p(x i, y j ) = p X (x i )p Y (y j ) f(x, y) = f X (x)f Y (y) (diskret) (kontinuerlig) j) Betingete punktsannsynligheter: p X Y (x i y j ) = p(x i, y j ) p Y (y j ) p Y X (y j x i ) = p(x i, y j ) p X (x i ) (for X gitt Y = y j ) (for Y gitt X = x i ) Det forutsettes at p Y (y j ) > 0 og p X (x i ) > 0, henholdsvis. De betingete punktsannsynlighetene kan behandles som vanlige punktsannsynligheter. 4

5 k) Betingete sannsynlighetstettheter: f X Y (x y) = f Y X (y x) = f(x, y) f Y (y) f(x, y) f X (x) (for X gitt Y = y) (for Y gitt X = x) Det forutsettes at f Y (y) > 0 og f X (x) > 0, henholdsvis. De betingete sannsynlighetstetthetene kan behandles som vanlige sannsynlighetstettheter. 4. Forventning a) Forventningsverdien til en stokastisk variabel X er definert ved E(X) = j x j p(x j ) (diskret) E(X) = xf(x)dx (kontinuerlig) b) For en reell funksjon g(x) av en stokastisk variabel X er E[g(X)] = j g(x j )p(x j ) (diskret) E[g(X)] = g(x)f(x)dx (kontinuerlig) c) E(a + bx) = a + be(x) d) For en reell funksjon g(x, Y ) av to stokastiske variabler X og Y er E [ g(x, Y ) ] = g(x i, y j )p(x i, y j ) (diskret) i j E [ g(x, Y ) ] = g(x, y)f(x, y)dydx (kontinuerlig) e) Hvis X og Y er uavhengige er E [ g(x)h(y ) ] = E [ g(x) ] E [ h(y ) ] f) Hvis X og Y er uavhengige er E(XY ) = E(X) E(Y ) ( ) g) E a + n b i X i = a + n b i E(X i ) 5

6 h) Betinget forventning: E(Y X = x i ) = j y j p Y X (y j x i ) (diskret) E(Y X = x) = yf Y X (y x)dy (kontinuerlig) 5. Varians og standardavvik a) Variansen og standardavviket til en stokastisk variabel X er definert ved V(X) = E[(X µ) 2 ] sd(x) = V(X) b) V(X) = E(X 2 ) ( E(X) ) 2 c) V(a + bx) = b 2 V(X) d) Hvis X 1,..., X n er uavhengige har vi ( ) V a + b i X i = b 2 i V(X i ) e) V ( a + ) b i X i = b 2 i V(X i ) + b i b j Cov(X i, X j ) j i f) Chebyshev s ulikhet: La X være en stokastisk variabel med µ = E(X) og σ 2 = V(X). For alle t > 0 har vi P ( X µ > t) σ2 t 2 6. Kovarians og korrelasjon a) La X og Y være stokastiske variabler med µ X = E(X), σx 2 = V(X), µ Y = E(Y ) og σy 2 = V(Y ). Da er kovariansen og korrelasjonen til X og Y definert ved Cov(X, Y ) = E [ (X µ X )(Y µ Y ) ] ρ = Corr(X, Y ) = Cov(X, Y ) σ X σ Y 6

7 b) Cov(X, X) = V(X) c) Cov(X, Y ) = E(XY ) E(X)E(Y ) d) X, Y uavhengige Cov(X, Y ) = 0 e) Cov ( a + ) m b i X i, c + d j Y j = j=1 m b i d j Cov(X i, Y j ) j=1 f) 1 Corr(X, Y ) 1 og Corr(X, Y ) = ±1 hvis og bare hvis det finnes to tall a, b slik at Y = a + bx (bortsett, eventuelt, på et område med sannsynlighet 0) 7. Momentgenererende funksjoner a) For en stokastisk variabel X (diskret eller kontinuerlig) er den momentgenererende funksjonen M X (t) = E(e tx ) b) Hvis den momentgenererende funksjonen M X (t) eksisterer for t i et åpent intervall som inneholder null, så bestemmer den entydig fordelingen til X c) Hvis den momentgenererende funksjonen M X (t) eksisterer for t i et åpent intervall som inneholder null, så eksisterer alle momenter til X, og vi kan finne det r-te momentet ved E(X r ) = M (r) X (0) d) M a+bx (t) = e at M X (bt) e) Hvis X og Y er uavhengige er M X+Y (t) = M X (t)m Y (t) 8. Noen diskrete sannsynlighetsfordelinger a) Binomisk fordeling: Punktsannsynlighet: P (X = k) = ( n k) p k (1 p) n k k = 0, 1,..., n Momentgenererende funksjon : M X (t) = (1 p + pe t ) n Forventning: E(X) = np Varians : V(X) = np(1 p) Tilnærmelse 1: Z = X np np(1 p) er tilnærmet standard normalfordelt når np og n(1 p) begge er tilstrekkelig store (minst 10) Tilnærmelse 2: X er tilnærmet Poisson fordelt med parameter λ = np når n er stor og p er liten 7

8 Addisjonsregel: X binomisk (n, p), Y binomisk (m, p) og X, Y uavhengige X + Y binomisk (n + m, p) b) Geometrisk fordeling: Punktsannsynlighet: P (X = k) = (1 p) k 1 p k = 1, 2,... Momentgenererende funksjon : M X (t) = e t p/[1 (1 p)e t ] Forventning: E(X) = 1/p Varians: V(x) = (1 p)/p 2 Addisjonsregel: Hvis X er geometrisk fordelt med sannsynlighet p så er X 1 negativt binomisk (1, p). Derfor hvis X og Y er geometrisk fordelte med samme p og uavhengige så er X + Y 2 negativt binomisk (2, p) c) Negativ binomisk fordeling: Punktsannsynlighet: P (X = k) = ( k+r 1 r 1 Momentgenererende funksjon : Forventning: E(X) = r(1 p)/p Varians: V(X) = r(1 p)/p 2 ) p r (1 p) k k = 0, 1, 2,... M X (t) = {p/[1 (1 p)e t ]} r Addisjonsregel: X negativ binomisk (r 1, p), Y negativt binomisk (r 2, p) og X, Y uavhengige X + Y negativt binomisk (r 1 + r 2, p) d) Hypergeometrisk fordeling: Punktsannsynlighet: Forventning: Varians: P (X = k) = (M k )( N M n k ) ( N n) E(X) = n M N V(X) = n M (1 M ) N n N N N 1 Tilnærmelse: X er tilnærmet binomisk (n, M ) når n er mye mindre enn N N e) Poisson fordelingen: Punktsannsynlighet: P (X = k) = λk k! e λ k = 0, 1,... Momentgenererende funksjon : M X (t) = e λ(et 1) Forventning: E(X) = λ 8

9 Varians: V(X) = λ Tilnærmelse: Z = X λ λ er tilnærmet standard normalfordelt når λ er tilstrekkelig stor (minst 10) Addisjonsregel: X Poisson (λ 1 ), Y Poisson (λ 2 ) e) Multinomisk fordeling: og X, Y uavhengige X + Y Poisson (λ 1 + λ 2 ) Punktsannsynlighet: P (N 1 = n 1,..., N r = n r ) = n! n 1! n pn 1 r! 1 p nr r Her er r p i = 1 og r n i = n Marginalfordeling: N i binomisk (n, p i ) 9. Noen kontinuerlige sannsynlighetsfordelinger a) Normalfordelingen: Tetthet: f(x) = 1 2πσ e (x µ)2 /2σ 2 < x < Momentgenererende funksjon : M X (t) = e µt e σ2 t 2 /2 Forventning: E(X) = µ Varians: V(X) = σ 2 Transformasjon: X N(µ, σ 2 ) a + bx N(a + bµ, b 2 σ 2 ) X N(µ, σ 2 ) Z = X µ N(0, 1) σ Addisjonsregel: X N(µ X, σx 2 ), Y N(µ Y, σy 2 ), X, Y uavhengige X + Y N(µ X + µ Y, σx 2 + σ2 Y ) b) Eksponentialfordelingen: Tetthet: f(x) = λe λx x > 0 Momentgenererende funksjon : Forventning: E(X) = 1/λ Varians: V(X) = 1/λ 2 M X (t) = λ/(λ t) for t < λ Addisjonsregel: X exp(λ), Y exp(λ), X og Y uavhengige X + Y gamma(2, 1/λ) c) Gammafordelingen: Tetthet: f(x) = 1 β α Γ(α) xα 1 e x/β x > 0 9

10 Gammafunksjonen: Momentgenererende funksjon : Forventning: E(X) = αβ Varians: V(X) = αβ 2 Γ(α) = 0 u α 1 e u du Γ(α + 1) = αγ(α) Γ(n) = (n 1)! når n er et helt tall Γ(1/2) = π, Γ(1) = 1 M X (t) = [1/(1 βt)] α Addisjonsregel: X gamma(α, β), Y gamma(δ, β), X og Y uavhengige X + Y gamma(α + δ, β) d) Kji-kvadratfordelingen: Tetthet: f(v) = 1 2 n/2 Γ(n/2) v(n/2) 1 e v/2 v > 0 n er antall frihetsgrader Forventning: Varians: E(V ) = n V(V ) = 2n Addisjonsregel: U χ 2 n, V χ 2 m, U og V uavhengige U + V χ 2 n+m Resultat: Z N(0, 1) Z 2 χ 2 1 e) Students t-fordeling: Tetthet: f(t) = Γ[(n+1)/2] nπγ(n/2) (1 + t2 n ) (n+1)/2 n er antall frihetsgrader Forventning: E(T ) = 0 (n 2) Varians: V(T ) = n/(n 2) (n 3) < t < Resultat: Z N(0, 1), U χ 2 n, Z, U uavhengige Z/ U/n t n f) Binormal fordeling: Tetthet: f(x, y) = { 1 exp 1 2πσ X σ Y 1 ρ 2 2(1 ρ 2 ) [ (x µx ) 2 σ 2 X + (y µ Y ) 2 σ 2 Y 2ρ (x µ X)(y µ Y )] } σ X σ Y Marginalfordeling: X N(µ X, σ 2 X ), Y N(µ Y, σ 2 Y ) Korrelasjon: Betinget fordeling: Corr(X, Y ) = ρ Gitt X = x er Y normalfordelt med forventning E(Y X = x) = µ Y + ρ σ Y σ X (x µ X ) og varians V(Y X = x) = σy 2 (1 ρ2 ) 10

11 10. Maksimum likelihood metoden Anta at X 1, X 2,..., X n har simultan punktsannsynlighet/sannsynlighetstetthet f(x 1, x 2,..., x n θ), der θ = (θ 1,...., θ p ) er en parametervektor (skalar hvis p = 1). Vi antar at f(x 1, x 2,..., x n θ) tilfredsstiller visse deriverbarhetsbetingelser. a) Gitt observerte verdier X i = x i ; i = 1,..., n; er likelihood-funksjonen L(θ) = f(x 1, x 2,..., x n θ) og loglikelihood-funksjonen l(θ) = log L(θ). b) Maksimum likelihood estimatet er den verdien av θ som maksimerer L(θ) eller ekvivalent maksimerer l(θ). Hvis vi erstatter de observerte x i -ene med de stokastiske X i -ene, får vi maksimum likelihood estimatoren. c) Maksimum likelihood estimatet ˆθ = (ˆθ 1,...., ˆθ p ) er en løsning av ligningene s j (θ) = 0; j = 1,..., p; der s j (θ) = ( / θ j )l(θ) er score-funksjonene. Vektoren av scorefunksjoner er s(θ) = (s 1 (θ),..., s p (θ)) T. d) Den observerte informasjonsmatrisen J(θ) er p p matrisen med element (i, j) gitt ved J ij (θ) = 2 θ i θ j l(θ). Den forventede informasjonsmatrisen (eller Fishers informasjonsmatrise) I(θ) er p p matrisen med element (i, j) gitt ved I ij (θ) = E[J ij (θ)]. For uavhengige og identisk fordelte observasjoner har vi at I(θ) = ni(θ) der I(θ) er forventet informasjon til en observasjon. e) Når vi har tilstrekkelig mye data, er ˆθ i tilnærmet normalfordelt med forventning θ i og med varians lik det i-te diagonalelementet til I 1 (θ). Kovariansen mellom ˆθ i og ˆθ j er tilnærmet lik element (i, j) i I 1 (θ). Vi kan estimere varianser/kovarianser ved å sette inn ˆθ for θ i I 1 (θ) eller i J 1 (θ). f) Anta at vi ønsker å teste H 0 : θ q+1 = = θ p = 0 mot alternativet at minst en av θ j 0, j = q+1,..., p. La ˆθ = (ˆθ 1,...., ˆθ p ) være MLE i den generelle modellen og θ = (θ 1,...., θ q, 0,..., 0) MLE under nullhypotesen og dessuten ν = p q. Da er likelihood ratioen gitt som LR = L(θ )/L(ˆθ). Når nullhypotesen holder og vi har tilstrekkelig mye data gjelder tilnærmet at 2 log(lr) = 2[l(ˆθ) l(θ )] χ 2 ν. 11. Ett normalfordelt utvalg Hvis X 1, X 2,..., X n er uavhengige og N(µ, σ 2 )-fordelte så har vi at: a) X = 1 X n i og S 2 = 1 (X n 1 i X) 2 er uavhengige b) X N(µ, σ 2 /n) c) (n 1)S 2 /σ 2 χ 2 n 1 d) X µ S/ n t n 1 11

12 12. To normalfordelte utvalg La X 1, X 2,..., X n være uavhengige og N(µ X, σ 2 )-fordelte, og Y 1, Y 2,..., Y m uavhengige og N(µ Y, σ 2 )-fordelte. De to utvalgene er uavhengige av hverandre. La X, Y, SX 2 og være definert i henhold til 11a). Da har vi at: S 2 Y a) Sp 2 = [(n 1)SX 2 + (m 1)S2 Y ]/(m + n 2) er en vektet estimator for σ2 b) X Y N ( µ X µ Y, σ 2 ( 1 n + 1 m )) c) (n + m 2)S 2 p/σ 2 χ 2 m+n 2 d) X Y (µ X µ Y ) S p 1 n + 1 m t m+n Regresjonsanalyse Anta at Y i = β 0 + β 1 x i + ɛ i ; i = 1, 2,..., n ; hvor x i -ene er kjente tall og ɛ i -ene er uavhengige og N(0, σ 2 )-fordelte. Da har vi at: a) Minste kvadraters estimatorer for β 0 og β 1 er ˆβ 0 = Y ˆβ 1 x og ˆβ1 = n (x i x)(y i Y ) n (x i x) 2 b) Estimatorene i a) er normalfordelte og forventningsrette, og Var( ˆβ 0 ) = σ2 n x2 i n n (x i x) 2 og Var( ˆβ 1 ) = σ 2 n (x i x) 2 c) La SSE= n (Y i ˆβ 0 ˆβ 1 x i ) 2. Da er S 2 = SSE/(n 2) en forventningsrett estimator for σ 2, og (n 2)S 2 /σ 2 χ 2 n Multippel lineær regresjon Anta at Y i = β 0 + β 1 x i1 + + β k x ik + ɛ i ; i = 1, 2,..., n ; der x ij -ene er kjente tall og ɛ i -ene er uavhengige og N(0, σ 2 )-fordelte. På matriseform kan vi skrive modellen som Y = Xβ, der Y = (Y 1,..., Y n ) T og β = (β 0,..., β k ) T er henholdsvis n- og (k + 1)- dimensjonale vektorer, og X = {x ij } (med x i0 = 1) er en n (k + 1)-dimensjonal matrise. Vi har at: a) Minste kvadraters estimator for β er ˆβ = (X T X) 1 X T Y. b) La ˆβ = ( ˆβ 0,..., ˆβ k ) T. Da er ˆβ j -ene normalfordelte og forventningsrette, og Var( ˆβ j ) = σ 2 c jj og Cov( ˆβ j, ˆβ l ) = σ 2 c jl der c jl er element (j, l) i (k + 1) (k + 1) matrisen C = (X T X) 1. 12

13 c) La Ŷi = ˆβ 0 + ˆβ 1 x i1 + + ˆβ k x ik, og sett SSE = n (Y i Ŷi) 2. Da er S 2 = SSE/[n (k + 1)] en forventningsrett estimator for σ 2, og [n (k + 1)]S 2 /σ 2 χ 2 n (k+1). Videre er S 2 og ˆβ uavhengige. e) La S 2ˆβj være den variansestimatoren for ˆβ j vi får ved å erstatte σ 2 med S 2 i formelen for Var( ˆβ j ) i punkt b). Da er ( ˆβ j β j )/S ˆβj t n (k+1). 13