Forelesning 13. mars, 2017

Transkript

1 Forelesning 13. mars, 217 AVSNITT 5.2 Kovariansen mellom to variable Korrelasjon mellom to variable AVSNITT 5.3 Betingede fordelinger

2 Kovariansen mellom to stokastiske variable Kovariansen mellom to stokastiske variable X og Y med forventningsverdier E[X] = µ X og E[Y ] = µ Y, defineres som: Cov(X, Y ) = E[(X µ X )(Y µ Y )] = x y (x µ X )(y µ Y )p(x, y) (x µ X )(y µ Y )f (x, y)dx dy diskrete kont. Kovariansen er positiv dersom store verdier av X typisk forekommer samtidig med store verdier av Y, og små verdier av X typisk forekommer samtidig med små verdier av Y. Kovariansen er negativ dersom store verdier av X typisk forekommer samtidig med små verdier av Y, og små verdier av X typisk forekommer samtidig med store verdier av Y.

3 Setninger om kovarians I SETNING: Cov(X, Y ) = E[XY ] µ X µ Y. SETNING: Dersom X og Y er uavhengige, er Cov(X, Y ) =. SETNING: Cov(aX + by, Z ) = a Cov(X, Z ) + b Cov(Y, Z ). SETNING: Cov(aX + b, cy + d) = ac Cov(X, Y ). BEVIS: Cov(aX + b, cy + d) = E[(aX + b E(aX + b))(cy + d E(cY + d))] = E[a (X E(X)) c (Y E(Y ))] = ac E[(X E(X))(Y E(Y ))] = ac Cov(X, Y )

4 Setninger om kovarians II SETNING: Cov(X, a) = BEVIS: Cov(X, a) = E[X a] E[X] E[a] = a E[X] a E[X] = SETNING: Cov(X, X) = V (X) BEVIS: Cov(X, X) = E[(X µ X )(X µ X )] = E[(X µ X ) 2 ] = V (X)

5 Eksempler på kovariansberegning EKSEMPEL: La X N(, 1) og la Y = X 2. Da er: E[X] = E[Y ] = E[X 2 ] = V (X) = 1 E[X Y ] = E[X 3 ] = x 3 1 2π e 1 2 x 2 dx = Dermed får vi, selvom X og Y er sterkt avhengige, at: Cov(X, Y ) = E[X Y ] E[X] E[Y ] = 1 =

6 Eksempler på kovariansberegning EKSEMPEL: Anta at X og Y har simultan punktsannsynlighet p(x, y) gitt ved følgende tabell: Dette gir: y p(x, y) 1 2 p X (x) x p Y (y) E[X] = p X () + 1 p X (1) = =.5 E[Y ] = p Y () + 1 p Y (1) + 2 p Y (2) = = 1.25

7 Eksempler på kovariansberegning Videre får vi: y p(x, y) 1 2 p X (x) x p Y (y) E[X Y ] = p(, ) + 1 p(, 1) + 2 p(, 2) Dermed blir: + 1 p(1, ) p(1, 1) p(1, 2) = =.75 Cov(X, Y ) = E[X Y ] E[X] E[Y ] = =.125

8 En nyttig integrasjonsformel: Beta-fordelingen Den stokastiske variabelen X sies å være Beta-fordelt med parametre α og β dersom tettheten til X, f X (x) er av form ( x 1): f X (x) = Γ(α + β) Γ(α)Γ(β) x α 1 (1 x) β 1 Det kan vises at f X (x) er en lovlig tetthet, dvs. at: 1 Γ(α + β) Γ(α)Γ(β) x α 1 (1 x) β 1 dx = 1 Denne integrasjonsformelen er nyttig i mange av de beregningene vi snart skal gjøre. I tillegg trenger vi å vite at: Γ(n) = (n 1)!, n = 1, 2, 3... samt at Γ(α + 1) = αγ(α) for alle α >.

9 En nyttig integrasjonsformel: Beta-fordelingen (forts.) Anta f.eks. at α = β = 1. Da blir f X (x) = = Γ(α + β) Γ(α)Γ(β) x α 1 (1 x) β 1 Γ(1 + 1) Γ(1)Γ(1) x 1 1 (1 x) 1 1 = 1!!! 1 = 1. Vi ser altså at en Beta-fordeling med parametre α = β = 1 er det samme som en Uniformfordeling på intervallet [, 1].

10 En nyttig integrasjonsformel: Beta-fordelingen (forts.) Dersom X er Beta-fordelt med parametre α og β så kan vi lett finne E[X p ] for p = 1, 2,... : E[X p ] = 1 p Γ(α + β) x Γ(α)Γ(β) x α 1 (1 x) β 1 dx = = Γ(α + β) Γ(α + p) Γ(α)Γ(α + β + p) Γ(α + β) Γ(α + p) Γ(α)Γ(α + β + p) 1 Γ(α + β + p) Γ(α + p)γ(β) x α+p 1 (1 x) β 1 dx

11 En nyttig integrasjonsformel: Beta-fordelingen (forts.) Spesielt får vi: E[X] = Γ(α + β) Γ(α + 1) Γ(α)Γ(α + β + 1) = Γ(α + β) αγ(α) Γ(α)(α + β)γ(α + β) = α α + β E[X 2 ] = Γ(α + β) Γ(α + 2) Γ(α)Γ(α + β + 2) = Γ(α + β) α(α + 1)Γ(α) Γ(α)(α + β)(α + β + 1)Γ(α + β) = α(α + 1) (α + β)(α + β + 1)

12 En nyttig integrasjonsformel: Beta-fordelingen (forts.) Dermed kan vi også finne variansen i Beta-fordelingen: V (X) = E[X 2 ] (E[X]) 2 = = α(α + 1) (α + β)(α + β + 1) α 2 (α + β) 2 α(α + 1)(α + β) (α + β) 2 (α + β + 1) α 2 (α + β + 1) (α + β) 2 (α + β + 1) = α3 + α 2 β + α 2 + αβ α 3 α 2 β α 2 ) (α + β) 2 (α + β + 1) = αβ (α + β) 2 (α + β + 1)

13 Eksempler på kovariansberegning EKSEMPEL: Anta at X og Y har simultantetthet f (x, y) gitt ved: { 24xy x 1, y 1, x + y 1 f (x, y) = ellers Vi finner da at vi for x 1 og y 1 har: f X (x) = f Y (y) = 1 x 1 y 24xy dy = 12xy 2 y=1 x = 12x(1 x) 2 24xy dx = 12x 2 y y= x=1 y x= = 12y(1 y) 2 Jfr. forrige side så betyr det at X og Y begge er Beta-fordelte med α = 2 og β = 3.

14 Eksempler på kovariansberegning Dermed finner vi at: E[X] = 1 x 12x(1 x) 2 dx = 1 12x 2 (1 x) 2 dx = 12 Γ(3)Γ(3) 1 Γ(3 + 3) Γ(3 + 3) Γ(3)Γ(3) x 3 1 (1 x) 3 1 dx 2! 2! 4 = 12 = 12 5! 12 = 2 5 Tilsvarende får vi også at: E[Y ] = 2 5.

15 Eksempler på kovariansberegning Videre finner vi at: E[X Y ] = = = 1 1 x 1 1 [ xy 24 xy dy]dx [8x 2 y 3 y=1 x ] dx y= 8x 2 (1 x) 3 dx = 8 Γ(3)Γ(4) 1 Γ(3 + 4) Γ(3 + 4) Γ(3)Γ(4) x 3 1 (1 x) 4 1 dx = 8 2! 3! 6! = 8 6 = 2 15.

16 Eksempler på kovariansberegning Kombinerer vi alt dette, får vi: Cov(X, Y ) = E[X Y ] E[X] E[Y ] = = = = 2 75

17 Korrelasjonskoeffisienten HUSK: Cov(aX + b, cy + d) = ac Cov(X, Y ). Denne setningen viser at kovarians er følsom overfor hva slags måleenhet man benytter for X og Y. Hvis f.eks. X og Y representerer to avstander, og både X og Y måles i kilometer, så får man en verdi av kovariansen. Hvis man så konverterer X og Y til meter, så øker kovariansen med en faktor på 1 6. Dette betyr imidlertid ikke at avhengigheten mellom X og Y blir sterkere ved denne skalaendringen. Vi ønsker et skala-nøytralt mål for avhengighet: Corr(X, Y ) = ρ X,Y = Cov(X, Y ) V (X) V (Y ) = Cov(X, Y ) σ X σ Y

18 Egenskaper ved korrelasjonskoeffisienten SETNING: Dersom ac = ac, har vi: Corr(aX + b, cy + d) = Corr(X, Y ) BEVIS: Husk at Cov(aX + b, cy + d) = ac Cov(X, Y ). Corr(aX + b, cy + d) = Cov(aX + b, cy + d) V (ax + b) V (cy + d) = ac Cov(X, Y ) a2 V (X) c 2 V (Y ) = ac Cov(X, Y ) ac V (X) V (Y ) = Corr(X, Y ) (Siden ac = ac )

19 Egenskaper ved korrelasjonskoeffisienten SETNING: Dersom X og Y er uavhengige, så er Corr(X, Y ) =. BEVIS: Vi har tidligere vist at dersom X og Y er uavhengige, så er Cov(X, Y ) =. Setningen følger dermed direkte av dette siden: Corr(X, Y ) = Cov(X, Y ) σ X σ Y = σ X σ Y =. Bemerk dog at dersom Corr(X, Y ) =, så medfører ikke dette nødvendigvis at X og Y er uavhengige.

20 Egenskaper ved korrelasjonskoeffisienten La X og Y være to stokastiske variable, og innfør standardiserte variable Z X og Z Y : Vi har da: Z X = X µ X σ X, Z Y = Y µ Y σ Y E[Z X ] = E[ X µ X σ X ] =, E[Z Y ] = E[ Y µ Y σ Y ] = SD[Z X ] = SD[ X µ X σ X ] = 1, SD[Z Y ] = SD[ Y µ Y σ Y ] = 1 Corr(X, Y ) = Corr(Z X, Z Y ) = Cov(Z X, Z Y ) = E[Z X Z Y ] E[Z X ] E[Z Y ] = E[Z X Z Y ]

21 Egenskaper ved korrelasjonskoeffisienten Vi ser så på størrelsen E[Z Y ρ X,Y Z X ] 2, og får at: E[Z Y ρ X,Y Z X ] 2 = E[ZY 2 2ρ X,Y Z X Z Y + ρ 2 X,Y Z X 2 ] = E[ZY 2 ] 2ρ X,Y E[Z X Z Y ] + ρ 2 X,Y E[ZX 2 ] = 1 2ρ X,Y ρ X,Y + ρ 2 X,Y 1 = 1 ρ 2 X,Y Av dette følger det at ρ 2 X,Y 1 eller ekvivalent at: 1 ρ X,Y +1

22 Egenskaper ved korrelasjonskoeffisienten Anta spesielt at ρ 2 X,Y = 1. I så fall må: E[Z Y ρ X,Y Z X ] 2 =. Dette medfører at: Z Y = Y µ Y σ Y = ρ X,Y Z X = ρ X,Y X µ X σ X Eller ekvivalent at: Y = ρ X,Y (X µ X ) σ Y σ X + µ Y = ax + b der a = ρ X,Y ( σ Y σ X ) og b = µ Y ρ X,Y ( σ Y σ X )µ X, og der fortegnet til a er det samme som fortegnet til ρ X,Y.

23 Eksempler på korrelasjonssberegning EKSEMPEL: Anta at X og Y har simultantetthet f (x, y) gitt ved: { 24xy x 1, y 1, x + y 1 f (x, y) = ellers Vi har tidligere vist at vi for x 1 og y 1 har: f X (x) = 12x(1 x) 2 f Y (y) = 12y(1 y) 2 Videre viste vi at: E[X] = E[Y ] = 2 5, og Cov(X, Y ) = 2 75.

24 Eksempler på korrelasjonssberegning For å bestemme V (X) og V (Y ), beregner vi: E[X 2 ] = 1 x 2 12x(1 x) 2 dx = 1 12x 3 (1 x) 2 dx = 12 Γ(4)Γ(3) 1 Γ(4 + 3) Γ(4 + 3) Γ(4)Γ(3) x 4 1 (1 x) 3 1 dx 3! 2! = 12 = 144 6! 72 = 1 5 Tilsvarende får vi også at: E[Y 2 ] = 1 5.

25 Eksempler på korrelasjonssberegning Dermed får vi at: V (X) = E[X 2 ] (E[X]) 2 = 1 5 (2 5 )2 = = 1 25 Tilsvarende blir også: V (Y ) = E[Y 2 ] (E[X]) 2 = 1 5 (2 5 )2 = = 1 25 Dette betyr at: SD(X) = SD(Y ) = 1 25 = 1 5

26 Eksempler på korrelasjonssberegning Kombinerer vi alt dette, får vi: Corr(X, Y ) = Cov(X, Y ) SD(X) SD(Y ) = 2 75 ( 1 5 ) = ( 3 75 ) = 2 3 Dette betyr at X og Y er relativt sterkt negativt avhengige selvom kovariansen mellom dem bare var 2 75.

27 Betingede fordelinger Diskret tilfelle La X og Y være diskrete stokastiske variable med simultan punktsannsynlighet p(x, y) og marginale punktsannsynligheter p X (x) og p Y (y). For alle x som er slik at p X (x) > definerer vi den betingede punktsannsynligheten for Y gitt X = x som: p Y X (y x) = p(x, y) p X (x). For alle y som er slik at p Y (y) > definerer vi den betingede punktsannsynligheten for X gitt Y = y som: p X Y (x y) = p(x, y) p Y (y).

28 Betingede fordelinger Diskret tilfelle BEMERK: Dersom vi kjenner p X (x) og p Y X (y x), så kan vi finne den simultane punktsannsynligheten for X og Y som: p(x, y) = p X (x) p Y X (y x). Dersom vi kjenner p Y (y) og p X Y (x y), så kan vi finne den simultane punktsannsynligheten for X og Y som: p(x, y) = p Y (y) p X Y (x y). Det er ofte man spesifiserer simultan punktsannsynlighet på denne måten.

29 Betingede fordelinger Kontinuerlig tilfelle La X og Y være kontinuerlige stokastiske variable med simultantetthet f (x, y) og marginale sannsynlighetstettheter f X (x) og f Y (y). For alle x som er slik at f X (x) > definerer vi den betingede sannsynlighetstettheten for Y gitt X = x som: f Y X (y x) = f (x, y) f X (x). For alle y som er slik at p Y (y) > definerer vi den betingede sannsynlighetstettheten for X gitt Y = y som: f X Y (x y) = f (x, y) f Y (y).

30 Betingede fordelinger Kontinuerlig tilfelle BEMERK: Dersom vi kjenner f X (x) og f Y X (y x), så kan vi finne den simultane sannsynlighetstettheten for X og Y som: f (x, y) = f X (x) f Y X (y x). Dersom vi kjenner f Y (y) og f X Y (x y), så kan vi finne den simultane sannsynlighetstettheten for X og Y som: f (x, y) = f Y (y) f X Y (x y). Det er ofte man spesifiserer simultantetthet på denne måten.

31 Betingede fordelinger Eksempler EKSEMPEL: Anta at X og Y har simultan punktsannsynlighet p(x, y) gitt ved følgende tabell: Dette gir f.eks. y p(x, y) 1 2 p X (x) x p Y (y) p Y X (1 ) = p X Y (1 ) = p(, 1) p X () =.1.5 =.2 < p Y (1) p(1, ) p Y () =.5.25 =.2 < p X (1)

32 Betingede fordelinger Eksempler EKSEMPEL: Anta at X og Y har simultantetthet f (x, y) gitt ved: { 24xy x 1, y 1, x + y 1 f (x, y) = ellers Vi har tidligere vist at vi for x 1 og y 1 har: f X (x) = 12x(1 x) 2 f Y (y) = 12y(1 y) 2 Dvs. at X og Y begge er Beta-fordelte med α = 2 og β = 3.

33 Betingede fordelinger Eksempler Dermed finner vi at den betingede sannsynlighetstettheten for Y gitt at X = x blir: f Y X (y x) = for y 1 x. f (x, y) f X (x) = 24xy 12x(1 x) 2 = 2y (1 x) 2, Vi sjekker at dette er en lovlig sannsynlighetstetthet: 1 x f Y X (y x)dy = = 1 x 1 (1 x) 2 2y (1 x) 2 dy 1 x 2ydy = (1 x)2 (1 x) 2 = 1. Tilsvarende finner vi at: for x 1 y. f X Y (x y) = 2x (1 y) 2

34 Betinget forventning Dersom X og Y er diskrete stokastiske variable, og den betingede punktsannsynligheten for Y gitt X = x er p Y X (y x), defineres den betingede forventningen til Y gitt X = x som: E[Y X = x] = µ Y X=x = y p Y X (y x). Alle y Dersom X og Y er kontinuerlige stokastiske variable, og den betingede sannsynlighetstettheten for Y gitt X = x er f Y X (y x), defineres den betingede forventningen til Y gitt X = x som: E[Y X = x] = µ Y X=x = y f Y X (y x)dy. Alle y

35 Betinget varians Den betingede variansen for Y gitt X = x defineres som: V (Y X = x) = σ 2 Y X=x = E[(Y E[Y X = x]) 2 X = x] = E[(Y µ Y X=x ) 2 X = x] Alternativt kan den betingede variansen beregnes av formelen: V (Y X = x) = σ 2 Y X=x = E[Y 2 X = x] (E[Y X = x]) 2 = E[Y 2 X = x] µ 2 Y X=x

36 Betinget forventning Eksempler EKSEMPEL: Anta at X og Y har simultantetthet f (x, y) gitt ved: { 24xy x 1, y 1, x + y 1 f (x, y) = ellers Vi har da funnet at: f Y X (y x) = 2y, y (1 x). (1 x) 2 og at: f X Y (x y) = 2x, x (1 y). (1 y) 2

37 Betinget forventning Eksempler Vi kan nå finne E[Y X = x]: E[Y X = x] = 1 x 2y y (1 x) 2 dy = 1 (1 x) 2 1 x 2y 2 dy = 1 (1 x) 2 [2 3 y 3 y=1 x ] y= = Tilsvarende finner vi også: 1 2 (1 x) 2 3 (1 x)3 = 2 (1 x). 3 E[X Y = y] = 2 (1 y). 3

38 Betinget forventning Eksempler Vi kan også finne E[Y 2 X = x]: E[Y 2 X = x] = 1 x y 2 2y (1 x) 2 dy = 1 (1 x) 2 1 x 2y 3 dy = 1 (1 x) 2 [2 4 y 4 y=1 x ] y= = Tilsvarende finner vi også: 1 (1 x) (1 x)4 = 1 2 (1 x)2. E[X 2 Y = y] = 1 2 (1 y)2.

39 Betinget varians Eksempler Til slutt kan vi kombinere disse resultatene og finne: V (Y X = x) = E[Y 2 X = x] (E[Y X = x]) 2 Tilsvarende finner vi også: = 1 2 (1 x)2 22 (1 x)2 32 = ( )(1 x)2 = (1 x)2. 18 V (X Y = y) = (1 y)2. 18

40 Uavhengighet og betingede fordelinger La X og Y være to diskrete uavhengige stokastiske variable med simultan punktsannsynlighet p(x, y). Siden variablene er uavhengige, har vi at: Dermed får vi: p(x, y) = p X (x) p Y (y) p Y X=x (y) = p(x, y) p X (x) = p X (x) p Y (y) = p Y (y). p X (x) Tilsvarende får vi: p X Y =y (x) = p(x, y) p Y (y) = p X (x) p Y (y) = p X (x). p Y (y)

41 Uavhengighet og betingede fordelinger La X og Y være to kontinuerlige uavhengige stokastiske variable med simultan sannsynlighetstetthet f (x, y). Siden variablene er uavhengige, har vi at: Dermed får vi: f (x, y) = f X (x) f Y (y) f Y X=x (y) = f (x, y) f X (x) = f X (x) f Y (y) = f Y (y). f X (x) Tilsvarende får vi: f X Y =y (x) = f (x, y) f Y (y) = f X (x) f Y (y) = f X (x). f Y (y)