SF1901: SANNOLIKHETSLÄRA OCH STATISTIK ENKEL LINJÄR REGRESSION. Jan Grandell & Timo Koski

Transkript

1 SF1901: SANNOLIKHETSLÄRA OCH STATISTIK FÖRELÄSNING 15. ENKEL LINJÄR REGRESSION Ja Gradell & Timo Koski Ja Gradell & Timo Koski Matematisk statistik / 63

2 INNEHÅLL Ekel lijär regressio, repetitio Ekel lijär regressio: lijär algebra & umerisk aalys Modelles atagade, teoretisk regressioslije y = α + βx Mistakvadratskattigara α obs och β obs Skattade regressioslije, residualkvadratsumma Aalys av ekel lijär regressio Extra formler för mistakvadratskattigara α obs och β obs Normalfördelig, vätevärde och varias för α och β Kofidesitervall Kofidesitervall för α och β Kofidesitervall för α + βx Prediktiositervall för e y observatio Multipel regressio: Statistisk prediktio av viets kvalitet Bilaga i summaformler för regressiosaalys Ja Gradell & Timo Koski Matematisk statistik / 63

3 ENKEL LINJÄR REGRESSION Teori och praktike hadlar om följade: Det föreligger par av värde (x 1,y 1 ),...,(x,y ) där x 1,...,x är giva storheter och y 1,...,y är observatioer av oberoede s.v. Y 1,...,Y, där Y i N(µ i, σ). Observera att σ förutsätts att ej bero av x, vilket ofta är det kritiska atagadet. Varje vätevärde µ i är lijärt beroede av x i, d.v.s. µ i = α+βx i, i = 1,...,. Lije y = α+ βx (1) kallas de teoretiska regressioslije. Ja Gradell & Timo Koski Matematisk statistik / 63

4 ENKEL LINJÄR REGRESSION Ett fiktivt exempel x = y = Ja Gradell & Timo Koski Matematisk statistik / 63

5 ENKEL LINJÄR REGRESSION Vi skattar parametrara α och β med Mista-Kvadratmetode, dvs. vi miimerar summa av de kvadrerade lodräta avståde mella de teoretiska lije och y-värdea, d.v.s vi miimerar Q(α, β) = (y i E (Y i )) 2 = (y i α βx i ) 2 m.a.p. α och β. De värde αobs och β obs MK-skattigara av α och β. som ger miimum kallas Ja Gradell & Timo Koski Matematisk statistik / 63

6 ENKEL LINJÄR REGRESSION Vi får α obs = y β obs x och β obs = (x i x)(y i y) (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

7 MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS Låt oss skriva det ovaståede med e matrisformalism. y 1 1 x 1 y 2 1 x 2 y =. y,x =. 1 x, θ = ( α β 1 -vektor, 2 - matris, 2 1 -vektor. De teoretiska regressiomodelle är då y = Xθ+ǫ där ǫ = (ǫ 1,...,ǫ ) T är e 1 vektor av ormalfördelade variabler. ) Ja Gradell & Timo Koski Matematisk statistik / 63

8 MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS För z e 1 -vektor, defiieras de euklidiska orme (i kvadrat) av z som z 2 = zi 2. Då gäller att Q(α, β) = (y i α βx i ) 2 = y Xθ 2 och Q miimeras av (X T är de traspoerade matrise, 1 är matrisiverse) ( 1X θ = X X) T T y. I Matlab TM ges detta av θ = X\y Ja Gradell & Timo Koski Matematisk statistik / 63

9 MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS Geom att multiplicera matrisera och utveckla iverse ka ma verifiera att ( ) α ( 1X obs = θ = X X) T T y. β obs d.v.s vi har samma lösig som ova. Vi har att residualera y X θ är ortogoala mot kolorummet av matrise X Ja Gradell & Timo Koski Matematisk statistik / 63

10 ENKEL LINJÄR REGRESSION Lije ŷ = α obs + β obs x. kallas de skattade regressioslije. De lodräta avståde ε i frå y i till de skattade regressioslije i x i, ε i = y i α obs β obs x i kallas observerade residualer. Q 0 defiieras som Q 0 = Q(α obs, β obs ) = ε 2 i. och kallas residualkvadratsumma. σ 2 skattas med s 2 = Q 0 2. Ja Gradell & Timo Koski Matematisk statistik / 63

11 ENKEL LINJÄR REGRESSION I exemplet ova är skattade regressioslije, residualkvadratsumma och s 2 y = x, Q 0 = , s 2 = Ja Gradell & Timo Koski Matematisk statistik / 63

12 FORMLERNA FÖR α obs OCH β obs OMSKRIVNA där vi sätter α obs = y β obs x och β obs = (x i x)(y i y) (x i x) 2. S xy = β obs = S xy och α = ȳ β obs x, (2) S xx (x i x)(y i ȳ) och S xx = (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

13 COVARIANCE AND CORRELATION COEFFICIENT with S x ad S y, c xy = 1 (x i x)(y i ȳ) S x = 1 j=1 (x j x) 2,S y = ad get the correlatio coefficiet as 1 j=1 (y j ȳ) 2 DEFINITION r xy def = c xy S x S y r xy 1. Ja Gradell & Timo Koski Matematisk statistik / 63

14 RETURN TO THE MEAN (1) α obs = ȳ β obs x ad i.e., ŷ = αobs + β obs x = ȳ + β obs (x x) ŷ ȳ = β obs (x x). Ja Gradell & Timo Koski Matematisk statistik / 63

15 RETURN TO THE MEAN (1) But by the above Hece (factor i 1/) ŷ ȳ = β obs (x x). β obs = (x i x)(y i ȳ) (x i x) 2 β obs = c xy S x S y S y S x = r xy S y S x Ja Gradell & Timo Koski Matematisk statistik / 63

16 RETURN TO THE MEAN (2) with we get or β obs = r S y xy S x ŷ ȳ = β obs (x x) = r xy ŷ ȳ S y = r xy (x x) S x S y S x (x x) Ja Gradell & Timo Koski Matematisk statistik / 63

17 RETURN TO THE MEAN (3) If 1 < r xy < 1, the we see by ŷ ȳ S y = r xy (x x) S x that the predicted stadardized value ŷ of y is closer to its mea ȳ tha the stadardized value of x is to its mea x. Thus the data poits (x i,y i ) display regressio toward the mea (as foud ad formulated by Fracis Galto). Ja Gradell & Timo Koski Matematisk statistik / 63

18 RETURN TO THE MEAN (4) The idea of regressio toward the mea resolved a importat difficulty of Darwiia selectio: if offsprig were always idetical to parets, the evolutio by atural selectio was ot possible. But, o the other had, there was also itergeeratioal stability, as all experiece uder fairly costat evirometal coditios showed that the rage of variability o short time scales, as betwee two geeratios, was essetially costat. (Stephe Stigler) Ja Gradell & Timo Koski Matematisk statistik / 63

19 OMSKRIVNING AV FORMLERNA Vi kommer u att äga oss åt e rätt så miutiös exercis i omskrivig av formlera för αobs och β obs. De (i sig ekla) räkeregler som kommer till avädig här ges i Bilaga till detta dokumet (se eda). Slutresultate igår avsitt 13.3 i Formelsamlige. Ja Gradell & Timo Koski Matematisk statistik / 63

20 OMSKRIVNING AV FORMLERNA Viste med detta är att vi överför skattigara på e form som gör det tydligt, hur vi får ormalfördeligara för de mot svarade α obs och β obs stickprovsvariablera α och β (se avsitt 13.1 i Formelsamlige). Detta ger i si tur s.g.s automatiskt ett atal kofidesitervall (se avsitt 13.2 i Formelsamlige) för ekel lijär regressio. Ja Gradell & Timo Koski Matematisk statistik / 63

21 FORMLERNA OMSKRIVNA Korssumma S xy ka skrivas på flera sätt och vi har (se (7) & (8) i Bilaga) S xy = = (x i x)(y i ȳ) = x i y i xȳ. x i (y i ȳ) = (x i x)y i Vi har här utyttjat att summora (x i x) (och (y i ȳ) båda) är 0. Se formel (6) i Bilaga. Ja Gradell & Timo Koski Matematisk statistik / 63

22 FORMLERNA OMSKRIVNA Motsvarade likhet gäller för kvadratsumma S xx, formel (9) i Bilaga och/eller avsitt 13.3 i Formelsamlige: S xx = (x i x) 2 = xi 2 x 2. Ja Gradell & Timo Koski Matematisk statistik / 63

23 FORMLERNA OMSKRIVNA Det är viktigt att otera att båda skattigara är lijära uttryck i observatioera y i. Ma har ju (aväd formel (4) i Bilaga upprepade ggr) ( β obs = S xy ) = 1 x i y i xȳ = S xx S xx ( = 1 x i y i x S xx ) y i = α = ȳ β obs x = 1 = ( 1 xc i ( xi x y i x ) y i = S xx ) y i = c i y i c i y i = d i y i. Ja Gradell & Timo Koski Matematisk statistik / 63

24 FORMLERNA OMSKRIVNA D.v.s. β obs = c i y i och α obs = i y i d där c i = (x i x) / S xx och d i = 1 c i x. (3) De motsvarade stickprovsvariablera är β = c i Y i och α = d i Y i Ja Gradell & Timo Koski Matematisk statistik / 63

25 De statistiska egeskapera Därmed är stickprovsvariablera α och β lijära fuktioer i Y-variablera, kom ihåg att xe är giva tal. β = c i Y i och α = d i Y i Därmed är β och α ormalfördelade! Det gäller att beräka de respektive vätevärdea och variasera. Ja Gradell & Timo Koski Matematisk statistik / 63

26 VÄNTEVÄRDET PÅ α Vi ileder med E (α ) = Me vi vet att Y i N(α+βx i, σ), så att d i E (Y i ) = Vi kommer att visa att (1) d i = 1 (2) d i x i = 0 d i E (Y i ). d i (α+βx i ) = α d i + β d i x i Ja Gradell & Timo Koski Matematisk statistik / 63

27 VÄNTEVÄRDET PÅ α : (1) d i = 1 Håll i miet att c i = (x i x) / S xx. d i = = 1 x ( 1 c i x) = c i = 1 x 1 S xx 1 c i x = 1 x 1 S xx 0 = 1. (x i x) ty (x i x) = 0 eligt (6) i Bilaga. Observera att vi äve fick c i = 0. Ja Gradell & Timo Koski Matematisk statistik / 63

28 VÄNTEVÄRDET PÅ α : (2) d ix i = 0 Me och frå ova c i x i = (1/S xx ) = (1/S xx ) d i x i = = 1 ( 1 c i x)x i x i x c i x i. (x i x)x i = (1/S xx ) ) = (1/S xx )( xi 2 x x i = ( x 2i x 2 ) (x 2 i xx i ) = (1/S xx ) S xx = 1. Ja Gradell & Timo Koski Matematisk statistik / 63

29 VÄNTEVÄRDET PÅ α : (2) d ix i = 0 Så vi fick att c i x i = 1 och detta ger d i x i = = 1 = 1 x i x ( 1 c i x)x i c i x i. }{{} =1 x i x = 0. Ja Gradell & Timo Koski Matematisk statistik / 63

30 VÄNTEVÄRDET PÅ α : Således har vi visat att E (α ) = α dvs. α är vätevärdesriktig. d i + β d i x i = α. Ja Gradell & Timo Koski Matematisk statistik / 63

31 HJÄLPRESULTAT Vissa hjälpresultat har vi dessutom visats: (A) (B) (C) c i x i = 1 c i = 0, d i x i = 0 Ja Gradell & Timo Koski Matematisk statistik / 63

32 VÄNTEVÄRDET PÅ β Vi har β = c iy i och detta ger E (β ) = Me Y i N(α+βx i, σ), så att c i E (Y i ) = Hjälpresultate (A) och (B) ova ger och β är vätevärdesriktig. c i E (Y i ). c i (α+βx i ) = α E (β ) = β c i + β c i x i Ja Gradell & Timo Koski Matematisk statistik / 63

33 VARIANS FÖR α Vi ha p.g.a oberoedet mella Y i a att V (α ) = Me Y i N(α+βx i, σ), så att Näst visar vi att d 2 i = 1 + x S xx di 2 V (Y i). di 2 V (Y i ) = σ 2 di 2 Ja Gradell & Timo Koski Matematisk statistik / 63

34 VARIANS FÖR α = d 2 ( ) 1 2 i = c i x x c i + x 2 ci 2 Me hjälpresultatet (B) ova ger c i = 0. Av defiitio på c i och S xx fås c 2 i = (x i x) 2/ Sxx 2 = 1 S xx och 1 2 = 1/. Sammafattigsvis di 2 = 1 + x2. S xx Ja Gradell & Timo Koski Matematisk statistik / 63

35 VARIANS FÖR α ( ) 1 V (α ) = σ 2 + x2. S xx I härledige fick vi äve hjälpresultatet (D) ci 2 = 1 S xx Ja Gradell & Timo Koski Matematisk statistik / 63

36 VARIANS FÖR β Vi har β = c i Y i och p.g.a oberoedet mella Y i a att V (β ) = Me Y i N(α+βx i, σ), så att ci 2 V (Y i ). ci 2 V (Y i) = σ 2 ci 2 = σ2 S xx eligt det seaste hjälpresultatet (D). Ja Gradell & Timo Koski Matematisk statistik / 63

37 De statistiska egeskapera SATS (1 α N α, σ + x 2 ) (x i x) 2 ( ) β 1 N β, σ (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

38 De statistiska egeskapera SATS Vidare gäller att, här betyder Q 0 stickprovsvariabel Q(α, β ), Q 0 σ 2 = ( 2)S2 σ 2 är χ 2 ( 2)-fördelad och att S 2 är oberoede av α och β. Ja Gradell & Timo Koski Matematisk statistik / 63

39 De statistiska egeskapera E algebraisk exercis i ovaståede stil visar äve att Q 0 = Q(α obs, β obs ) = ε 2 i = = (y i αobs β obs x i) 2 = S yy S xy. S xx Ja Gradell & Timo Koski Matematisk statistik / 63

40 Kofidesitervall Det ovaståede gör att vi ka kostruera kofidesitervall och test som förut, både då σ är kät och okät. För att ite behöva skriva alla itervall två gåger så betraktar vi fallet då σ är okät. Ja Gradell & Timo Koski Matematisk statistik / 63

41 Kofidesitervall Eftersom α u förekommer som e parameter, så ger vi kofidesitervall med kofidesgrad 95%. Metode är defiiera ett θ och seda bilda där d(θ ) är skattige av D(θ ). I θ = θ obs ±t 0.025( 2)d(θ ), Ja Gradell & Timo Koski Matematisk statistik / 63

42 MEDELFELET d(θ ) Vi aväder som skattig av σ i kofidesitervalle Q0 s = 2. (dvs.kvadratrote av residualkvadratsumma/ 2) Ja Gradell & Timo Koski Matematisk statistik / 63

43 Kofidesitervall för α (1) θ = α I θ = θ obs ±t 0.025( 2)d(θ ), (1 ) Vi har V(θ ) = V(α ) = σ 2 + x 2 (x, vilket ger i x) 2 I α = α ±t ( 2)s (1 + x 2 ) (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

44 Kofidesitervall för β (2) θ = β Vi har V(β ) = σ 2 (x i x) 2, vilket ger I β = β obs ±t s 0.025( 2) (x i x). 2 Ja Gradell & Timo Koski Matematisk statistik / 63

45 Hypotesprövig för β Det ka häda att iget sambad i form av e teoretisk regressioslije fis, dvs. β = 0. Vi ka testa detta geom mot Förkasta H 0 på ivå 0.05 om H 0 : β = 0 H 1 : β = 0 0 / I β = β obs ±t s 0.025( 2) (x i x). 2 Ja Gradell & Timo Koski Matematisk statistik / 63

46 Kofidesitervall för regressioslije (3) θ = α+ βx 0 Detta är alltså ett kofidesitervall för de teoretiska regressioslije i pukte x = x 0. Vi observerar först och p.g.a. oberoedet E(α + β x 0 ) = E(α )+E(β x 0 ) = α+βx 0. ) V(α + β x 0 ) = V d i Y i + c i Y i x 0 = = V ( ( ) i +c i x 0 )Y i (d (d i +c i x 0 ) 2 V (Y i ) = σ 2 (d i +c i x 0 ) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

47 Kofidesitervall d i = 1 c i x så att = (d i +c i x 0 ) 2 ( ) 1 2 = +c i(x 0 x) = (x 0 x) c i +(x 0 x) 2 ci 2 = 1 +(x 0 x) 2 /S xx. ty hjälpresultatet (B) ova ger c i = 0 och hjälpresultatet (D) ger c2 i = 1/S xx. Ja Gradell & Timo Koski Matematisk statistik / 63

48 Kofidesitervall Vi slår ihop frå ova V(α + β x 0 ) = σ 2 ( ) 1 +(x 0 x) 2 /S xx. Detta ger det slutliga kofidesitervallet som I α+βx0 = αobs + β obs x 1 0±t ( 2)s + (x 0 x) 2 (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik / 63

49 Kofidesitervall för lije i exemplet ova Data, regressioslije och αobs + β obs x 1 0±t ( 2)s + (x 0 x) 2 (x i x) 2 Ja Gradell & Timo Koski Matematisk statistik / 63

50 Prediktiositervall Låt Y 0 vara e y observatio som svarar mot x 0 dvs. Y 0 N(α+βx 0, σ). Vi predikterar Y 0 geom Ŷ 0 som ges av de skattade regressioslije Prediktiosfelet Ŷ 0 = α obs + β obs x 0. Y 0 Ŷ 0 är ormalfördelat med vätevärdet oll. Eftersom Y 0 och Ŷ 0 är oberoede ) ) V (Y 0 Ŷ 0 = V (Y 0 )+V (Ŷ0 Ova har vi i fallet (3) visat att ) V (Ŷ0 = V(α + β x 0 ) = σ 2 ( ) 1 +(x 0 x) 2 /S xx. Ja Gradell & Timo Koski Matematisk statistik / 63

51 Prediktiositervall Alltså ) V (Y 0 Ŷ 0 = σ ( ) +(x 0 x) 2 /S xx Vi skattar σ 2 med s 2. Ja Gradell & Timo Koski Matematisk statistik / 63

52 Prediktiositervall Ma ka visa att kvote Y 0 Ŷ 0. s (x 0 x) 2 /S xx är t-fördelad med 2 frihetsgrader. Då ka vi på bekat maér visa att itervallet Ŷ 0 ±t ( 2)s (x 0 x) 2 /S xx täcker Y 0 med saolikhete Itervallet kallas ett 95%-igt prediktiositervall för Y 0 Ja Gradell & Timo Koski Matematisk statistik / 63

53 Prediktiositervall i exemplet ova Data, regressioslije och Ŷ 0 ±t ( 2)s (x 0 x) 2 /S xx Ja Gradell & Timo Koski Matematisk statistik / 63

54 Prediktiositervall och kofidesitervall i exemplet ova Regressioslije, αobs + β obs x 1 0±t ( 2)s Ŷ 0 ±t ( 2)s (x 0 x) 2 /S xx + (x 0 x) 2 och (x i x) 2 Ja Gradell & Timo Koski Matematisk statistik / 63

55 MULTIPEL LINJÄR REGRESSIONSANALYS: VINETS KVALITET Multipel regressio med tre förklarade variabler x1, x2, x3 för statistisk prediktio (SPR) av (Bordeaux-)vieras kvalitet: där viets kvalitet = x x x3 x1 = ederbörd uder viter x2 = geomsittstemperature uder växtsäsoge x3 = ederbörd uder skördeperiode av Orley Ashefelter, se Ja Gradell & Timo Koski Matematisk statistik / 63

56 MULTIPEL LINJÄR REGRESSIONSANALYS: VINETS KVALITET Statistisk prediktio (SPR) av (Bordeaux-)vieras kvalitet: viets kvalitet = x x x3 Poäge här alltså att vi vill uttala oss om kvalite hos e årgåg av (Bordeaux-)vi INNAN NÅGON smakat på viet. Detta tycks fugera, me upplevs trots detta (eller kaske just p.g.a detta) som stötade av måga goda viexperter. Ja Gradell & Timo Koski Matematisk statistik / 63

57 Statistisk prediktiosregel (SPR) For a very wide rage of predictio problems, statistical predictio rules (SPRs), ofte rules that are very easy to implemet, make predictios tha are as reliable as, ad typically more reliable tha, huma experts. The success of SPRs forces us to recosider our views about what is ivolved i uderstadig, explaatio, ad good reasoig. Ja Gradell & Timo Koski Matematisk statistik / 63

58 E bok om SPR Orley Ashefelters SPR för viets kvalitet är hämtad ur boke I.Ayres: Super Cruchers. How aythig ca be predicted. Joh Murray (Publishers), Paperback editio 2008, Lodo. Ja Gradell & Timo Koski Matematisk statistik / 63

59 E bok om SPR Ja Gradell & Timo Koski Matematisk statistik / 63

60 BILAGA : RÄKNEOPERATIONER MED SUMMOR DEFINITION (1) x i = x 1 +x x. SATS (2) a x i = a x i. SATS (3) (x i +y i ) = x i + y i. Ja Gradell & Timo Koski Matematisk statistik / 63

61 BILAGA : RÄKNEOPERATIONER MED SUMMOR SATS (4) (ax i +by i ) = a x i +b y i SATS (5) (x i +y i ) 2 = x 2 i +2 x i y i + y 2 i. Ja Gradell & Timo Koski Matematisk statistik / 63

62 BILAGA : RÄKNEOPERATIONER MED SUMMOR Låt x = 1 x i. Då gäller SATS (6) (x i x) = 0. SATS (7) (x i x) (y i y) = (x i x)y i = x i (y i y). Ja Gradell & Timo Koski Matematisk statistik / 63

63 BILAGA : RÄKNEOPERATIONER MED SUMMOR SATS (8) (x i x) (y i y) = x iy i xy. SATS (9) (x i x) 2 = x 2 i x 2. Ja Gradell & Timo Koski Matematisk statistik / 63