SF1901: SANNOLIKHETSLÄRA OCH STATISTIK FÖRELÄSNING 15. ENKEL LINJÄR REGRESSION Ja Gradell & Timo Koski 07.03.2016 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 1 / 63
INNEHÅLL Ekel lijär regressio, repetitio Ekel lijär regressio: lijär algebra & umerisk aalys Modelles atagade, teoretisk regressioslije y = α + βx Mistakvadratskattigara α obs och β obs Skattade regressioslije, residualkvadratsumma Aalys av ekel lijär regressio Extra formler för mistakvadratskattigara α obs och β obs Normalfördelig, vätevärde och varias för α och β Kofidesitervall Kofidesitervall för α och β Kofidesitervall för α + βx Prediktiositervall för e y observatio Multipel regressio: Statistisk prediktio av viets kvalitet Bilaga i summaformler för regressiosaalys Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 2 / 63
ENKEL LINJÄR REGRESSION Teori och praktike hadlar om följade: Det föreligger par av värde (x 1,y 1 ),...,(x,y ) där x 1,...,x är giva storheter och y 1,...,y är observatioer av oberoede s.v. Y 1,...,Y, där Y i N(µ i, σ). Observera att σ förutsätts att ej bero av x, vilket ofta är det kritiska atagadet. Varje vätevärde µ i är lijärt beroede av x i, d.v.s. µ i = α+βx i, i = 1,...,. Lije y = α+ βx (1) kallas de teoretiska regressioslije. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 3 / 63
ENKEL LINJÄR REGRESSION Ett fiktivt exempel x = 1 2 3 4 5 6 7 y = 0.9 1.4 2.2 2.7 3.2 4.3 4.2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 4 / 63
ENKEL LINJÄR REGRESSION Vi skattar parametrara α och β med Mista-Kvadratmetode, dvs. vi miimerar summa av de kvadrerade lodräta avståde mella de teoretiska lije och y-värdea, d.v.s vi miimerar Q(α, β) = (y i E (Y i )) 2 = (y i α βx i ) 2 m.a.p. α och β. De värde αobs och β obs MK-skattigara av α och β. som ger miimum kallas Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 5 / 63
ENKEL LINJÄR REGRESSION Vi får α obs = y β obs x och β obs = (x i x)(y i y) (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 6 / 63
MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS Låt oss skriva det ovaståede med e matrisformalism. y 1 1 x 1 y 2 1 x 2 y =. y,x =. 1 x, θ = ( α β 1 -vektor, 2 - matris, 2 1 -vektor. De teoretiska regressiomodelle är då y = Xθ+ǫ där ǫ = (ǫ 1,...,ǫ ) T är e 1 vektor av ormalfördelade variabler. ) Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 7 / 63
MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS För z e 1 -vektor, defiieras de euklidiska orme (i kvadrat) av z som z 2 = zi 2. Då gäller att Q(α, β) = (y i α βx i ) 2 = y Xθ 2 och Q miimeras av (X T är de traspoerade matrise, 1 är matrisiverse) ( 1X θ = X X) T T y. I Matlab TM ges detta av θ = X\y Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 8 / 63
MINSTA KVADRAT VIA LINJÄR ALGEBRA & NUMERISK ANALYS Geom att multiplicera matrisera och utveckla iverse ka ma verifiera att ( ) α ( 1X obs = θ = X X) T T y. β obs d.v.s vi har samma lösig som ova. Vi har att residualera y X θ är ortogoala mot kolorummet av matrise X Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 9 / 63
ENKEL LINJÄR REGRESSION Lije ŷ = α obs + β obs x. kallas de skattade regressioslije. De lodräta avståde ε i frå y i till de skattade regressioslije i x i, ε i = y i α obs β obs x i kallas observerade residualer. Q 0 defiieras som Q 0 = Q(α obs, β obs ) = ε 2 i. och kallas residualkvadratsumma. σ 2 skattas med s 2 = Q 0 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 10 / 63
ENKEL LINJÄR REGRESSION I exemplet ova är skattade regressioslije, residualkvadratsumma och s 2 y = 0.3143+0.5964x, Q 0 = 0.2796, s 2 = 0.0559 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 11 / 63
FORMLERNA FÖR α obs OCH β obs OMSKRIVNA där vi sätter α obs = y β obs x och β obs = (x i x)(y i y) (x i x) 2. S xy = β obs = S xy och α = ȳ β obs x, (2) S xx (x i x)(y i ȳ) och S xx = (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 12 / 63
COVARIANCE AND CORRELATION COEFFICIENT with S x ad S y, c xy = 1 (x i x)(y i ȳ) S x = 1 j=1 (x j x) 2,S y = ad get the correlatio coefficiet as 1 j=1 (y j ȳ) 2 DEFINITION r xy def = c xy S x S y r xy 1. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 13 / 63
RETURN TO THE MEAN (1) α obs = ȳ β obs x ad i.e., ŷ = αobs + β obs x = ȳ + β obs (x x) ŷ ȳ = β obs (x x). Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 14 / 63
RETURN TO THE MEAN (1) But by the above Hece (factor i 1/) ŷ ȳ = β obs (x x). β obs = (x i x)(y i ȳ) (x i x) 2 β obs = c xy S x S y S y S x = r xy S y S x Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 15 / 63
RETURN TO THE MEAN (2) with we get or β obs = r S y xy S x ŷ ȳ = β obs (x x) = r xy ŷ ȳ S y = r xy (x x) S x S y S x (x x) Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 16 / 63
RETURN TO THE MEAN (3) If 1 < r xy < 1, the we see by ŷ ȳ S y = r xy (x x) S x that the predicted stadardized value ŷ of y is closer to its mea ȳ tha the stadardized value of x is to its mea x. Thus the data poits (x i,y i ) display regressio toward the mea (as foud ad formulated by Fracis Galto). Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 17 / 63
RETURN TO THE MEAN (4) The idea of regressio toward the mea resolved a importat difficulty of Darwiia selectio: if offsprig were always idetical to parets, the evolutio by atural selectio was ot possible. But, o the other had, there was also itergeeratioal stability, as all experiece uder fairly costat evirometal coditios showed that the rage of variability o short time scales, as betwee two geeratios, was essetially costat. (Stephe Stigler) Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 18 / 63
OMSKRIVNING AV FORMLERNA Vi kommer u att äga oss åt e rätt så miutiös exercis i omskrivig av formlera för αobs och β obs. De (i sig ekla) räkeregler som kommer till avädig här ges i Bilaga till detta dokumet (se eda). Slutresultate igår avsitt 13.3 i Formelsamlige. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 19 / 63
OMSKRIVNING AV FORMLERNA Viste med detta är att vi överför skattigara på e form som gör det tydligt, hur vi får ormalfördeligara för de mot svarade α obs och β obs stickprovsvariablera α och β (se avsitt 13.1 i Formelsamlige). Detta ger i si tur s.g.s automatiskt ett atal kofidesitervall (se avsitt 13.2 i Formelsamlige) för ekel lijär regressio. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 20 / 63
FORMLERNA OMSKRIVNA Korssumma S xy ka skrivas på flera sätt och vi har (se (7) & (8) i Bilaga) S xy = = (x i x)(y i ȳ) = x i y i xȳ. x i (y i ȳ) = (x i x)y i Vi har här utyttjat att summora (x i x) (och (y i ȳ) båda) är 0. Se formel (6) i Bilaga. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 21 / 63
FORMLERNA OMSKRIVNA Motsvarade likhet gäller för kvadratsumma S xx, formel (9) i Bilaga och/eller avsitt 13.3 i Formelsamlige: S xx = (x i x) 2 = xi 2 x 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 22 / 63
FORMLERNA OMSKRIVNA Det är viktigt att otera att båda skattigara är lijära uttryck i observatioera y i. Ma har ju (aväd formel (4) i Bilaga upprepade ggr) ( β obs = S xy ) = 1 x i y i xȳ = S xx S xx ( = 1 x i y i x S xx ) y i = α = ȳ β obs x = 1 = ( 1 xc i ( xi x y i x ) y i = S xx ) y i = c i y i c i y i = d i y i. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 23 / 63
FORMLERNA OMSKRIVNA D.v.s. β obs = c i y i och α obs = i y i d där c i = (x i x) / S xx och d i = 1 c i x. (3) De motsvarade stickprovsvariablera är β = c i Y i och α = d i Y i Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 24 / 63
De statistiska egeskapera Därmed är stickprovsvariablera α och β lijära fuktioer i Y-variablera, kom ihåg att xe är giva tal. β = c i Y i och α = d i Y i Därmed är β och α ormalfördelade! Det gäller att beräka de respektive vätevärdea och variasera. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 25 / 63
VÄNTEVÄRDET PÅ α Vi ileder med E (α ) = Me vi vet att Y i N(α+βx i, σ), så att d i E (Y i ) = Vi kommer att visa att (1) d i = 1 (2) d i x i = 0 d i E (Y i ). d i (α+βx i ) = α d i + β d i x i Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 26 / 63
VÄNTEVÄRDET PÅ α : (1) d i = 1 Håll i miet att c i = (x i x) / S xx. d i = = 1 x ( 1 c i x) = c i = 1 x 1 S xx 1 c i x = 1 x 1 S xx 0 = 1. (x i x) ty (x i x) = 0 eligt (6) i Bilaga. Observera att vi äve fick c i = 0. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 27 / 63
VÄNTEVÄRDET PÅ α : (2) d ix i = 0 Me och frå ova c i x i = (1/S xx ) = (1/S xx ) d i x i = = 1 ( 1 c i x)x i x i x c i x i. (x i x)x i = (1/S xx ) ) = (1/S xx )( xi 2 x x i = ( x 2i x 2 ) (x 2 i xx i ) = (1/S xx ) S xx = 1. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 28 / 63
VÄNTEVÄRDET PÅ α : (2) d ix i = 0 Så vi fick att c i x i = 1 och detta ger d i x i = = 1 = 1 x i x ( 1 c i x)x i c i x i. }{{} =1 x i x = 0. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 29 / 63
VÄNTEVÄRDET PÅ α : Således har vi visat att E (α ) = α dvs. α är vätevärdesriktig. d i + β d i x i = α. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 30 / 63
HJÄLPRESULTAT Vissa hjälpresultat har vi dessutom visats: (A) (B) (C) c i x i = 1 c i = 0, d i x i = 0 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 31 / 63
VÄNTEVÄRDET PÅ β Vi har β = c iy i och detta ger E (β ) = Me Y i N(α+βx i, σ), så att c i E (Y i ) = Hjälpresultate (A) och (B) ova ger och β är vätevärdesriktig. c i E (Y i ). c i (α+βx i ) = α E (β ) = β c i + β c i x i Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 32 / 63
VARIANS FÖR α Vi ha p.g.a oberoedet mella Y i a att V (α ) = Me Y i N(α+βx i, σ), så att Näst visar vi att d 2 i = 1 + x S xx di 2 V (Y i). di 2 V (Y i ) = σ 2 di 2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 33 / 63
VARIANS FÖR α = d 2 ( ) 1 2 i = c i x 1 2 2 x c i + x 2 ci 2 Me hjälpresultatet (B) ova ger c i = 0. Av defiitio på c i och S xx fås c 2 i = (x i x) 2/ Sxx 2 = 1 S xx och 1 2 = 1/. Sammafattigsvis di 2 = 1 + x2. S xx Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 34 / 63
VARIANS FÖR α ( ) 1 V (α ) = σ 2 + x2. S xx I härledige fick vi äve hjälpresultatet (D) ci 2 = 1 S xx Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 35 / 63
VARIANS FÖR β Vi har β = c i Y i och p.g.a oberoedet mella Y i a att V (β ) = Me Y i N(α+βx i, σ), så att ci 2 V (Y i ). ci 2 V (Y i) = σ 2 ci 2 = σ2 S xx eligt det seaste hjälpresultatet (D). Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 36 / 63
De statistiska egeskapera SATS (1 α N α, σ + x 2 ) (x i x) 2 ( ) β 1 N β, σ (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 37 / 63
De statistiska egeskapera SATS Vidare gäller att, här betyder Q 0 stickprovsvariabel Q(α, β ), Q 0 σ 2 = ( 2)S2 σ 2 är χ 2 ( 2)-fördelad och att S 2 är oberoede av α och β. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 38 / 63
De statistiska egeskapera E algebraisk exercis i ovaståede stil visar äve att Q 0 = Q(α obs, β obs ) = ε 2 i = = (y i αobs β obs x i) 2 = S yy S xy. S xx Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 39 / 63
Kofidesitervall Det ovaståede gör att vi ka kostruera kofidesitervall och test som förut, både då σ är kät och okät. För att ite behöva skriva alla itervall två gåger så betraktar vi fallet då σ är okät. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 40 / 63
Kofidesitervall Eftersom α u förekommer som e parameter, så ger vi kofidesitervall med kofidesgrad 95%. Metode är defiiera ett θ och seda bilda där d(θ ) är skattige av D(θ ). I θ = θ obs ±t 0.025( 2)d(θ ), Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 41 / 63
MEDELFELET d(θ ) Vi aväder som skattig av σ i kofidesitervalle Q0 s = 2. (dvs.kvadratrote av residualkvadratsumma/ 2) Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 42 / 63
Kofidesitervall för α (1) θ = α I θ = θ obs ±t 0.025( 2)d(θ ), (1 ) Vi har V(θ ) = V(α ) = σ 2 + x 2 (x, vilket ger i x) 2 I α = α ±t 0.025 ( 2)s (1 + x 2 ) (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 43 / 63
Kofidesitervall för β (2) θ = β Vi har V(β ) = σ 2 (x i x) 2, vilket ger I β = β obs ±t s 0.025( 2) (x i x). 2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 44 / 63
Hypotesprövig för β Det ka häda att iget sambad i form av e teoretisk regressioslije fis, dvs. β = 0. Vi ka testa detta geom mot Förkasta H 0 på ivå 0.05 om H 0 : β = 0 H 1 : β = 0 0 / I β = β obs ±t s 0.025( 2) (x i x). 2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 45 / 63
Kofidesitervall för regressioslije (3) θ = α+ βx 0 Detta är alltså ett kofidesitervall för de teoretiska regressioslije i pukte x = x 0. Vi observerar först och p.g.a. oberoedet E(α + β x 0 ) = E(α )+E(β x 0 ) = α+βx 0. ) V(α + β x 0 ) = V d i Y i + c i Y i x 0 = = V ( ( ) i +c i x 0 )Y i (d (d i +c i x 0 ) 2 V (Y i ) = σ 2 (d i +c i x 0 ) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 46 / 63
Kofidesitervall d i = 1 c i x så att = (d i +c i x 0 ) 2 ( ) 1 2 = +c i(x 0 x) = 1 2 +2(x 0 x) c i +(x 0 x) 2 ci 2 = 1 +(x 0 x) 2 /S xx. ty hjälpresultatet (B) ova ger c i = 0 och hjälpresultatet (D) ger c2 i = 1/S xx. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 47 / 63
Kofidesitervall Vi slår ihop frå ova V(α + β x 0 ) = σ 2 ( ) 1 +(x 0 x) 2 /S xx. Detta ger det slutliga kofidesitervallet som I α+βx0 = αobs + β obs x 1 0±t 0.025 ( 2)s + (x 0 x) 2 (x i x) 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 48 / 63
Kofidesitervall för lije i exemplet ova Data, regressioslije och αobs + β obs x 1 0±t 0.025 ( 2)s + (x 0 x) 2 (x i x) 2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 49 / 63
Prediktiositervall Låt Y 0 vara e y observatio som svarar mot x 0 dvs. Y 0 N(α+βx 0, σ). Vi predikterar Y 0 geom Ŷ 0 som ges av de skattade regressioslije Prediktiosfelet Ŷ 0 = α obs + β obs x 0. Y 0 Ŷ 0 är ormalfördelat med vätevärdet oll. Eftersom Y 0 och Ŷ 0 är oberoede ) ) V (Y 0 Ŷ 0 = V (Y 0 )+V (Ŷ0 Ova har vi i fallet (3) visat att ) V (Ŷ0 = V(α + β x 0 ) = σ 2 ( ) 1 +(x 0 x) 2 /S xx. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 50 / 63
Prediktiositervall Alltså ) V (Y 0 Ŷ 0 = σ (1+ 2 1 ) +(x 0 x) 2 /S xx Vi skattar σ 2 med s 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 51 / 63
Prediktiositervall Ma ka visa att kvote Y 0 Ŷ 0. s 1+ 1 +(x 0 x) 2 /S xx är t-fördelad med 2 frihetsgrader. Då ka vi på bekat maér visa att itervallet Ŷ 0 ±t 0.025 ( 2)s 1+ 1 +(x 0 x) 2 /S xx täcker Y 0 med saolikhete 0.95. Itervallet kallas ett 95%-igt prediktiositervall för Y 0 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 52 / 63
Prediktiositervall i exemplet ova Data, regressioslije och Ŷ 0 ±t 0.025 ( 2)s 1+ 1 +(x 0 x) 2 /S xx Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 53 / 63
Prediktiositervall och kofidesitervall i exemplet ova Regressioslije, αobs + β obs x 1 0±t 0.025 ( 2)s Ŷ 0 ±t 0.025 ( 2)s 1+ 1 +(x 0 x) 2 /S xx + (x 0 x) 2 och (x i x) 2 Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 54 / 63
MULTIPEL LINJÄR REGRESSIONSANALYS: VINETS KVALITET Multipel regressio med tre förklarade variabler x1, x2, x3 för statistisk prediktio (SPR) av (Bordeaux-)vieras kvalitet: där viets kvalitet = 12.145 + 0.00117x1 + 0.0614x2 0.00386x3 x1 = ederbörd uder viter x2 = geomsittstemperature uder växtsäsoge x3 = ederbörd uder skördeperiode av Orley Ashefelter, se http://www.liquidasset.com/. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 55 / 63
MULTIPEL LINJÄR REGRESSIONSANALYS: VINETS KVALITET Statistisk prediktio (SPR) av (Bordeaux-)vieras kvalitet: viets kvalitet = 12.145 + 0.00117x1 + 0.0614x2 0.00386x3 Poäge här alltså att vi vill uttala oss om kvalite hos e årgåg av (Bordeaux-)vi INNAN NÅGON smakat på viet. Detta tycks fugera, me upplevs trots detta (eller kaske just p.g.a detta) som stötade av måga goda viexperter. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 56 / 63
Statistisk prediktiosregel (SPR) For a very wide rage of predictio problems, statistical predictio rules (SPRs), ofte rules that are very easy to implemet, make predictios tha are as reliable as, ad typically more reliable tha, huma experts. The success of SPRs forces us to recosider our views about what is ivolved i uderstadig, explaatio, ad good reasoig. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 57 / 63
E bok om SPR Orley Ashefelters SPR för viets kvalitet är hämtad ur boke I.Ayres: Super Cruchers. How aythig ca be predicted. Joh Murray (Publishers), Paperback editio 2008, Lodo. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 58 / 63
E bok om SPR Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 59 / 63
BILAGA : RÄKNEOPERATIONER MED SUMMOR DEFINITION (1) x i = x 1 +x 2 +...+x. SATS (2) a x i = a x i. SATS (3) (x i +y i ) = x i + y i. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 60 / 63
BILAGA : RÄKNEOPERATIONER MED SUMMOR SATS (4) (ax i +by i ) = a x i +b y i SATS (5) (x i +y i ) 2 = x 2 i +2 x i y i + y 2 i. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 61 / 63
BILAGA : RÄKNEOPERATIONER MED SUMMOR Låt x = 1 x i. Då gäller SATS (6) (x i x) = 0. SATS (7) (x i x) (y i y) = (x i x)y i = x i (y i y). Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 62 / 63
BILAGA : RÄKNEOPERATIONER MED SUMMOR SATS (8) (x i x) (y i y) = x iy i xy. SATS (9) (x i x) 2 = x 2 i x 2. Ja Gradell & Timo Koski Matematisk statistik 07.03.2016 63 / 63