Om enkel lineær regresjon II

Transkript

1 1 ECON 13 HG, revdert aprl 17 Notat tl kapttel 7 Løvås Om ekel leær regresjo II Merk: Det ka løe seg først å lese avstt 4 regresjo-i-otatet på ytt. Regresjosmodelle. La Y være e stokastsk varabel (som v kaller resposvarabele) og e forklargsvarabel som oppfattes som kke-stokastsk. V teker oss da at paret ( Y, ) observeres samme slk at Y ku observeres samme med gtte -verder. I eksemplet fra regresjos-i-otatet med skøytetder fra EM Heerevee 4, kue represetere 5m-tde ( sekuder), og Y represetere 15m-tde ( sekuder) e vlkårlg valgt skøyteløper vlle oppå dersom vedkommede løp 15m dage etterpå. Dee skøyteløpere er kke ødvedgvs e av dem som deltok Heerevee 4, me tekes tlfeldg valgt fra populasjoe av skøyteløpere mer geerelt 4 som var stad tl å løpe 5m på sekuder. (Jfr. ltt dskusjo av populasjosbegrepet avstt 4 regr.-i-otatet.) I de ekle (og eeste) regresjosmodelle pesum atas Y ormalfordelt, og sammehege mellom og Y uttrykkes va forvetge tl Y 1 (1) E( Y) ( ) for vlkårlg et passede defsjostervall. I tllegg atas at varase tl Y for gtt -verd er kostat uasett hva er: () var( Y) uasett hva er. Merk at v ka skrve dee modelle kort som Y ~ N( ( ), ) N(, ) for defsjostervallet. kalles for kostatleddet, for regresjoskoeffsete og ( ) for regresjosfuksjoe. tolkes ofte som effekte av e ehets edrg på Y. [ Begruelse: La 1 og 1 1 være to -verder med e ehets forskjell. La Y ' og være tlsvarede resposer. Forvetet edrg Y blr da E( Y '' Y ') E( Y '') E( Y ') ( 1) ( ) ( 1) ( ) ] Y '' 1 Symbolkollsjo: Merk at kostatleddet (1) kke må forveksles med de som dukker opp kofdesgrader og sgfkasvå hos Løvås.

2 (3) NB! Merk at hvs de sae verde er dee modelle, vl leddet forsve fra ( ) og fordelge for Y være de samme uasett hva er. I så fall er regresjosfuksjoe flat, og det er ge sammeheg mellom og Y. Modelle omfatter altså mulghete av at det kke er oe sammeheg mellom og Y. E alteratv og ekvvalet formulerg av modelle er (4) Y e der er e gtt kke-stokastsk størrelse og e er e stokastsk varabel (kalt felledd eller restledd ) som er ormalfordelt med forvetg og varas, dvs. e~ N(, ). Valgvs vl modelle referere tl e eller ae populasjo av teresse (jfr. skøyteeksemplet). I relasjo tl e slk populasjo (som kke ka observeres s helhet) vl parametree,, og og således også regresjosfuksjoe ( ), som oftest stå for ukjete populasjosstørrelser som v er teressert å s oe om basert på data trukket fra populasjoe. Modell for data (ekel uvarat regresjosmodell). Data består av gjetatte observasjoer av ( Y, ) : ( 1, y1),(, y),,(, y ). Uasett hvorda -ee er oppstått (stokastsk eller valgte tall), oppfatter v dem modelle vår som faste tall som om de skulle vært valgt på forhåd. y1, y,, y, dermot, oppfatter v som observasjoer av stokastske varable, Y1, Y,, Y, som oppfyller: (5) Y ( ) e for 1,,, der e1, e,, e er uavhegge og detsk ormalfordelte stokastske varable kalt restledd (Løvås: felledd ) med forvetg og varas ( kort e ~ N(, ), 1,,, ). Dee modelle er ekvvalet med å s at Y1, Y,, Y er uavhegge og ormalfordelte med forvetg, E( Y ) ( ) og kostat varas, var( Y ) (hvorfor?). Parametree,, tolkes å ettopp som de ukjete populasjosstørrelser v er teressert å s oe om (estmere eller teste hypoteser om) basert på data. Merk at de regresjoslja v bereger ut fra data bare er et estmat for (populasjos) regresjoslja og derfor kke lk dee. Forhåpetlgvs, mdlertd, lgger de ærhete. Merk at (5) omfatter både kjete (observerbare) og ukjete størrelser og med at modelle kyttes tl e populasjo som kke ka observeres s helhet. Størrelser v ka berege ut fra data kalles e slk sammeheg for observerbare. Dette gjelder ku -ee og Y -ee (5). Og kke resdual som Løvås felaktg kaller det ederst på sde 87 (øverst på sde 7). Resdual står for estmert (predkert) restledd som er oe aet, emlg e Y (se edefor).

3 3 Det stokastske restleddet, mdlertd, e Y, er e kke-observerbar stokastsk varabel sde de avheger av de ukjete populasjosstørrelsee, og (selv om v har observerte verder for, Y, vet v kke hvlke verd de tlsvarede e har fått). I tllegg tl å estmere,,, vl v også ofte være teressert å estmere forvetet Y ( ( )) for e eller ae utvalgt verd av teresse (som kke ødvedgvs må være blat -ee data). I så fall er v teressert ( ). For eksempel kue v være teressert å estmere forvetet td (gjeomsttlg td populasjoe) på 15m for skøyteløpere som oppår 6:3 m (39 sek) på 5m, emlg (39) 39. Mste kvadraters estmatorer, for og, er defert som fuksjoer av -ee og Y -ee som mmerer kvadratsumme ( ) 1 1 med hesy på og. Q e Y Dette er akkurat det samme mmergsproblemet som er gjeomført regr.-i-otatet og løsge er gtt regel det otatet (sde 8), der de eeste forskjelle er at de små y -ee (står for observerte tall) er byttet ut med de tlsvarede stokastske Y -ee. De fem størrelsee fra regr.-i-otatet som regresjosbergege bygger på blr å: (6) Y Y s S Y Y S Y Y Her er,, ( ), y ( ), y ( )( ) , s å oppfatte som kostater, mes Y S, y og S er stokastske varable. Av formlee regel regresjo-i-otatet pluss ltt kjedelg algebra basert på regel 4.1 og 4.17 Løvås, ka v formulere følgede regel Regel 1 (a) Mste kvadraters (mkv) estmatorer for,, ( ) er gtt ved y S, Y og ( ) s y (b), og ( ) er alle forvetgsrette. (c) Varasee er gtt ved var( ), ( 1) s var( ) 1 ( 1) s og 1 ( ) var( ( )) ( 1) s Merk at formlee som Løvås gr ederst på sde 9 (76) for varasee tl og, er ltt aderledes formulert. Sjekk selv at uttrykkee Løvås må være lk uttrykkee regel 1(c)

4 4 Sde mkv-estmatoree er forvetgsrette, vl stadardfelee være lk stadardavvket som v ser avheger av populasjos-stadardavvket,. V treger derfor å estmere dee.. Utgagspuktet er e estmator for : Motvasjo (frvllg lesg): Om restleddet, e Y, vet v at Ee ( ) 1 e 1 og var( e ) E( e ) E( e ) E( e ). Dermed (hvorfor?) E. Om v hadde kuet observere e -ee ut fra data (hvlket v kke ka), vlle v således kue beytte 1 e 1 som forvetgsrett estmator for. er mdlertd ubrukelg sde de kke er observerbar. Me, sde v ka estmere (predkere) det kke-observerbare restleddet, e, ved de observerbare resduale, e Y, er det aturlg å prøve å erstatte e med e. Ltt algebra (som v kke tar her) vser å at E e ( ). Dermed (hvorfor?) får v e forvetgsrett estmator for 1 1 ved e - som er de som beyttes prakss. V treger e 1 regeformel for dee. På gru av måte mkv-estmatoree er kostruert på, ser v at resduale, e, smpelthe er de stokastske varabele bak resduale, d, defert regr.-i-otatet. Av sde 1 otatet får v derfor e SSE, der E 1 SS å står for de stokastske varabele v får ved å bytte ut alle små y -er med store Y -er. Ved å beytte regel 3 regr.-i-otatet og sette for r S s S y ( y ), får v S S SS S S S s Motvasjo slutt. Av dette får v y y E ( 1) y 1 ( 1) ( 1) y y ss y s Regel (a) E forvetgsrett estmator for er gtt ved der SS E e Sy s (kalt s Løvås) e Y, 1,,,, er resdualee fra regresjoe. (b) Populasjos-stadardavvket,, estmeres valgvs ved (kalt s Løvås)

5 5 Iferes. La stå for e av de ukjete populasjosstørrelsee,,, ( ) Sde er forvetgsrett, er stadardfele lk stadardavvket, stadardfel som Løvås beteger med estmatore, SS ( ), regel. E, og for mkv estmatore. var( ). Estmert SE( ), fås ved å erstatte de ukjete med Tabell 1 ( er lk s Løvås) Mkv estmator Y S y s ( ) ( ) Estmert st.fel SE( ) 1 ( 1) s s 1 1 ( ) ( 1) s Tester og kofdestervall bygger å på det fudametale teoremet (bevst vderegåede teor) formulert regel 3, og følger det samme møsteret beskrevet for valge T-tervall og T-tester. Regel 3 (a) Uder modelle beskrevet (5) gjelder for alle W ~ t( ) -fordelt (t-fordelt med frhetsgrader), SE( ) (der SE( ) her står for estmert stadardfel). (b) Hvs 3 omtret, er W tlærmet N(,1) -fordelt selv om Y -ee kke er ormalfordelte. Kofdestervall. La t, betege α-kvatle t ( ) -fordelge (defert ved P( W t ) ).,

6 6 Av regel 3(a) får v et eksakt 3 1 kofdestervall for (7) t, SE( ) dvs. P t, SE t, SE ( ) ( ) 1. Tester. La betege e kjet hypotetsk verd av. Om de sae verde er lk eller kke, vet v kke. Som før vl v bruke samme testobservator for dverse tester om : Testobservator: T SE( ) Uder regel 3(a) vl T være t ( ) -fordelt som W ku det speselle tlfellet at, oe som er tlstrekkelg for å bestemme de krtske verde (som vl være e kvatl t ( ) - fordelge) og p-verde. Tabell Teststuasjo H H 1 Testobservator SE( ) T SE( ) T SE( ) -vå test: Forkast H hvs T t 1 T, T t, 3 T t P verd t er observert verd av T) ( o, ellert t, P ( ) T t o P ( ) T t o P ( T t o ) Merk at hvs 3 omtret ka v bytte ut t-fordelgskvatlee med tlsvarede kvatler N (,1) og oppå e test med tlærmet vå. Lkeledes uder beregge av p-verder, ka v ata T er tlærmet N(,1) -fordelt. Dette gjelder selv om Y -ee kke er ormalfordelte. Regeeksempel (Skøytedataee fra EM Heerevee 4) Atall observasjospar: 7 (ute Ervk). svarer tl tde ( sekuder) på 5m (kke-stokastsk) og Y står for tde ( sekuder) på 15m (stokastsk). 3 Dee alfae må kke forveksles med kostatleddet alfa regresjosfuksjoe ( ) populasjoe (Løvås otasjo)

7 7 De fem gruleggede størrelsee, som gjør reste av regresjosbereggee relatvt ekle med kalkulator, får v fra Ecel 4 : Tabell 3 Observert verd Y s S y S y Ata v tllegg tl regresjosparametree er teressert forvetet td på 15m hvs 5m tde (dage før) var 6:3 m blak (= 39 sek), emlg (39) 39. V fer observert verd: Estmatet på blr dermed: S SSE S ( y 1) y s (8) obs V fer å lett (med kalkulator eller Ecel): Tabell 4 Estmator Estmat obs St. fel SE( ) obs (39) sek (1:5 m).6948 V øsker 95% kofdestervall. V treger da kvatle t 5,.5.6 (fra tabell E5 (D5) Løvås). Tabell 5 95% kofdestervall Parameter Nedre grese (.6)SE Øvre grese (.6)SE (39) 18.4 sek sek (1:48 m) (1:51 m) 4 Jfr. Ecel-øvelse på slutte av Regresjo-I-otatet.

8 8 V øsker å å teste om det er sammeheg mellom og Y det hele tatt, emlg om det er sterk evdes data for at. Det betyr det geerelle oppsettet at å er og. Testobservatore blr her T SE( ) SE( ) og tabell 4 gr observert verd av testobservatore: t T obs Tosdg hypotese: H : mot H : 1 Valgt sgfkasvå: for eksempel 5%. Krtske verder: t5,.5.6 Testkrterum (5% sgfkasvå): Forkast H hvs Tobs.6 eller Tobs.6 Koklusjo: Forkast H sde Tobs 4.59, (eller: det er sterk evdes data for at ). I dette tlfellet er det kaskje rmelgere å formulere problemet som esdg ut fra allme vte (?) om skøyteløpere som deltar all-roud mesterskap: emlg at hvs det er sammeheg, så må de atakelg være postv. I så fall vlle v foretrekke å teste de esdge hypotese uder stedefor: Esdg hypotese: H : mot H : 1 Valgt sgfkasvå: for eksempel 5%. Krtsk verd: t 5, Testkrterum (5% sgfkasvå): Forkast H hvs Tobs 1.78 Koklusjo: Forkast H sde Tobs 4.59, (eller: det er sterk evdes data for at ).