Om enkel lineær regresjon II

Transkript

1 ECON 3 HG, aprl Notat tl kapttel 7 Løvås Om ekel leær regresjo II Merk: Det ka løe seg først å lese avstt 4 regresjo-i-otatet på ytt. Regresjosmodelle. La Y være e stokastsk varabel som v kaller resposvarabele og e forklargsvarabel som oppfattes som kke-stokastsk. V teker oss da at paret Y, erveres samme slk at Y ku erveres samme med gtte -verder. I eksemplet fra regresjos-i-otatet med skøytetder fra EM Heerevee 4, kue represetere 5m-tde sekuder, og Y represetere 5m-tde sekuder e vlkårlg valgt skøyteløper vlle oppå dersom vedkommede løp 5m dage etterpå. Dee skøyteløpere er kke ødvedgvs e av dem som deltok Heerevee 4, me tekes tlfeldg valgt fra populasjoe av skøyteløpere mer geerelt 4 som var stad tl å løpe 5m på sekuder. Jfr. ltt dskusjo av populasjosbegrepet avstt 4 regr.-i-otatet. I de ekle og eeste regresjosmodelle pesum atas Y ormalfordelt, og sammehege mellom og Y uttrykkes va forvetge tl Y EY = µ = α + β for vlkårlg et passede defsjostervall. I tllegg atas at varase tl Y for gtt -verd er kostat uasett hva er: var Y = σ uasett hva er. Merk at v ka skrve dee modelle kort som Y ~ N µ, σ = N α + β, σ for defsjostervallet. α kalles for kostatleddet, β for regresjoskoeffsete og µ for regresjosfuksjoe. β tolkes ofte som effekte av e ehets edrg på Y. [ Begruelse: La og + være to -verder med e ehets forskjell. La Y ' og Y '' være tlsvarede resposer. Forvetet edrg Y blr da EY '' Y' = EY '' EY ' = µ + µ = α + β + α + β = β ] ymbolkollsjo: Merk at kostatleddet α kke må forveksles med de α som dukker opp kofdesgrader og sgfkasvå hos Løvås.

2 3 NB! Merk at hvs de sae verde β = dee modelle, vl leddet β forsve fra µ og fordelge for Y være de samme uasett hva er. I så fall er regresjosfuksjoe flat, og det er ge sammeheg mellom og Y. Modelle omfatter altså mulghete av at det kke er oe sammeheg mellom og Y. E alteratv og ekvvalet formulerg av modelle er 4 Y = α + β+ e der er e gtt kke-stokastsk størrelse og e er e stokastsk varabel kalt felledd eller restledd som er ormalfordelt med forvetg og varas σ, dvs. e~ N, σ. Valgvs vl modelle referere tl e eller ae populasjo av teresse jfr. skøyteeksemplet. I relasjo tl e slk populasjo som kke ka erveres s helhet vl parametree, αβ, og σ og således også regresjosfuksjoe µ = α + β, som oftest stå for ukjete populasjosstørrelser som v er teressert å s oe om basert på data trukket fra populasjoe. Modell for data ekel uvarat regresjosmodell. Data består av gjetatte ervasjoer av Y,,, y,, y,,, y. Uasett hvorda -ee er oppstått stokastsk eller valgte tall, oppfatter v dem modelle vår som faste tall som om de skulle vært valgt på forhåd. y, y,, y, dermot, oppfatter v som ervasjoer av stokastske varable, Y, Y,, Y, som oppfyller: 5 Y = µ = α + β + e for =,,, der e, e,, e er uavhegge og detsk ormalfordelte stokastske varable kalt restledd Løvås: felledd med forvetg og varas σ kort e ~ N, σ, =,,,. Dee modelle er ekvvalet med å s at Y, Y,, Y er uavhegge og ormalfordelte med forvetg, EY = µ = α + β og kostat varas, var Y = σ hvorfor?. Parametree α, β, σ tolkes å ettopp som de ukjete populasjosstørrelser v er teressert å s oe om estmere eller teste hypoteser om basert på data. Merk at 5 omfatter både kjete erverbare og ukjete størrelser og med at modelle kyttes tl e populasjo som kke ka erveres s helhet. tørrelser v ka berege ut fra data kalles e slk sammeheg for erverbare. Dette gjelder ku -ee og Y -ee 5. Det stokastske restleddet, mdlertd, e = Y α β, er e kke-erverbar stokastsk Og kke resdual som Løvås felaktg kaller det øverst på sde 7. Resdual står for estmert predkert restledd som er oe aet, emlg e = Y ˆ α ˆ β se edefor. ˆ

3 3 varabel sde de avheger av de ukjete populasjosstørrelsee, α og β selv om v har erverte verder for, Y, vet v kke hvlke verd de tlsvarede e har fått. I tllegg tl å estmere α, β, σ, vl v også ofte være teressert å estmere forvetet Y µ for e eller ae utvalgt verd = av teresse som kke ødvedgvs må være blat -ee data. I så fall er v teressert µ = α + β. For eksempel kue v være teressert å estmere forvetet td gjeomsttlg td populasjoe på 5m for skøyteløpere som oppår 6:3 m 39 sek på 5m, emlg µ 39 = α + β 39. Mste kvadraters estmatorer ˆα, ˆβ for α og β, er defert som fuksjoer av -ee og Y -ee som mmerer kvadratsumme α β = = med hesy på α og β. Q= e = Y Dette er akkurat det samme mmergsproblemet som er gjeomført regr.-i-otatet og løsge er gtt regel det otatet sde 8, der de eeste forskjelle er at de små y -ee står for erverte tall er byttet ut med de tlsvarede stokastske Y -ee. De fem størrelsee fra regr.-i-otatet som regresjosbergege bygger på blr å: 6 = Y = Y s = = Y Y = Y Y Her er,,,, y y = = = = =, s å oppfatte som kostater, mes Y, y og er stokastske varable. Av formlee regel regr.-i-otatet pluss ltt kjedelg algebra basert på regel 4. og 4.7 Løvås, ka v formulere følgede regel Regel a Mste kvadraters mkv estmatorer for α, β, µ er gtt ved y ˆ β =, ˆ α = Y ˆ β og ˆ µ ˆ ˆ = α + β s y b ˆ αβ, ˆ og ˆ µ er alle forvetgsrette. c Varasee er gtt ved var β =, s var ˆ α = σ + s og ˆ µ = σ + var s Merk at formlee som Løvås gr ederst på for varasee tl ˆ α og ˆ β er ltt aderledes formulert. jekk selv at uttrykkee Løvås må være lk uttrykkee regel c

4 4 de mkv-estmatoree er forvetgsrette, vl stadardfelee være lk stadardavvket som v ser avheger av populasjos-stadardavvket, σ. V treger derfor å estmere dee.. Utgagspuktet er e estmator for σ : Motvasjo. Om restleddet, e = Y α β, vet v at Ee = og σ = var e = Ee Ee = Ee. Dermed hvorfor? E e σ =. Om v = hadde kuet ervere e -ee ut fra data hvlket v kke ka, vlle v således kue beytte σ = e som forvetgsrett estmator for σ. σ er mdlertd = ubrukelg sde de kke er erverbar. Me, sde v ka estmere predkere det kke-erverbare restleddet, e, ved de erverbare resduale, e ˆ ˆ ˆ = Y α β, er det aturlg å prøve å erstatte e med e ˆ σ. Ltt algebra som v kke tar her vser å at E eˆ = σ. Dermed hvorfor? får v e forvetgsrett estmator for = σ ved = - som er de som beyttes. V treger e regeformel for eˆ = dee. På gru av måte mkv-estmatoree er kostruert på, ser v at resduale, e ˆ, smpelthe er de stokastske varabele bak resduale, d, defert regr.-iotatet. Av sde otatet får v derfor eˆ = E, der E = å står for de stokastske varabele v får ved å bytte ut alle små y -er med store Y -er. Ved å Av dette får v beytte regel 3 regr.-i-otatet og sette for r= s, får v y y s ˆ β y y E = y = y = y s y s Regel a E forvetgsrett estmator for σ er gtt ved der β ˆ kalt E = = eˆ = y s = s Løvås e = Y ˆ α ˆ β, =,,,, er resdualee fra regresjoe. ˆ b Populasjos-stadardavvket, σ, estmeres valgvs ved ˆ = σ kalt s Løvås Iferes.

5 5 La θ stå for e av de ukjete populasjosstørrelsee, αβµ,, de ˆ θ er forvetgsrett, er stadardfele lk stadardavvket, stadardfel som Løvås beteger med estmatore, =, regel. E, og ˆ θ for mkv estmatore. var ˆ θ. Estmert, fås ved å erstatte de ukjete σ med Tabell er lk s Løvås θ α Mkv estmator ˆ θ ˆ α = Y ˆ β ˆ β = y β s µ ˆ µ ˆ = α + β ˆ Estmert st.fel + s s + s Tester og kofdestervall bygger å på det fudametale teoremet bevst vderegåede teor formulert regel 3, og følger det samme møsteret beskrevet otatee overskt over tester og kofdestervall. Regel 3 a Uder modelle beskrevet 5 gjelder for alle > W ˆ θ θ = ~ t -fordelt t-fordelt med frhetsgrader. b Hvs 3 omtret, er W tlærmet N, -fordelt selv om Y -ee kke er ormalfordelte. Kofdestervall. La t, r betege r-kvatle t -fordelge defert ved PW > t = r., r Av regel 3a får v et eksakt 3 α kofdestervall for θ ˆ θ ± t 7, α E ˆ θ 3 Dee alfae må kke forveksles med kostatleddet alfa regresjosfuksjoe µ = α + β populasjoe Løvås otasjo

6 dvs P ˆ t ˆ ˆ ˆ, α E t, α E θ θ θ θ + θ = α. 6 Tester. La som otatet overskt over tester θ betege e kjet hypotetsk verd av θ. Om de sae verde θ er lk θ eller kke vet v kke. om oversktsotatet vl v bruke samme testervator for dverse tester om θ : ˆ θ θ Testervator: T = Uder regel 3a vl T være t -fordelt som W ku det speselle tlfellet at θ = θ, oe som er tlstrekkelg for å bestemme de krtske verde som vl være e kvatl t - fordelge og p-verde. Tabell Teststuasjo H H Testervator ˆ θ θ ˆ θ θ T ˆ θ θ T = α -vå test: Forkast H hvs T > t α θ θ θ > θ T =, T < t α θ θ θ < θ =, 3 θ = θ θ θ T < t α ellert t, α P verd t er ervert verd av T o, θ= θ > P θ= θ T > t o P θ= θ T < t o P T > t o Merk at hvs 3 omtret ka v bytte ut t-fordelgskvatlee med tlsvarede kvatler N, og oppå e test med tlærmet vå α. Lkeledes uder beregge av p-verder, ka v ata T er tlærmet N, -fordelt. Dette gjelder selv om Y -ee kke er ormalfordelte. Regeeksempel køytedataee fra EM Heerevee 4 Atall ervasjospar: = 7 ute Ervk. svarer tl tde sekuder på 5m kke-stokastsk og Y står for tde sekuder på 5m stokastsk. De fem gruleggede størrelsee, som gjør reste av regresjosbereggee relatvt ekle med kalkulator, får v fra Ecel 4 : Tabell 3 4 Jfr. Ecel-øvelse på slutte av Regr.-I-otatet.

7 7 Observert verd Y s y y 47,98,4 86,57 8,4 6,48637 Ata v tllegg tl regresjosparametree er teressert forvetet td på 5m hvs 5m tde dage før var 6:3 m blak = 39 sek, emlg µ 39 = α + β 39. V fer ervert verd: Estmatet på σ blr dermed: E = y y s 6,5 8 ˆ 4,648 σ = V fer å lett med kalkulator eller Ecel: Tabell 4 Estmator ˆ θ Estmat ˆ θ t. fel ˆα 54,33,6535 ˆβ,44,3 ˆ39 µ 9,85 sek :5 m,6948 V øsker 95% kofdestervall. V treger da kvatle t 5,,5 =,6 fra tabell D5 Løvås. Tabell 5 95% kofdestervall Parameter θ Nedre grese ˆ θ, 6E Øvre grese ˆ θ +, 6E α 8,64 8,396 β,785,6 µ 39 8,4 sek,8 sek :48 m :5 m V øsker å å teste om det er sammeheg mellom og Y det hele tatt, emlg om det er sterk evdes data for at β. Det betyr det geerelle oppsettet at θ å er β og θ =. Testervatore blr her T ˆ θ θ ˆ β E ˆ θ E ˆ β = = og tabell 4 gr ervert verd av testervatore:

8 8,44 = = = 4,59,3 t T Tosdg hypotese: H : β = mot H : β Valgt sgfkasvå: for eksempel 5%. Krtske verder: ± t5,,5 =±,6 Testkrterum 5% sgfkasvå: Forkast H hvs T <, 6 eller T >,6 Koklusjo: Forkast H sde T = 4,59, eller: det er sterk evdes data for at β. I dette tlfellet er det kaskje rmelgere å formulere problemet som esdg ut fra allme vte? om skøyteløpere som deltar all-roud mesterskap: emlg at hvs det er sammeheg, så må de atakelg være postv. I så fall vlle v foretrekke å teste de esdge hypotese uder stedefor: Esdg hypotese: H : β mot H : β > Valgt sgfkasvå: for eksempel 5%. Krtsk verd: t 5,,5 =,78 Testkrterum 5% sgfkasvå: Forkast H hvs T >, 78 Koklusjo: Forkast H sde T = 4,59, eller: det er sterk evdes data for at β >.