Sensorveiledning til eksamensoppgave i SOS3003 Anvendt statistisk dataanalyse i samfunnsvitenskap

Transkript

1 Institutt for sosiologi og statsvitenskap Sensorveiledning til eksamensoppgave i SOS3003 Anvendt statistisk dataanalyse i samfunnsvitenskap Generell informasjon: I høstsemesteret 2014 ble det ikke gitt undervisning i SOS3003 (Anvendt statistisk dataanalyse på 15 stp), men jeg registrerte at noen av studentene som tok eksamen i emnet fulgte mine forelesninger i SOS3005 (Kvantitative metoder på 7,5 stp). Mitt kurs i SOS3005 ble basert på regresjonsboka til Ole- Jørgen Skog (Å forklare sosiale fenomener) og Stata-boka til Tor Midtbø (Stata. En entusiastisk innføring). Albert Simkus, som var ansvarlig for det siste kurset i SOS3003, baserte seg hovedsakelig på Kristen Ringdals Enhet og mangfold og Alan C. Acocks A Gentle Introduction to Stata, men hadde i tillegg lagt inn mye stoff fra den tidligere pensumboka Regression with Graphics av Larence Hamilton. Den lett forvirrende situasjonen som oppstod med så mange og ulike pensumbøker gjorde at jeg laget en eksamensoppgave med tre svært generelle spørsmål. De tre oppgavene skal telle en tredjedel av den samlede karakteren på eksamensbesvarelsen. Oppgave 1 Beskriv de viktigste forutsetningene for OLS-regresjon, og vis noen metoder som kan brukes for å teste om modellforutsetningene er tilfredsstilt. Veiledning til sensor: De ulike pensumbøkene opererer med litt ulike krav til OLS-modellen. De forutsetningene som trekkes fram i bøkene til Skog og Midtbø kan oppsummeres slik: at regresjonskurven er en rett linje at restleddet er normalfordelt, homoskedastisk og uavhengig mellom observasjonene at sammenhengen mellom den uavhengige og den avhengige variabelen ikke er spuriøs, som vil si at restleddet i modellen er ukorrelert med de uavhengige variabelen. Kristen Ringdal (2013) formulerer to hovedtyper av forutsetninger for OLS-modellen: 1) At modellen er riktig spesifisert a. Alle relevante x-variabler er tatt med, og irrelevante er eliminert. Alle X-variablene oppfattes som faste, det vil si at de er uten målefeil. b. Sammenhengene mellom X-variablene og Y er lineære. c. Modellen er additiv, det vil si at det ikke er samspill (statistisk interaksjon) mellom X- variablene. 2) Regresjonsmodellen bygger også på fire forutsetninger om residualene og en om sammenhengen mellom X-variablene. a. Residualene har et gjennomsnitt på 0 i populasjonen. Merk! Studenter finner sensur i Studentweb. Har du spørsmål om din sensur må du kontakte instituttet ditt. Eksamenskontoret vil ikke kunne svare på slike spørsmål.

2 b. Residualene har lik varians for alle X-variablene, homoskedastisitet. c. Residualene er ukorrelerte med hverandre og med X-variablene. d. Residualene er normalfordelte. e. X-variablene må ikke være perfekt korrelerte, verken parvis, eller gruppevis. Skog og Midtbø har de mest grundige drøftingene av mulige konsekvenser av brudd på på disse forutsetningene, og begge framhever at kravet om en godt spesifisert modell, som vil si kravet om at modellen ikke har skjulte spuriøse effekter, er det viktigste, mens kravet om normalfordelt residual er den minst viktige av disse forutsetningene. Stata har flere metoder for å teste om modellen tilfredsstiller forutsetningene til OLS, og både Acock og Midtbø presenterer flere av disse. Acock skiller i sine drøftinger dessverre dårlig mellom tekniske forutsetninger og andre modellforbedringer som vil kunne forbedre modelltilpasningen uten at de bør inkluderes som forutsetninger. Et eksempel på dette er at han legger for stor vekt på kravet om normalfordelte variabler, og at han overdriver konsekvensene av bruddene knyttet til residualene. Midtbø har den mest oversiktlige gjennomganger av tester knyttet til restleddet (s ) og tester for multikollinearitet, ikke-linearitet (s ). Noen av testene for å identifisere eventuelle brudd på forutsetningene for OLS blir også vist i loggfilen i oppgave 3. Oppgave 2 Beskriv de viktigste forutsetningene for logistisk regresjon, og vis noen metoder som kan brukes for å teste om modellforutsetningene er tilfredsstilt. Veiledning til sensor: Skog beskriver de viktigste forutsetningene for logistisk regresjon slik: at sammenhengen mellom variablene er S-formet og kan beskrives med den logistiske funksjonen, som vil si en rett linje på logit-skalaen. at de enkelte observasjonene er uavhengige av hverandre, men har ingen forutsetninger knyttet til restleddet. at sammenhengen mellom den uavhengige og den avhengige variabelen ikke er spuriøs. Det vil si at forutsetningene til riktig modellspesifisering blir omtrent de samme som for OLS, men at forutsetningene knyttet til restleddet ikke gjelder for den logistiske regresjonsmodellen. I mine forelesninger i SOS3005 la jeg liten vekt på Stata-testing av forutsetningene til logistiske regresjonsmodeller, og det står heller ingen ting om dette i Stata-boka til Midtbø, og Acock har heller ingen systematisk gjennomgang av slike tester i boka A Gentle Introduction to Stata. Vi bør likevel forvente at de beste studentene klarer å besvare oppgaven ut fra de mer generelle begrunnelsene, særlig knyttet til heteroskedastisitet, som brukes for å velge en logistisk regresjonsmodell fremfor en OLS-modell når vi har en dikotom avhengig variabel, og at de har en viss kjennskap til det spesielle diskrimineringsproblemet som kan oppstå i logistiske regresjonsmodeller med små utvalg. Oppgave 3 Vedlegg 1 gjengir en loggfil fra statistikkprogrammet Stata, og viser en analyse av data fra Arbeidsmarkedsundersøkelsen fra Forklar hva denne loggfilen viser. Veiledning til sensor: I den vedlagte loggfilen viser jeg en stegvis oppbygging av en OLS-modell med logtransformert timelønn som avhengig variabel. Studentene bør da vite at en slik logaritmisk omkoding gjør at koeffisientene ikke lenger måler absolutte endringer, men at de kan tolkes som relative (prosentvise) Side 2 av 12

3 endringer. I slike semilogaritmiske modeller kan små koeffisienter som f.eks. b 1 =0.08 beskrives som at ett trinnsøkning på den uavhengige variabelen fører til 8 prosent økning i den avhengige (100*b 1 ). Hvis koeffisienten er stor vil ikke dette lenger stemme, og da vil prosentøkningen være 100*[e b -1]. Litteraturen er litt uenig i når koeffisientene er så store at vi må bruke denne omregningen, men de fleste vil nok være enige om at koeffisientene i den vedlagte modellen er så små at de kan beskrives som enkel prosentvis økning. Trondheim Arild Blekesaune Side 3 av 12

4 Vedlegg 1. describe time89 kvinne alder utd forfremmet bedriftserfaring privat klasse storage display value variable name type format label variable label time89 double %10.0g Gjennomsnittlig timelønn 1989 kvinne double %10.0g Respondentens kjønn alder double %10.0g Alder i antall år utd double %10.0g År utdanning forfremmet double %11.0g forfremmet Noen gang forfremmet, fra A135 bedriftserfar~g double %10.0g Bedriftserfaring i antall år privat double %12.0g privat Privat eller offentlig sektor klasse89 double %27.0g klasse Goldthorpes klasse * Logaritmisk transformasjon av den den avhengige variabelen. gen lntime=ln(time89). * Univariat presentasjon av variablene i modell 1, 2 og 3. summ lntime kvinne alder utd forfremmet bedriftserfaring privat ib5.klasse89 Variable Obs Mean Std. Dev. Min Max lntime kvinne alder utd forfremmet bedriftser~g privat klasse89 Øvre serv Nedre ser Rutinefunk Faglært arb Side 4 av 12

5 . * Modell 1. reg lntime kvinne alder utd forfremmet bedriftserfaring privat Source SS df MS Number of obs = F( 6, 3673) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lntime Coef. Std. Err. t P>t [95% Conf. Interval] kvinne alder utd forfremmet bedriftserfaring privat _cons Side 5 av 12

6 . * Modell 2: Goldthorp klasse med ufaglært arbeider som refreansekategori.. reg lntime kvinne alder utd forfremmet bedriftserfaring privat c.alder#c.alder ib5.klasse89 Source SS df MS Number of obs = F( 11, 3668) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lntime Coef. Std. Err. t P>t [95% Conf. Interval] kvinne alder utd forfremmet bedriftserfaring privat c.alder#c.alder klasse89 Øvre service Nedre service Rutinefunk Faglært arb _cons testparm c.alder#c.alder ib5.klasse89 ( 1) c.alder#c.alder = 0 ( 2) 1.klasse89 = 0 ( 3) 2.klasse89 = 0 ( 4) 3.klasse89 = 0 ( 5) 4.klasse89 = 0 F( 5, 3668) = Prob > F = Side 6 av 12

7 . * Modell 3. reg lntime kvinne alder utd forfremmet bedriftserfaring privat c.alder#c.alder ib5.klasse89 c.kvinne# > c.utd c.kvinne#c.privat Source SS df MS Number of obs = F( 13, 3666) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lntime Coef. Std. Err. t P>t [95% Conf. Interval] kvinne alder utd forfremmet bedriftserfaring privat c.alder#c.alder klasse89 Øvre service Nedre service Rutinefunk Faglært arb c.kvinne#c.utd c.kvinne#c.privat _cons testparm c.kvinne#c.utd c.kvinne#c.privat ( 1) c.kvinne#c.utd = 0 ( 2) c.kvinne#c.privat = 0 F( 2, 3666) = Prob > F = Side 7 av 12

8 . * Variance Inflatin Factor modell 3. vif Variable VIF 1/VIF kvinne alder utd forfremmet bedriftser~g privat c.alder# c.alder klasse c.kvinne# c.utd c.kvinne# c.privat Mean VIF * Diagnoseplott. rvpplot kvinne, yline(0) // Se Figur 1. rvpplot alder, yline(0) // Se Figur 2. rvpplot utd, yline(0) // Se Figur 3. rvpplot forfremmet, yline(0) // Se Figur 4. rvpplot bedriftserfaring, yline(0) // Se Figur 5. rvpplot privat, yline(0) // Se Figur 6. * Residualplott. predict residual, r. histogram residual // Se Figur 7 (bin=35, start= , width= ). end of do-file Side 8 av 12

9 Figur Respondentens kjønn Figur Alder i antall år Side 9 av 12

10 Figur År utdanning Figur Noen gang forfremmet, fra A135 Side 10 av 12

11 Figur Bedriftserfaring i antall år Figur Privat eller offentlig sektor Side 11 av 12

12 0.5 1 Density Figur Side 12 av 12