NTNU Norges teknisk-naturvitenskapelige universitet Institutt for sosiologi og statsvitenskap SENSORVEILEDNING I SOS1002 SAMFUNNSVITENSKAPELIG FORSKNINGSMETODE Eksamensdato: 30. november 2009 Eksamenstid: 5 timer Studiepoeng: 15 Antall sider bokmål: 2 (+ formler) Antall sider nynorsk: 2 (+ formler) Number of pages in English: 2 (+ formulas) Tillatte hjelpemiddel: Kalkulator (alle typer) Sensurdato: 21. desember 2007 Faglig kontakt under eksamen: Arild Blekesaune (73 59 17 54) Sensurtelefon 815 48014 BOKMÅL Alle oppgavene tre oppgaver skal besvares. De tre besvarte oppgavene teller hver en tredjedel av den samlede karakteren. Oppgave 1. Tabell 1 viser flere regresjonsmodeller basert på data fra det norske, irske og slovakiske utvalget fra ESS2006. Den avhengige variabelen i disse regresjonsmodellene er basert på spørsmålet Bruk dette kortet, og vis hvor ofte du bruker internett, World Wide Web eller e- post til privat bruk, enten hjemme eller på jobben?, der de som har svart det høyeste alternativet Hver dag har blitt kodet med verdien 1 mens de som oppgir at de bruker internett sjeldnere enn dette har blitt kodet med verdien 0. I variabelen Irland er alle fra det irske utvalget kodet med verdien 1 mens alle andre er kodet med verdien 0, og i variabelen Slovakia er alle fra det slovakiske utvalget kodet 1 mens alle andre har verdien 0. Norge blir da en referansekategori som de to andre landene sammenlignes med. Kjønn er målt med variabelen Mann, der menn har verdien 1 og kvinner verdien 0. Alder angir informantenes alder i antall år da undersøkelsen ble gjennomført i 2006, og utdanning er målt i antall år med fullført utdanning. Forklar hva tabell 1 viser. Tabell 1. Logistiske regresjonsmodeller for daglig internettbruk i Norge (n1746), Irland (n1642) og Slovakia (n1674). B S.E. p OR B S.E. p OR B S.E. p OR Konstantledd -0,030 0,048 0,534 0,971-0,856 0,186 0,000 0,425-0,489 0,245 0,046 0,613 Irland -1,143 0,075 0,000 0,319-1,228 0,084 0,000 0,293-2,186 0,371 0,000 0,112 Slovakia -1,454 0,079 0,000 0,234-1,624 0,088 0,000 0,197-1,995 0,382 0,000 0,136 Mann 0,509 0,070 0,000 1,663 0,510 0,070 0,000 1,665 Alder -0,043 0,002 0,000 0,957-0,043 0,002 0,000 0,957 Utdanning 0,185 0,011 0,000 1,203 0,158 0,016 0,000 1,172 Utdanning*Irland 0,069 0,026 0,008 1,072 Utdanning*Slovakia 0,027 0,027 0,324 1,027-2 Log likelihood 5815,743 4948,052 4940,840 B logistiske regresjonskoeffisienter S.E. regresjonskoeffisientenes standardfeil p signifikanssannsynligheten OR oddsratioet er antilogaritmen av B (exp(b)) 1
MÅL: Teste studentenes evne til å kunne beskrive det sosiale mønsteret som fremstilles i en logistisk regresjonstabell, og teste ut om studenten klarer å bruke det de har lært av statistiske beregningsteknikker i en slik tolkning. Informasjon for vurderingen av løsningene: Både pensumlitteraturen (Ringdal 2007, kap. 18.8.5) og forelesningene har presentert hvordan logistiske regresjonskoeffisienter kan tolkes i tre skalaer: Logit-, odds-, og sannsynlighetsskalaen. Tolkninger i logitskalaen er som vanlig lineær regresjon, og her skal studentene kunne avgjøre om de uavhengige variablene har statistisk signifikante effekter på den avhengige variabelen, og samtidig kunne tolke om koeffisientene er positive eller negative. Dette må regnes som et minimumskrav for å få godkjent oppgaven. De studentene som i tillegg til dette klarer å trekke ut substansiell informasjon fra koeffisientenes størrelse eller ut fra oddsratioer bør få honnør for dette. De studentene som i tillegg klarer å gi gode beskrivelser av modellene basert på (1) at de setter opp riktige regresjonslikninger fra en eller flere av modellene, (2) regner ut predikerte logiter for sammenlignbare idealtyper basert på ulike kombinasjoner av verdier på de uavhengige variablene, og (3) regner om disse logitene til sannsynligheter har nådd de læringsmålene om logistisk regresjon som er realistiske på SOS1002 og bør honoreres med gode karakterer. Tolkning basert på koeffisientenes fortegn og signifikans Alle bør kunne se at enhetene i det irske utvalget har lavere sannsynlighet for å bruke internett daglig enn enhetene i det norske utvalget som er referansekategorien. Videre bør alle kunne se at enhetene i det slovakiske utvalget har lavere sannsynlighet for å bruke internett daglig enn enhetene i det norske utvalget. I tillegg er det kanskje noen som ser at sannsynligheten for å bruke internett er lavere i Slovakia enn i Irland. De som vil teste ut om det er forskjell mellom disse to landene vil sannsynligvis se på differansen mellom de to koeffisientene for Irland og Slovakia B diff (-1,143) (-1,454)0,311, men etter som de ikke har lært hvordan de kan beregne standardfeilen for differanser mellom to koeffisienter kan de heller ikke avgjøre om denne forskjellen er statistisk signifikant eller ikke. Beregninger vil kunne vise at internettbruken i Irland er statistisk signifikant høyere enn i Slovakia (t diff 0,311/0,0863,616). I tolkningen av modell 2 bør det komme fram at menn har høyere sannsynlighet for å bruke internett enn kvinner, at sannsynligheten for å bruke internett går ned for hvert alderstrinn, og at sannsynligheten for å bruke internett daglig øker med økende utdanningslengde. I modell tre er det lagt inn to samspilledd som tester ut om utdanningseffektene vil variere mellom de tre landene i utvalget. Av signifikansverdien (p-verdien) ser vi at utdanningseffekten er signifikant sterkere i Irland enn i Norge, men at det ikke er statistisk signifikant forskjellig utdanningseffekt mellom Slovakia og Norge. Tolkning basert på oddsratioer De som velger å kommentere tabellen med utgangspunkt i oddsratioer bør bruke omregningsformelen for å regne om fra OR i tabellen til prosentvise forskjeller i odds. 2
For modell 1 blir dette: Oddsen for å bruke internett daglig i Irland blir da 68,1 [100(OR-1)100(0,319-1) -68,1] prosent lavere enn for Norge, og oddsen for Slovakia blir 76,6 [100(OR-1)100(0,234-1) -76,6] prosent lavere enn for Norge. I modell 2 ser vi at oddsen for å bruke internett daglig er 66,3 prosent høyere for menn enn oddsen for kvinner, at oddsen går ned med 4,6 prosent for hvert år med aldersøkning, og at oddsen øker med 20,3 prosent for hvert år med utdanning. Modell 3 viser at oddsen for å bruke internett daglig øker med ytterligere 7,2 prosent for hvert år utdanning i Irland, mens den øker med 2,7 prosent for hvert år utdanning i Slovakia. Tolkning basert på predikerte sannsynligheter De predikerte sannsynlighetene for den første modellen er: Norge: L N -0,030 + (-1,143*0) + (-1,454*0) -0,030 1 1 ˆP N -Lˆ 0,493 -(-0,030) 1+ e 1+ e Som vil si at ca 49 prosent bruker internett daglig. Irland: L I -0,030 + (-1,143*1) + (-1,454*0) -1,173 1 1 ˆP I -Lˆ 0,236 -(-1,173) 1+ e 1+ e Som vil si at ca 24 prosent bruker internett daglig. Slovakia: L S -0,030 + (-1,143*0) + (-1,454*1) -1,484 1 1 ˆP S -Lˆ 0,185 -(-1,484) 1+ e 1+ e Som vil si at ca 19 prosent bruker internett daglig. Som et løsningseksempel av tilsvarende predikerte sannsynligheter for de andre modellene kan vi beregne sannsynlighetene for internettbruk for menn på 40 år med 12 års utdanning. Sannsynlighetene blir da: Norge: Modell 2: L 0,153; P 0,538 Modell 3: L 0,197; P 0,549 Irland: Modell 2: L -1,075; P 0,254 Modell 3: L -1,161; P 0,238 3
Slovakia Modell 2: L -1,471; P 0,187 Modell 3: L -1,474; P 0,186 For å få fram mer informasjon om de ulike utdanningseffektene i Norge, Irland og Slovakia i modell 3 kan vi sette opp et betinget effektplot for forholdet mellom utdanningslengde og internettbruk for 40-årige menn i de tre landene. Dette vil da se sånn ut: Her ser vi tydelig at forskjellen mellom Norge og Irland utjevner seg med økende utdanningslengde, og at forskjellen i utdanningseffekt mellom Norge og Slovakia ikke utjevner seg like mye. I tabell 1 har vi også presentert statistikk for hver hele modell som -2LL. Tolkningen av denne modellstatistikken er presentert på side 417 i Ringdal. De som beskriver disse målene bør få med at endring fra modell 1 til modell 2 er χ 2-2LL 1 - +2LL 2 5815,743-4948,052 867,691, og etter som modell 2 har tre flere uavhengige variabler blir antallet frihetsgrader lik 3. I den vedlagte kjikvadrattabellen finner vi at den kritiske verdien på 5%-nivå for χ 2 med 3 frihetsgrader er 7,82, og vi kan derfor slå fast at modell 2 representerer en statistisk signifikant forbedring i forhold til modell 1. Tilsvarende endring fra tabell 2 til tabell 3 viser at χ 2 øker med 7,212 og at den kritiske verdien for 5%-nivå med økning på to frihetsgrader er 5,99. Det vil si at modell 3 også er en statistisk signifikant forbedring i forhold til modell 2. Det er neppe særlig mange som klarer å utnytte alle disse teknikkene i sine besvarelser, men alle nevnte metoder i presentert i pensum og alle unntatt endring i -2LL er gjennomgått på forelesning. 4
Oppgave 2 MÅL: Teste studentenes kjennskap til sentrale begrep i pensum. Vurderingskriterier: Seks av åtte oppgaver skal besvares, og vi bør derfor kun vurdere seks svar også fra de som har besvart alle spørsmålene. Hver besvarelse skal være på inntil ½ side, og det bør tilsi at de bør skrive mer enn en kort definisjon på hvert begrep. a) Type-I og type-ii-feil Ringdals begrepsdefinisjoner: Type-I-feil er sannsynligheten for å forkaste en sann nullhypotese i en statistisk test. Sannsynligheter for type-i-feil er lik signifikansnivået. Type-II-feil (β) er sannsynligheten for å unnlate å forkaste en gal nullhypotese i en statistisk test. Teststyrken er definert som 1 β. b) Cronbachs alfa Ringdals definisjon: Måler intern konsistens og er det mest benyttede målet på reliabilitet. c) Residual Ringdals definisjon: I en regresjonslikning er r. forskjellen mellom observert og predikert verdi av Y, eller mer presist (bivariat regresjon): e i Y i (b 0 + b 1 X i ). d) Frihetsgrader (df) Ringdals definisjon: Kjikvadrat- t- og F-fordelingene varierer alle etter antall frihetsgrader. e) Pearsons r Ringdals definisjon: Det mest kjente korrelasjonsmålet. Krever kontinuerlige variabler, men kan anvendes også i andre situasjoner. f) Kurvelineær sammenheng Ringdals definisjon: En bøyet regresjonslinje som kan fremstilles ved hjelp av andregradsledd. g) Deltagende observasjon Ringdals definisjon: Forskeren foretar åpen observasjon av et avgrenset felt. h) Forklar hvorfor variabler på nominalnivå (og ofte ordinalnivå) dummykodes. Forklar så hvordan man tolker et dummysett i en regresjonstabell. Ringdals definisjon: Dummy-variabel: Har to verdier, 0 og 1. Kan brukes til å representere kategori-variabler slik som kjønn i regresjonsanalyser. 5
Oppgave 3 MÅL: Teste studentenes evner til å drøfte kvalitative forskningsdesign. Du jobber som konsulent i selskapet GRED (en forkortelse for gode råd er dyre ) og får i oppdrag å designe en kvalitativ undersøkelse for Turistforeningen om hva slags forhold hyttebrukere har til foreningens hytter. Arbeidet skal gjøre i løpet av en sommer og du selv skal også gjøre selve datainnsamlingen og analyse. a) Nevn kort hvilke kvalitative datainnsamlingsmetoder man kan benytte i dette tilfellet og punktvis hva som kan være fordeler og ulemper med de ulike. Skisser for de ulike metodene hvordan du konkret ser for deg tilgangen til informanter (hyttebrukere). Løsning: Observasjon, intervju og dokumentstudier er de tre sentrale her, men andre kan gjerne nevnes. Det forventes at studentene kan leve seg inn i hvordan tilgang kan skje, enten i løpet av hyttebrukernes hyttebesøk eller ved at de på annen måte oppsøkes. At man ber hyttebrukerne svare på åpne spørsmål skriftlig, mens de er på hyttene kunne tenkes som en mulig løsning dette spesielle tilfellet. b) Det viser seg at foreningen er spesielt opptatt av det sosiale miljøet på de selvbetjente hyttene (det vil si hytter uten ansatte). Hvordan kan dette utforskes? Løsning: Her er det sentrale at det ikke finnes personale som kan bistå. Og at det er det sosiale miljø, altså en form for praksis eller situasjon, som skal studeres. Deltakende observasjon (eller observasjon som deltaker) hvor forskeren selv opptrer som hyttegjest er det mest umiddelbare. Intervjuer kan brukes dersom man er opptatt av hvordan miljøet oppleves av gjestene. De kandidatene som diskuterer slike forskjeller i intervju- og observasjonsdata bør belønnes godt. c) Skisser ulike observasjonsroller og hvilke praktiske og etiske hensyn som er relevante for dem? Løsning: Det er skissert fire ulike roller (fullstendig deltaker, fullstendig observatør, observerende deltaker og deltakende observatør forskjellen på de to siste ligger i hva som er primær aktivitet). Praktiske hensyn handler om mulighet til å gjøre notater eller opptak, mulighet til å være til stede i situasjoner hvor praksis utspiller seg (for eksempel en dagligstue). Etikken vil handle mye om at forskeren tilkjennegir seg sin status i all hovedsak, slik at de som blir observert kan velge å ikke delta i forskningen. De to første rollene er etisk diskutable. For eksempel må man diskutere om hyttene er for små/intime til at man kan betrakte dem som offentlige rom, selv om de er fritt tilgjengelig, og at den ellers attraktive rollen fullstendig deltaker er vanskelig å forsvare. Lignende diskusjoner kan tas om alle de fire rollene. 6
d) Redaktøren for Sosiologisk tidsskrift får senere høre om det glimrende arbeidet ditt og inviterer deg til å skrive en vitenskapelig artikkel fra undersøkelsen. Han ber deg spesielt poengtere hvordan undersøkelsen kan generaliseres. Skisser relevante former for generalisering. Er det spesielle etiske hensyn som må ivaretas i forbindelse med presentasjon av empiri i tidsskriftsartikkelen? Løsning: Generalisering (3 typer i tillegg til muligheten p ta avstand fra dette siden dette er et oppdrag): Naturalistisk generalisering: Man kan i rapporteringen av forskningen redegjøre godt nok for detaljene i for eksempel et case, til at leseren selv kan vurdere hvorvidt funnene vil ha gyldighet for eksempel for leserens eget case. Moderat generalisering: Generalisering kan tenkes i en mer kvantitativ forstand, hvor det er opp til forskeren å beskrive for hvilke situasjoner (tider, steder, kontekster og andre variasjoner) resultatene vil kunne være gyldige. Konseptuel generalisering: Man kan ved kvalitativ forskning utvikle konsepter, typologier eller teorier som vil ha relevans for andre case. De etiske hensynene når det publiseres handler i hovedsak om anonymisering for å beskytte identiteter til folk som er intervjuet eller observert. e) Du poengterer i din rapport til foreningen at ordet datainnsamling som de bruker i oppdraget ikke er helt godt. Hvorfor er det ikke dette ordet presist? Løsning: Ordet datagenerering beskriver mer presist hvordan data utvikles, i interaksjon mellom intervjuer og informant, dersom vi for eksempel snakker om intervjuer. Oppgaven er strengt tatt en liten godbit for A- og B-kandidatene, og en god diskusjon av dette må belønnes godt, siden det inngår i en helt sentral debatt om hva forskningsdata representerer. (Og det er ikke helt uvanlig at man i oppdragsforskning må "utdanne" sine oppdragsgivere for at de skal få mest mulig ut av den analysen de har bestilt. Så det kunne vært relevant i en reell situasjon å redegjøre for de to aktuelle begrepene.) 7
Formler som kan komme til nytte: Kjikvadratet: 2 (O E) E 2 χ der O er observert fordeling, og E er fordeling ved statistisk uavhengighet 1 ˆP -Lˆ der P sannsynlighet og L er predikert logit (L β 0 + β 1 X 1 + β 2 X 2 + + β k X k ) 1+ e k ρ Cronbachs alfa: α der ρ står for Pearsons r, og k er antallet indikatorer 1 + ρ (k 1) (Xi X)(Yi Y) Pearsons r: r, der s ss(n 1) x y x (X1 X) n 1 2 og s y (Y1 Y) n 1 2 Sannsynlighetstabeller som kan komme til nytte: Andel av normalfordelingen som ligger mer enn Z standardavvik over gjennomsnittet, for noen utvalgte verdier av Z: Prosent av norm alfordelingen som ligger over verdien Z M + Z s 0 5 0 0,5 30,8 1 1 5,9 1,28 10 1,5 6,5 1,65 5,0 1,96 2,5 2 2,3 2,33 1,0 2,5 0,62 2,57 0,5 3 0,1 4 Kritiske verdier for kjikvadratet: Antall Sannsynlighet frihetsgr. 0,99 0,90 0,50 0,20 0,10 0,05 0,02 0,01 0,001 1 0,0002 0,02 0,46 1,64 2,71 3,84 5,41 6,64 10,83 df 2 0,02 0,21 1,39 3,22 4,61 5,99 7,82 9,21 13,82 3 0,12 0,58 2,37 4,64 6,25 7,82 9,84 11,34 16,27 4 0,30 1,06 3,36 5,99 7,78 9,49 11,67 13,28 18,47 5 0,55 1,61 4,35 7,29 9,24 11,07 13,39 15,09 20,52 6 0,87 2,20 5,35 8,56 10,65 12,59 15,03 16,81 22,46 8