NTNU, TRONDHEIM Norges teknisk-naturvitenskapelige universitet Institutt for sosiologi og statsvitenskap SENSORVEILEDNING I SOS1002 HØSTEN 2010 SAMFUNNSVITENSKAPELIG FORSKNINGSMETODE Ansvarlig faglærer: Arild Blekesaune (911 89 768) Eksamensdato: 2. desember 2010 Eksamenstid: 5 timer Studiepoeng: 15 Tillatte hjelpemiddel: Kalkulator (alle typer) Sensurdato: 22. desember 2010 BOKMÅL Alle tre oppgavene skal besvares. De tre oppgavene teller hver en tredjedel av den samlede karakteren. Oppgave 1 Nedenfor ser du en tabell fra den norske delen av European Social Survey 2008. Utvalget skal behandles som et sannsynlighetsutvalg fra populasjonen, hvor alle respondentene er personer på 15 år og eldre som var bosatt i Norge høsten 2008. I undersøkelsen ble informantene først stilt spørsmål A5: Hvor mye tid, alt i alt, bruker du til å lese aviser, på en vanlig ukedag?. Svarkategoriene på dette spørsmålet var: 0 "Ikke noe tid", 1 "Mindre enn en ½ time", 2 "Fra ½ til 1 time", 3 "Mer enn 1 time, opptil 1½ time", 4 "Mer enn 1½, opptil 2 timer", 5 "Mer enn 2 timer, opptil 2½ timer", 6 "Mer enn 2½ timer, opptil 3 timer" og 7 "Mer enn 3 timer". De som svarte 1, 2, 3, 4, 5, 6 eller 7 på spørsmål A5 fikk oppfølgingsspørsmålet A6 Hvor mye av denne tiden bruker du til å lese om politikk og aktuelle samfunnsspørsmål?, og her var svarkategoriene de samme som i spørsmål A5. I tabell 1 har vi kodet om svarene på spørsmål A6 i den nye variabelen Nyhetsleser der kategoriene fra 1 til 7 på spørsmål A6 er kodet om til verdien 1, mens de som svarte Ikke noe tid på spørsmål A6 og alle som ikke hadde valid verdi på spørsmål A6 er kodet med verdien 0. I tillegg har tabellen informasjon om kjønn, alder og utdanning. Forklar hva tabell 1 viser. Tabell 1. Nyhetslesere fordelt etter alder og kjønn (N=1543) Modell1 Modell 2 B S.E. p OR B S.E. p OR Mann (kvinne=0, mann=1) 0,246 0,166 0,139 1,278 0,109 0,601 0,856 1,115 Alder (antall 10-år) 0,304 0,048 0,000 1,356 0,768 0,218 0,000 2,155 Utdanning (antall år) 0,120 0,023 0,000 1,127 0,098 0,033 0,003 1,103 Alder kvadrert -0,052 0,024 0,027 0,949 Samspill menn * utdanning 0,010 0,047 0,838 1,010 Konstant -0,882 0,381 0,021 0,414-1,447 0,537 0,007 0,235 B = logistiske regresjonskoeffisienter S.E. = regresjonskoeffisientenes standardfeil p = signifikanssannsynligheten OR = oddsratioet er antilogaritmen av B (exp(b)) 1
MÅL: Teste studentenes evne til å kunne beskrive det sosiale mønsteret som fremstilles i en logistisk regresjonstabell, og teste ut om studenten klarer å bruke det de har lært av statistiske beregningsteknikker i en slik tolkning. Informasjon for vurderingen av løsningene: Detter er en logistisk regresjonsmodell, og de som tolker denne som om den var en lineær regresjonsmodell har ikke oppnådd minimumsmålet for tolkninger av regresjonsmodeller og bør derfor få karakteren F på denne deloppgaven. Både pensumlitteraturen (Ringdal 2007, kap. 18.8.5) og forelesningene har presentert hvordan logistiske regresjonskoeffisienter kan tolkes i tre skalaer: Logit-, odds-, og sannsynlighetsskalaen. Tolkninger i logitskalaen er mest lik tolkningene av vanlig lineær regresjon, og her skal studentene kunne avgjøre om de uavhengige variablene har statistisk signifikante effekter på den avhengige variabelen, og samtidig kunne tolke om koeffisientene er positive eller negative. Dette må regnes som et minimumskrav for å få godkjent oppgaven. De studentene som i også klarer å trekke ut substansiell informasjon fra koeffisientenes størrelse eller ut fra oddsratioer bør få honnør for dette. De studentene som klarer å gi gode beskrivelser av modellene basert på (1) at de setter opp riktige regresjonslikninger fra en eller flere av modellene, (2) regner ut predikerte logiter for sammenlignbare idealtyper basert på ulike kombinasjoner av verdier på de uavhengige variablene, og (3) regner om disse logitene til sannsynligheter har nådd de læringsmålene om logistisk regresjon som er realistiske på SOS1002 og bør honoreres med gode karakterer. Generelt bør vi forvente at alle foretar tolkninger av signifikans og fortegn, men at de i tillegg kan velge om de vil drøfte størrelsene på sammenhengene ved hjelp av odds eller sannsynligheter. De som da velger å beregne sannsynligheter trenger ikke å drøfte oddsratioene. Tolkning basert på koeffisientenes fortegn og signifikans Alle bør kunne se at ingen av modellene viser signifikante forskjeller i andelen nyhetslesere mellom kvinner og menn, og at andelen avislesere øker med økende utdanning. Det ikkesignifikante samspillet mellom menn og utdanning i modell 2 viser i tillegg at den utdanningseffekten som måles i modell 2 er omtrent den samme for både kvinner og menn. De som ser dette har oppnådd læringsmålene som er satt for tolkning av samspilleffekter. I modell 1 ser vi at andelen nyhetslesere øker med økende alder, og i modell 2 ser vi at denne økningen er størst mellom de yngste aldersgruppene og at forskjellene mellom hvert alderstrinn blir mindre jo eldre informantene er. De som ser dette har også oppnådd læringsmålet for tolkning av kurvelinearitet. Tolkning basert på oddsratioer De som i tillegg velger å kommentere tabellen med utgangspunkt i oddsratioer bør bruke omregningsformelen for å regne om fra OR i tabellen til prosentvise forskjeller i odds. For modell 1 blir dette: Oddsen for at menn leser nyheter blir da 27,8 [100(OR-1)=100(1,278-1)= 27,8] prosent høyere enn oddsen for at kvinner leser nyheter. Oddsen for å lese aviser øker med 35,6 prosent for hver tiårs aldersøkning, mens oddsen for å lese nyheter øker med 12,7 prosent for hvert tiår på utdanningsskalaen. For alder bør det legges vekt på om kandidaten ser at økningen måles i tiårstrinn og ikke i årstrinn, mens utdanning måles i årstrinn. I modell 2 ser vi at oddsen for å lese aviser er 11,5 prosent større blant menn enn blant kvinner, men i denne modellen vil samspillsleddet og den kurvelineære alderseffekten gjøre 2
det vanskelig å sammenligne odds. Mer detaljerte tolkninger av mønsteret i modell 2 bør derfor gjøres med den tredje tolkningsmetoden som bygger på predikerte sannsynligheter. Tolkning basert på predikerte sannsynligheter For å finne beregne sannsynlighetene i modell 1 er det bare å sette opp en enkelt regresjonsligning for å predikere logiter (L = 0,246*mann + 0,304*Alder + 0,120*utdanning 0,882), og sette inn verdier med gode og illustrerende eksempler som dekker mangfoldet i datamaterialet. Deretter må de bruker formelen som er presentert på siste side i oppgaveteksten for å beregne sannsynligheter ut fra disse logitene. Her er det viktig at de ser at alder er kodet i antall 10-år mens utdanning er kodet i antall år. I de eksemplene som ble brukt på forelesningene om logistisk regresjon brukte målte jeg derimot utdanning målt i antall etter avsluttet grunnskole, mens jeg i denne oppgaven har målt utdanningslengde som det totale antallet år med skolegang. De som ser denne forskjellen mellom modellene i oppgaveteksten og de modellene vi har brukt i forelesningene bør få noe ekstra for dette, og de som har drøftet kodingen av utdanningsvariabelen bør få mye ekstra for dette. Gode eksempler på predikerte sannsynligheter kan være: Mann 20 år med 10 års utdanning: L= 1,172 og sannsynligheten blir da 0,764 Kvinne 20 år med 10 års utdanning: L= 0,926 og sannsynligheten blir da 0,716 Mann 70 år med 10 års utdanning: L= 2,692 og sannsynligheten blir da 0,937 Kvinne 70 år med 10 års utdanning: L= 2,446 og sannsynligheten blir da 0,920 Mann 20 år med 14 års utdanning: L= 1,652 og sannsynligheten blir da 0,839 Kvinne 20 år med 14 års utdanning: L= 1,406 og sannsynligheten blir da 0,803 Mann 70 år med 14 års utdanning: L= 3,172 og sannsynligheten blir da 0,960 Kvinne 70 år med 14 års utdanning: L= 2,926 og sannsynligheten blir da 0,949 Det må tillegg legges vekt på om kandidaten klarer å tolke disse prediksjonene på en god måte, og at de klarer å bruke dem til å beskrive hvordan kjønn, alder og utdanning virker inn på sannsynligheten for nyhetslesing. I modell 2 er det først og fremst den kurvelineære alderseffekten som gir oss tilleggsinformasjon i forhold til modell 1, og for kunne se denne effekten for de ulike alderstrinnene viser jeg de predikerte sannsynlighetene for kvinner med 10 års utdanning i ulike aldere. 3
Ut fra denne figuren ser vi at andelen som leser nyheter øker fram til informantene blir rundt 50 år, og at andelene deretter flater ut. Det er sannsynligvis svært få som får tid til å lage et slikt betinget effektplott, men de som har nådd læringsmålet for kurvelineære effekter bør se at økningen er størst blant de yngste. Det er derimot vanskelig å se om kurven vil flate ut eller om den etter hvert vil begynne å gå nedover ut fra koeffisientene alene, og vi legger derfor lite vekt på formen på kurven så lenge kandidaten ikke viser denne i et betinget effektplott. Oppgave 2 Gjør rede for seks av disse ni begrepene. Hver besvarelse skal være på inntil ½ side. MÅL: Teste studentenes kjennskap til sentrale begrep i pensum. Vurderingskriterier: Seks av ni oppgaver skal besvares, og vi bør derfor kun vurdere seks svar også fra de som har besvart alle spørsmålene. Hver besvarelse skal være på inntil ½ side, og det bør tilsi at de bør skrive mer enn en kort definisjon på hvert begrep. Det vil nødvendigvis være en del overlapp mellom disse begrepene, og de som drøfter dette viser helhetlig og faglig moden innsikt i stoffet. Her må vi forlange at studentene har en viss kjennskap til de seks begrepene de velger ut, og de som bommer helt på flere av begrepene bør få karakteren F på denne deloppgaven. Generelt bør vi honorere gode drøftinger. a) Cramers V Ringdals definisjon: Et korrelasjonsmål beregnet på å måle statistisk sammenheng mellom to nominalvariabler i krysstabeller. Det er en normering av kjikvadratet (χ 2 ). b) Falsifiserbarhet Ringdals definisjon: En teori, eller hypotese er falsifiserbar hvis det kan tenkes observasjonsutsagn som strider mot teorien. c) Hypotese Ringdals definisjon: Påstand som direkte eller indirekte går på saksforhold i virkeligheten. d) Måling Ringdals definisjon: Å knytte tall til egenskaper ved analyseenheter etter en regel, eller å knytte empiriske indikatorer til teoretiske begreper. Hele kapittel 4 i Ringdals pensumbok handler om måling i samfunnsvitenskap, så her bør vi forvente mer inngående drøftinger av blant annet målenivåer. De som ser at den første delen av Ringdals definisjon viser til en avgrenset kodeprosess, mens den andre delen av definisjonen viser til en mer omfattende forskningsprosess, bør få god uttelling for dette. e) Populasjon Ringdals definisjon: Den mengde enheter (personer, hushold, organisasjoner, land) en vil at undersøkelsen skal ha gyldighet for. Hvis populasjonen er stor, trekkes det gjerne utvalg til bruk i konkrete undersøkelser. 4
f) Skala Ringdals definisjon: Et sammensatt mål som bygger på effektindikatorer. Kapittel 15 i Ringdal handler om sammensatte mål, og her drøftes forskjellen mellom skalaer (som bygger på effektindikatorer) og indekser (som bygger på årsaksindikatorer) inngående. Her bør vi derfor forvente mer enn bare en enkel definisjon. g) Spuriøs sammenheng Ringdals definisjon: En skinnsammenheng eller en tilsynelatende årsakssammenheng mellom X og Y som skyldes en bakenforliggende variabel Z. Her må vi forvente at studentene presenterer illustrerende eksempler på spuriøse sammenhenger. h) Statistisk generalisering Ringdals definisjon: En metode for generalisering fra et utvalg til en populasjon ved hjelp av statistiske tester og konfidensintervaller. Begge teknikkene bygger på sannsynlighetsteori og krever at utvalget er trukket ved hjelp av sannsynlighetsutvelging. i) Statistisk uavhengighet Ringdals definisjon: Hvis de prosentuerte betingede fordelingene [i en krysstabell] er like og lik marginalfordelingen, er de to variablene i tabellen statistisk uavhengige. Hvis fordelingene er ulike, er det statistisk avhengighet eller statistisk sammenheng (korrelasjon) mellom variablene. Forskjellen mellom statistisk avhengighet og statistisk uavhengighet blir detaljert drøftet i kapittel 13 (s.277-279) som en innledning til kjikvadrattesten, og de også viser til kjikvadrattesten for å teste om det er statistisk avhengighet eller statistisk uavhengighet mellom to variabler viser god kjennskap til pensum. Oppgave 3 MÅL: Teste studentenes evner til å drøfte kvalitative forskningsdesign. OPPGAVEFORMULERING: Livlig Arkitektur (LA) har fått i oppdrag å utvikle et nytt boligområde på Nyhavna i Trondheim. Oppdragsgiver, Trondheim kommune, vil at området skal være særlig attraktivt for barnefamilier, og har bedt LA om å forankre sine design i forskning også på det sosiale feltet, siden tidligere prosjekter om familieboliger i byen ikke har vært vellykkede. I den forbindelse får du, som nyansatt forsker i Kvass Analyse, forskningsoppdrag for LA. a) LA er interessert i å vite hvordan barnefamilier tenker når de bestemmer seg for bolig og nærmiljø. Hvordan kan du ved (kvalitative) intervjuer bidra til noen svar på dette? Hvordan bør intervjuene planlegges og gjennomføres? b) LA er inspirert av det de oppfatter som et familievennlig område på Grünerløkka i Oslo, men de vet for lite om det. De vil gjerne vite noe om hvordan barnefamilier bruker ressursene i denne bydelen og hentyder at det kanskje er mulig å observere. Hvordan kan du gjøre dette? c) LA ser for seg ulike typer boliger for ulike typiske barnefamilier. Du nevner at du kanskje kan forsøke å lage en slags typologi for familiene, på bakgrunn av oppdragene 5
a og b. Hva er en typologi? Skisser gjerne en tenkt typologi innenfor denne oppgavens tema. d) Etter å ha gjennomført oppdraget for LA og fått et klekkelig honorar for arbeidet skriver du en artikkel basert på studien til Sosiologisk tidsskrift og blir utfordret av konsulentene der om å bedre diskutere kvaliteten til studiet ditt. Skisser hva slags kvalitetskriterier som er relevante. SENSORVEILEDNING TIL DEN KVALITATIVE OPPGAVEN: Det forventes at sensor er (eller gjør seg) kjent med pensumboka Tjora (2010) Kvalitative forskningsmetoder i praksis, Oslo: Gyldendal akademisk. (alle deloppgaver teller like mye) Livlig Arkitektur (LA) har fått i oppdrag å utvikle et nytt boligområde på Nyhavna i Trondheim. Oppdragsgiver, Trondheim kommune, vil at området skal være særlig attraktivt for barnefamilier, og har bedt LA om å forankre sine design i forskning også på det sosiale feltet, siden tidligere prosjekter om familieboliger i byen ikke har vært vellykkede. I den forbindelse får du, som nyansatt forsker i Kvass Analyse, forskningsoppdrag for LA. a) LA er interessert i å vite hvordan barnefamilier tenker når de bestemmer seg for bolig og nærmiljø. Hvordan kan du ved (kvalitative) intervjuer bidra til noen svar på dette? Hvordan bør intervjuene planlegges og gjennomføres? SVAR (Tjora 2010, kap 3): Her er det viktig at kandidatene skisserer hva slags hensyn som er viktig i bruk av dybdeintervjuer, tid/sted for intervjuer, valg av informanter, om det er flere som intervjues samtidig. Hvordan man skaffer informanter bør nevnes. Fordi man er interessert i subjektive forhold, bør det i gode besvarelser være påpekt at intervjuer er egnet. Når det gjelder gjennomføring bør kandidaten ha nevnt (og evt skissert hovedpunkter i en) intervjuguide, bruk av opptaker, transkribering etc. En god besvarelse bør skissere gangen i intervjuet, fra oppvarmingsspørsmål, via refleksjonsspørsmål ( grand tour ) til avrundingsspørsmål, gjerne ved bruk av følgende skisse. b) LA er inspirert av det de oppfatter som et familievennlig område på Grünerløkka i Oslo, men de vet for lite om det. De vil gjerne vite noe om hvordan barnefamilier bruker ressursene i denne bydelen og hentyder at det kanskje er mulig å observere. Hvordan kan du gjøre dette? SVAR (Tjora 2010, kap 2): Her bør man komme inn på observasjonsroller (fullstendig deltakelse, fullstendig observasjon, eller interaktiv observasjon) og hvordan man skal kunne registrere data, penn/papir, video, stillbilder, skisser og lignende. Man må gjerne komme inn på etiske forhold, for eksempel ved en diskusjon av det private vs det offentlige rom. 6
c) LA ser for seg ulike typer boliger for ulike typiske barnefamilier. Du nevner at du kanskje kan forsøke å lage en slags typologi for familiene, på bakgrunn av oppdragene a og b. Hva er en typologi? Skisser gjerne en tenkt typologi innenfor denne oppgavens tema. SVAR (Tjora 2010, s 161-164): Det spørres her først og fremst etter hva en typologi er. En typologi er en skjematisk sammenstilling (eller klassifikasjon) av ulike analytiske kategorier, fenomener eller funn, gjerne i tilknytning til mer teoretiske dimensjoner. En firefeltstabell er en av de mest brukte formene for typologi i sosiologien. Om de skisserer en tenkt (gjerne kreativ) typologi for det konkrete tilfellet og bruker dette til å forklare hva dette er, så er det bra. Typologien er å oppfatte som en form for konseptuell generalisering. d) Etter å ha gjennomført oppdraget for LA og fått et klekkelig honorar for arbeidet skriver du en artikkel basert på studien til Sosiologisk tidsskrift og blir utfordret av konsulentene der om å bedre diskutere kvaliteten til studiet ditt. Skisser hva slags kvalitetskriterier som er relevante. SVAR: (Tjora 2010, kap 7) (1) Pålitelighet (reliabilitet) handler om hvorvidt vi oppfatter en klar sammenheng mellom empiri, analyse og resultater i en undersøkelse, og at dette ikke er styrt av personlige, politiske eller andre faktorer som ikke er redegjort for. (2) Gyldighet (validitet) sikres ved å være åpne på hvordan vi praktiserer forskningen, ved å redegjøre for de valg vi tar, og ved å være sensitive for faktorer som er vesentlige innenfor tematikken vår, og om dette endrer seg. Den viktigste sikringen for høy gyldighet er at forskningen pågår innenfor rammene av faglighet, forankret i relevant annen forskning. (3) Generaliserbarhet er en undersøkelses gyldighet utover de tilfeller som har vært utforsket (her kan man ha nevnt (a) naturalistisk generalisering hvor generalisering overlates til leseren på grunnlag av et nøye beskrevet utvalg og design (ikke å anbefale), (b) moderat generalisering som kjennetegnes ved at situasjoner (tider, steder, kontekster og andre variasjoner) for studiens gyldighet beskrives eller (c) konseptuell generalisering hvor man utvikler konsepter (for eksempel typologier) og teorier som vil ha relevans for andre tilfeller enn det (eller dem) som er studert. (4) Transparens betyr gjennomsiktighet og brukes i metodisk sammenheng om hvorvidt og hvordan detaljene i et studium beskrives for lesere. Stor grad av transparens betraktes som positivt for høy forskningsmessig kvalitet. (5) Refleksivitet brukes i denne sammenheng om forskerens evne og vilje til å undersøke eget forskningsarbeid og hvordan personlige interesser og kunnskaper kan ha formet dette. 7