Utvalget. Ottar Hellevik. Praktisk metode: Spørreundersøkelsens mange fallgruver, og råd for å sikre pålitelige resultater

Transkript

1 Ottar Hellevik Praktisk metode: Spørreundersøkelsens mange fallgruver, og råd for å sikre pålitelige resultater Statsviterkonferansen i Bergen 19-20/ Utvalget Sannsynlighetsutvelging velprøvd og velkjent. Et økende problem: bortfall. Telefonintervju: prosent respons. Telefon + postenquete: 10 prosent. Veiing. Oversampling av unge. Bortfallet tilfeldig eller systematisk?

2 Test av utvalget: Samsvar med valgresultatet Valget Monitor Valget Monitor Valget Monitor Valget Monitor Valget Monitor A FP H SV KF SP V Annet 1997 (St) 2001 (St) 2005 (St) 2009 (St) 2011 (Ks) Avvik: Valgresultat Monitor (%) A FP H KF SP SV V Annet Underrepresentert i Monitormålingen Overrepresentert i Monitormålingen Snitt

3 Ikke-tilfeldig utvelging: Innringingsmålinger Reagerer du negativt på svart arbeid? Holmgang (Innringing i TV-program) Ja ; 30 Nei; 70 Opinion (meningsmåling) Ja ; 62 Nei; 38 Er parkeringsvaktene for grådige, eller gjør de bare jobben sin? Standpunkt (Innringing i TV-program) Grådige; 96 Jobben; 4 Respons (meningsmåling) Grådige; 34 Jobben; 66 Utviklingen for gudstro (%) Tror på Gud Tror ikke på Gud

4 Eksempler på synkende regelrespekt Prosent Kan ikke aksepteres å Røyke hasj Snike på trikk/ buss Beholde feil vekslepenger Beholde penger en finner Kjøre for fort Eksempler på stabil regelrespekt Prosent Kan ikke aksepteres å Kjøre med promille Ta håndkle fra hotellrom Skulke jobben Vente med regning

5 90 80 Eksempler på stigende regelrespekt Prosent Kan ikke aksepteres å Snyte på skatten Svindle forsikringsselskap "Filme" seg til straffe i fotball 20 Brenne hjemme Økende bruk av internettpaneler Instituttene rekrutterer et panel av personer som er villige til å delta, utvalget trekkes fra dette. Respondentene kan selv velge når de vil svare, kan redusere bortfall. Men er internettbrukere representative for hele befolkningen? Internettdekningen er nå på over 90 prosent. Men lavere for eldre. Og de eldre som er på nett, er ikke representative for gruppen (har høyere utdanning). Kan føre til skjevheter i resultatene for eldre, dersom svarene er påvirket av utdanningsnivå. I internett-undersøkelse fra 2011 var eldre mer positive enn yngre når det gjaldt innvandringens betydning for norsk kultur. I vanlig utvalg (telefonintervju/postalenquete), svarte de eldre minst positivt på samme spørsmålet. Mao forskjellig inntrykk av sammenhengen med alder.

6 Overdreven fokus på signifikans I surveyforskning er utvalgene som regel så store at signifikans ikke er noe problem, med mindre en er interessert i meget svake sammenhenger. Mao er tilfeldige utvalgsfeil som regel ikke en relevant forklaring på et funn. Med store utvalg er selv ubetydelige forskjeller signifikante. Disse må ha klar vitenskapelig eller praktisk betydning for å være interessante. Problem at styrken ofte ikke oppgis når resultater publiseres. X øker sjansen for Y er det eneste som oppgis, ikke hvor mye. I logistisk regresjon er målene så vanskelige å tolke at mange av den grunn nøyer seg med å kommentere sammenhengers signifikans. Test av hypoteser / teorier må ta styrken på en sammenheng i betraktning, ikke nøye seg med å undersøke signifikans. Måleproblemer Feiltolking av spørsmålene

7 Spørsmålsutformingens betydning Jeg er villig til å gi avkall på varer og tjenester jeg nå bruker, hvis jeg med det kunne bidra til å bevare våre naturressurser: Helt/delvis enig - uenig Jeg er opptatt av hva jeg personlig kan gjøre for å verne om miljø og naturressurser: Stemmer meget godt - ganske godt - litt - ikke i det hele tatt Disse to spørsmålene er brukt for å måle Helt/delvis styrken enigi en persons miljøengasjement. 82 Hvilket av dem viser den høyeste andelen som er miljøengasjerte? Stemmer Er meget/ganske det flest som sier seg enige 44 i den første godtpåstanden, eller er det flest som svarer at den andre beskrivelsen Stemmer stemmer megetmeget/ganske godt for dem 13 selv? godt Norsk Monitor 1995 Ifølge Amnesty mener 1 av 2 norske menn at kvinner selv har skylden dersom de blir voldtatt

8 Betyr delvis ansvarlig at de har skylden for? Både i Norge og Storbritannia fikk en omtrent samme resultat som for menn når det var kvinner som svarte. Måleproblemer Betydningen av svarskalaen: Ja-siing

9 Illustrasjon av ja-siing (respons-set) Indeks for verdiparet spontanitet - rigiditet SPØRSMÅL Helt Delvis Vet Delvis Helt enig enig ikke uenig uenig A) I hverdagslaget liker jeg å planlegge i detalj og vite på forhånd hva jeg skal gjøre B) Man bør i større grad følge sine innfall, og ikke være så bundet av regler og rutiner INDEKS: Ja-sier : 4 poeng (midt på skalaen) = Vet ikke Klart rigid: 8 poeng (ekstrem skalaplassering) Sum A + B: Varierer 0 poeng (spontanitet) og 8 (rigiditet) Liker å Konsistente / inkonsistente svar 38% 60% Ja-siere planlegge Følge sine innfall Enig Usikker Uenig SUM Enig Usikker Uenig SUM Norsk Monitor Nei-siere

10 Utviklingen for konsistens i svarene på påstandene i indeksen for rigiditet-spontanitet (NM. %) Inkonsistente svar Konsistente svar Utnytte ja-siings-bonus : Bruke én eneste enig-uenig påstand som støtter eget syn Det er for mye statlig innblanding og regulering i dagens samfunn Selv anerkjente bedrifter kan komme til å lage dårlige og uholdbare ting hvis ikke myndighetene fører kontroll Helt uenig Delvis uenig Norsk Monitor Umulig å svare Delvis enig Helt enig Ja-siing gir det alternativet en skal si seg enig i en bonus, ved at en del personer uten en klar mening likevel sier seg enig. Figuren: En påstand negativ til offentlig regulering (blå), den andre positiv (rød). Hvis vi ønsket å vise at skepsisen er stor (opinionen er blå ), ville vi ved hjelp av den første påstanden få en overvekt av reguleringskritiske svar på 55 (enig) 40 (uenig) = 15. Konklusjon: Blå tendens. Den andre påstanden gir motsatt overvekt av kritiske over positive svar: 26 (uenig) 68 (enig) = -42. Konklusjon: Klart rød dvs. reguleringsvennlig tendens.

11 Bedre spørsmålsform: Likeverdige alternativer A og B diskuterer helse- og sosialomsorgen i Norge. Hvem er du mest enig med? A sier: Problemene i helsevesen og eldreomsorg skyldes at bevilgningene er for små. B sier: Det bevilges nok midler til helsevesen og eldreomsorg, men de brukes ikke effektivt nok Norsk Monitor 2005 A? B Måleproblemer Spørsmålstype: Vurdering versus rangering

12 Vurdering versus rangering Aftenposten , s. 8-9 Rangering feiltolkes som vurdering Svarene gjelder ikke troverdighet i absolutt forstand. Selv om de fleste oppfatter NRK som mer troverdige enn TV2, er det likevel mulig at de mener at TV2 har høy troverdighet. Måleproblemer Erindringsspørsmål

13 Erindringsfeil for stemmegivning ved siste valg (Prosent av stemmeberettigede som sa de stemte FRP ved stortingsvalget i 1985) Valg 1985: 3,1% Valg 1987: 7,2% 8 7 Økningen i antall gamle FRP-velgere viser at mange nå oppgir feil parti (eks.: FRP i stedet for H) ved valget i Resultat januar 2007 (%): Svekket: 73 - Ikke svekket 17 - Vet ikke 10. Problemene med et slikt spørsmål: Ledende: Hele situasjon innbyr til å svare svekket ( styrket ikke svaralternativ). - Uklart om det spørres etter egen mening eller inntrykket av den allmenne opinionen. -Erindringselement: Respondentene skal sammenlikne sin oppfatning nå og før Vallasaken. -Bedre alternativ: tidsserier. Okt Aug Mai Mar J88 Nov Sep Jun Apr Feb Des Okt Aug Mai Mar J86 Nov S85 0

14 Meget/ganske stor tiltro til LO (Norsk Monitor%) Januar 2007? Meget/ganske stor tiltro til LO (Norsk Monitor%) Januar

15 Undersøkelsesopplegget Intervjuereffekt Betydningen av intervjumetode (intervjuereffekt) Prosent som mener det ikke kan godtas å: Selvutfylling Personlig intervju Snike på trikk/buss Snyte forsikringsselskap Beholde feil veksel Ta håndklær fra hotell Beholde penger funnet Bli hjemme fra jobben MMI Norsk Monitor 1997 Gallup 1997

16 Dramatisk fall i religiøsitet i Norge? Personlig intervju For at resultatene fra ulike undersøkelser skal kunne sammenliknes, må samme opplegg være fulgt Selvutfylling Intervjuereffekt % som tror på Gud Dilemma ved planlegging av nye undersøkelser: Sammenliknbarhet versus andre hensyn Analyseopplegg og statistiske mål Relative versus absolutte forskjeller

17 Absolutte versus relative forskjeller: (p 1 - p 2 vs p 1 /p 2 ) Opplyses: kvinner undersøkt. Av disse fikk 187 hudkreft (fra 1991 til 1999). Sannsynlighet: 0,0018 (dvs. 0,18 %). Hvis vi antar at 10% tok solarium, var deres sannsynlighet for å få hudkreft 0,0025, mot 0,0016 for de som ikke tok. En relativ forskjell på 55% svarer i dette tilfellet til en absolutt forskjell på 0,25 0,16 = 0,09 prosentpoeng. Det er altså meget liten sjanse for å få hudkreft uansett hva en gjør, og i absolutt forstand en svært liten forskjell mellom de to gruppene. Grunner for å foretrekke enkle statistiske teknikker Teoriproblemet: enkle problemstillinger. I beste fall modell med fortegn, sjelden spesifisering av styrke/form for relasjoner mellom variabler. Tendens: teoriløse fiskeekspedisjoner med store multivariate analyser. Måleproblemet: primitive mål. Enkle indikatorer for komplekse/latente egenskaper, problematisk validitet. Tendens: datakvaliteten kommer i bakgrunnen når bare den statistiske analysen blir raffinert nok. Forståelseproblemet: mange forskere bruker teknikker de ikke forstår fullt ut, det raffinerte har stor prestisje. Faren for å gjøre feil eller mistolke resultater øker jo mere kompliserte teknikker som anvendes. Tendens: Økende forekomst av ukritisk statistikk-bruk og uholdbare konklusjoner. Formidlingsproblemet: "uskolert" publikum. Viktig for samfunns-forskere å kunne kommunisere med og bli forstått av av politikere og interesserte borgere. Tendens: Økende raffinement og mindre gjennomslag. Konklusjon: Enkle metoder bedre enn sitt rykte. Avvises ut fra feilaktig kritikk basert på snevre statistiske kriterier, i stedet for å legge vekt på hva som gir mening. Verdien av samfunnsforskning ligger i å kunne bidra til den almenne samfunnsdebatten, dette forutsetter at resultatene blir forstått.