Ottar Hellevik Praktisk metode: Spørreundersøkelsens mange fallgruver, og råd for å sikre pålitelige resultater Statsviterkonferansen i Bergen 19-20/4 2012 Utvalget Sannsynlighetsutvelging velprøvd og velkjent. Et økende problem: bortfall. Telefonintervju: 20-25 prosent respons. Telefon + postenquete: 10 prosent. Veiing. Oversampling av unge. Bortfallet tilfeldig eller systematisk?
Test av utvalget: Samsvar med valgresultatet 24 23 35 35 33 33 35 36 32 30 11 15 7 11 15 12 24 22 17 14 21 23 26 14 17 15 28 14 19 6 7 13 16 17 7 9 11 7 6 7 14 14 12 13 7 6 6 6 7 7 8 6 6 5 7 7 6 5 6 4 6 10 4 6 9 4 6 8 3 3 6 4 5 4 3 3 3 3 6 7 Valget Monitor Valget Monitor Valget Monitor Valget Monitor Valget Monitor A FP H SV KF SP V Annet 1997 (St) 2001 (St) 2005 (St) 2009 (St) 2011 (Ks) Avvik: Valgresultat Monitor (%) 10.0 8.0 A FP H KF SP SV V Annet Underrepresentert i Monitormålingen 6.0 4.0 2.0 0.0-2.0-4.0-6.0 Overrepresentert i Monitormålingen 1997 2001 2005 2009 2011 Snitt
Ikke-tilfeldig utvelging: Innringingsmålinger Reagerer du negativt på svart arbeid? Holmgang (Innringing i TV-program) Ja ; 30 Nei; 70 Opinion (meningsmåling) Ja ; 62 Nei; 38 Er parkeringsvaktene for grådige, eller gjør de bare jobben sin? Standpunkt (Innringing i TV-program) Grådige; 96 Jobben; 4 Respons (meningsmåling) Grådige; 34 Jobben; 66 Utviklingen for gudstro (%) 53 51 51 51 49 49 49 47 47 46 46 45 43 40 Tror på Gud 21 24 25 25 26 25 26 27 28 30 30 31 34 37 Tror ikke på Gud 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011
Eksempler på synkende regelrespekt Prosent Kan ikke aksepteres å 100 90 80 70 60 50 40 30 20 10 Røyke hasj Snike på trikk/ buss Beholde feil vekslepenger Beholde penger en finner Kjøre for fort 0 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011 100 90 80 70 60 Eksempler på stabil regelrespekt Prosent Kan ikke aksepteres å Kjøre med promille Ta håndkle fra hotellrom 50 40 Skulke jobben 30 20 10 0 Vente med regning 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011
90 80 Eksempler på stigende regelrespekt Prosent Kan ikke aksepteres å Snyte på skatten 70 60 50 40 30 Svindle forsikringsselskap "Filme" seg til straffe i fotball 20 Brenne hjemme 10 0 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011 Økende bruk av internettpaneler Instituttene rekrutterer et panel av personer som er villige til å delta, utvalget trekkes fra dette. Respondentene kan selv velge når de vil svare, kan redusere bortfall. Men er internettbrukere representative for hele befolkningen? Internettdekningen er nå på over 90 prosent. Men lavere for eldre. Og de eldre som er på nett, er ikke representative for gruppen (har høyere utdanning). Kan føre til skjevheter i resultatene for eldre, dersom svarene er påvirket av utdanningsnivå. I internett-undersøkelse fra 2011 var eldre mer positive enn yngre når det gjaldt innvandringens betydning for norsk kultur. I vanlig utvalg (telefonintervju/postalenquete), svarte de eldre minst positivt på samme spørsmålet. Mao forskjellig inntrykk av sammenhengen med alder.
Overdreven fokus på signifikans I surveyforskning er utvalgene som regel så store at signifikans ikke er noe problem, med mindre en er interessert i meget svake sammenhenger. Mao er tilfeldige utvalgsfeil som regel ikke en relevant forklaring på et funn. Med store utvalg er selv ubetydelige forskjeller signifikante. Disse må ha klar vitenskapelig eller praktisk betydning for å være interessante. Problem at styrken ofte ikke oppgis når resultater publiseres. X øker sjansen for Y er det eneste som oppgis, ikke hvor mye. I logistisk regresjon er målene så vanskelige å tolke at mange av den grunn nøyer seg med å kommentere sammenhengers signifikans. Test av hypoteser / teorier må ta styrken på en sammenheng i betraktning, ikke nøye seg med å undersøke signifikans. Måleproblemer Feiltolking av spørsmålene
Spørsmålsutformingens betydning Jeg er villig til å gi avkall på varer og tjenester jeg nå bruker, hvis jeg med det kunne bidra til å bevare våre naturressurser: Helt/delvis enig - uenig Jeg er opptatt av hva jeg personlig kan gjøre for å verne om miljø og naturressurser: Stemmer meget godt - ganske godt - litt - ikke i det hele tatt Disse to spørsmålene er brukt for å måle Helt/delvis styrken enigi en persons miljøengasjement. 82 Hvilket av dem viser den høyeste andelen som er miljøengasjerte? Stemmer Er meget/ganske det flest som sier seg enige 44 i den første godtpåstanden, eller er det flest som svarer at den andre beskrivelsen Stemmer stemmer megetmeget/ganske godt for dem 13 selv? godt Norsk Monitor 1995 Ifølge Amnesty mener 1 av 2 norske menn at kvinner selv har skylden dersom de blir voldtatt
Betyr delvis ansvarlig at de har skylden for? Både i Norge og Storbritannia fikk en omtrent samme resultat som for menn når det var kvinner som svarte. Måleproblemer Betydningen av svarskalaen: Ja-siing
Illustrasjon av ja-siing (respons-set) Indeks for verdiparet spontanitet - rigiditet SPØRSMÅL Helt Delvis Vet Delvis Helt enig enig ikke uenig uenig A) I hverdagslaget liker jeg å planlegge i detalj og vite på 4 3 2 1 0 forhånd hva jeg skal gjøre B) Man bør i større grad følge sine innfall, og ikke være så 0 1 2 3 4 bundet av regler og rutiner INDEKS: Ja-sier : 4 poeng (midt på skalaen) = Vet ikke Klart rigid: 8 poeng (ekstrem skalaplassering) Sum A + B: Varierer 0 poeng (spontanitet) og 8 (rigiditet) Liker å Konsistente / inkonsistente svar 38% 60% Ja-siere planlegge Følge sine innfall Enig Usikker Uenig SUM Enig 55 0 17 72 Usikker 1 0 0 2 Uenig 21 0 5 26 SUM 77 1 22 100 Norsk Monitor 1985-91 Nei-siere
Utviklingen for konsistens i svarene på påstandene i indeksen for rigiditet-spontanitet (NM. %) Inkonsistente svar Konsistente svar 60 38 55 42 52 45 50 48 1985-1991 1993-1997 1999-2003 2005-2009 Utnytte ja-siings-bonus : Bruke én eneste enig-uenig påstand som støtter eget syn Det er for mye statlig innblanding og regulering i dagens samfunn Selv anerkjente bedrifter kan komme til å lage dårlige og uholdbare ting hvis ikke myndighetene fører kontroll 12 7 28 19 Helt uenig Delvis uenig Norsk Monitor 2007 5 7 Umulig å svare 37 41 Delvis enig 18 27 Helt enig Ja-siing gir det alternativet en skal si seg enig i en bonus, ved at en del personer uten en klar mening likevel sier seg enig. Figuren: En påstand negativ til offentlig regulering (blå), den andre positiv (rød). Hvis vi ønsket å vise at skepsisen er stor (opinionen er blå ), ville vi ved hjelp av den første påstanden få en overvekt av reguleringskritiske svar på 55 (enig) 40 (uenig) = 15. Konklusjon: Blå tendens. Den andre påstanden gir motsatt overvekt av kritiske over positive svar: 26 (uenig) 68 (enig) = -42. Konklusjon: Klart rød dvs. reguleringsvennlig tendens.
Bedre spørsmålsform: Likeverdige alternativer A og B diskuterer helse- og sosialomsorgen i Norge. Hvem er du mest enig med? A sier: Problemene i helsevesen og eldreomsorg skyldes at bevilgningene er for små. B sier: Det bevilges nok midler til helsevesen og eldreomsorg, men de brukes ikke effektivt nok. 57 11 32 Norsk Monitor 2005 A? B Måleproblemer Spørsmålstype: Vurdering versus rangering
Vurdering versus rangering Aftenposten 05.01.04, s. 8-9 Rangering feiltolkes som vurdering Svarene gjelder ikke troverdighet i absolutt forstand. Selv om de fleste oppfatter NRK som mer troverdige enn TV2, er det likevel mulig at de mener at TV2 har høy troverdighet. Måleproblemer Erindringsspørsmål
Erindringsfeil for stemmegivning ved siste valg (Prosent av stemmeberettigede som sa de stemte FRP ved stortingsvalget i 1985) Valg 1985: 3,1% Valg 1987: 7,2% 8 7 Økningen i antall gamle FRP-velgere viser at mange nå oppgir feil parti (eks.: FRP i stedet for H) ved valget i 1985 6 5 4 3 2 1 Resultat januar 2007 (%): Svekket: 73 - Ikke svekket 17 - Vet ikke 10. Problemene med et slikt spørsmål: Ledende: Hele situasjon innbyr til å svare svekket ( styrket ikke svaralternativ). - Uklart om det spørres etter egen mening eller inntrykket av den allmenne opinionen. -Erindringselement: Respondentene skal sammenlikne sin oppfatning nå og før Vallasaken. -Bedre alternativ: tidsserier. Okt Aug Mai Mar J88 Nov Sep Jun Apr Feb Des Okt Aug Mai Mar J86 Nov S85 0
Meget/ganske stor tiltro til LO (Norsk Monitor%) 50 45 40 35 30 25 20 15 10 5 0 42 45 34 36 1993 1995 1997 1999 2001 2003 2005 2007 31 37 34 Januar 2007? Meget/ganske stor tiltro til LO (Norsk Monitor%) 50 45 40 35 30 25 20 15 10 5 0 42 45 34 36 1993 1995 1997 1999 2001 2003 2005 2007 31 37 34 Januar 2007 36
Undersøkelsesopplegget Intervjuereffekt Betydningen av intervjumetode (intervjuereffekt) Prosent som mener det ikke kan godtas å: Selvutfylling Personlig intervju Snike på trikk/buss Snyte forsikringsselskap Beholde feil veksel Ta håndklær fra hotell Beholde penger funnet Bli hjemme fra jobben 51 84 77 85 76 74 66 82 70 65 81 65 MMI Norsk Monitor 1997 Gallup 1997
Dramatisk fall i religiøsitet i Norge? 100 90 Personlig intervju 84 85 80 70 60 50 40 30 For at resultatene fra ulike undersøkelser skal kunne sammenliknes, må samme opplegg være fulgt. 75 70 53 Selvutfylling Intervjuereffekt % som tror på Gud 20 10 0 Dilemma ved planlegging av nye undersøkelser: Sammenliknbarhet versus andre hensyn. 1948 1966 1978 1982 1985 Analyseopplegg og statistiske mål Relative versus absolutte forskjeller
Absolutte versus relative forskjeller: (p 1 - p 2 vs p 1 /p 2 ) Opplyses: 106.379 kvinner undersøkt. Av disse fikk 187 hudkreft (fra 1991 til 1999). Sannsynlighet: 0,0018 (dvs. 0,18 %). Hvis vi antar at 10% tok solarium, var deres sannsynlighet for å få hudkreft 0,0025, mot 0,0016 for de som ikke tok. En relativ forskjell på 55% svarer i dette tilfellet til en absolutt forskjell på 0,25 0,16 = 0,09 prosentpoeng. Det er altså meget liten sjanse for å få hudkreft uansett hva en gjør, og i absolutt forstand en svært liten forskjell mellom de to gruppene. Grunner for å foretrekke enkle statistiske teknikker Teoriproblemet: enkle problemstillinger. I beste fall modell med fortegn, sjelden spesifisering av styrke/form for relasjoner mellom variabler. Tendens: teoriløse fiskeekspedisjoner med store multivariate analyser. Måleproblemet: primitive mål. Enkle indikatorer for komplekse/latente egenskaper, problematisk validitet. Tendens: datakvaliteten kommer i bakgrunnen når bare den statistiske analysen blir raffinert nok. Forståelseproblemet: mange forskere bruker teknikker de ikke forstår fullt ut, det raffinerte har stor prestisje. Faren for å gjøre feil eller mistolke resultater øker jo mere kompliserte teknikker som anvendes. Tendens: Økende forekomst av ukritisk statistikk-bruk og uholdbare konklusjoner. Formidlingsproblemet: "uskolert" publikum. Viktig for samfunns-forskere å kunne kommunisere med og bli forstått av av politikere og interesserte borgere. Tendens: Økende raffinement og mindre gjennomslag. Konklusjon: Enkle metoder bedre enn sitt rykte. Avvises ut fra feilaktig kritikk basert på snevre statistiske kriterier, i stedet for å legge vekt på hva som gir mening. Verdien av samfunnsforskning ligger i å kunne bidra til den almenne samfunnsdebatten, dette forutsetter at resultatene blir forstått.