SOS1120 Kvantitativ metode Forelesningsnotater 4. forelesning høsten 2005 Per Arne Tufte Surveydesign Standardisert og strukturert utspørring av et (stort) utvalg personer om et eller flere temaer Survey kan klassifiseres etter Fordeler og ulemper ved ulike former for survey Styrker Svakheter Tidsdimensjonen Tverrsnittsundersøkelse Gjentatte tverrsnittsundersøkelser Panel Retrospektiv utspørring Innsamlingsmåten Besøksintervju Telefonintervju Spørreskjema Postalt E post/internett Deles ut/hentes Gruppeutfylling I kombinasjon med intervju Felles for alle surveydesign er spørreskjemaet! Besøksintervjuer: Fleksibilitet: mange tema, lange intervju, bruk av visuelle hjelpemidler. Intervjueren: virker motiverende, kan oppklare misforståelser. Telefonintervjuer: Ressurser: billig, kan gjøres raskt, og fra ett sted. Utvalg kan trekkes fra telefonkatalogen, Spørreskjema: Lite ressurskrevende: egnet for store utvalg, geografisk spredt. Respondenten kan svare når det passer, gir muligheter for absolutt anonymitet. Ressurskrevende: meget dyrt, krever lokale intervjuere. Intervjuereffekter: egenskaper ved intervjueren kan gi målefeil. Intervjutid er begrenset, kan invitere til overflatiske spørsmål og svar. Representativitet: ikke alle har telefon, lett å nekte, medfører stort frafall. Lav motivasjon gir lave svarprosenter, temaet bør fange interesse i målgruppen. Spørreskjemaet: ingen kontroll av hvordan spørsmålene oppfattes. Enhet og mangfold s. 262 1
Forhold som påvirker respondentens holdninger til undersøkelsen Spørreskjema Telefonintervju Besøksintervju INTERVJUER: Ytre kjennetegn Opptreden og oppførsel Språk, tonefall Presentasjon av undersøkelsen SPØRRESKJEMA: Følgebrev, introduksjon Spørreskjemaet utseende Spørsmålsformuleringer Visuelle hjelpemidler Spørsmålsrekkefølge Spørreskjemaet Måleinstrumenter Typer informasjon Struktur Feilkilder Måleinstrument Måleinstrumenter i en survey Åpne spørsmål Respondenten formulerer selv svarene Spørsmål Åpne Lukkede Visuelle hjelpemidler Bilder Kart Stiger Noter hva som er viktigst for deg når du kjøper grønnsaker i butikken: + mindre rigid og mer fleksibelt + rik og nyansert informasjon + sitater kan gi liv til framstillingen øker vanskelighetsgrad ved utfylling mer tidkrevende reduserer svarprosenten ofte kan svarene reduseres til et forholdsvis lite antall kategorier 2
Lukkede spørsmål Visuelle hjelpemidler Svaralternativene er formulert på forhånd Hvilke av følgende faktorer er viktigst for deg når du kjøper grønnsaker i butikken? Pris Farge Service Holdbarhet Smak Annet + kortere intervjutid/utfyllingstid + enklere dataregistrering og analyse + standardisering svaralternativer kan oppleves som «tvangstrøye» rigid og lite fleksibelt mye arbeid med å finne relevante svaralternativer Enhet og mangfold s. 267 30 Figuren nedenfor viser en skala fra 0 til 100. Sett kryss under skalaen for å markere hvor stor del av den tiden du arbeider effektivt når du er på Blindern. 0 10 20 30 40 50 60 70 80 90 100 Typer informasjon u Atferd/vaner u Atferd/vaner v Demografi/bakgrunnsinformasjon Kunnskap/viten x Holdninger y Forventninger z Forklaringer/årsaker Hvor mange timer har du til sammen sett på tv de to siste dagene? cc timer Omtrent hvor mange kopper kaffe drikker du om dagen? cc kopper Tidsspennet Glemsel og feilerindring Følsomme spørsmål Atferd som ikke er sosialt ønskelig underrapporteres 3
Råd for formulering av spørsmål om følsomme temaer 1. Åpne spørsmål om sosialt uønsket atferd kan fungere bedre enn lukkede. 2. Lange spørsmål kan fungere bedre enn korte. 3. Bruk av ord som respondenten er fortrolig med øker sjansen for å få informasjon om sosialt truende atferd 4. Vurder bevisst bruk av ledende spørsmål. 5. Vurder alternative måleteknikker som sikrer anonymitet 6. Forsøk å validere resultatene, sammenlign med tilgjengelig statistikk Enhet og mangfold s. 272 v Demografisk informasjon Bakgrunnsvariabler (kjønn, alder, utdanning, yrke, inntekt, bosted etc.) Standarder for enkelte typer spørsmål: Utdanningsgruppering Yrkesklassifisering Sosioøkonomisk status Næringsgruppering Kommuneklassifisering Kunnskap Viktig at spørsmålene ikke oppleves som en eksamen Bruk alltid mer enn ett ja/nei spørsmål da det kan være stor sjanse for å gjette riktig svar Har du noen gang hørt om lov om håndverks tjenester? Ja: 38 % Hvis ja, kan du kort si noe om hva denne loven inneholder? 50% av de som sa ja oppga et riktig innhold i loven 19% av alle spurte hadde kunnskaper om loven x Holdninger Kognitiv forestillinger og kunnskaper om holdningsobjektet hva forbinder du med svart arbeid? er det din oppfatning at svart arbeid er utbredt? Affektiv standpunktet (for eller i mot) + intensitet i hvilken grad er du enig eller uenig i at det er umoralsk å kjøpe eller selge svarte tjenester? Handlingsaspekt hvordan folk vil handle i framtida eller i hypotetiske situasjoner hvor sannsynlig tror du det er at du vil kjøpe svarte tjenester i framtiden? dersom en håndverker tilbød deg å betale arbeidet svart, tror du at du ville akseptere tilbudet? 4
Råd ved formulering av holdningsspørsmål 1. Forviss deg om at holdningsobjektet er klart definert. 2. Bestem deg for hvilke holdningskomponenter du vil måle 3. Prøv å fange inn holdningenes intensitet. 4. Det er sjelden å anbefale å måle en holdning bare med ett spørsmål. 5. Still generelle spørsmål før spesifikke om samme holdningsobjekt. Enhet og mangfold s. 275 Strukturen i spørreskjemaet Innledning Formål hvem står bak frivillig deltakelse Konfidensiell behandling viktig at en deltar Starte med enkle og ufarlige spørsmål Organisere i temaer innledning til hvert tema traktprinsippet: generelle spørsmål først, deretter mer spesifikke truende (følsomme) temaer mot slutten Demografiske spørsmål til slutt, eventuelt splitte dem opp Filterspørsmål Viktig for å få en god struktur i skjemaet: Unngår at respondentene må svare på uaktuelle spørsmål (øker validitet og reliabilitet) Unngår å forutsette kjennetegn ved respondenten (reduserer fare for ledende spørsmål) 1 Var du student før høsten 2003? Ja Nei Ë gå til spørsmål 4 2 Hvis du var student før høsten 2003, synes du at studiehverdagen etter kvalitetsreformen er blitt bedre, verre eller at den er som før? Bedre Verre Som før Vet ikke Feilkilder i surveyer Utvelging Frafall av respondenter og mangelfull utfylling Spørreskjemaet Rekkefølgeeffekter Spørsmålsformulering Svaralternativer Intervjueren Databehandlingen 5
Betydningen av spørsmålsformulering For at respondentene skal kunne gi fornuftige svar må de: forstå ord og uttrykk i spørsmålene på samme måte vite hvilke opplysninger de skal hente fram for å svare vite hvilken målestokk de skal bruke når de svarer (Kilde: Haraldsen 1999:161) u Svakheter ved formuleringene: Generelle spørsmål Hvor mange timer bruker du normalt på studier i løpet av en uke? Sammensatte spørsmål «Er det hærverk eller kriminalitet i nabolaget, og i tilfelle er det så mye at du opplever det som et problem?» JA/NEI Akademiske formuleringer og setningsbygninger «Hvor mange prosent av vanlig pris tror du en kan spare på å kjøpe svart arbeid?» v Svakheter ved svaralternativene Uensartet svargrunnlag: Stemmer ikke overens med spørsmålet Ikke gjensidig utelukkende Urealistiske Hvor mange ganger har du oppsøkt et offentlig kontor siste år? Ofte Av og til Har forekommet Aldri Hva er din alder? 20 30 år 30 40 år 40 50 år 60 år eller mer Hvor positiv på en skala eller fra 1 (aldri) Skala til 10 fra (alltid) 0 (helt vil negativ du plassere du deg til norsk selv når det gjelder negativ) å til rettferdiggjøre hver i EU? enkelt av disse (helt handlingene? 10 medlemskap positiv) Å kreve offentlige goder som du ikke har rett til Aldri 1 2 3 4 5 6 7 8 9 Alltid 10 Vet ikke Ufrivillig hypotetisk spørsmål «Vil du kjøpe økologisk dyrkede grønnsaker i butikken selv om de koster 20 % mer enn ordinære grønnsaker?» Implisitt spørsmål «Hva stemte du ved siste valg?» Ikke uttømmende svaralternativer «Hva er din sivile status?» Gift Ugift Separert Skilt 6
x Påvirker svaret (ledende) Ubalansert spørsmål «Mener du at de som bruker narkotika skal straffes hardt eller mildt?» Ubalanserte svaralternativer «Hva er din vurdering av kurset?» Meget bra Tilfredstillende Mindre bra Spørsmål med dobbel bunn «Synes du folk som mottar sosialhjelp bør ha plikt til å arbeide for pengene, eller synes du folk bør kunne motta sosialhjelp uten å yte noe tilbake?» (Bygger på Haraldsen 1999:156 161) Spørreskjema som måleinstrument Spørsmålene i spørreskjemaet forsøker å måle fenomener vi er interessert i å få vite noe om Svarene på spørreskjemaet kodes om til analyserbare variabler: 31 Kjønn: Mann Kvinne Variabel Verdier Hvordan variablene kan analyseres er avhengig av hvor kvantitativ informasjon variablenes verdier gir målenivå Vanligste målenivåer Hvordan bor du dette semesteret? hjemme hos foreldre/steforeldre, i leid bolig i bolig som husholdningen eier selv (inkludert borettslag og aksjeleilighet) Nominal Gj.s. utelukkende Ikke rangering Hvis du er gift/registrert partner/samboer: Bruker du mer eller mindre tid på husarbeid enn din samboer/partner/ektefelle? mye mindre tid noe mindre tid like mye tid noe mer tid mye mer tid Ordinal Gj.s. utelukkende Rangering Ikke eksakt avstand Omtrent hvor lang tid brukte du på badet i dag tidlig? cc minutter Forholdstall Gj.s. utelukkende Rangering Ekstakte intervaller 7