Brukerundersøkelser når innvandrere er brukere Anne Britt Djuve, Fafo Elisabeth Gulløy, SSB
Hva er en veileder? Veilederen gir en oversikt over viktige metodiske, juridiske og praktiske hensyn som bør tas når en skal samle inn og analysere brukerdata om og fra innvandrere. Veilederen er ikke en oppskrift, men et verktøy til hjelp i planlegging og gjennomføring av brukerundersøkelser
Målgrupper for veilederen Offentlige etater i planleggingsfasen for brukerundersøkelser Offentlige etater som skal sette ut brukerundersøkelser på anbud Offentlige etater som selv vil gjennomføre brukerundersøkelser Eksterne utførere
Kunnskapsgrunnlag for veilederen Kunnskapsstatusen Datafangst når minoritetsbefolkningen er målgruppe (Djuve mfl., Fafo-rapport 2009:24). Fokusgruppeintervjuer med bestillere : altså ansatte i ulike offentlige etater som er bestillere og brukere av brukerundersøkelser. Testing av ulike spørsmålsformuleringer på testpersoner som selv har etnisk minoritetsbakgrunn, og som har erfaring som brukere av ulike offentlige tjenester. Erfaringer med denne type undersøkelser i henholdsvis Statistisk Sentralbyrå og Fafo
Planleggingsfasen Forhold som er felles for alle brukerundersøkelser Hvem er innvandrer? hvilke inndelinger er det hensiktsmessig å gjøre av befolkningen etter etnisk bakgrunn og fødeland. Etiske vurderinger Sentrale forskningsetiske prinsipper, Hvilke føringer gir slike prinsipper for henholdsvis datainnhenting og presentasjon av funn. Konsesjonsplikt og meldeplikt Regelverket for behandling av personopplysninger i forskningsøyemed, og prosedyrer for å melde inn forskningsprosjekter til NSD/Datatilsynet.
Kvantitative brukerundersøkelser Valg av datafangstmetode Trekking av utvalg Svarprosent og frafall Målefeil Rekruttering og opplæring av intervjuere Analyse av innvandrere i kvantitative undersøkelser
Kvalitative brukerundersøkelser Strukturerte individuelle intervjuer Fokusgrupper Bruk av tolk Analyseteknikker og presentasjon av kvalitative data. Anonymitet og håndtering av funn som kan virke stigmatiserende
Hvorfor spesielt tilrettelagte undersøkelser for innvandrere? Offentlig målsetting om likeverdige tjenester Språklig og kulturelt sammensatt befolkning ulike brukererfaringer Brukerundersøkelser er metodisk krevende språklig og kulturelt mangfold øker kompleksiteten betraktelig
Når og hvorfor er innvandrerbakgrunn relevant? Forskjeller i kunnskap, erfaringer, forventninger og preferanser medfører ulike krav og ulike vurderinger a offentlige tjenester Språklige utfordringer Etniske minoriteter underrepresentert i ordinære brukerundersøkelser: frafallsfeil Målefeil: en del av de som svarer misforstår Altså: språk og erfaringer/forventninger avgjørende
Eksempel 1 på målefeil Husk at innvandrere ofte gir mer positive vurderinger enn erfaringene deres tilsier
Eksempel 2 på målefeil: ulike erfaringer med typen etat/tjeneste som vurderes =
Eksempel på målefeil: likelydende men ulike institusjoner Offentlig sektor Offentlig ansatte Forskningsinstitusjoner Ulike steder ulike roller ulike bilder
Eksempel på målefeil i flerkulturelle undersøkelser: Begrepsforståelse Statistikk Integritet Beskyttelse Brukermedvirkning Personvern Likeverdige tjenester Taushetsplikt Konfidensiell Effektivitet Fagkunnskap Økonomistyring Tilgjengelighet Åpenhet Samfunnsansvar
Eksempel på målefeil: Ulike oppfatninger om roller, ulik grad av maktasymmetri og tillit, ulik tradisjon for å klage på offentlige tjenester 1. Forventninger til situasjonen Hva vil du at jeg egentlig skal gjøre her? 2. Maktstruktur Hvilken betydning har mine svar for mitt fremtidige forhold til NAV? 3. Å vise fram misnøye er problematisk Jeg vil ikke framstå som en som klager
Hvem er innvandrer? Fødeland/verdensdel/Norge eller ikke, mors og fars fødeland, statsborgerskap Botid Oppholdsgrunnlag (sensitivt) Egenkategorisering Identitet og flerkultur
Er gruppa innvandrere en meningsfull kategori? Vanligvis ikke! Voldsom variasjon mellom ulike grupper i innvandrerbefolkningen. Sammenslåing kan gjemme mange viktige funn Tilpasning til språk og kultur gjør det ofte nødvendig å velge ut et begrenset antall grupper Hvem er da undersøkelsen representativ for?
Litt om alt som kan gå galt Feil person: er målgruppen klart definert? Finnes det et register over målgruppen? Kvantitative undersøkelser: er utvalget representativt? Feil spørsmål: hva er de sentrale dimensjonene ved tjenestene for denne målgruppa? Målefeil og feiltolkninger: oversetting, ja siing, ulike tilbøyeligheter til å bruke ytterpunktene i en skala, osv Frafall: skjeve estimater, feil konklusjon
Frafall Frafall er økende i befolkningsundersøkelser generelt Stort frafall gjør funnene usikre Stort frafall kan ikke kompenseres ved mange intervjuer Hvordan forebygge frafall og hvordan forholde seg dersom det likevel blir høyt
Tilrettelagte brukerundersøkelser er viktig, vanskelig og veldig dyrt men det er enda dyrere å gjennomføre billige undersøkelser som gir feil svar
Feilkilder i spørreskjemaundersøkelser REPRESENTATIVITET MÅLING Dekningsfeil Utvalgsfeil Skjevhet Justeringsfeil Målgruppe Utvalgsplan Utvalg Deltakere Justert utvalg Resultater Formål Spørsmål Svar Reviderte svar Gyldighet Målefeil Bearbeidingsfeil Kilde: Groves et. al. Survey methodology, 2.ed. Wiley. 2009
Hva slags informasjon er det (egentlig) behov for? Vil den komme ut av undersøkelsen slik vi har planlagt den