Sjekkliste for spørreundersøkelser.

Transkript

1 Sjekkliste for spørreundersøkelser

2 Siden du har bestilt denne sjekklisten for utforming av spørreundersøkelser, er du antakelig klar over fordelene med gjennomføring av nettbaserte spørreundersøkelser. Imidlertid er det også en del fallgruver knyttet til slike undersøkelser. Et godt verktøy hjelper deg med gjennomføringen av undersøkelsen, men du må selv ta ansvaret for at undersøkelsen gir deg et riktig bilde av virkeligheten. Dersom undersøkelsen bygges opp på en uheldig måte, kan du risikere at resultatene ikke gir en god gjenspeiling av virkeligheten. I noen tilfeller blir resultatet rett og slett misvisende. Denne sjekklisten forteller deg hvilke ting du bør være spesielt oppmerksom på. Målgruppen er deg som har ingen eller noe erfaring med utarbeidelse av spørreundersøkelser, og ønsker litt hjelp på veien. Easyfact Easyfact er leverandør av et verktøy for gjennomføring av nettbaserte spørreundersøkelser. Verktøyet er blant de mest brukervennlige på markedet, og det inneholder alt man trenger for å kunne gjennomføre slike undersøkelser. Vi tilbyr Easyfact Standard, Easyfact Professional og Easyfact Ultimate til våre kunder. Vi kan også tilby en gratisversjon med navn Easyfact Free. Webadresse: easyfact.no Telefon: E-post: mail@easyfact.no

3 Undersøkelsen Hvem er du? Fortell respondenten hvem du er. Oppgi navn på bedrift, organisasjon, idrettslag, borettslag, arbeidsgiver eller annen enhet du representerer. Eksempel: Vi i Firma AS ønsker å gjennomføre en undersøkelse. Visuell profil Bruk logo, fargepalett, skrifttyper og andre visuelle elementer som kjennetegner organisasjonen du representerer. Dette bygger tillit. Hvorfor spør du? Fortell hva som er bakgrunnen og motivasjonen for å gjennomføre undersøkelsen. Respondenten har rett til å vite dette, og det kan gjøre han tryggere på å svare. Eksempel: Vi i Firma AS ønsker å gjennomføre en undersøkelse for å finne ut hvor fornøyde våre kunder er med våre produkter. Hvordan er respondentene plukket ut? Fortell hvordan respondenten har blitt plukket ut til å delta i undersøkelsen. Er han kunde? Er han arbeidstaker? Er han kursdeltaker? Eksempel: Vi ønsker derfor å stille deg noen spørsmål i forbindelse med at du har handlet hos oss i løpet av de siste 12 månedene. Unngå for lange spørreskjemaer De færreste har tålmodighet til å bruke mer enn minutter på en enkelt spørreundersøkelse. Selv 10 minutter kan virke svært lenge. Husk at du låner andres tid. Dette betyr at du bør effektivisere spørsmålene dine. Still bare helt nødvendige spørsmål. Ikke still ekstraspørsmål som kanskje kan være nyttige å ha, men som du strengt talt ikke trenger her og nå. Dersom spørreundersøkelsen din er for lang, kan det lett føre til at respondenten avbryter før den er fullført. Eller verre: Går lei og svarer tilfeldig på de siste spørsmålene. Fortell respondenten på forhånd hvor lang tid det tar å svare på undersøkelsen. Eksempel: Det tar omtrent fem minutter å svare på undersøkelsen. Vi håper du vil ta deg tid til å gi oss tilbakemelding.

4 Anonymitet Fortell respondenten om det er mulig å spore svaret tilbake til han. Fordelen med anonyme undersøkelser er at respondenten svarer ærligere på personlige spørsmål. Fordelen med ikke-anonyme undersøkelser er at svarene blir mer seriøse. Dessuten blir analysemulighetene større ettersom du kan krysskoble med andre opplysninger om respondenten. Eksempel på tekst: Du svarer anonymt på denne undersøkelsen. Firma AS har ikke mulighet til å spore et svar tilbake til den som svarer. Språk Muntlig språk Unngå snirklete og omstendelige setninger. Eksempel på omstendelig setning: Når du tenker på det videre løpet for din utdanning og valg av akademisk retning: Hvilken utdanningsgrad har du som målsetning å oppnå etter fullført studium ved vår utdanningsinstitusjon? Skriv heller dette: Tenk på din videre utdanning: Hvilken grad sikter du imot? Korte setninger En tommelfingerregel sier: Tell antall ord i setningen. Regn deretter ut hvor mange prosent av ordene som er mer enn seks tegn lange. Legg sammen disse to tallene, og du kommer fram til en poengsum. Dersom denne poengsummen er over 60, er setningen for lang. Unngå vanskelige ord Ikke bruk akademiske begreper eller begreper som først og fremst brukes innenfor bestemte fagfelt. Man risikerer at respondenten ikke forstår den eksakte definisjonen av ordet, og dermed svarer upresist. Eksempler på vanskelige ord: Adekvat, legitim, amnesti, respondent, arbeidsstasjon, nåverdi Bruk veldefinerte og entydige begreper Enkelte begreper kan være tvetydige. Var sikker på at respondenten forstår hva du mener. Eksempel: Har du som elev vært utsatt for mobbing i løpet av de siste to månedene? Hva er egentlig grensen for mobbing? Når går uskyldig erting over til å bli systematisk mobbing? Skal man regne med engangstilfeller, eller er kravet at mobbingen gjentar seg ofte? I så fall hvor ofte? Ulike respondenter vil ha forskjellig forståelse av dette, så du må utdype hvor du som spørsmålsstiller trekker grensen.

5 Spørsmålene Nøytrale spørsmål Unngå spørsmål som indikerer et bestemt sett med verdier. Vær også forsiktig med formuleringer i tilleggsopplysninger. Begge deler kan lede respondenten til å svare i en bestemt retning. Uheldig formulering: Vi i Firma AS har nylig gjennomført et ansiktsløft av vårt kundemagasin, og vi har lagt stor vekt på at det skal gi deg nyttig informasjon om våre produkter. Synes du kundemagasinet har blitt bedre? Bedre formulering: I hvilken grad er du enig i at vårt kundemagasin gir deg nyttig informasjon om våre produkter? Vær forsiktig med normer og tabuer Respondenter har en tendens til å forskjønne sine svar i henhold til samfunnets normer. Et eksempel på dette er måling av alkoholforbruk. Respondenter vil ofte rapportere at de drikker mindre alkohol enn de faktisk gjør. De vil også rapportere at de trener mer enn de faktisk gjør. Årsaken til dette kan være at de ikke ønsker å innrømme overfor seg selv at de drikker for mye og trener for lite. En mulig teknikk for å omgå dette er å plassere de mest tabubelagte alternativene først. Eksempel: Hvor mange alkoholenheter har du drukket siste 30 dager? 7-8 alkoholenheter 5-6 alkoholenheter 3-4 alkoholenheter 1-2 alkoholenheter Ingen alkoholenheter (Begrepet alkoholenhet må selvsagt defineres.)

6 Unngå implisitte forutsetninger Ikke still spørsmål som inneholder implisitte forutsetninger. Eksempel: Hvilken avis / hvilke aviser leste du i går? Dette forutsetter at respondenten faktisk er avisleser til daglig. Det er en implisitt forutsetning som ikke vil være gyldig for alle respondenter. Respondenter som ikke leser aviser til daglig, vil kanskje også la seg forlede til å svare en tilfeldig avis. Det er bedre å dele spørsmålet i to: Leste du en eller flere aviser i går? Ja Nei Hvis du svarte ja på forrige spørsmål: Hvilken/hvilke aviser leste du i går? Spørsmål med alternativer eller fritekstsvar? Et spørsmål som besvares ved å velge blant alternativer kalles gjerne et lukket spørsmål. Eksempel: Hvilke former for fysisk trening bedriver du regelmessig? Flere valg er mulig. Du kan også velge ingen. Trening i regi av idrettslag Trening i kommersielt helsestudio Individuell trening utenfor idrettslag og kommersielt helsestudio Et spørsmål som besvares med fri tekst kalles gjerne et åpent spørsmål. Eksempel: Dersom du har benyttet deg av drosje i løpet av de siste 30 dagene: Kan du nevne navnet på en eller flere av drosjefirmaene du var kunde hos? Fordelen med spørsmål med alternativer er at det går raskt å svare. Dessuten er det lett å sammenfatte svarene etterpå. Men det er viktig at du ikke lar det være noen tvil for respondenten hvordan de ulike alternativene skal tolkes. Fordelen med spørsmål med fritekstsvar er at det tillater respondenten å tenke fritt. Dette kan gi input som du ikke har forutsett. Men det kan være vanskelig å tolke svarene som kommer inn. Det er vanligst å bruke spørsmål med alternativer ved spørreundersøkelser. Men dette krever at du har god innsikt i temaet det spørres om, at du er i stand til å lage en uttømmende liste med svaralternativer og at det ikke kan oppstå tolkningsproblemer.

7 Spørsmål med rangerte alternativer Rangerte alternativer befinner seg på en verdiskala. Eksempel på rangerte alternativer: Hvor mange ganger trente du i forrige uke? Ingen ganger En gang To eller tre ganger Fire ganger eller flere Balansér svaralternativene Bruk alltid like mange positivt og negativt ladede svaralternativer, og suppler med et verdinøytralt alternativ i midten. Det vanligste er å bruke fem alternativer. Eksempel: Hvor fornøyd eller misfornøyd er du med svartiden vår? Svært fornøyd Ganske fornøyd Verken fornøyd eller misfornøyd Ganske misfornøyd Svært misfornøyd Ikke bruk mer enn syv alternativer. Mange har problemer med å forholde seg til lengre skalaer enn dette. Unngå også så lite som tre alternativer ettersom en så kort skala fort blir unyansert. Ikke abstrakte svaralternativer Gi en konkret håndfast beskrivelse av hvert enkelt alternativ. Ikke bruk abstrakte poengskalaer. Ulike respondenter vil tolke skalaene ulikt. Vær konkret. Eksempel: Hvilket terningkast vil du gi vår kundeservice? Hva betyr egentlig terningkast 4? Er terningkast 6 dobbelt så bra som terningkast 3? Bruk heller skalaen i forrige eksempel. Kun velge ett alternativ? Rangerte alternativer er som regel gjensidig utelukkende. Det blir derfor ofte meningsløst å kunne velge mer enn ett alternativ.

8 Entydige grenser mellom alternativene? Gjør respondenten i stand til å velge ett og bare ett alternativ. Eksempel på flertydige alternativer: Hvor gammel er du? 0-20 år år 40 år eller mer Hva skal respondenten svare dersom han er 20 år? Bedre forslag: Hvor gammel er du? 0-20 år år 41 år eller mer Ta med alternativet vet ikke? Dette alternativet sikrer at respondenter som ikke klarer å ta stilling til de ordinære alternativene, ikke svarer i hytt og pine og dermed påvirker resultatet uheldig. Vær imidlertid klar over at et eksplisitt vet ikke -alternativ kan føre til at også noen av de som burde ha svart på de ordinære alternativene svarer vet ikke. Man kan løse dette ved å ikke ta med alternativet vet ikke, men i stedet la det være frivillig å velge et av de ordinære alternativene. Forskning viser at 20-30% flere svarer vet ikke dersom dette er et eksplisitt alternativ. Dele opp vet ikke? Det er flere grunner til at en respondent kan tenkes å svare vet ikke : Han har ikke høyt nok kunnskapsnivå om eller innsikt i temaet som det spørres om. Han har så god innsikt i temaet at han synes det blir unyansert å velge blant et av alternativene. Det er ikke relevant for respondenten å svare på spørsmålet. Han ønsker ikke å svare av prinsipielle grunner. Ønsker du å skille mellom disse mulighetene? I så fall bør du dele opp vet ikke i flere alternativer. Men pass på at det ikke blir for mange slike alternativer. Da kan de ordinære alternativene lett drukne.

9 Spørsmål med sidestilte alternativer Sidestilte svaralternativer har ingen rangordning. Det ene svaret har like stor verdi som et annet. Eksempel: Hvilke kollektivtransportmidler har du benyttet deg av i løpet av de siste 30 dagene? Flere valg er mulig. Du kan også velge ingen. Buss Tog Trikk T-bane Båt Vurdér tilfeldig stokking Respondenter vil oftere velge et av de tidligere alternativene i en liste med sidestilte alternativer. Dette kan utlignes ved at man gjør en tilfeldig stokking av alternativene slik at rekkefølgen varierer. Komplette alternativer? Har du tatt med alle tenkelige alternativer? Finnes flere alternativer som du ikke har tenkt på? Eksempel: Det vil alltid finnes eiendomsmeglere som du som spørsmålsstiller ikke har hørt om. Og selv om du kjenner til alle, vil det bli for mange å liste opp i en undersøkelse. Dersom det er en risiko for at alternativene ikke er komplette, bår de suppleres med et fritekstsvar der respondenten kan skrive inn tilleggssvar. Skal respondenten kunne velge flere alternativer? Når alternativene er sidestilte, skal han som regel kunne gjøre det. Eksempel: Respondenten har sannsynligvis hørt om flere eiendomsmeglere. Blir han tvunget til å svare bare en, vil det ofte være tilfeldig hvilken han velger.

10 Spørsmål med fritekstsvar Vær presis Beskriv detaljert hva du ønsker svar på. Si også hvor lange svar du ønsker. Hvis ikke kan svarene fort bli ubrukelige. Husk at du selv må lese gjennom og manuelt kategorisere svarene som kommer inn. Eksempel på upresist spørsmål: Hva synes du om Firma AS? Bedre spørsmål: Kan du med noen få ord beskrive kvaliteten på servicen du får kundestøtteavdelingen til Firma AS? Ønsket detaljnivå i svaret Vær tydelig overfor respondenten om hvor detaljert du ønsker at svaret skal være. Eksempel: Hva slags bolig bor du i? En respondent kan tenkes å svare blokk. En annen respondent kan tenkes å svare fireroms leilighet i 7. etasje med to bad og balkong. Respondenter Åpen eller lukket respondentgruppe? Dersom du velger en åpen respondentgruppe, betyr det at du retter undersøkelsen mot enhver respondent som kjenner til undersøkelsen din og som er motivert til å svare. Du når bredt, men kan oppleve en skjev fordeling av svar ettersom det oftere er de med sterke meninger som svarer på slike undersøkelser. Eksempel på åpen respondentgruppe: Du legger en nettadresse til undersøkelsen din på bedriftens hjemmesider og inviterer alle kunder til å svare. Dersom du velger en lukket respondentgruppe, betyr det at undersøkelsen rettes mot en avgrenset gruppe med navngitte respondenter. Fordelen er at du har kontroll med hvem som svarer. Men du når kanskje ikke ut så bredt som du kanskje skulle ønske? Eksempel på lukket respondentgruppe: Undersøkelse rettet mot dine nåværende kunder basert på navn hentet fra kunderegistret.

11 Lukket respondentgruppe: Spørre alle eller et utvalg? En lukket undersøkelse har en avgrenset målgruppe. Skal du spørre alle i målgruppen? Eller skal du trekke ut et utvalg? Dersom du velger det siste, sparer du kostnader knyttet til gjennomføring av undersøkelsen. Dessuten har du mulighet til å kjøre undersøkelsen oftere ettersom hver enkelt respondent ikke blir bedt om å svare hver eneste gang. Du må imidlertid sikre deg at utvalget er representativt. Dette gjøres ved å foreta tilfeldige trekninger av respondenter fra målgruppen. Du må også sikre deg at utvalget er stort nok. Vanligvis holder det med respondenter dersom du ikke skal gjøre avansert kryssanalyse av svarene. Den statistiske feilmarginen blir mindre jo større utvalget er. Gå til litteratur om statistikk for å finne ut hvor stort utvalget ditt bør være. Hva med frafallet? Alle spørreundersøkelser vil ha et frafall. Man kan ikke forvente at alle respondenter svarer. Men det er viktig å gjøre seg opp en mening om frafallet har et bestemt mønster som kan påvirke resultatet. Eksempel: Man ønsker å gjennomføre en medarbeiderundersøkelse i en produksjonsvirksomhet. Halvparten av de ansatte jobber i administrasjonen og bruker egen PC. Den andre halvparten jobber på fabrikkgulvet og deler et lite antall felles PCer. Det er sannsynlig at svarandelen blant fabrikkarbeiderne blir mindre enn blant de kontoransatte. Invitasjon og påminnelse Respondenter til lukkede undersøkelser inviteres gjerne via en e-post. Respondenter til åpne undersøkelser inviteres via mer generell markedsføring, som for eksempel en nettadresse på et web-side. I invitasjonen bør du beskrive de samme momentene som du gjør i innledningen til undersøkelsen. Hvem er du? Hvorfor spør du? Hva skal du bruke resultatene til? I påminnelsen bør du ydmykt oppfordre respondenten til å svare på undersøkelsen, og understreke hvor stor pris du setter på at han tar seg tid. Frister Man bør gi respondentene tilstrekkelig tid til å svare på undersøkelsen. Tommelfingerregler: La det gå omtrent en uke fra invitasjon til påminnelse. La det gå en uke til fra påminnelse til avslutning av undersøkelsen.

12 Premiering Det er ikke uvanlig å foreta en loddtrekning blant respondentene som har svart og dele ut premier til de heldige. Formålet er å motivere respondentene til å svare. Premien bør være av en slik størrelse at den faktisk har effekt. Den må imidlertid ikke være så stor at den påvirker svarfordelingen. Eksempel: Dersom man gjennomfører en undersøkelse om folks privatøkonomi, må man være forsiktig med pengepremier. Respondenter med dårlig råd vil ha et sterkere incentiv til å svare på en slik undersøkelse, og svarene kan bli skjevfordelte. En tommelfingerregel er å la premien være varer eller gavekort til en verdi av 500 kr eller lavere. Unngå rene pengepremier. Juridisk Personopplysningsloven Personopplysningsloven omtaler behandling av opplysninger som kan spores tilbake til identifiserbare enkeltpersoner. Du har meldeplikt til Datatilsynet dersom du samler inn og lagrer slike opplysninger. Du har plikt til å søke konsesjon fra Datatilsynet dersom du ønsker å lagre spesielt sensitive opplysninger om rase, religion, seksuell legning, politisk tilhørighet og lignende. Du finner lovteksten på følgende adresse: Mer informasjon fra Datatilsynet finner du på: Kilder Følgende kilder er brukt under utarbeidelse av denne sjekklisten: En undersøkelse viser Harald Hanssen-Bauer og Jon Gangdal Cappelen akademisk forlag 2008 Spørreskjemametodikk etter kokebokmetoden Gustav Haraldsen Ad Notam Gyldendal 1999