Flerdimensjonale, matrisebaserte spørsmål i spørreskjema: Forstår respondentene hva de skal gjøre?

Transkript

1 Arbeidsnotat 2011:19 Flerdimensjonale, matrisebaserte spørsmål i spørreskjema: Forstår respondentene hva de skal gjøre? Test av en ny type spørreskjema i barnehagesektoren Anne Sigrid Haugset Birgitte Johansen Kjell-Åge Gotvassli Arbeidsnotat 2011:19 Postboks 2501, 7729 Steinkjer Tlf.: (+47) E-post: post@tfou.no ISSN: Kongensgt. 42. Postboks 2501, 7729 Steinkjer Telefon: Faks: E-post: post@tfou.no

2 1 Flerdimensjonale, matrisebaserte spørsmål i spørreskjema: Forstår respondentene hva de skal gjøre? Test av en ny type spørreskjema i barnehagesektoren Anne Sigrid Haugset Birgitte Johansen Kjell-Åge Gotvassli Trøndelag Forskning og Utvikling AS Steinkjer 2011

3 2 Tittel : FLERDIMENSJONALE, MATRISEBASERTE SPØRSMÅL I SPØRRESKJEMA: FORSTÅR RESPONDENTENE HVA DE SKAL GJØRE? TEST AV EN NY TYPE SPØRRESKJEMA I BARNEHAGESEKTOREN Forfatter Arbeidsnotat : 2011:19 Prosjektnummer : 2302 ISSN : Prosjektnavn Oppdragsgiver Prosjektleder Medarbeider Layout/redigering Referat Emneord : : Anne Sigrid Haugset, Kjell-Åge Gotvassli og Birgitte Johansen : Kompetanseutvikling i barnehagen : Kunnskapsdepartementet : Kjell-Åge Gotvassli : Anne Sigrid Haugset og Birgitte Johansen : Nina Solbakk og Gunnar Nossum Dato : November 2011 Antall sider : 39 Pris : 75, Utgiver : Resultater fra uttesting av en spørreskjemamatrise som ble brukt i datainnhentingen i prosjektet Kompetanseutvikling i barnehagen. : Trøndelag Forskning og Utvikling AS Postboks 2501, 7729 STEINKJER Telefon Telefaks

4 i FORORD Dette notatet er en del av forberedelsene til datainnsamlingen i prosjektet Kompetanseutvikling i barnehagesektoren, som Trøndelag Forskning og Utvikling og Dronning Mauds Minne Høgskolen gjør på oppdrag for Kunnskapsdepartementet høsten Det bringer resultater fra en test av et flerdimensjonalt, matrisebasert spørreskjema som ble brukt i forbindelse med kartlegging av kompetansebehov i barnehagen. Anne Sigrid Haugset hadde metodefaglig ansvar for uttestingen av matrisen, og har sammenstilt og analysert resultatene og skrevet dette notatet. Testene ble foretatt tidlig i oktober Birgitte Johansen og Kjell-Åge Gotvassli deltok i gjennomføringen av de praktiske testene og produserte dokumentasjon fra disse. Birgitte Johansen har dessuten bidratt med drøfting av resultater og innspill til oppbygging av notatet. Vi takker deltakere på Styrerskolen i Midt-Norge, studenter ved Dronning Mauds Minne Høgskolen og ledelsen i Vikingen barnehage i Steinkjer for verdifull hjelp under uttestingen. Steinkjer, november 2011 Anne Sigrid Haugset

5 iii INNHOLD side FORORD INNHOLD SAMMENDRAG i iii v 1. INNLEDNING 1 2. UTFORDRINGER I SPØRRESKJEMAUNDERSØKELSER Lave svarrater Reliabilitet Betydningen av lengden på spørreskjemaet Andre forhold av betydning Nettbaserte undersøkelser 4 3. MATRISEFORMEN SOM SKAL TESTES UT En flerdimensjonal matrise Fordelene vi håper å oppnå Utfordringer Problemstillinger METODER OG DATAMATERIALE Testpersoner Testmetoder Kriterier Praktisk gjennomføring RESULTATER Tester: Anne Sigrid Haugset, 29. september og 3. oktober Tester: Birgitte Johansen, 3. oktober Tester: Kjell Åge Gotvassli, 4. oktober Oppsummering av testresultater: DRØFTING AV FUNNENE De som fikk det til uten problemer De som synes det er tungvint De som misforsto og ikke fikk det til Andre kommentarer fra testpersonene KONKLUSJONER 27 LITTERATUR 29

6 v SAMMENDRAG I forbindelse med en utredning om kompetansebehov i barnehagesektoren har Trøndelag Forskning og Utvikling testet ut en flerdimensjonal matrise til bruk i webbaserte spørreundersøkelser. Dette notatet bringer resultatene av disse testene. Matrisen som testes ut, ber styrere i barnehager om å vurdere eget og andres behov for kompetanseutvikling/videreutdanning på en skala fra 1 (lite behov) til 5 (stort behov). I matrisen utgjør spørsmålene rader, mens de ulike gruppene av ansatte i barnehagen utgjør kolonnene. Feltene i tabellen skal fylles ut med et tall fra 1 til 5 for alle ansattgruppene. Skalaen presenteres og forklares over matrisen i det digitale spørreskjemaet. Vi antar at denne måten å svare på spørreskjema på er noe mer krevende og komplisert og kanskje uvant for respondentene. Samtidig er fordelen at det gjør spørreskjemaet kortere og raskere å svare på. Det ble gjort 22 tester, som innbefattet i alt 28 testpersoner. Flertallet av testpersonene hørte til i barnehagesektoren, og mange var barnehagestyrere. I testene ble det undersøkt om testpersonen greide å fylle ut matrisen korrekt, og i en samtale etterpå ble også hans eller hennes vurdering av denne måten å svare på undersøkt. Tre av fire testpersoner greide å bruke matrisen uten større problemer, og flertallet av disse vurderer også måten å svare på som positiv eller nøytral. Et lite mindretall mente imidlertid at det var komplisert og tungvint. 20 prosent av testpersonene fikk av ulike grunner ikke til å bruke matrisen. De fleste av disse var unge førskolelærerstudenter. De fikk problemer fordi de ikke skjønte logikken i matrisen, og ble usikre på hvordan de skulle svare. Av andre kommentarer i testene går det fram at testpersonene tror forekomsten av «midt på treet-svar» (midtkategorien 3) øker utover i spørreskjemaet etter hvert som en blir sliten og mister konsentrasjonen, at åpningsbildet i testen ikke fungerer som planlagt og at det er uvant å skulle differensiere mellom ansattgrupper når en skal vurdere utdanningsbehov. Styrerne fant det også krevende å svare på spørsmål om egne preferanser og om barnehagens behov for kompetanseheving hos ansattgrupper i samme skjermbilde. Det konkluderes med at for denne typen respondenter, altså ledere i barnehagesektoren, kan matriseformen fungere og ha flere fordeler enn ulemper i en spørreundersøkelse. Det må imidlertid gjøres noen justeringer, som å fjerne hjelpefiguren i åpningsbildet og skille tydeligere mellom når en vurderer seg selv og andre i skjemaet. Matrisen bør imidlertid bare brukes når det er umulig å korte ned på spørreskjemaet på annet vis, f. eks ved å redusere antall spørsmål.

7 1 1. INNLEDNING Trøndelag Forskning og Utvikling gjennomfører høsten 2011 en større utredning av behovet for kompetanseheving i barnehagesektoren, på oppdrag av Kunnskapsdepartementet. Et sentralt mål i denne undersøkelsen er å framskaffe nasjonal representativ statistikk over behovet og ønskene til ulike ansattgrupper i barnehagen når det gjelder kurs og utdanning: Barnehagestyrere, pedagogisk personell og assistenter med og uten barne- og ungdomsfagarbeiderutdanning. Oppdragsgiver ønsker at spesielt barnehagens styrer skal gi en grundig vurdering av barnehagens behov for kompetanseheving hos hver av disse ansattgruppene. I tillegg skal barrierer mot, planer om og ønsket organisering av kompetansehevingstiltak undersøkes. En del av datainnsamlingen i denne undersøkelsen foregår elektronisk (nettbasert) ved hjelp av verktøyet EasyResearch og med henvendelse til barnehagestyrer på e-post. Det blir i tillegg også brukt papirskjema utsendt i posten til et delutvalg av styrere, samt at ansattgruppene i barnehagene i dette delutvalget har fått spørreskjema i papir utdelt fra sin barnehagestyrer. I arbeidet med måleinstrumentene til denne undersøkelsen ble det fort klart for oss at spørreskjemaet til styrer i barnehagen kom til å bli forholdsvis omfangsrikt og omfattende. Vedkommende ble bedt om å vurdere flere forhold med utgangspunkt i alle de aktuelle ansattgruppene. Derfor forsøkte vi å finne grep som kunne gjøre både papirskjemaet og det elektroniske spørreskjemaet lettere å håndtere for respondenten, og minimere både opplevelsen av langt skjema og tidsforbruket til å fylle det ut. Den flerdimensjonale spørsmålsmatrisen som vi til slutt valgte å prøve ut, lar respondenten fylle inn tall fra en vurderingsskala i åpne felt i en tabell. Spørsmålene utgjør radene, mens ulike ansattgrupper i barnehagen utgjør kolonnene. Selv om enklere matriser er relativt mye brukt i både papirbaserte (Farstad, Rye, og Almås 2009; Haugum og Sivertsen 2010) og nettbaserte spørreskjema (Rødvei og Lien 2010, Sivertsen og Nossum 2011) hadde vi ingen erfaring med akkurat denne litt mer kompliserte måten å bruke matrisen på. Vi har heller ikke greid å finne eksempler på bruk av tilsvarende matriser hos andre. Dette notatet bringer resultatene fra uttestingen av den flerdimensjonale matrisen blant barnehagestyrere og annet barnehagepersonell, og drøfter på bakgrunn av dette fordeler og ulemper med å ta matrisen i bruk. Først gir vi kort en generell oversikt over utfordringer i spørreundersøkelser, og utvikler på bakgrunn av dette tre relevante problemstillinger for notatet. Deretter presenterer vi matrisen som skal testes ut. Metodene som er brukt i uttestingen gjøres rede for i kapittel 4, før vi bringer resultatene fra hver test samt en sammenstilling av testresultatene i kapittel 5. Funnene fra testene drøftes så i kapittel 6, før det til slutt konkluderes i henhold til problemstillingene i kapittel 7.

8 3 2. UTFORDRINGER I SPØRRESKJEMAUNDERSØKELSER Det totale datakvaliteten i spørreskjemaundersøkelser kan defineres som graden av fravær av feilkilder i datamaterialet, der en feilkilde er en kilde til variasjon i datamaterialet som ikke er sann variasjon (Henjesand 1996, 26). Utvalgsfeil, manglende observasjoner og feilobservasjoner (tabell 2-1) er vanlige begreper om kategorier av feilkilder. Enhver undersøkelse må designes med tanke på å redusere de totale feilkildene og maksimere datakvaliteten. Tabell 2-1: Oversikt over totale feilkilder i spørreundersøkelser. Totale feilkilder i spørreundersøkelser Utvalgsfeil (sampling error) Feil som ikke skyldes utvalget (non-sampling error) Manglende observasjoner Feilobservasjoner Tilfeldig Systematisk Tilfeldig Systematisk (skjevhet) Tilfeldig Systematisk (skjevhet) Uklarhet rundt populasjonen Frafall og manglende svar Spesifikasjons- feil (validitet) Målefeil Databehandlings- feil 2.1 Lave svarrater I spørreskjemaundersøkelser (surveys), spesielt de som utføres over internett, har en ofte utfordringer knyttet til lave svarrater (Vicente and Reis 2007). Lave svarrater truer representativiteten og reliabiliteten til datamaterialet dersom det ikke er tilfeldig hvem som lar være å svare eller dropper ut undervegs i en undersøkelse. Selv om vi kan teste for skjevheter ved hjelp av frafallsanalyser og med basis i for eksempel demografiske bakgrunnsdata, vet vi ikke om det kan være skjevheter i utvalget relatert til svarene på vurderingsspørsmål (Cui 2003). 2.2 Reliabilitet Det er også utfordringer knyttet til reliabilitet, det vil si påliteligheten og etterprøvbarheten i datamaterialet en samler inn i spørreundersøkelser. Dette gjelder spesielt i vurderings- og holdningsspørsmål, der respondenten selv må avgjøre hvor hans eller hennes holdning befinner seg på en skala. Her finnes det ikke noe enkelt og greit «naturlig svar», og undersøkelser har vist at konsistensen i respondentenes egne besvarelser kan være varierende (Moe 2001).

9 4 2.3 Betydningen av lengden på spørreskjemaet Lengden på spørreskjemaet er et forhold som kan påvirke både svarratene og reliabiliteten til datamaterialet (Cui 2003; Moe 2001; Cape 2010). Det er vanlig å anta at spørreskjema som oppleves som lange og omfattende øker andelen som ikke vil delta eller som avslutter utfyllingen undervegs. Dette fører til frafall og lave svarrater. I tillegg kan respondentene bli slitne og få konsentrasjonsvansker mot slutten av skjema som det tar mer enn 20 minutter å svare på (Cape 2010; Moe 2001). Dette truer datakvaliteten i undersøkelsen. Lengden av spørreskjemaet kan føre til en utmattelse hos respondenten, slik at spesielt spørsmål der respondenten skal gjøre subjektive vurderinger får karakter av tilfeldige svar utover i skjemaet (Moe 2001; Cape 2010). Cape hevder, på bakgrunn av undersøkelser designet for å oppdage slike utmattelsesfeil, at 20 minutter er maksimal tid en vanlig respondent greier å fokusere på spørsmålene. Mot slutten av lengre undersøkelser økte blant annet raten av respondenter som svarte bevisst feil på spørsmål for å bli raskere ferdig med skjemaet. Andre strategier er å fylle ut «i selbumønster» og uten å egentlig engasjere seg i spørsmålene, eller å velge midtkategoriene på alle svarene. Det er så å si umulig å oppdage slike typer utfylling i vanlige undersøkelsesdesign, og de utgjør derfor en potensiell stor trussel mot datamaterialets reliabilitet (Cape 2010). 2.4 Andre forhold av betydning Forhold som hvor relevant og interessant temaet for spørreskjemaundersøkelsen er for respondentene, hvor klart formulerte og forståelige spørsmålene er, hvor mye man purrer på svarene, egenskaper ved gruppen som skal undersøkes og incentiver i form av svarpremier spiller også inn på svarratene (Cui 2003), og kan også samspille med effekten av lengden på skjemaet. 2.5 Nettbaserte undersøkelser I papirbaserte/postale spørreundersøkelser manifesterer omfanget av undersøkelsen seg gjennom antall sider i skjemaet og antall spørsmål. Respondenten kan lett vurdere det totale omfanget ved å bla raskt gjennom skjemaet, og han eller hun kan helt fra starten av skaffe seg en oversikt over hvilke tema som berøres. På bakgrunn av dette er det relativt enkelt å vurdere om undersøkelsen oppleves relevant, forståelig og om det er verdt å bruke tid på. Ved bruk av nettbaserte spørreundersøkelser, f. eks i Questback eller EasyResearch, kommer et nytt element inn som kan påvirke hvor omfattende en respondent oppfatter at undersøkelsen er. Spørsmålene må her deles opp i mange bolker/nettsider, som respondenten må klikke seg videre i for å komme til neste spørsmål. Dette kan gjøre at spørreskjemaet oppfattes som enda lenger enn om det samme var utlevert på papir, og

10 5 det tar lenger tid å svare på fordi sidene må lastes inn mellom hvert spørsmål. En kan heller ikke bla like fort fram og tilbake som i et papirskjema. Figur 2-1 gir en skjematisk framstilling av respondentens beslutningspunkter i møte med en nettbasert, spørreundersøkelse utsendt per e-post. Som vi kan se så truer uforståelige, for omfattende eller ikke-relevante spørsmål svarraten, mens omfanget av spørsmålsbatteriet også kan true datakvaliteten gjennom feilsvar, tilfeldige svar og liknende når respondenten er sliten. Figur 2-1: Oversikt over prosessen der respondenten møter spørreskjema og enkeltspørsmål, og beslutningspunktene med mulige utfall.

11 7 3. MATRISEFORMEN SOM SKAL TESTES UT Bruk av en flerdimensjonal matriseform i undersøkelsen av kompetansebehov hos barnehageansatte er tenkt å bidra til at spørreskjemaet oppfattes som kortere og mindre krevende å svare på, til tross for at vi har behov for å bruke mange variabler. Matrisen gjør det mulig å kutte kraftig ned på antall nettsider en må klikke seg gjennom. Å sette opp spørsmål i en matriseform der den samme typen vurderingsskala skal brukes i en gruppe spørsmål, er en vanlig måte å presentere vurderingsspørsmål i spørreundersøkelser på. Et eksempel (figur 3-1) er hentet fra en undersøkelse utført av TFoU høsten 2011: Hvor enig/uenig er du i følgende påstander Det er viktig for meg at jeg kjenner flere unge folk som ønsker å bosette seg på og/eller drive gård i Tydal. Det er viktig for meg at jeg kjenner til og føler meg inkludert i landbruksnæringa i Tydal også før jeg overtar gården. Det er viktig for meg at jeg får god informasjon fra landbrukskontoret i Tydal. Når det gjelder generasjonsskifte på en gård, er følelser og personlige forhold minst like viktig som jus og økonomi. 1 (helt uenig) (helt enig) Vet ikke Figur 3-1: Eksempel på klassisk matrise med Likert-skala (enig/uenig) der respondenten svarer på flere spørsmål med utgangspunkt i seg selv og sine meninger. Matrisen sparer plass i forhold til fire enkeltspørsmål der skalaen må presenteres på nytt i hvert spørsmål, og den legger til rette for å svare raskere fordi man «lærer seg» skalaen og ser at den skal brukes likt på alle spørsmålene. Det vanskeligste elementet knyttet til formen er her å forstå og kunne bruke vurderingsskalaen som presenteres. 3.1 En flerdimensjonal matrise I oppdraget vårt for Kunnskapsdepartementet er vi bedt om å kartlegge barnehagestyreres oppfatning av behov for faglig oppdatering for tre ulike kategorier av ansatte i tillegg til seg selv. Behovet skal i noen grad detaljeres på tema for utdanning og utdanningens type/organisering. Når vi lager en matrise av dette, fører vi inn enda en dimensjon i forhold til vanlige matriser i spørreskjema. Spørsmålet blir flerdimensjonalt: En må forholde seg både til en vurderingsskala som er presentert

12 8 utenfor/over matrisen, til flere spørsmål og til svar på disse spørsmålene i forhold til fire ulike ansattgrupper (figur 3-2). 1. Når det skal holdes opplæring for ansatte i barnehagen: Hvor viktig mener du at følgende forhold er for de ulike ansattgruppene - sett fra barnehagens side? Gi et svar for hver gruppe av ansatte på alle forholdene. Bruk skalaen fra 1 til 5: 1= helt uviktig, 2= uviktig, 3= både og, 4= viktig, 5= veldig viktig La felt stå blankt dersom du ønsker å svare 'Vet ikke'. Styrer (deg) Pedagoger B/U arbeidere Assistenter Det må holdes innenfor arbeidstiden Det må være mulig å ta eksamen/få vitnemål Det må gi studiepoeng på høyskolenivå Det må være kort, målrettet og konsentrert Det må gi rom for læring, utvikling og refleksjon over tid De som arrangerer opplæringen må kjenne vår barnehage godt Det må gi mulighet til å treffe kolleger fra andre barnehager Figur 3-2: Matriseformen vi testet ut i forbindelse med prosjektet Kompetanseutvikling i barnehagen. Alternativet til denne måten å spørre på, gitt oppdragsgivers kunnskapsbehov, ville vært et lengre spørreskjema der en stilte hvert enkelt spørsmål (fra radene i figur 2) for seg i en matrise med skala og radioknapper i kolonnene (som i figur 1), og hver ansattgruppe i radene i matrisen. Rødvei og Lien (2010) valgte denne løsningen da de skulle undersøke kommunale topplederes holdninger til lønnsdannelse blant ulike grupper ansatte i kommunen (se f. eks spørsmål 42 og 43 i vedlagt spørreskjema). En annen mulighet er å stille batteriet av spørsmål i radene i matrisen i figur 3-2 for hver enkelt ansattgruppe, altså at en gjentar blokken med spørsmål fire ganger slik at en får svar for alle ansattgruppene. Begge disse løsningene gir et lengre spørreskjema over flere nettsider enn det vi får ved å bruke den flerdimensjonale matriseformen i figur Fordelene vi håper å oppnå Å bruke denne formen for matrise vil la oss korte vesentlig ned på antall sider en respondent må gjennom for å svare på alle spørsmålene, i forhold til om vi skulle presentert de samme spørsmålene for hver ansattgruppe sekvensielt. Det understøtter

13 9 dessuten også det som oppdragsgiver er ute etter å få svar på: Om styrerne mener at det er forskjeller mellom ansattgrupper når det gjelder behov for kompetanseutvikling. Å fylle ut det samme spørsmålet for alle tre gruppene samtidig vil gjøre sammenligning enklere og mer naturlig for respondenten, og vi antar derfor at det vil styrke reliabiliteten til funn som handler om forskjeller mellom ansattgrupper. Vi antar også at vi ved å gjøre skjemaet både kortere og raskere å besvare vil redusere faren for at respondentene blir «utslitt» undervegs slik at vi får dårlig datakvalitet (reliabilitet/presisjon) mot slutten av undersøkelsen (Cape 2010; Moe 2001). I Trøndelag Forskning og Utvikling har vi brukt en liknende matriseform med åpne felt i forbindelse med en annen nettbasert undersøkelse, men her har respondenten blitt bedt om å fylle inn kontinuerlige verdier (antall sauer av ulike kategorier) i feltene og ikke om å bruke en skala. Denne undersøkelsen fikk bra oppslutning og respondentene hadde tilsynelatende ikke problemer med å forstå matrisen (Haugset og Nossum 2010). Selv vi antar at fordelene ved å bruke den flerdimensjonale matrisen er størst i forbindelse med det nettbaserte spørreskjemaet, vil den også gjøre det mulig å korte ned på antall sider i papirskjemaet. De spesielle utfordringene i nettbaserte undersøkelser er at de «låser» respondenten til å bla gjennom skjemaet nettside for nettside, og eventuelt også gir «forsinkelser» i forbindelse med lastingen av sidene. Men vi antar at også i postale/papirbaserte undersøkelser er det mer innbydende å svare på et skjema som er på fire sider enn et på seks eller åtte. 3.3 Utfordringer Samtidig er dette en etter det vi kjenner til lite brukt og mer komplisert måte å fylle ut et spørreskjema på, som sannsynligvis krever mer av respondenten: De må hente informasjon om vurderingsskalaen utenfor selve matrisen, og manuelt fylle inn verdier fra skalaen i åpne tekstruter i matrisen. Faren for at flere enten vurderer det som vanskelig og tungvint, eller ikke forstår hvordan skjemaet skal brukes, øker. Med det øker også faren for frafall (at en gir opp og ikke svarer på undersøkelsen), fordi klarhet og forståelighet i spørsmålene er svært sentralt for responsrater (Cui 2003). Vi har også noen rent tekniske utfordringer, som begrenser mulighetene vi har for å gjøre bruken av matrisen så lett og intuitiv som mulig for respondenten. Verktøyet Easy Research kunne ikke tilby datavalidering (f. eks kun mulig å skrive tall fra 1-5 i ruta) eller andre måter å svare på (f. eks nedtrekksmenyer med tallene 1-5) for de åpne feltene i matrisen. Vi er derfor avhengig av at respondenten skriver inn et tall fra skalaen, og at vedkommende ikke skriver inn tall utenfor vurderingsskalaen, skriver kryss, ord eller liknende i feltene. Gjennom testene som er gjennomført kan vi få innblikk i hvor godt testpersonene forstår matriseformen, og hvordan de selv vurderer denne formen for spørreskjema: Oppleves det enkelt, tungvint, vanskelig, forvirrende? Vi får imidlertid ikke testet

14 10 hvorvidt det å møte en ny form for skjema kan virke demotiverende slik at respondenten lar være å svare på spørreskjemaet/avbryter undervegs. Dette fordi testpersoner som har sagt ja til å delta i uttestingen, sannsynligvis vil kvie seg for å trekke seg uansett da sitter en heller og plages eller spør om hjelp. 3.4 Problemstillinger I uttestingen har vi valgt å konsentrere oss om det nettbaserte spørreskjemaet, siden vi antar at det er her en kan høste de største fordelene av å bruke denne formen. På bakgrunn av drøftingene ovenfor vil vi gjennom testene forsøke å finne svar på følgende spørsmål: I hvor stor grad forstår respondenter i en spørreskjemaundersøkelse hvordan de skal bruke matriseformen i spørreskjemaet? Hvilke endringer og forbedringer kan vi eventuelt gjøre for å understøtte dem i bruken av verktøyet? Er denne matriseformen et egnet verktøy når en ikke kan unngå lange spørreskjema, og respondentene er høyt utdannede personer med personalansvar (ledere)?

15 11 4. METODER OG DATAMATERIALE 4.1 Testpersoner Fordi vi antar at den aktuelle matriseformen på spørreskjemaet kan være noe mer krevende å svare på (forstå) enn andre typer spørreskjema, ønsket vi å teste ut dette ganske bredt og på et større antall personer enn en vanligvis bruker til slik uttesting. Dette for å ha et relativt godt beslutningsgrunnlag for en viktig avgjørelse i prosjektet om vi skulle bruke den flerdimensjonale matrisen eller ikke. Ville den være et pålitelig måleverktøy, og ville respondentene forstå den og bruke den riktig? Målgruppen for spørreundersøkelsen der vi planlegger å bruke matrisen, er styrere og pedagogiske ledere i norske barnehager. 90 prosent av disse er utdannede førskolelærere eller har annen pedagogisk utdanning på samme nivå. De er dessuten det Cui beskriver som en «employee population», eller en gruppe fra en veldefinert profesjon, og slike grupper er vanligvis flinkere til å svare på spørreundersøkelser enn en tilfeldig gruppe trukket fra hele befolkningen (Cui 2003). Dette er noe av bakgrunnen for at vi velger å prøve den litt krevende matriseformen i denne undersøkelsen: Vi antar at en relativt høyt utdannet gruppe av ledere i en bestemt profesjon vil være bedre i stand til å håndtere et litt krevende design på spørreskjemaet enn gjennomsnittlige respondenter. Vi valgte (med ett unntak) testpersoner som er knyttet til barnehagesektoren, men ikke bare styrere. Også noen pedagogiske ledere og førskolelærerstudenter deltok i testen. Størsteparten av testpersonene var barnehagestyrere som deltok på Styrerskolen i Midt-Norge i regi av Høgskolen i Nord-Trøndelag og Dronning Mauds Minne Høgskolen (DMMH) oktober I tillegg er det testet studenter ved DMMH og to personer som jobber som henholdsvis styrer og pedagogisk leder i en barnehage i Steinkjer. Testpersonene har tilsvarende utdanningsnivå som barnehagestyrere, eller er i ferd med å skaffe seg det gjennom førskolelærerutdanning, så barnehagesektoren er kjent for dem. 4.2 Testmetoder Kriterier Formålet med denne uttestingen har vært å få en tidlig utsjekk av hvorvidt vi kan bruke matriseformen i spørreskjemaet og regne med at den blir forstått og brukt riktig av de fleste informantene. Dette ønsket vi å måle i to ulike, men sannsynligvis sterkt korrelerte dimensjoner: Både som praksis (om de faktisk brukte matrisen slik vi hadde tenkt det) og som vurdering (om de syntes dette var en god/grei måte å svare på et spørreskjema på).

16 12 Vi har også tatt vare på kommentarer og innspill i forhold til innholdet i spørsmålene, formuleringer osv., selv om disse var uferdige og ikke egentlig klar for testing. I test 1-3 (utført 29. september) er versjon 1 av spørreskjemaet (vedlegg 1) brukt, i test 4-22 (utført oktober 2011) er versjon 2 (vedlegg 2) brukt. Det ble gjort utbedringer til versjon 2 på bakgrunn av test Praktisk gjennomføring Testpersonene ble forelagt skjemaet i nettbasert versjon med minimal inngangsinformasjon de ble bare bedt om å sette seg foran test-pcen og fylle ut skjemaet fordi vi ønsket å teste det. De ble fortalt at det tok kun få minutter å gjøre testen. De ble bedt om å kommentere undervegs (tenke høyt), og spørre hvis noe var uklart. I test 4-22 ble det målt omtrentlig hvor lang tid testpersonen brukte på første skjermbilde (kun en innføring i hvordan en fyller ut skjemaet). I test 4-11 ble det målt hvor lang tid det gikk totalt fra testpersonen åpnet skjemaet/startet testen, til de fylte ut den første ruta i matrisen. I test ble det målt hvor lang tid hele testen tok. Dette ble gjort for å få en indikasjon på hvor omfattende i tid spørsmålet ville være for respondenten, noe som senere kunne hjelpe oss til å estimere total tidsbruk for undersøkelsen gitt hvor mange spørsmål en la inn. Undervegs i testen ble det observert om testpersonen brukte matrisen korrekt (fylte ut for alle ansattgruppene, ranket ulike grupper ulikt etc). Kommentarer og spørsmål ble notert ned av oss som testet, og etter at matrisen var ferdig utfylt ble det stilt noen testspørsmål dersom det var uklart etter utfyllingen om matrisen og skalaen var forstått og brukt riktig. Testpersonen ble så spurt om egne opplevelser av å fylle ut skjemaet: Om det var vanskelig, og om han/hun forsto hva som skulle gjøres og så videre. Testpersonene ble til slutt bedt om å gjøre en totalvurdering av denne måten å stille spørsmål på i en tenkt spørreundersøkelse.

17 13 5. RESULTATER Her bringer vi resultatene for hver enkelt test, sortert ut i fra hvem av oss som sto for gjennomføringen av testen. 5.1 Tester: Anne Sigrid Haugset, 29. september og 3. oktober 1 Test 1:Kvinne, ikke barnehageansatt, ca 50 år: Leste lenge på instruksjonene (3-4 minutter) Ikke problemer med å bruke matrisen (da hun ble spurt etterpå syntes hun ikke det var et tema) Kommentarer til enkeltspørsmål Spesielt dette med å vurdere seg selv som styrer og andre ansattgrupper svare på vegne av dem. Test 2: Styrer, kvinne, privat barnehage, år: Leser lenge på første side. Fyller ut skala/matrise helt greit uten spørsmål. Sier etterpå at matriseformen ikke opplevdes som vanskelig. Har flere kommentarer på spørsmålenes innhold enn spørreskjemaformen. Sier at det trengs bedre spesifisering på spørsmål 2, om en skal svare på vegne av eller som leder/for barnehagen som organisasjon. Test 3: Pedagogisk leder, kvinne, privat barnehage, år: Leser lenge på første side. Fyller ut helt greit, kommentarene undervegs viser at hun har forstått matrisen/skalaen. Har lagt merke til Vet ikke-muligheten. Sier etterpå at hun ikke oppfattet selve utfyllingen som vanskelig å skjønne. Har mange spørsmål til innholdet: Det må presiseres at en skal svare på vegne av barnehagen/organisasjonen, opplæring må defineres bedre og hun opplever at svarene på spørsmålene blir ulike i forhold til hvilken type opplæring en snakker om, savner spørsmål som lar henne fortelle at det er viktig at flere fra samme barnehage deltar sammen på kurs (pedagoger minst 2 stk, assistenter 3-4) for å få delt/nyttegjort kunnskap etterpå. Forstår spørsmålet om rom for læring over tid til at denne læringa skal skje etter kurset, i barnehagen. 1 Test 1 ble gjennomført i hjemmet til testpersonen, test 2 og 3 ble gjennomført på grupperom i barnehagen, test 4-10 ble gjennomført med noe bakgrunnsstøy etc i kantineområdet på DMMH og test 11 ble gjennomført på et grupperom parallelt med en annen test i samme rom.

18 14 Test 4: 1 gutt, 2 jenter, unge studenter DMHH. Gutten noe eldre enn jentene. Brukte cirka sekunder på åpningsbildet(forklaringen) Brukte 3 minutter før de begynte å fylle ut på spørsmål 1. Stusset over skalaen og spørsmålsformuleringene, uklart og forstår ikke hva de skal gjøre. Spesielt jentene er usikre, misforstår. Gutten ordner så opp og forklarer det for de to andre (skalaen), og de starter å fylle ut/svare på spørsmål. Ennå er det uklart for en av jentene hvordan skjemaet fungerer hva en lav/høy verdi betyr. Stopper dem etter 5 minutter (de sa de har det travelt). Opplevde spørsmålene og skjemaet som VANSKELIG (jentene). Gutten: Jeg forsto det men jeg er jo litt eldre enn dem Test 5: Kvinne, 27 år, 1. året førskolelærerutd. DMMH. Brukte ca 17 sekunder på åpningsbildet I gang med utfyllingen etter cirka 50 sekunder Ser ut til å skjønne skjemaet, bruker skalaen rett på spørsmål 1. Usikker på spørsmål 2 (innhold/formulering) får hjelp Fyller ut resten av skjemaet greit med variasjon over ansattgrupper på noen spørsmål, andre ikke Sier hun opplevde formen/skalaen og matrisen som grei, skjønte hva hun skulle gjøre. Må gløtte opp på skalaen undervegs for å huske hva hun skulle gjøre/hva betyr hva Testspørsmål avdekker at hun virkelig har forstått skalaen: Har skåret ansattgrupper ulikt på arbeidstid begrunner med at en må kunne forvente mer egeninnsats/bruk av egen tid for de med høyere stillinger i barnehagen. Svarer viktig for alle ansattgrupper at kursholder kjenner vår barnehage godt. Test 6: To unge studenter ved DMMH, kvinner. Brukte 36 sekunder på åpningsbildet Cirka 1 minutt fra oppstart til fyller ut første rute spørsmål 1 Fyller ut med skala/matrise helt greit, ser ut til å forstå Uklarhet om spørsmålsinnhold (hva er opplæring i denne sammenhengen kurs? Praksis?) Savner et alternativ på et av spørsmålene: Lang, målretta og konsentrert Ranker læring/refleksjon over tid høyt

19 15 Sier etterpå at de oppfatter denne måten å fylle ut skjema på som grei/enkel, men spørsmålene er vanskelige for dem som studenter (tror det vil være enklere for styrere). Test 7: Styrer 27 år, kvinne (styrerskolen) Brukte cirka sek på åpningsbildet (noe treg åpning av bildet) Brukte 1 min 36 sek fra start til fylte ut første rute Tenker høyt hvor viktig mener DU at jeg mener jo noe, men hva de andre ansatte mener er jo noe annet Mener svarene på spørsmålene kommer an på hva slags opplæring en snakker om da relatert til tema. Mener spørsmålet ville vært lettere å svare på dersom en hadde svart på ulike tema for opplæring først. Det er viktig å ha tid til å ta i bruk lærdom etter kurs Viktig å møte også andre yrkesgrupper på kurs Skåret alle likt hele vegen, men forklarer at dette er med vilje har forstått matrisen. Synes ikke matrisen/skalaen er vanskelig å forstå. Test 8: Styrer, kvinne 43 år (styrerskolen) Bruker 14 sekunder på første skjermbilde Bruker 50 sekunder til hun er i gang med å svare Misforstår matrisen bruker skalaen men fyller kun ut nedover for styrer, lar de andre stå åpne. Trykker ferdig. Forklarer etterpå at hun ikke forstod at hun skulle svare på vegne av de andre ansatte. Får forklaring synes fortsatt det er vanskelig å forstå. Mener det bør presiseres mer grundig at det er som leder av barnehagen og at en skal svare for hva leder mener er viktig. Test 9: Styrer, kvinne 40 år (styrerskolen) Bruker 30 sekunder på første skjermbilde Bruker 1 min 8 sekunder før hun fyller ut i første rute Forstår matrisen og skalaen, fyller ut helt greit hele vegen Sier at hun synes det var litt komplisert hadde foretrukket å kunne gjøre seg ferdig med en og en ansattgruppe, med ledelsen før en starter på ansatte osv. Skårer litt ulikt på spørsmål om opplæring i arbeidstid dette er viktigere for styrer og pedagoger på grunn av avtaler og organisering, avspasering osv. Det er litt for mye å tenke på i samme bilde. Test 10: Styrer, i 30-årene, kvinne (styrerskolen). 44 sekunder på startbildet (forsøkte å trykke der)

20 16 1 min 8 sekunder til utfylling av første rute Fyller ut med bruk av skala og matrise helt greit uten noen spørsmål Skårer yrkesgruppene likt noen steder, ulikt på andre spørsmål Mener at alt det spørres om er relativt til hva slags opplæring en snakker om (må presiseres) Sier hun har ingen problemer med å forstå skjemaet/matrisen, synes det er en kurant måte å svare på undersøkelsen på. Synes spørsmålene er vanskelige fordi de er relative og hun føler trang til å nyansere og utdype svarene sine. Test 11: Kvinne i 40-åra, styrer (styrerskolen): 33 sekunder på åpningsbildet 45 sekunder før hun fyller ut første rute Synes det er vanskelig å gradere forhold med tall Forstår matrisen intuitivt og bruker den korrekt Spørsmålet kort, konsentrert og målrettet grupperer ting som hun ikke synes hører naturlig sammen Sier at hun skjønte med en gang hva hun skulle gjøre Det er viktig at spørreskjemaet er kort og kjapt å svare på, noe hun mener matrisa bidrar til Er rektor/barnehagestyrer, og får mange spørreskjemaforespørsler hele tida. Mener at jo lenger spørreskjemaet er, jo høyere blir frekvensen av midt på treet-svar fordi man blir lei/ikke greier å forholde seg til så mye

21 Tester: Birgitte Johansen, 3. oktober 1 Test 12: 3 (unge) studenter, DMMH Brukte ca 1 minutt på første siden Brukte 5 minutt på å fylle ut skjema: fylte bare ut som styrer (dvs svarte bare som styrer og fylte ikke inn for de andre gruppene), lot alle de andre stå åpen Misforstod spørsmålet: Foreslo et klarere spørsmål Konklusjon: Gruppen fylte ut skjema feil. Ingen av de tre forstod matriseformen. Test 13: Kvinnelig styrer (styrerskolen) ca 45 år. Hadde lagt igjen brillene så hun så dårlig, og testinga bar litt preg av dette. Hun hoppet ganske fort over første siden, og knotet litt i begynnelsen på utfyllingen, bla satte hun kryss, før hun forstod at det skulle stå tall i rutene. Hun brukte tabulatorknappen. Jeg måtte hjelpe henne litt i gang. Forstod ikke helt spørsmålet med høyskole og dette med studiepoeng, her ble hun usikker. Hvordan blir det i forhold til de uten studiekompetanse? Skal jeg svare blankt? Var også usikker på hva inngår i opplæring? Er alt dette spørsmålet om hva som skjer på høyskolenivå? Trenger ikke å stå vår barnehage, men barnehage Generell kommentar: lett når jeg forstod det. Konklusjon: startet feil, men forstod etter hvert hvordan det skulle gjøres og fylte ut skjema riktig til slutt: delvis vellykket Test 14: Ung styrer (styrerskolen), kvinne Under minuttet på første side Så rett på sak, fylte ut uten problem, så teknisk sett inget problem Ellers litt spm om innholdet: eks: «det må være kort: hva inneholder «det?» Dette med sett fra barnehagens side, hva betyr det? Konkret: ny rammeplan? Dette med overtid er viktig, men ikke de andre forholdene i spørsmålet Var ferdig innenfor tida Konklusjon: vellykket teknisk test 1 Test ble gjennomført i kantinearealet ved Dronning Mauds Minne Høgskolen, med en del bakgrunnsstøy. Test 17 ble utført på et grupperom parallelt med en annen test i samme rom.

22 18 Test 15: Kvinnelig styrer (styrerskolen), 38 år 1 minutt på første side ca 5 minutt til sammen på hele testen Forstod hva testen gikk ut på, både spm og hvordan skjema skulle fylles ut Litt problem med begrepet opplæring (er så mangt, ble derfor usikker på dette spørsmålet) Konklusjon: vellykket teknisk test Test 16: Mannlig styrer, 37 år (styrerskolen) Under 1 min på første side, 3 min på hele testen Syntes testen fungerte bra, men etterlyste at markøren flyttet seg automatisk til neste rute Forstod spørsmålet Konklusjon: vellykket teknisk test Test 17: Kvinnelig styrer, 40-årene (styrerskolen) Tok 2 min før hun forstod hva hun skulle gjøre: var usikker på om hun skulle fylle ut får første side Fylte først ut for seg selv, før hun forstod at hun skulle svare på de andre også. Ellers spørsmål om selve spørsmålsstillingen, innholdet i spørsmålet, f. eks dette med studiepoeng og hvem som tar det: vanskelig å si for assistentene som har valgt bort utdanning. Om barnehage: må stå barnehager i Norge (ikke vår barnehage, men det trenger å være mer generelt) Svarte også i forhold til hva hun tror de andre vil, ikke ut fra sin posisjon som styrer. Konklusjon: delvis vellykket test.

23 Tester: Kjell Åge Gotvassli 1, 4. oktober Test 18: Styrer, styrerskolen, kvinne 40 år Brukte om lag 30 sek. på åpningsbildet Fylte ut matrisen greit, kommenterte litt underveis, delvis henvendt til meg, jeg gjør det vel riktig nå. Poengterte at skåringene ble litt tilfeldig, men ville tatt bedre tid dersom dette var en reel test på spørsmålene Mente at selve åpningsbildet muligens var mer forvirrende enn forklarende Test 19: Styrer, styrerskolen, om lag 45 år kvinne Brukte litt tid på åpningsbildet og sa hun var usikker, men tok det relativt greit når hun fikk opp side to Mente at matrisen var litt tungvint og at en del ville ha utfordringer med formen Kommenterte for øvrig at hun ikke så helt vitsen med å spørre alle ansatt kategoriene om det samme i neste omgang Mener at selve scoringene ble litt tilfeldig etter hvert Test 20: Styrer, styrerskolen ca. 35 år, kvinne Brukte liten tid på åpningsbildet og kommenterte at dette var en smart måte å slå sammen svarmuligheter på Besvarte så det hele greit Mener at selve scoringene ble litt tilfeldig etter hvert Hvorfor er det nødvendig å sende til alle i barnehagen etter hvert? Test 21: Styrer, styrerskolen ca. 45 år, kvinne Brukte også liten tid på åpningsbildet 30 sekunder Besvarte så det hele greit Mente også at selve scoringene ble litt tilfeldig etter hvert Test 22: Styrer, styrerskolen, om lag 35 år, kvinne Brukte litt tid på åpningsbildet, ca. 1 min. Kom så godt i gang, men måtte stoppe opp en del underveis, og spurte blir dette rett??? Kommenterte litt underveis, litt vanskelig å skille mellom ansattkategorier Mente at matriseformen ville fungere, men avhengig av en god intro til undersøkelsen, hvorfor skal JEG svare på dette, råd: spill på at dette er DMMH som står bak og Departementet anser dette som et meget viktig arbeid 1 Test ble foretatt på grupperom i rolige omgivelser.

24 Oppsummering av testresultater: Totalt testmateriale: 28 testpersoner dokumentert, gjennom 22 tester. Tre av fire testpersoner hadde ingen problemer med å bruke dette systemet for å gi sine svar på spørsmålene, og to av tre vurderer denne formen som positiv (tabell 5-1). En av fem i testen greide ikke å «knekke koden» med utfylling av skjemaet. Fem av disse seks personene som ikke forstod matrisen var unge førskolelærerstudenter som studerte ved Dronning Mauds Minne-høgskolen. Bare en av barnehagestyrerne som deltok på Styrerskolen fylte ut skjemaet feil, men flere av dem ga uttrykk for at de ble litt usikre undervegs om hvordan de skulle gjøre det og om det ble rett. Tabell 5-1: Oppsummering av utfallet av testene som ble gjennomført. Atferd og vurdering: Antall testpersoner Forstår/bruker matrisen helt greit og intuitivt, vurderer den positivt Forstår/bruker matrisen rett, men sier at den er tungvint og vanskelig/krevende Forstår ikke matrisen/bruker den feil (er ikke bedt om å vurdere) 20 (71 %) 2 (7 %) 6 (21 %) Totalt: 28 (99 %) Det som ble nevnt av respondentene som vanskelig knyttet til spørreskjemaet slik det forelå på testen, var Det var uklart om respondentene ble bedt om å vurdere på vegne av andre (øvrig personale i barnehagen) eller ut fra eget ståsted Det ble opplevd litt forvirrende at en både skulle vurdere ut fra seg selv (styrer) og de andre, samtidig. En del av testpersonene brukte mye tid på åpningsbildet med eksemplet på en utfylt matrise, og det tok delvis lang tid før de kom i gang med egen utfylling Det er flere som kommer med antydninger om at denne måten å «skåre» på blir dårligere utover i et litt langt spørreskjema, at den blir mer tilfeldig osv. En av testpersonene sier at hun får et utall slike forespørsler om deltakelse i spørreundersøkelser, og at dersom skjemaene er lange så blir svarene på slutten av skjemaet by default midt på treet (midtkategorien) fordi man ikke orker mer, ikke greier å konsentrere seg eller mister oversikten.

25 Det virker som det er krevende for enkelte styrere i barnehagen å skulle differensiere mellom ansattgrupper når det gjelder behov for kompetanseutvikling. Flere peker på at «dette har jo alle behov for». 21

26 23 6. DRØFTING AV FUNNENE Å innføre et såpass komplisert element som en flerdimensjonal matrise i en spørreundersøkelse vil ha både fordeler og ulemper. Gjennom disse testene har vi forsøkt å skaffe oss beslutningsgrunnlag for å avgjøre om fordelene (et kortere spørreskjema som oppfattes som mindre krevende å svare på) veier opp for ulempene (at det kan være vanskelig å forstå hvordan en skal bruke det). 6.1 De som fikk det til uten problemer For 71 prosent av respondentene bød ikke spørreskjemaformen på problemer i det hele tatt, og de kunne konsentrere seg om innholdet i spørsmålene. At en ikke legger merke til matriseformen i noen særlig grad er et tegn på at den fungerer slik vi ønsker det. For respondenter som opplever det slik er det liten grunn til å forvente økt frafall på grunn av at de ikke forstår (Cui 2003), og matriseformen vil snarere ha positiv effekt på svarraten fordi den begrenser antall sider/klikk for å gå gjennom spørreskjemaet (omfanget oppleves mindre). Flere av disse testpersonene sier at de mener matrisen er en grei og hensiktsmessig måte å spørre på. 6.2 De som synes det er tungvint To respondenter bruker matrisen korrekt, men sier at de opplever den tungvint, vanskelig og mer krevende enn enkeltspørsmål. En av disse testpersonene sier hun fikk det til selv, men hun tror at andre kan komme til å få problemer, og hun ble forvirret av åpningsbildet som viste et bilde med eksempel på en utfylt matrise. Da hun kom til den faktiske matrisen på side to, forsto hun hva som skulle gjøres og fylte det ut greit. Den andre respondenten som mener matrisen var tungvint, bruker lang tid både på åpningsbildet og på selve spørsmålssiden før hun begynner å fylle ut i matrisen. Hun synes det blir for mye å tenke på i samme bilde, og ville foretrukket å gjøre seg ferdig med en og en gruppe av ansatte. For respondenter med samme preferanser som disse to testpersonene vil en kunne få høyere tilbøyelighet til frafall, fordi de opplevde kostnadene øker ved at spørsmålet er komplisert og vanskelig å sette seg inn i. Spørsmålet blir da om frafallet som dette fører til, er mer omfattende enn frafall som følger av at skjemaet oppleves som svært omfattende dersom en i stedet for matrisen skal spørre om en og en ansattgruppe. Dette vil igjen være avhengig av hvor engasjert respondenten er i temaet det spørres om, hvor viktig en opplever undersøkelsen å være. 6.3 De som misforsto og ikke fikk det til 21 prosent av testpersonene forsto ikke hva de skulle gjøre med matrisen, og greide ikke å fylle den ut korrekt. Dette er en relativt høy andel, når en tenker på at en etter

27 24 all sannsynlighet mister disse respondentene i undersøkelsen. Det er svært lite motiverende å fortsette på en undersøkelse der en ikke forstår hva en skal gjøre, selv om det kommer enklere spørsmål lenger ut. Det er imidlertid verdt å merke seg at fem av de seks som ikke fikk til å bruke matrisen, var unge studenter ved førskolelærerutdanningen. Det virker som det var lettere for målgruppen vår, styrere av barnehager, å forstå hva de skal gjøre med matrisen. Dette kan bero på mer erfaring med ulike typer spørreskjema og utfylling av andre skjema. Den styreren som ikke fikk til å bruke matrisen, skjønte ikke at hun skulle svare på vegne av de ansatte i tillegg til for seg selv, og hun fylte kun ut kolonnen i matrisen som var for styrer. Det som må vurderes her er om frafallet som følger av at en viss andel respondenter ikke forstår hvordan de skal fylle ut matrisen, er større eller mindre enn frafall som skyldes at skjemaet oppfattes som for omfattende. 6.4 Andre kommentarer fra testpersonene Det er flere av testpersonene som kommenterer at de tror svarene vil bli mer og mer tilfeldig lenger ut i spørreskjemaet. Dette er kommentarer som egentlig ikke handler om selve matriseformen, men heller om denne måten å svare på vurderingsspørsmål på: Evnen til å vurdere og bruke den rette verdien fra skalaen blir dårligere undervegs fordi man blir sliten og konsentrasjonen glipper. En informant mener at dette vil føre til flere «midt på treet-svar», altså den midterste kategorien i skalaen. Dette er svar som støtter opp under hypotesen om at respondenter blir utslitt og at dette påvirker datakvaliteten (Moe 2001; Cape 2010). Dette er et viktig argument for å forsøke å holde spørreskjemaet så kort som mulig. At den ene respondenten viser til at hun får et utall slike undersøkelser i posten peker også på muligheten for at undersøkelsen vår kan bli sortert i bunken av «spam» som en ikke ønsker å bruke dyrebar tid på. Når det kommer mange undersøkelser kan en ikke ta seg tid til å svare på alle, og avsender, purring og ikke minst den opplevde viktigheten av temaet for undersøkelsen blir da viktige faktorer i denne vurderingen. Samtidig er gruppen vi henvender oss til en profesjonsgruppe, og undersøkelsen gjelder deres arbeid og yrke. Dette er forhold som kan påvirke svarprosenten positivt. Åpningsbildet i testundersøkelsen vår, som viser et eksempel på en ferdig utfylt matrise, synes å forvirre noen av respondentene. Bildet av var plassert der for å gjøre det lettere å forstå hvordan matrisen skal fylles ut, men mange testpersoner brukte mye tid på å studere det og noen forsøkte også å klikke i det. Det er ikke sikkert at dette bildet hadde den ønskede effekten, kanskje det heller gjorde respondentene usikre og forvirret dem. Det å skulle vurdere kompetansetiltak både for sin egen del og for sine ansatte i et og samme skjema ble opplevd uvant og forvirrende for en del testpersoner. Dette viste seg gjennom at noen krysset av bare for sin egen kategori (styrer), og dessuten i

28 25 spørsmål om en skulle vurdere på vegne av de ansatte og svare det en trodde at disse ønsket seg. Det virker dessuten som det er uvant og krevende for styrerne å skulle differensiere mellom ansattgrupper i barnehagen når det gjelder kurs og utdanning, og flere peker på at dette har jo alle behov for. Det var også uklart slik spørsmålene var formulert, om en skulle vurdere hva en trodde de ansatte selv ville prioritert, eller om det var som styrer og ut fra barnehagens behov en skulle svare. Spørsmålet i spørreskjemaet viste seg å være for uklart formulert, slik at det var vanskelig å vite om en skulle vurdere ansattgruppene ut fra hva en trodde de ansatte selv ønsket seg, eller ut i fra barnehagens behov som organisasjon. At en samtidig skulle svare for sine egne ønsker for egen kompetanseheving i samme matrise bidro sannsynligvis til å øke denne uklarheten.

29 27 7. KONKLUSJONER Vi satte opp følgende problemstillinger for dette arbeidet: I hvor stor grad forstår respondenter i en spørreskjemaundersøkelse hvordan de skal bruke matriseformen i spørreskjemaet? Hvilke endringer og forbedringer kan vi eventuelt gjøre for å understøtte dem i bruken av verktøyet? Er denne matriseformen et mulig verktøy når en ikke kan unngå lange nettbaserte spørreskjema, og respondentene er høyt utdannede personer med personalansvar (ledere)? På bakgrunn av funnene i testen ser det ut som de fleste styrere i barnehagen intuitivt forstår hvordan de skal fylle ut og bruke den flerdimensjonale matriseformen i spørreskjemaet vi testet. De unge førskolelærerstudentene hadde større problemer med å bruke matrisen enn styrerne. Det var likevel noen styrere som ikke fikk det til eller som følte at matriseformen var tungvint å bruke. Åpningsbildet synes å ha bidratt til forvirring hos noen. Det var dessuten krevende å skulle vurdere både eget og ansattgruppers kompetansehevingsbehov i ett og samme spørsmål. Å dele opp dette spørsmålet kan gjøre det lettere å presisere hvilket ståsted respondenten skal ha når han/hun vurderer. Forbedringer som kan gjøres er dermed følgende: Ta bort åpningsbildet, eventuelt erstatt det med mer forklarende tekst Dele opp spørreskjemaet noe mer, selv om dette gjør det litt lenger. La styrerne svare på ønsker om egen kompetanseheving først, i en ordinær matrise med radioknapper, og deretter svare for de andre ansattgrupper i et spørsmål med flerdimensjonal matriseform, her med utgangspunkt i barnehagens behov. Måleverktøyet med disse justeringene ble sendt ut til respondentene i undersøkelsen av kompetansebehov i barnehagen, medio oktober Matriseformen korter ned lengden på spørreskjemaet forstått som antall skjermbilder/klikk en må utføre for å komme seg gjennom det. Respondenten må imidlertid gjøre like mange vurderinger av ulike påstander, og testpersonene peker på at svarene kan bli mer tilfeldig etter hvert. Det er derfor all grunn til å holde antall spørsmål også innenfor matriseformen så lavt som mulig, også av hensyn til datakvaliteten. Det ser imidlertid ut som barnehagestyrerne i stor grad behersker bruken av matrisen. Vår konklusjon er at denne formen for spørreskjema kan være et godt alternativ i spørreundersøkelser til ledere og profesjonelle (som barnehagestyrerne) i de tilfellene der det er behov for et omfattende spørreskjema og 1 Frekvensnotatet fra denne undersøkelsen vil foreligge cirka 1. februar 2012.