Utvikling av nye spørsmål til Studiebarometeret: Kvalitativ og kvantitativ testing

Transkript

1 Utvikling av nye spørsmål til Studiebarometeret: Kvalitativ og kvantitativ testing Kristoffer F. Øygarden, Førstekonsulent Avdeling for Evaluering og Analyse

2 Dagens presentasjon Overordna: korleis jobbar NOKUT med testing og utvikling av spørsmål? Kva fører til at vi endrar / legg til spørsmål? Prosess Kvalitativ testing: valideringsintervju med studentar Kvantitativ testing: surveyundersøking Eksempel Utvikling av spørsmål om praksis til SB2019 Testing av ulike skalaar

3 Kva fører til at vi endrar / legg til spørsmål? Referansegruppe Tematiske satsingar / tidsaktuelle tema (dynamisk del i skjemaet) Tilbakemeldingar frå sektoren Interne evalueringar av spørsmål / tema

4 Referansegruppa Medlemmar: representantar frå institusjonane og andre relevante aktørar (KD, NSO, Rådgiverforum, NIFU, SPS, NHO, SSB, UHR, etc.) Viktig kjelde til innspel til utvikling av Studiebarometeret To møter i året Rundt lansering (januar, februar) Før sommarferien (mai, juni)

5 Kvalitetiv testing: fokusgruppeintervju Fokusgruppeintervjuer som regel i april/mai Rekrutterer på institusjonane gjennom Studiebarometers kontaktpersonar Studentar frå ulike studieprogram og fagfelt avhengig av målgruppe

6 Kvanititativ testing: spørreundersøking Spørjeskjema Respondentar som har sagt seg villige til å delta I framtidige undersøkingar i førre Studiebarometer N= i 2018 Testar ofte ulike variantar av spørsmål på to eller fleire randomiserte grupper Analyse av resultat Sjå på og samanlikne svarfordelingar Sjekke andel veit ikkje Kvantitative analyser faktoranalyse, korrelasjonar, etc. Lese fritekstfelt

7 Eksempel 1: spørsmål om praksis og arbeidsliv 2019

8 Eksempel 1: spørsmål om praksis 2019 Praksisbatteri i SB sidan 2014 (stort sett uendra) Praksis fordjupningstema for årets Studiebarometer Komande stortingsmelding om arbeidslivsrelevans, NOKUTs eiga praksissatsing Operasjon Praksis: / Til glede og besvær praksis i høyere utdanning (NOKUTs analyser ) Samtidig: spørsmålsbatteri om arbeidslivstilknytning

9 Eksempel 1: spørsmål om praksis 2019 Steg 1: Idemyldring Steg 2: Fokusgruppeintervju Steg 3: Kvantitativ testing 1 spørjeskjema Steg 4: Analyse av resultat / presentasjon av resultat til referansegruppa Steg 5: Kvantitativ testing 2 (nylig avsluttet) Steg 6: Ferdigstille endeleg batteri Tidsperiode: April-September 2019 (5-6 månadar)

10 Eksempel 1: spørsmål om praksis 2019 Kor mange praksisperiodar har du hatt i løpet av studieprogrammet ditt? 30,0 % 25,0 % 26,5 % 23,9 % 22,0 % 20,0 % 17,8 % 15,0 % 10,0 % 5,0 % 0,0 % 3,9 % 1,8 % 0,9 % 0,9 % 0,1 % 1,0 % 0,2 % Tal praksisperiodar

11 Eksempel 1: spørsmål om praksis 2019 Ga praksisopphaldet studiepoeng? 60% 57% 50% 40% 30% 28% 20% 15% 10% 0% Ja Nei Veit ikke

12 Eksempel 1: spørsmål om praksis 2019 Korleis fekk du praksisplass? 60% 50% 50% 40% 30% 31% 20% 10% 2% 7% 9% 0% Eg blei tildelt praksisplass av studieprogrammet utan moglegheit for å påvirke utfallet Eg blei tildelt praksisplass av studieprogrammet på bakgrunn av eige ønske/prioritering Eg måtte søke på praksisplass Eg måtte finne praksisplass heilt sjølv Anna

13 Eksempel 2: Test av svarskala

14 Eksempel 2: test av svarskala Vår 2018: testa ulike svarskalaar i valideringsundersøkelsen Bakgrunn: Hypotese om at labels kan påvirke svarmønster Test av tre varianter, i to rundar: Variant 1 labels på kvar svarkategori Variant 2 nye labels på endekategoriane (meir symmetrisk skala) Variant 3 tilfredshetsskala vs. eininghetsskala

15 Runde 1 labels på kvar svarkategori

16 Prosent Runde 1 labels på kvar svarkategori Eige engasjement Blå søyler: Fire spm om engasjement, label på 1 og 5 Oransje søyler: Fire spm om engasjement, label på alle

17 Runde 1 labels på kvar svarkategori Eige engasjement (gj. snitt) Eg er motivert for studieinnsats 4,0 Eg er motivert for studieinnsats (label-alle) 4,2 Eg nyttar meg av dei organiserte læringsaktivitetane som Eg nyttar meg av dei organiserte læringsaktivitetane som 3,7 3,9 Eg møter godt budd til undervisinga Eg møter godt budd til undervisinga (label-alle) 3,4 3,6 Eg opplever at studieinnsatsen min er høg Eg opplever at studieinnsatsen min er høg (label-alle) 3,8 3,9 1,0 2,0 3,0 4,0 5,0 Serie1

18 Runde 2 ny label på endekatogori

19 Runde 2 ny label på endekatogori Eige engasjement Blå søyler: Fire spm om engasjement, 1=ikkje einig, 5=heilt einig Oransje søyler: Fire spm om engasjement, 1=heilt ueinig, 5=heilt einig

20 Runde 2 gradsskala vs. tilfredsheitsskala

21 Dette er kun nokre eksempel på testing

22 Spørsmål?

23 Takk for merksemda!