Utvikling av nye spørsmål til Studiebarometeret: Kvalitativ og kvantitativ testing Kristoffer F. Øygarden, Førstekonsulent Avdeling for Evaluering og Analyse
Dagens presentasjon Overordna: korleis jobbar NOKUT med testing og utvikling av spørsmål? Kva fører til at vi endrar / legg til spørsmål? Prosess Kvalitativ testing: valideringsintervju med studentar Kvantitativ testing: surveyundersøking Eksempel Utvikling av spørsmål om praksis til SB2019 Testing av ulike skalaar
Kva fører til at vi endrar / legg til spørsmål? Referansegruppe Tematiske satsingar / tidsaktuelle tema (dynamisk del i skjemaet) Tilbakemeldingar frå sektoren Interne evalueringar av spørsmål / tema
Referansegruppa Medlemmar: representantar frå institusjonane og andre relevante aktørar (KD, NSO, Rådgiverforum, NIFU, SPS, NHO, SSB, UHR, etc.) Viktig kjelde til innspel til utvikling av Studiebarometeret To møter i året Rundt lansering (januar, februar) Før sommarferien (mai, juni)
Kvalitetiv testing: fokusgruppeintervju Fokusgruppeintervjuer som regel i april/mai Rekrutterer på institusjonane gjennom Studiebarometers kontaktpersonar Studentar frå ulike studieprogram og fagfelt avhengig av målgruppe
Kvanititativ testing: spørreundersøking Spørjeskjema Respondentar som har sagt seg villige til å delta I framtidige undersøkingar i førre Studiebarometer N=11 000 i 2018 Testar ofte ulike variantar av spørsmål på to eller fleire randomiserte grupper Analyse av resultat Sjå på og samanlikne svarfordelingar Sjekke andel veit ikkje Kvantitative analyser faktoranalyse, korrelasjonar, etc. Lese fritekstfelt
Eksempel 1: spørsmål om praksis og arbeidsliv 2019
Eksempel 1: spørsmål om praksis 2019 Praksisbatteri i SB sidan 2014 (stort sett uendra) Praksis fordjupningstema for årets Studiebarometer Komande stortingsmelding om arbeidslivsrelevans, NOKUTs eiga praksissatsing Operasjon Praksis: https://www.nokut.no/prosjekter-i-nokut/operasjon-praksis- 20182020/ Til glede og besvær praksis i høyere utdanning (NOKUTs analyser - 2018) Samtidig: spørsmålsbatteri om arbeidslivstilknytning
Eksempel 1: spørsmål om praksis 2019 Steg 1: Idemyldring Steg 2: Fokusgruppeintervju Steg 3: Kvantitativ testing 1 spørjeskjema Steg 4: Analyse av resultat / presentasjon av resultat til referansegruppa Steg 5: Kvantitativ testing 2 (nylig avsluttet) Steg 6: Ferdigstille endeleg batteri Tidsperiode: April-September 2019 (5-6 månadar)
Eksempel 1: spørsmål om praksis 2019 Kor mange praksisperiodar har du hatt i løpet av studieprogrammet ditt? 30,0 % 25,0 % 26,5 % 23,9 % 22,0 % 20,0 % 17,8 % 15,0 % 10,0 % 5,0 % 0,0 % 3,9 % 1,8 % 0,9 % 0,9 % 0,1 % 1,0 % 0,2 % 1 2 3 4 5 6 7 8 9 10 12 Tal praksisperiodar
Eksempel 1: spørsmål om praksis 2019 Ga praksisopphaldet studiepoeng? 60% 57% 50% 40% 30% 28% 20% 15% 10% 0% Ja Nei Veit ikke
Eksempel 1: spørsmål om praksis 2019 Korleis fekk du praksisplass? 60% 50% 50% 40% 30% 31% 20% 10% 2% 7% 9% 0% Eg blei tildelt praksisplass av studieprogrammet utan moglegheit for å påvirke utfallet Eg blei tildelt praksisplass av studieprogrammet på bakgrunn av eige ønske/prioritering Eg måtte søke på praksisplass Eg måtte finne praksisplass heilt sjølv Anna
Eksempel 2: Test av svarskala
Eksempel 2: test av svarskala Vår 2018: testa ulike svarskalaar i valideringsundersøkelsen Bakgrunn: Hypotese om at labels kan påvirke svarmønster Test av tre varianter, i to rundar: Variant 1 labels på kvar svarkategori Variant 2 nye labels på endekategoriane (meir symmetrisk skala) Variant 3 tilfredshetsskala vs. eininghetsskala
Runde 1 labels på kvar svarkategori
Prosent Runde 1 labels på kvar svarkategori 50 45 40 35 30 25 20 15 10 5 Eige engasjement 0 1 2 3 4 5 999 Blå søyler: Fire spm om engasjement, label på 1 og 5 Oransje søyler: Fire spm om engasjement, label på alle
Runde 1 labels på kvar svarkategori Eige engasjement (gj. snitt) Eg er motivert for studieinnsats 4,0 Eg er motivert for studieinnsats (label-alle) 4,2 Eg nyttar meg av dei organiserte læringsaktivitetane som Eg nyttar meg av dei organiserte læringsaktivitetane som 3,7 3,9 Eg møter godt budd til undervisinga Eg møter godt budd til undervisinga (label-alle) 3,4 3,6 Eg opplever at studieinnsatsen min er høg Eg opplever at studieinnsatsen min er høg (label-alle) 3,8 3,9 1,0 2,0 3,0 4,0 5,0 Serie1
Runde 2 ny label på endekatogori
Runde 2 ny label på endekatogori 50 45 40 35 30 25 20 15 10 5 Eige engasjement 0 1 2 3 4 5 999 Blå søyler: Fire spm om engasjement, 1=ikkje einig, 5=heilt einig Oransje søyler: Fire spm om engasjement, 1=heilt ueinig, 5=heilt einig
Runde 2 gradsskala vs. tilfredsheitsskala
Dette er kun nokre eksempel på testing
Spørsmål?
Takk for merksemda!