Studiebarometeret. Den nasjonale undersøkelsen om studentenes syn på kvalitet i egen utdanning Pål Bakken, NOKUT

Transkript

1 Studiebarmeteret Den nasjnale undersøkelsen m studentenes syn på kvalitet i egen utdanning Pål Bakken, NOKUT

2 Studiebarmeteret: ppdraget Før 2013: ingen nasjnal undersøkelse m studiekvalitet Oppdrag fra KD i 2012, gitt til NOKUT: Nasjnal studentundersøkelse m nrske studenters ppfatning av studiekvalitet i høyere utdanning; alle bachelr- g mastergradsprgram (ikke årsenheter) Nettprtal der resultatene presenteres per prgram Første gang i 2013, deretter hvert år 3

3 Ppulasjnen 2. års bachelrstudenter, 2. års masterstudenter g 2. g 5. års studenter på prfesjnsutdanninger sm er fem år eller lengre studenter studieprgram Alle institusjner 4

4 Spørreskjemaet Basert på egne g andres erfaringer, spørsmål fra etablerte undersøkelser i Nrge g inspirert av utenlandske Pilt, validering Identisk skjema til alle studenter Relativt krt (10-12) minutter Opplevd studiekvalitet, engasjement, mtivasjn g tidsbruk Fkus på prgramnivå, ikke emne eller institusjn Likert-skala, 5-delt 5

5 Endringer i skjema i 2016 Basert på validitets- g reliabilitetsanalyser, litteraturgjennmgang, innspill fra referansegruppa g fra sektren (tilsatte g studenter) Nen få spørsmålstekster justeres g nen enkeltspørsmål inkluderes / ekskluderes En del spørsmålsbatterier fjernes, en del legges til Skjemaet blir litt krtere i år enn i fjr 6

6 Hvrdan endre spørsmålene? T-delt valideringsprsess: gruppesamtaler med studenter, g test med elektrnisk spørreskjema De fleste spørsmålene g «batteriene» endres ikke! Av nettprtalens 7 indekser, justeres t av dem ne, (Undervisning g Relevans). Indeksenes tidsserier, slik de presenteres i nettprtalen, vil ikke få brudd 7

7 De viktigste endringene i 2016 I fjr la vi inn t blker m Tilbakemelding g ppfølging. Vi tar nå disse ut av skjemaet. Vi tar ut batteriet Viktigst fr verrdnet vurdering av studieprgrammet Vi legger til batteriet Internasjnalisering Vi legger til batteriet Bruk av digitale verktøy/medier Batteriet Engasjement g sammenheng døpes m til Studieprgrammets evne til å inspirere. Vi legger her til ett spørsmål g flytter ett fra et annet batteri Batteriet Frventninger endres fra å spørre m studentens frventninger til studiestedet til spørsmål m «de ansattes frventninger til meg» 8

8 9 I Prtalen UNDERVISNING OG VEILEDNING Diagram JA JA JA JA STUDIE- OG LÆRINGSMILJØ Diagram JA JA JA JA MEDVIRKNING Diagram JA JA JA JA ENGASJEMENT OG SAMMENHENG --> STUDIEPROGRAMMETS EVNE TIL Å INSPIRERE Diagram JA JA JA JA RELEVANS FOR ARBEIDSLIVET Diagram JA JA JA JA EKSAMENS- OG VURDERINGSFORMER Diagram JA JA JA JA EGET LÆRINGSUTBYTTE Diagram JA JA JA JA OVERORDNET TILFREDSHET Diagram JA JA JA JA VALG AV STUDIEPROGRAM ble vist JA JA NEI NEI OMFANG AV LÆRING ble vist JA NEI NEI NEI OMFANG AV TILBAKEMELDING OG VEILEDNING ikke vist NEI NEI JA NEI TILFREDSHET MED TILBAKEMELDING OG VEILEDN. ikke vist NEI NEI JA NEI PRAKSIS Vises NEI JA JA JA MÅL TIL KARAKTERER Ikke vist JA JA JA JA MOTIVASJON Vises NEI JA JA JA FORVENTNINGER TIL LÆRERNE/INST. Vises NEI NEI JA NEI FORVENTNINGER FRA LÆRERNE/INST. Vises NEI NEI NEI JA VIKTIGST FOR OVERORDNET VURDERING Ikke vist NEI NEI JA NEI INTERNASJONALISERING Vises (?) NEI NEI NEI JA UTVEKSLING NEI NEI NEI NEI HOLDNING TIL DIGITALE VERKTØY/MEDIER Vises (?) NEI NEI NEI JA BRUKES UNDERVISNINGS- OG ARBEIDSFORMER detaljmdus JA JA JA JA BIDRAR UNDERVISNINGS- OG ARBEIDSFORMER detaljmdus JA JA JA JA TIDSBRUK PÅ FAGLIGE AKTIVITETER Vises JA JA JA JA TIDSBRUK PÅ BETALT ARBEID Vises JA JA JA JA ARBEIDETS RELEVANS ikke vist NEI JA NEI NEI FORELDRES UTDANNING Ikke vist NEI NEI JA JA

9 Samarbeid med SiU / spørsmål m internasjnalisering Kunnskap m internasjnalisering etterspurt av Senter fr internasjnalisering av utdanning (SiU), referansegruppa g enkeltpersner i sektren Spørsmålene utarbeidet i samarbeid med SiU Spørsmål m utveksling utgår i år plasshensyn/skjemalengde en relativt liten andel har erfaring med utveksling vurderes tatt inn senere 10

10 Samarbeid med Nrgesuniversitetet / spørsmål m digitale verktøy g medier Bakgrunn NUVs «Digital tilstand» - bl.a. en studentundersøkelse Piltprsjekt, NUV & NOKUT, samkjøre undersøkelsene Ett spørsmålsbatteri integreres i Studiebarmeteret De sm svarer på Studiebarmeteret vil få mulighet til å besvare flere spørsmål m «digitalitet» ved å gå inn en ny undersøkelse Spørsmålene er velprøvde i Digital tilstand Hvrfr? Effektivisere ved samkjøring av t undersøkelser Større utvalg av studenter enn Digital tilstand Enklere å sammenstille funn fra de t undersøkelsene Redusere undersøkelsestrettheten Berike Studiebarmeteret 11

11 Spørsmålene m praksis i 2016 I 2014 spurte vi studentene m de hadde hatt praksis I 2015 spurte vi institusjnene hvilke prgram sm hadde hatt praksis Begge metder var utfrdrende Vi etablerte en regel fr visning av praksissvar i 2015: minimum 6 individer på et studieprgram må har svart på minst 3 av 7 praksisspørsmål g disse individene må utgjøre minimum 49,5 % av individene sm har svart på Studiebarmeteret. I 2016 spør vi (bare) studentene g bruker regelen fr å definere m studentgruppa/prgrammet har hatt praksis 12

12 Gjennmføring av undersøkelsen - hvedtrekk Samle inn e-pstadresser g andre data (FSAT g inst.) (prim ktber) Sende ut lenke (e-pst g SMS) til undersøkelsen (fra 11. ktber) Bearbeide svar g kble dem til DBH-data (nvember-desember) Lage filer sm skal inn i ny database/prtal (publisere prim februar) 13

13 Tidsplan datafangst H-2016 Invitasjn (privat e-pst) 11.kt Invitasjn (SMS) 13.kt Invitasjn (skle e-pst) 18.kt Påminnelse (privat e-pst) 20.kt Påminnelse (SMS) 27.kt Undersøkelsen stenges 08.nv Svarmeter ktber 14

14 Løpende svarprsent

15 NOKUT: Markedsføring 5 gavekrt á 5000 krner + 25 á 1000 krner Infrmasjnsmateriell (plakater etc.) Svarprsent nline - «svarmeter» NSO: Infrmasjn på nettsider, i ssiale medier g i nyhetsbrev Bidrar med kntaktinf til medlemslagene 16

16 Markedsføring på institusjnene Mest effektfulle lkale tiltak: Infrmasjn i undervisningen (faglærere, andre tilsatte g studenttillitsvalgte) Tid til å svare i undervisningen Infrmasjn til de faglig ansvarlige g lærerne Gd ledelsesfrankring Samarbeide med studentdemkratiet Skape et lkalt knkurranseklima (kake!) 17

17 Om svarprsent g antall svarende Essensielt fr å kunne bruke data Mange prgrammer er små: 26 % av de prgrammene har 10 eller færre mttagere Utfrdrende å få mange nk svarende til at vi kan vise svardata i nettprtalen. Vi viser svardata fr 72 % av prgrammene (der ver 90 % av studentene går) 18

18 Utvikling av Studiebarmeteret.n Tidligere (2014): Språk: nynrsk, bkmål g engelsk Tidsserier Detaljert visning (svarfrdeling g standardavvik) Campus Underviserundersøkelsen Frtløpende små justeringer 19

19 Ny side fr kntaktpersner: 20

20 Campus-variabelen Økt behv fr å finne prgram frdelt på gegrafi pga. fusjner Ny variabel i FS g i DBH i 2016 Freløpig usikker datakvalitet Trlig sm en filtreringsfunksjn 21

21 Høyskler g universiteter får data: Nettprtalen Studiebarmeteret.n Også med detaljert infrmasjn sm svarfrdeling g standardavvik Grafiske rapprter m egne prgram g institusjn Annymiserte rådata (individdata) Nasjnale data frdelt på utdanningstype g prgram Tilgang på NOKUTs analyser ( 22

22 Hva kan institusjnene gjøre? Sammenligne lignende prgram internt g eksternt Lær av hverandre; finn ut hvem sm er best på ulike mråder g snakk med dem Studiebarmeteret kan supplere egne undersøkelser. Gir det kmparative perspektivet! Barmeteret er en generell undersøkelse med en aktørs synspunkter, dypdykk fte nødvendig 23

23 Studiebarmeteret g institusjnene Studiebarmeteret er en del av mange institusjners system fr kvalitetssikring Nen har erstattet egne undersøkelser til 2.årsstudenter med Studiebarmeteret Nen kpierer skjemaet eller deler av skjemaet g bruker på 1.- g 3.årsstudenter Evalueringer på emnenivå frtsetter uansett 24

24 Endringer basert innspill i seminaret 2015 Sende ut data til institusjnene tidligere Bedre grafiske rapprter, med avvik etc. 25

25 BIs bruk av Studiebarmeteret

26 Handelshøysklen BI BI er en uavhengig kunnskapsstiftelse Studiesteder i Osl, Bergen, Trndheim g Stavanger Over studenter 13 bachelrprgrammer 5 Master f Science-prgrammer 6 PhD spesialiseringer Etter- g videreutdanning Executive MBA Executive Master f Management Skreddersydde prgrammer

27 BIs bruk av studiebarmeteret Studiebarmeteret er en av flere kilder til infrmasjn m studenttilfredshet fra studentene Resultatene brukes på ulike delingsarenaer - intern spredning Resultatene suppleres med: evalueringer dialgmøter frmelle g ufrmelle møtearenaer

28 Handelshøysklen BIs kvalitetssikringssystem Styret g ledelsen Learning Lab LMU (Læringsmiljøutvalget) Studentpanel (Bachelr) FYE (First Year Experience) Dean (UUV), AD, kursansvarlig g den enkelte underviser Knkrete frbedringstiltak Administrasjnen Lkale behandling på alle campus

29 Studiebarmeteret i det stre bildet Systematisk bruk av evalueringsdata i arbeidet med kvalitetsfrbedring

30 Om ss Privat stiftelse 3 byer + nettstudier Ca 8000 studenter Høgskle g fagskle Sentrumsnær

31 8 kvalitetsindikatrer Ft: Day Dnaldsn, Flickr Inntakskvalitet Rammekvalitet Frskningskvalitet Prgramkvalitet Undervisningskvalitet Resultatkvalitet Relevanskvalitet Styringskvalitet

32 Fra svar til handling Gjennmføring Tppledelsen Instituttledelsen Fagmiljøet Studentene Gd frankring

33 Studiebarmeteret Undervisningskvalitet Ett av mange datasett Interessant Tydelig pekepinn Utvidet undersøkelse

34 Kristianialsen Kvantitativ data i analysekuber

35 Data fra studiebarmeteret i webtabellfrmat

36 Evalueringsdata Kvalitativ data i studiespesifikke mapper

37 Til slutt «Studentenes stemme» En av mange stemmer Kvalitetsrapprten Nytteverdi Tillit Kntinuitet Mindre synsing Ft: Guyn Mrée, Wikimedia Cmmns