Studieledere/programansvarlige som ønsker detaljerte nøkkeltall for klasser/kull: Kontakt PULS : puls@hiof.no EVA 2 :RAPPORT 2015 5 6 førsteårsstudenters erfaringer med undervisning og læringsmiljø ved HiØ Studentevaluering av undervisning og læringsmiljø NØKKELTALL på institusjons-, avdelings- og programnivå 27. mai, 2015 for PULS ved Roar C. Pettersen
Innhold EVA 2-undersøkelsen, 2015 2 Utvalg og svarprosent 2015 2 Kort om spørreskjemaet EMS (Erfaringer med studiet) 4 Kvalitetsindikatorer 4 Hvor fornøyd er de 506 studentene med kvaliteten på studiet? 5 «Always look at the bright side» 6 som utgangspunkt 6 Slik ser 506 studenter på lærerstabens feedback og undervisning 8 2015 et nytt toppår! 8 Tilbakemelding og feedback noen nyanser 9 Studentenes erfaringer med lærerstaben i undervisningssituasjoner 10 Kort oppsummering 12 Resultater EMS faktorskårer 13 Det store bildet - institusjonsnivå 13 Variasjon på avdelingsnivå 13 Variasjon på programnivå 14 Avdeling for HELSE- OG SOSIALFAG 14 Avdeling for INGENIØRFAG 14 Avdeling for INFORMASJONSTEKNOLGI 15 Avdeling for LÆRERUTDANNING 15 Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG 16 Vedlegg: Spørreskjema, EMS 17 EVA 2-RAPPORT 2015 1
EVA 2-undersøkelsen 2015 EVA 2 debuterte digitalt i 2014. Også i år ble EVA 2 sendt ut og besvart digitalt via lenke i Fronter. Det er fordeler og ulemper ved å administrere undersøkelser digitalt. En ulempe vi erfarte i fjor var at svarprosenten sank. Mens den lå på 72 % de to siste årene med papirskjemaer, sank den i fjor til 36 %. Et paradoks vi løftet fram i fjorårets rapport, siden en fordel med elektroniske løsninger er at studentene kan besvare undersøkelsen hvor som helst og når som helst, uavhengig av sted og tid. Utvalg og svarprosent 2015 Målgruppe i år var førsteårsstudentene med et samlet utvalg på 1078 studenter. Pr. 6. mai hadde vi mottatt 506 utfylte EVA 2-skjemaer; det gir en svarprosent på 47 en klar bedring i forhold til 2014. 36 % 47 % 53 % 64 % Det ser altså ut som strategier for «å vekke og få studenter ned fra gjerdet» og mobilisere dem til å besvare EVA2 har virket; ikke mist har nok stadige reminders og tett oppfølging fra vår kvalitetsrådgiver bidratt til dette. Muligens har også løftet om premiering til studieprogrammet med høyest svarprosent ved hvert studiested, samt alle studier med svarprosent over 90 %, lokket. Vinner i Fredrikstad ble Bachelorstudium Innovasjon og prosjektledelse (100 % deltakelse), og vinner i Halden var Grunnskolelærerutdanningen 1-7 (90,5 %). Begge vinnere er behørig feiret med kake i kantina på de respektive studiestedene. I tetgruppa var det ytterligere 3-4 programmer med svarprosent i området ca. 70-89 %. Disse programmene bør også løftes fram. De viser, sammen med vinnerne, at det er fullt mulig å nå en samlet svarprosent på over 70 for HiØ, som i «papir-alderen», forutsatt fortsatt mobilisering. EVA 2-RAPPORT 2015 2
Tabell 1 viser programmer som deltok og svarprosent for det enkelte program. Tabell 1 EVA 2 2015 Programmer og klasser/kull representert med svarprosenter Avdeling/Program N= Svar Svar % Avdeling/Program N= Svar Svar % Helse- og sosialfag Informasjonsteknologi Arbeids- og velferdsfag 34 20 59 Digital medieproduksjon 24 16 67 Barnevern 48 25 52 Informasjonssystemer 31 16 52 Sosialt arbeid 50 23 48 Informatikk: design og utv. 16 9 56 Sykepleie, heltid 158 67 42 Ingeniørfag data 26 14 54 Vernepleie, heltid 72 49 68 Samlet 352 184 52 Samlet 97 55 57 Ingeniørfag Lærerutdanning Bioingeniørfag 42 10 24 GLU 1-7 42 38 91 Bygg 50 31 62 GLU 5-10 51 20 39 Elektro 36 5 14 Barnehagelærer, heltid 87 19 22 Industriell design 27 18 67 Barnehagelærer, deltid 37 12 32 Innovasjon og prosjektl. 32 32 100 Kjemi 18 16 89 Maskiningeniør 41 30 73 Samlet 217 89 41 Samlet 246 142 58 Økonomi, språk og samf Internasjonal kommunikasjon 25 16 64 Regnskap og revisjon 35 9 26 Økonomi og administrasjon 55 10 18 Samlet 166 36 21 HiØ 1. studieår 2015 1078 506 47 I tidligere EVA 2-rapporter har vi satt en svarprosent på 50 som minimumsgrense for videre analyse av dataene. For å få et rimelig representativt bilde av klassens/kullets erfaringer med de aspektene av undervisnings- og læringsmiljøet som EMS kartlegger, bør det bygge på data fra minst halvparten av klassen/kullet; det er begrunnelsen for denne grensen. Imidlertid valgte vi i fjor å senke minimumsgrensen på grunn av lav svarprosent og analyserte data hvor minimum en tredjedel av klassen/kullet deltok i undersøkelsen, ca. 30-33 %. Det gjør vi også i år, med forbeholdet om at så lav svarprosent ofte gir et usikkert og lite valid bilde av klassen slike utvalg representerer. Programmer med lavere svarprosent enn 25 er ikke analysert i denne rapporten. EVA 2-RAPPORT 2015 3
Kort om spørreskjemaet EMS (Erfaringer med studiet) Erfaring med studiet (EMS) er blitt anvendt i EVA2-undersøkelsen ved HiØ siden 2005. Det er en oversatt og validert versjon av evalueringsverktøyet The Course Experience Questionnaire (CEQ), som anvendes ved flere studiesteder internasjonalt. Spørreskjemaet ligger i Vedlegg 1. EMS/CEQ er et såkalt faktor- eller indeksbasert verktøy hvor 28 utsagn tilordnes seks faktorer eller indekser som beskriver viktige trekk ved undervisnings- og læringsmiljøer, basert på høgskole- og universitetspedagogisk forskning og erfaring. Det er studenters erfaring med og opplevelse av sentrale generelle pedagogiske/didaktiske kvaliteter ved undervisning og læringsmiljø som kartlegges med EMS, samlet i seks faktorer/dimensjoner også omtalt som kvalitetsindikatorer. Kvalitetsindikatorer De seks faktorene i EMS er oppsummert i tabell 2 med en kort beskrivelse av de pedagogiske forhold og kvaliteter hver av dem retter seg mot. Tabell 2 Erfaring med studier faktorer God undervisning GU Studentenes oppfatninger av lærernes forklaringer, formidlingsevne, (6 utsagn) tilbakemeldinger, kontakt og relasjon til studentene. Generelle ferdigheter GF I hvilken grad opplever studenter at studiet bidrar til å utvikle deres ferdigheter i (6 utsagn) problemløsning, samarbeid, skriftlig kommunikasjon og organisering av eget arbeid. Klare mål KM Studentenes oppfatninger av lærernes og programmets formidling av læremål, (3 utsagn) krav og forventninger som stilles til studentenes studiearbeid og innsats. Arbeidsbyrde ARB Dimensjonen fanger hvordan studentene opplever arbeidsbyrden, om den (4 utsagn) oppleves som passe/overkommelig at de får tid nok og reelle muligheter til å tilegne seg pensum/lærestoff. (Høy faktorskår indikerer at arbeidsbyrden oppleves som passe/ overkommelig). Vurderingsformer VF Hvorvidt studentene anser at eksamens- og vurderingsformer legger mer vekt på (3 utsagn) faglig forståelse enn på å huske, memorere og gjengi faktakunnskaper. (Høy skår indikerer forståelsesorientert vurdering). Tilbakemeldinger/ Tar opp forhold knyttet til lærernes tilbakemeldinger på oppgaver/arbeidskrav. Feedback TB (4 utsagn) Akademisk motivasjon AM (2 utsagn) I hvilken grad studentene opplever det som meningsfullt å investere tid og krefter i studiearbeidet og at studiet stimulerer deres faglige interesse for utdanningens emner og fag. Faktorskårer regnes ut som gjennomsnittsverdien for utsagnene i den aktuelle faktoren/skalaen. Verdien 5 betegner toppskår og 1 er bunnskår. Resultater med høy gjennomsnittsskår og høy prosentvis enighet indikerer positiv evaluering (selv om enkelte utsagn er negativt formulert; disse snus før endelig analyse). EVA 2-RAPPORT 2015 4
Hvor fornøyd er de 506 studentene med kvaliteten på studiet? Det siste utsagnet i EMS retter seg mot studentenes generelle fornøydhet med kvaliteten på studieprogrammet/utdanningen, et såkalt overall satisfaction item (OSI): «I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet)» Nøkkeltall for dette utsagnet, som for øvrige utsagn og faktorer, kan presenteres på tre måter: Gjennomsnittsskår: fra 5 (topp) til 1 (bunn). Prosentvis enighet: summen av entydig positive skårer, 5 og 4 (= helt enig + delvis enig). Bred prosentvis enighet: summen av skårer som ikke er entydig negative (= helt enig + delvis enig + nøytral). Den «typiske HiØ studenten» 2009-2013 Typisk for HiØ-studenter i perioden 2009-13 var at 64 % var fornøyd med studiekvaliteten (prosentvis enighet). Gjennomsnittskåren for disse årene var 3,55. I hovedtrekk kan vi si at cirka 2 av 3 HiØ-studenter var fornøyd med kvaliteten på studieprogrammet i denne perioden. 64 % Her skiller årets 506 førsteårsstudenter seg positivt ut. Årets gjennomsnittsskår er 3,84 som tilsvarer prosentvis enighet på 72, 4. Fordelingen er vist nedenfor med referanse til utvalgene fra 2014 og 2013 2015: 506 førsteårsstudenter 72 % 21 % 7 % 2014 59 % 29 % 12 % 2013 67 % 17 % 16 % Tabell 2 viser prosentvis enighet fordelt på avdelingene. Tabell 2 HS 71 22 7 IR 68 24 8 IT 85 11 4 LU* 75 19 6 ØSS* 69 28 3 * Resultatene for LU og ØSS noe mindre representative for avdelingene som helhet siden svarprosentene er relativt lave, henholdsvis 41 og 47. For de øvrige avdelingene, HS, IR og IT, er de hhv. 52, 58 og 57. EVA 2-RAPPORT 2015 5
«Always look at the bright side» Beste Praksis er navnet på HiØs kvalitetssystem. I tråd med dette løftet vi både i fjor og året før fram programmene med de mest fornøyde studentene (med svarprosent > 50 %). Resultatlista fra årets uhøytidelige kåring vises i tabell 3, med «vinnerne» fra 2014 og 2013 som referanse; rangeringen er basert på prosentvis enighet., Tabell 3 Ti på topp 2015 Program Prosentvis enighet Topp 3 2014 Delt 1. plass Informasjonssystemer 4,1 93 Barnevern 3. år 3,8 77 Ingeniørfag data 4,1 93 Vernepleie 3. år 3,8 77 Informatikk design og utv. 4,2 90 GLU 5 10 3. år 3,8 73 Delt 2. plass Topp 4 2013 Innovasjon og prosjektled. 4,2 84 GLU 1-7, 1. år 4,3 94 Barnevern 4,1 84 Barnevern, 3. år 4,2 94 Barnevern, 1. år 4,1 89 Delt 3. plass Vernepleie, 4. årig, 1. år 4,1 86 Arbeids- og velferdsfag 3,8 80 Vernepleie 3,9 78 GLU 1-7 3,9 76 Kjemi 3,9 75 Internasjonal komm. 3,9 75 som utgangspunkt Vi anvender fornøydhetsskåren (OSI) som utgangspunkt for å se nærmere på faktorene i EMS, siden den erfaringsmessig korrelerer rimelig godt med disse, særlig med God undervisning (GU) som er spørreskjemaets sentrale faktor, men også med Generelle ferdigheter (GF). Ofte brukes også indeksen Perceived Academic Quality (PAQ) som en generell parameter for studiekvalitet; den framkommer kort og godt ved å ta gjennomsnittsskåren for samtlige 28 utsagn i EMS. PAQ gir derfor et mer stabilt og robust mål enn OSI-skåren som kun er basert på ett utsagn. OSI og PAQ samvarierer vanligvis også rimelig sterkt. Tabell 4 viser korrelasjonen mellom OSI og faktorene PAQ, GU og TB (tilbakemeldinger). EVA 2-RAPPORT 2015 6
Tabell 4 Korrelasjonstabell (Pearsons r) Fornøydhet PAQ God undervisning (GU) Tilbakemeldinger (TB) OSI 0,66 0,62 0,42 Basert på korrelasjonen mellom OSI og PAQ og GU antar vi at OSI kan fungere som en rimelig god pekepinn/predikator for hvordan studentene generelt erfarer kvaliteten på de ulike aspektene ved undervisning og læringsmiljø som EMS fokuserer på. Med andre ord: Høy OSIskår bør peke i retning av høy PAQ-skår og at studenter som er godt fornøyd med kvaliteten, også skårer GU høyt. I tabell 5 er «Ti på topp-lista» fra tabell 3 satt opp sammen med resultatene for PAQ, GU og TB. Tabell 5 Fornøydhet, God undervisning og Tilbakemeldinger Program Svarprosent over 50 OSI PAQ GU TB Informasjonssystemer 4,1 93 3,7 3,8 3,5 Ingeniørfag data 4,1 93 3,6 3,4 3,3 Informatikk design og utv. 4,2 90 3,5 3,5 3,2 Innovasjon og prosjektled. 4,2 85 3,5 3,4 3,4 Barnevern 4,1 84 3,6 3,5 3,4 Arbeids- og velferdsfag 3,8 80 3,6 3,4 3,2 Vernepleie 3,9 78 3,4 3,4 3,3 GLU 1-7 3,9 76 3,5 3,4 3,3 Kjemi 3,9 75 3,5 3,6 3,4 Internasjonal komm. 3,9 75 3,6 3,6 3,5 HiØ 3,6 72 3,4 3,3 3,2 Vi bør være fornøyd med godt fornøyde studenter, men vel så viktig er hvordan de erfarer signifikante aspekter ved undervisning og læringsmiljø, slik de kommer til uttrykk i EMSfaktorene. Her står God undervisning (GU) sentralt sammen med lærernes tilbakemeldingsog feedbackpraksis (TB). Tabell 5 viser at OSI-resultatet predikerer GU- og TB skåren ganske godt. Men langt fra perfekt (jf. r er henholdsvis 0,62 0g 0,42); i tabellen er Kjemi og Internasjonal kommunikasjon eksempler på det. Dersom vi velger å vektlegge positive erfaringer knyttet til God undervisning og Tilbakemeldinger (TB) sterkere enn generell fornøydhet, må rangeringen i tabell 3 og 5 justeres slik: Informasjonssystemer beholder «førsteplassen» men ikke alene. Her viser det seg at et program som ikke nådde opp på «fornøydhetskriteriet», ligger helt i tet når vi anvender summen av skårene for GU og TB som kriterium. Digital medieproduksjon skårer 3,8 på begge og går dermed helt til topps, som undersøkelsens dark horse ut fra tabell 3. EVA 2-RAPPORT 2015 7
Kjemi og Internasjonal kommunikasjon rykker opp på en delt andreplass, sammen med Innovasjon prosjektledelse og Barnevern (GU+TB ligger mellom 7,1 og 6,8). De øvrige programmene på lista deler dermed tredjeplassen (GU+TB mellom 6,7 og 6,6). Nedenfor ser i nærmere på studentutvalgets opplevelse av lærerstabens tilbakemeldinger og undervisning. Slik ser 506 studenter på lærerstabens feedback og undervisning I EMS defineres lærernes tilbakemeldinger og feedback som en sentral dimensjon i God undervisning. To utsagn i denne faktoren fokuserer nettopp på dette: GU7 GU17 «Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine». «Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet» Vi har fulgt disse to siden 2005 som en indikator på lærernes tilbakemeldingspraksis ved å se på snittet for dem; de omhandler henholdsvis tilbakemeldingenes kvantitet og kvalitet. Utviklingstrenden fra 2005 til 2013 er gjengitt i figur 1. Figur 1 Figuren viser en klar positiv trend fra perioden 2005-08 til 2011, som var et «toppår» med prosentvis enighet på drøyt 40. Derfra har det gått nedover, med henholdsvis 32 % enighet i 2012 og 33 % i 2013. Utvalget i 2014 bidro ytterligere til denne negative utviklingen med prosentvis enighet på 25. 2015 et nytt toppår! Derfor er det svært gledelig at årets førsteårsstudenter løfter dette forholdet tilbake til «all time high» fra 2011. Enigheten i snitt for de to feedback-utsagnene er i år på 41 %. EVA 2-RAPPORT 2015 8
Tilbakemelding og feedback noen nyanser For å få et mer nyansert bilde av studentenes reaksjoner på lærernes tilbakemeldingspraksis, ble EMS utvidet i 2012 med faktoren Tilbakemeldinger/Feedback (TB), som består av 4 utsagn: 5 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til 10 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang 23 Tilbakemeldinger på innleverte oppgaver kommer ofte så sent at nytteverdien blir ganske liten 28 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet Gjennomsnittlig prosentvis enighet er 42 i 2015 for denne faktoren (basert på fire utsagn). Det samsvarer godt med resultatet som tar utgangspunkt i GU7 + GU17 som indikator for tilbakemeldinger. På de enkelte utsagnene i TB fordeler enigheten seg slik (for hele utvalget): For utsagn 5 (Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til) som gjelder studentenes bruk av tilbakemeldingene de får, var 41 % enige, mens 1 av 5 svarte negativ på utsagnet. For utsagn 10 (Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang), som handler om «feed forward»-elementet i tilbakemeldinger, var hele 53 % enige. Det er et meget oppløftende resultat! Nettopp dette forholdet regnes som en kritisk faktor i læringsdrivende tilbakemeldinger. Kun 17 % var direkte uenige (helt eller delvis). For utsagn 23 (Tilbakemeldinger på innleverte oppgaver kommer ofte så sent at nytteverdien blir ganske liten) som handler om «timing» av tilbakemeldinger, var 28 % enige i at feedbacken kom for seint slik at nytteverdien ble liten. På den andre siden var 38 % uenige i det, og 34 % var usikre på hvordan de opplevde dette forholdet (nøytral skår, 3). For utsagn 28 (Stort sett får vi altfor få tilbakemeldinger på oppgavene [arbeidskravene] i dette studiet) som handler om ønsket mengde feedback, delte utvalget seg i tre omtrent like store leire. 33 % var enige at det var for magert med tilbakemeldinger, mens 36 % var uenige i dette. 31 % var usikre; noe som kan tolkes dithen at de ikke var misfornøyde, men snarere synes den mengden de fikk var grei nok (?). EVA 2-RAPPORT 2015 9
Studentenes erfaringer med lærerstaben i undervisningssituasjoner God undervisning er EMS dominante og viktigste faktoren. Her inngår lærernes tilbakemeldinger som et aspekt jf. kommentaren til GU 7 og 17. Årets utvalg oppfatter samlet sett undervisningsfaktoren signifikant mer positivt enn utvalgene de siste tre årene. Faktorskåren er i år på 3,3. Snittet for siste treårsperiode var 3,05. Faktorskår 3,3 tilsvarer en prosentvis enighet 47 for GU. Det er noe høyere enn for de to tilbakemeldingsutsagnene (GU 7 og 17), som betyr at utvalget erfarer de øvrige aspektene som dekkes av God undervisning noe mer positivt enn det som gjelder tilbakemeldinger og feedback. De øvrige forholdene i GU refereres ofte til som explanation, engagement/enthusiasm og empathy. Prosentvis enighet er en ganske «streng» kvalitetsindikator, derfor er det verdt å 36 % merke seg at en relativ stor andel i snitt stiller seg nøytralt (3) til utsagnene i GU. Det kan tolkes som at de erfarer undervisningen som «midt på treet»/«grei nok»; verken spesielt god eller dårlig. I snitt vurderer en drøy tredjedel av studentene det slik. Det tilsvarer dermed en bred prosentvis på 83 enighet for GU det er med andre ord nærmere 2 av 10 som har uttalt negative erfaringer knyttet til undervisningsfaktoren (17 %). Tabell 6 oppsummerer prosentvis enighet avdelingsvis for de øvrige utsagnene, sammen med programmet (svarprosent > 50) som rangerte det enkelte utsagn høyest på sin avdeling. Tabell 6 GU3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet Avdeling Prosentvis enighet Beste program Prosentvis enighet HS 47 Arbeids- og velferd 65 IR 43 Kjemi 63 IT 76 Informasjonssystemer LU 60 GLU 1-7 93 63 ØSS 70 Internasjonal komm. 69 GU15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet Avdeling Prosentvis enighet Beste program Prosentvis enighet HS 35 Arbeids- og velferd 60 IR 35 Kjemi IT 64 Informasjonssystemer 63 73 LU 42 GLU 1-7 47 ØSS 34 Internasjonal komm. 38 GU 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss Avdeling Prosentvis enighet Beste program Prosentvis enighet HS 53 Barnevern 68 IR 40 Kjemi 63 IT 58 Informasjonssystemer 67 LU 53 GLU 1-7 50 ØSS 64 Internasjonal komm. 50 EVA 2-RAPPORT 2015 10
GU 19 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant Avdeling Prosentvis enighet Beste program Prosentvis enighet HS 41 Arbeids- og velferd 60 IR 34 Kjemi IT 56 Digital mediaprod. 56 75 LU 48 GLU 1-7 47 ØSS 47 Internasjonal komm. 38 Verdt å merke seg i denne tabellen er at for LU og ØSS er det kun ett program som er «konkurransedyktig», henholdsvis GLU 1-7 og Internasjonal kommunikasjon, siden øvrige programmer på avdelingene hadde svarprosent lavere enn 50. Og de beste programmene i tabell 6 kjenner vi igjen fra tabell 5 (med kommentarer). EVA 2-RAPPORT 2015 11
Kort oppsummering For det første er det positivt at oppslutningen om årets EVA 2-undersøkelse viser høyere svarprosent enn i 2014. I år var den på 46 %, men for å øke evalueringsengasjementet ytterligere ved neste års undersøkelse, er det avgjørende at PULS og kvalitetsrådgiver i samarbeid med avdelingsledelse og studentenes tillitsvalgte fortsatt legger trøkk på en tettere oppfølging av strategien med å finne felles undervisningspunkter med stort frammøte. Slik at studentene får et kvarters undervisningstid til å fylle ut spørreskjemaet. Selv om dette prinsipielt ikke er nødvendig i og med at den «elektroniske» EVA 2 er frikoplet fra tid og sted. MEN det kan se ut som at det i praksis fortsatt er nødvendig med en sterkere og strammere planlegging og organisering av deltakelsen i studiekvalitetsundersøkelsen! Årets resultater er oppløftende! De 506 førsteårsstudentene som deltok er signifikant mer fornøyd med kvaliteten på sine studieprogrammer enn utvalgene de seneste årene har vært. Med en prosentvis enighet på 72,4 om at kvaliteten er god, kan vi nå si at 3 av 4 studenter en entydig fornøyd. Vi satte dette som et mål å jobbe mot ut fra det tidligere generelle bildet hvor kun 2 av 3 studenter var det. Bruker vi den mindre strenge kvalitetsindikatoren «bred prosentvis enighet» som omfatter entydig fornøyde studenter pluss de som ikke uttaler seg entydig negativt om studiekvaliteten, så er den på 93 for 2015! Fornøydhet med studiet samvarierer med resultatene på EMS-faktorene. Det kommer særlig til uttrykk ved at årets studenter gjennomgående erfarer så vel undervisningsfaktoren som lærerstabens tilbakemeldingspraksis mer positivt enn det vi har sett de tre siste årene. Nok et oppløftende resultat! I år var førsteårsstudentene i fokus. I fjor var det tredjeårstudentene. Andreårsstudentene er i viss forstand blitt «skånet» for EVA2 de siste to årene siden NOKUTs Studiebarometer retter seg mot dette studieåret. Tanken har vært å skjerme dem fra (en muligens ubegrunnet frykt for?) «evalueringsslitasje». Studiebarometeret retter seg som EVA 2 mot studenters opplevde studiekvalitet, men gir ikke rom for å se nærmere på hvordan dette utvikler seg over tid for det enkelte årskull DERFOR: Jeg foreslår at EVA 2 retter oppmerksomheten mot 2. studieår i 2016 av to grunner: Ved å undersøke erfaringene fra 2. studieår i 2016, hvor årets utvalg inkluderes, gir det muligheter for å se om årets utvalg «følger opp» med tilsvarende positive erfaringer i sitt andre studieår. Resultater fra både Studiebarometeret og EVA2 vil også kunne gi et bredere og mer nyansert bilde av hvordan andreårsstudenter opplever studiekvaliteten ved HiØ. Begge undersøkelsene retter seg mot samme sak, uten å være fullstendig overlappende og med noe ulik innretning. EVA 2-RAPPORT 2015 12
Resultater EMS faktorskårer Det store bildet - institusjonsnivå I tabell 7 og de øvrige tabellene nedenfor er 2013-resultatene satt i parentes for de enkelte faktorene. Det er mer relevant å sammenlikne årets resultater med hva 704 bachelorstudenter svarte i 2013 siden hovedvekten i dette utvalget var studenter i 1. studieår, i motsetning til 2014-utvalget som utelukkende besto av tredjeårsstudenter. Tabell 7. EMS-faktorer HiØ 2015 (2013-utvalget i parentes) God undervisning (GU) 3,3 (3,1) Tilbakemelding/Feedback (TB) 3,2 (3,0) Tilbakemeldinger GU7+17 3,1 (2,9) Klare mål 3,2 (3,2) Arbeidsbyrde (ARB) 2,7 (2,6) Vurderingsformer (VF) 3,6 (3,5) Generelle ferdigheter (GF) 3,7 (3,7) Fornøydhet med kvalitet (OSI) 72 % : 3,8 2013 63 % : 3,5 Variasjon på avdelingsnivå Tabell 8 EMS-faktorer og fornøydhet med kvaliteten (OSI) OSI i prosent og ( ) GU TB GU7 og 17 KM ARB VF GF 2015 2013 HS 3,2 (3,1) 3,2 (3,0) 3,1 3,2 (3,2) 2,6 (2,5) 3,5 (3,5) 3,7 (3,8) 71 % (3,8) 71 % (3,8) IR 3,2 (3,0) 3,0 (3,1) 3,0 3,2 (3,0) 2,6 (2,6) 3,7 (3,6) 3,8 (3,4) 68 % (3,6) 54 % (3,3) IT 3,7 (3,0) 3,5 (2,7) 3,4 3,4 (3,1) 2,9 (2,7) 3,7 (3,6) 3,6 (3,6) 85 % (4,0) 67 % (3,6) LU* 3,3 (3,2) 3,3 (3,1) 3,2 3,1 (3,0) 2,7 (2,5) 3,7 (3,6) 3,6 (3,6) 75 % (3,9) 65 % (3,6) ØSS* 3,5 (3,1) 3,5 (2,6) 3,5 3,3 (3,4) 3,0 (2,5) 3,6 (3,6) 3,7 (3,5) 69 % (3,8) 75 % (3,8) HiØ 3,3 (3,1) 3,2 (3,0) 3,2 (2,9) 3,2 (3,2) 2,7 (2,6) 3,6 (3,5) 3,7 (3,6) 72 % (3,8) 67 % (3,6) * Tolkning av resultatene for LU og ØSS bør ta hensyn til lav svarprosent for disse avdelingene, jf. tabell 1. EVA 2-RAPPORT 2015 13
Variasjon på programnivå Avdeling for HELSE- OG SOSIALFAG I tabellen er programmer med svarprosent 30 49 % merket * Tabell 9 2015 ARB.VELF BARNEVERN SOSIALT ARBEID* SYKEPLEIE* VERNEPLEIE GU 3,4 (3,3) 3,5 (3,2) 3,1 3,0 3,4 (3,1) TB 3,0 (3,2) 3,3 (3,0) 3,1 3,0 3,4 (3,1) Gu7+17 3,0 3,4 3,0 2,9 3,3 KM 3,4 (3,5) 3,5 (3,4) 3,2 3,0 3,3 (3,2) ARB 2,7 (3,1) 3,1 (2,8) 2,4 2,5 2,8 (2,5) VF 3,9 (3,7) 3,7 (3,6) 3,5 3,4 3,4 (3,5) GF 3,9 (4,0) 3,9 (3,9) 3,5 3,5 3,8 (3,9) 80 % (3,8) 84 % (4,1) 61 % (3,5) 61 % (3,7) 78 % (3,9) Svarprosent 59 52 46 42 68 2013 74 % (3,9) 88 % (4,1) - 73 % (3,9) Avdeling for INGENIØRFAG Tabell 10 Programmer med svarprosent i området 25 29 % er merket ** 2015 BIOING** BYGG ELEKTRO INNOVA- SJON INDUSTR DESIGN MASKIN-ING GU 3,4 (3,6) 3,1 (2,8) 3,4 (3,5) 3,0 (2,7) 2,9 (2,6) 3,6 TB 3,1 (3,7 ) 3,1 (2,9) 3,4 (3,5) 2,8 (2,9) 2,5 (2,6 ) 3,4 Gu7+17 3,3 3,1 3,2 3,0 2,5 3,3 KM 3,1 (3,4) 3,5 (3,2) 2,9 (2,8) 3,0 (2,9) 3,5 (2,9) 3,4 ARB 2,8 (2,8) 2,7 (2,6) 3,0 (3,4) 2,2 (2,1) 2,4 (2,2) 2,3 VF 3,3 (3,1) 3,5 (3,4) 3,9 (4,1) 3,6 (3,8) 3,7 (3,4) 3,8 GF 3,7 (3,7) 3,6 (3,3) 4,2 (4,2) 3,5 (3,1) 3,7 (3,5) 3,9 50 % (3,5) 72 % (3,7) 84 % (4,2) 50 % (3,4) 60 % (3,5) 75 % (3,9) KJEMI Svarprosent 24 62 13 100 67 73 89 2013 63 % (3,4) 52 % (3,1) For lav svarprosent 68 % (3,8) 33 % (2,9) 40 % (3,4) -- EVA 2-RAPPORT 2015 14
Avdeling for INFORMASJONSTEKNOLOGI Tabell 11 DATA-ING DIGITAL MEDIA INFORMATIKK Design og utv GU 3,4 (2,9) 3,8 (3,1 ) 3,5 (3,4) 3,8 (2,9) TB 3,3 (2,5) 3,8 (2,9) 3,2 (3,1) 3,5 (3,0) Gu7+17 2,9 3,9 3,3 3,5 KM 3,5 (3,5) 3,0 (2,5) 3,6 (2,4) 3,6 (3,3) ARB 2,8 (2,9) 2,8 (2,5) 2,9 (2,8) 2,9 (2,8) VF 3,7 (3,4) 3,6 (3,7) 3,8 (4,0) 3,6 (3,4) GF 3,7 (3,4) 3,4 (3,5) 3,5 (4,0) 3,9 (4,1) 93 % (4,1) 69 % (3,8) 90 % (4,2) 93 % (4,1) Svarprosent 54 67 56 52 2013 65 % (3,5) 62 % (3,4) 77 % (3,9) 70 % (3,9) INFORMASJONSSYSTEMER Avdeling for LÆRERUTDANNING I tabellen er programmer med svarprosent 30 49 % merket * Tabell 12 GLU 1-7 GLU 5-10 * BARNEHAGE Heltid BARNEHAGE Deltid * GU 3,4 3,0 3,5 (3,5) TB 3,3 2,9 3,6 (3,0) Gu7+17 3,4 2,7 3,3 (2,5) KM 3,2 2,9 3,3 (3,5) ARB 2,7 2,4 3,0 (3,1) VF 3,8 3,6 3,8 (4,0) GF 3,6 3,3 3,8 (3,8) 76 % (3,9) 60 % (3,5) 75 % (4,0) Svarprosent 91 39 For lav svarprosent: 21 2013 86 % (4,0) 48 % (3,3) -- 32 *) 82 % (4,1) Kommentar 2013-resultatene for GLU 1-7 bygger på et utvalg sammensatt av studenter fra 1. og 2. studieår. 2013-utvalget for GLU 5 10 besto av studenter fra 1., 2. og 3. studieår. *) Barnehagelærer deltid bygger på data fra 1. studieår i 2014 med svarprosent 28. EVA 2-RAPPORT 2015 15
Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG Programmer med svarprosent i området 25 29 % er merket ** Tabell 13 INTERNASJONAL KOMUNIKASJON Internasj. komm. 1. år 2012 REGNSKAP OG REVISJON** ØK AD GU 3,6 3,9 3,7 TB 3,5 3,8 3,3 Gu7+17 3,6 -- 3,4 KM 3,3 3,7 3,3 ARB 3,3 3,2 2,9 VF 3,6 3,6 3,4 GF 3,9 4,1 3,4 75 % (3,9) 96 % (4,4) 56 % (4,0) Svarprosent 64 26 For lav svarprosent, 18 2013 foreligger ikke 74 Kommentar For Internasjonal kommunikasjon er resultatene fra 2012 satt som referanse, som gjelder programmets 1. studieår. EVA 2-RAPPORT 2015 16
2014 Spørreskjema: Erfaringer med studiet og læringsmiljøet så langt dette studieåret (EMS) VEDLEGG 1 HE = Helt enig DE = Delvis enig?? = Usikker/«midt på treet» NU = Noe uenig HU = Helt uenig Husk: Bare ett svar pr utsagn ALLE utsagn MÅ besvares VENNLIGST MARKÉR SLIK HE DE?? NU HU 1 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet 2 Studiet bidrar til at jeg er blitt bedre til å samarbeide og delta i teamarbeid 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet 4 Arbeidsbyrden på utdanningen er for stor 5 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til 6 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt 7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine 8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger 9 Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid 10 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang 11 Studiet bidrar til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig 12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått 13 Jeg har en klar oppfatning av hvordan jeg ligger an i studiet ut fra hva som forventes av meg 14 Studieopplegget gir oss tilstrekkelig med tid slik at vi kan lære oss tingene ordentlig 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet 16 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning 17 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss 19 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant 20 Altfor mange lærere stiller spørsmål som bare gjelder faktakunnskaper 21 På studiet stilles det høye krav som fører til et stort press på meg som student 22 Studiet bidrar til at jeg utvikler mine analytiske evner og ferdigheter 23 Tilbakemelding på innleverte oppgave kommer ofte så sent slik at nytteverdien blir ganske liten 24 Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver 25 Det er ofte vanskelig å forstå nøyaktig hva man forventer av studentene på dette studiet 26 Omfanget av lærestoff/pensum på studiet gjør at vi ikke kan lære oss alt skikkelig 27 Studiet stimulerer min faglige interesse for utdanningens emner og fag 28 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet 29 I det store og hele er jeg fornøyd med kvaliteten på utdanningen (studiet) EVA 2-RAPPORT 2015 17