Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold Vårsemesteret Nøkkeltall Institusjons- og avdelingsnivå

Transkript

1 EVA 2 Rapport Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold Vårsemesteret 2012 Nøkkeltall Institusjons- og avdelingsnivå Nothing always happens Kartlegging med spørreskjemaet Erfaringer med studie (EMS) Roar C. Pettersen PULS (Program for undervisning, læring og studiekvalitet) HiØ 15. juni, 2012

2 Innhold Introduksjon til EVA 2-undersøkelsen, Hva sier resultatene fra EVA 2 og hva kan de brukes til? 5 Nøkkeltall i rapporten: hva og hvordan 7 Fornøyd med studiekvaliteten? 8 Variasjon på avdelings- og programnivå 9 Studentenes erfaringer med undervisning og læringsmiljø (EMS) Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for GOD UNDERVISNING (GU) 10 TILBAKEMELDINGER/FEEDBACK (FB) 12 KLARE MÅL (KM) 14 ARBEIDSBYRDE (ARB) 15 VURDERINGSFORMER (VF) 17 GENERELLE FERDIGHETER (GF) OG AKADEMISK MOTIVASJON (AM) 18 Oppsummering og kommentarer 19 Status quo 19 Hvor fornøyde er vi med HiØ-standarden som EVA 2 tegner? 20 Closing the loop videre arbeid 22 Avdelingsvise oversikter Referanser 26 Vedlegg: EMS for

3 Introduksjon til EVA 2-undersøkelsen, 2012 Om spørreskjemaet Årets avdelingsovergripende studentevaluering av undervisning og læringsmiljø, gjerne omtalt som EVA 2, ble gjennomført med en noe justert variant av Erfaring med studiet (EMS). Spørreskjemaet inngår som ledd i HiØs kvalitetssystem og bygger på The Course Experience Questionnaire (CEQ) (Ramsden 2003), som er et internasjonalt kjent evalueringsinstrument med god validitet og reliabilitet. Det brukes i Australias nasjonale kvalitetssystem, men også ved en rekke utdanningsinstitusjoner verden over (f. eks. University of Oxford, University of Sydney og Lunds universitet 1 ). Tabell 1 viser hva som er endret i årets skjema sammenliknet med standardversjonen av EMS med 26 utsagn, som er fordelt på seks faktorer/dimensjoner (jf. Vedlegg 2). EMS kartlegger studenters erfaringer med/opplevelser av sentrale pedagogiske/didaktiske kvaliteter ved undervisning og læringsmiljø på studieprogram- og kursnivå. De seks faktorene er kort skissert og definert i tabell 1. Tabell 1 Erfaring med studier (EMS, norsk versjon av Course Experience Questionnaire) God undervisning GU Studentenes oppfatninger av lærernes forklaringer, formidlingsevne, (6 utsagn) tilbakemeldinger, kontakt og relasjon til studentene. Uendret i 2012-versjonen Generelle ferdigheter GF I hvilken grad studiet bidrar til å utvikle studentenes ferdigheter i problemløsning, (6 utsagn) samarbeid, skriftlig kommunikasjon og organisering av eget arbeid, slik studentene vurderer det. Redusert til 4 utsagn i 2012-versjonen Klare mål KM Studentenes oppfatninger av lærernes og programmets formidling av læremål, (4 utsagn) krav og forventninger som stilles til studentenes studiearbeid og innsats. Redusert til 3 utsagn i 2012-versjonen Arbeidsbyrde ARB Dimensjonen fanger hvordan studentene opplever arbeidsbyrden, om den (4 utsagn) oppleves som passe/overkommelig at de får tid nok og reelle muligheter til å tilegne seg pensum/lærestoff. (Høy faktorskår indikerer at arbeidsbyrden oppleves som passe/overkommelig). Vurderingsformer VF Hvorvidt studentene anser at eksamens- og vurderingsformer legger mer vekt på (3 utsagn) faglig forståelse enn på å huske, memorere og gjengi faktakunnskaper. (Høy skår indikerer forståelsesorientert vurdering). Studentautonomi SA Gjelder studentenes opplevelse av relativ frihet i forhold til oppgaver og (3 utsagn) studiearbeid og i hvilken grad de har muligheter til å styre egen læring. Ikke med i 2012-versjonen Tillegg i 2010-versjonen Tilbakemeldinger/ Feedback FB (4 utsagn) Akademisk motivasjon AM (2 utsagn) Tar opp forhold knyttet til lærernes tilbakemeldninger på oppgaver/arbeidskrav. I hvilken grad studentene opplever det som meningsfullt å investere tid og krefter i studiearbeidet, og opplever at studiet stimulerer deres faglige interesse for utdanningens emner og fag. 1 Se f. eks: 2

4 På samtlige utsagn angir studentene sine erfaringer ved å markere på en femtrinns Likert-skala med verdier fra 5 = Helt enig, til 1 = Helt uenig. Verdien 3 uttrykker at man er usikker eller vurderer det aktuelle forholdet midt på treet eller som en del studenter har kommentert: OK, helt greit. Faktorskåren (skalaskåren) regnes ut som gjennomsnittsverdien for utsagnene i den aktuelle skalaen. Verdien 5 er med det toppskår, og 1 er bunnskår for faktorene. Flere utsagn i EMS er formulert negativt, f. eks: Arbeidsbyrden er for stor. Skårene for disse blir invertert før videre utregning og analyse; skåren 5 gis verdien 1, skåren 4 gis verdien 2, osv. Hensikten er at resultater som viser høye gjennomsnittsskårer og høy prosentvis enighet indikerer positiv evaluering, uansett om utsagn er positivt eller negativt formulert. Utvalget 2012 I løpet av mars-april ble til sammen spørreskjemaer administrert til 24 studieprogrammer fordelt på avdelingene (Helse- og sosialfag, Ingeniørfag, Informasjonsteknologi, Lærerutdanning og Økonomi, språk og samfunnsfag). I alt 1475 fullstendig utfylte skjemaer ble returnert det gir en svarprosent på 72. I tillegg ble HiBu og HiVe invitert til å delta med et mindre utvalg programmer; til sammen deltok ca. 250 studenter derfra i EVA 2-undersøkelsen. For dette utvalget utarbeides en egen rapport senere. Tabell 2 på neste side gir en detaljert oversikt over programmer og kull som deltok ved HiØ. 3

5 Tabell 2 EVA Programmer og klasser/kull representert med svarprosenter Avdeling/Program N= Svar % Avdeling/Program N= Svar % Barnevern 2. år Førskolelærer 1. år Barnevern 3. år Førskolelærer 2.år Sosialt arbeid 2. år Førskolelærer 3.år Sosialt arbeid 3. år Førskole (deltid) 1. år Sykepleie 2.år Førskole (deltid) 2.år Sykepleie 3. år Førskole (deltid) 3.år Sykepleie (delttid) 2. år GLU år Arb. Velf.-fag 1. år GLU år Vernepleie 2. år PPU Vernepleie 3. år PPU (deltid) Master Helse- og sosialfag Master Lærerutdanning Bioingeniør 2. år Engelsk 1. år Bioingeniør 3. år Int kommunikasj 1.år Bygg 2. år Statsvitenskap 1.år Økad 1.år Elektro 2. år Økad 2.år Innovasjon 2.år Økad 3.år Maskin-ing. 1. år Int business 3.år Maskin-ing. 2. år Revisjon 1.år Revisjon 2.år Ingeniørfag Revisjon 3.år Master 1 år Master2 år Master 3 år Dataing 1. år Dataing 2. år Digital Media 1. år Digital Media 2. år Informatikk 1. år Informatikk 2. år IT og ledelse 2.år Informasjonsteknologi Økonomi, språk og samf HIØ Årets utvalg burde gi et relativ representativt bilde av HiØs studentpopulasjon. I år er også Avdeling for Økonomi, språk og samfunnsfag (ØSS) godt representert; et bidrag vi har etterlyst de siste to årene. En samlet svarprosent på 72 bør vi også være godt fornøyd med, og det er kun noen klasser/kull som har en svarprosent under eller tett opp til 50, som vi har satt som grense for å bearbeide resultatene på klasse-/kullnivå. 4

6 Hva sier resultatene fra EVA 2 og hva kan de brukes til? Studentevaluering av undervisning og læringsmiljø (student feedback) retter seg typisk mot ulike nivåer innenfor utdanningsinstitusjoner, en vanlig inndeling er evalueringsstrategier med tanke på: Institusjonsnivå Avdelingsnivå (fakultetsnivå) Studieprogramnivå Emne-/modulnivå Direkte feedback av løpende undervisning Spørreskjemaet i EVA 2 EMS ble i utgangspunktet utviklet med sikte på evaluering på emne- og/eller programnivå. Ved å aggregere resultater fra deltakende klasser og kull til programnivå kan vi imidlertid konstruere nøkkeltall (faktorskårer og frekvensfordelinger) på så vel institusjonsnivå (HiØ) som på avdelingsnivå og for de enkelte studieprogrammer. Nøkkeltallene fra EVA 2 fungerer derfor som institusjonelle kvalitetsindikatorer (performance indicators); enkle talluttrykk som kan gi overblikk og generell indikasjon på den didaktiske eller undervisningsmessige kvaliteten knyttet til de tre øverste nivåene i oversikten over. I denne forstand representerer EVA 2 en summativ evaluering, eller en undersøkelse for reporting purposes, som Roxå og Mårtenson (2011) kaller det: data collected by the end of the course [program/studieår] in order to produce a document describing the quality of the course ( ) The purpose of this document ( ) is to support the quality enhancing dialogues between programme boards, the departments and the students (min uth). I denne forstand har EVA 2 også en formativ hensikt, som student feedback for operational purposes (Roxå & Mårtenson, 2011); med andre ord en kvalitetsutviklende intensjon. Til dette formålet er det primært resultater fra EVA 2 brutt ned på kull- /klassenivå for de enkelte programmer som er mest aktuelle. Men skal nøkkeltallene fra EVA 2 som indikatorer eller pekepinner bidra reelt i kvalitetsutvikling av undervisningen, er det to forutsetninger som må innfris: For det første må resultatene sees i sammenheng med og drøftes i forhold til resultater fra avdelingenes egne studentevalueringer, både på program- og emnenivå, og fra lærerkollegiet evaluering av egen undervisning. Evaluering på emne- og lærer-/ klasseroms -nivå omtales gjerne som EVA 3 i HiØs kvalitetssystem (jf. også oversikten over hvor lærers egen studentevaluering er omtalt som direkte feedback). For det andre: Skal studentevaluering bidra reelt til kvalitetsutvikling som element i høgskolens kvalitetssystem fordres det at kvalitetssløyfene lukkes, som det heter. Men som Harvey (2011) peker på: Closing the loop is an important, albeit neglected, element in the student feedback process (Harvey, s 6). Poenget er at dette er en kritisk faktor for studentevaluering på alle nivåer, fra klasseromsnivå (læreres evaluering av egen undervisning) til institusjonsnivå. 5

7 Figur 1 viser et ukast til kvalitetssløyfe for studentevaluering av undervisning. Figur 1 Når det gjelder EVA 2 og PULS engasjement i høgskolens kvalitetsarbeid, omfatter det i første omgang bare de tre første momentene i kvalitetssløyfa, fram til rapport foreligger. For å realisere den intenderte effekten av studentevalueringer i kvalitetsarbeidet, er vi avhengig av systematisk og grundig arbeid i fasen fra pkt 4 til pkt 7. Denne handlingsfasen representerer en kritisk faktor, kort og godt: What contributes to a successful university experience is an institution which actively seeks, values and act on student feedback (Harvey 2011:3; min uth.). Her ligger ansvaret hos avdelingene ved dekan, studieledere, program- og emneansvarlige og det øvrige kollegiet. I første omgang gjelder det arbeidet med å analysere, diskutere og vurdere evalueringsdata, både fra både EVA 2 og 3 (jf. pkt 4 i figur 1). Det er spørsmål om hvem som skal delta i denne fasen og hvem som har ansvar for å planlegge og gjennomføre eventuelle utviklingstiltak (pkt 5). Videre er det spørsmål om HiØs kvalitetssystem skisserer gode nok strategier for hvordan arbeid med studentevalueringer konkret skal gjennomføres. Blant annet om avdelingene skal rapportere tilbake til Utdanningskvalitetsutvalget (UKU) om hvilke tiltak resultater fra EVA 2 eventuelt har ført til, siden UKU står ansvarlig for gjennomføringen av EVA 2. Punkt 7 i figuren bør også kobles til punkt 4 og 5; i den forstand at det også er viktig å melde tilbake til studentene hvorvidt evalueringen fører til konkrete endringer og hva disse eventuelt innebærer. 6

8 Nøkkeltall i rapporten: hva og hvordan Årets rapport presenterer primært resultater på institusjons- og avdelingsnivå. I tilleggstabeller presenteres også resultater på programnivå. Resultatene presenteres som faktorskårer og prosentvis enighet for de sju faktorene i EMS, samt for utsagnet som gjelder generell fornøydhet med studiekvaliteten. Det betyr at rapporten ikke innholder detaljerte resultater for alle utsagn i EMS for de enkelte kull/klasser, som i tidligere års rapporter. Denne typen detaljerte tabeller kan imidlertid bestilles fra PULS av studieledere og program- og emneansvarlig for kull/klasser man tenker analysere nærmere. Her tenkes det primært på detaljer knyttet til områder (faktorer) som resultatene i forliggende rapport indikerer kan være av interesse for videre analyse, oppfølging og tiltak, jf. punkt 4 og 5 i kvalitetssløyfa. 7

9 Fornøyd med studiekvaliteten? Det siste utsagnet i EMS retter seg mot studentenes generelle fornøydhet med kvaliteten på studieprogrammet/utdanningen, an overall satisfaction item (OSI) formulert slik: I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet). I fjorårets EVA 2-rapport ble det introdusert en generell, intern indikator for gjennomsnittlig fornøydhet basert på responser fra studenter i perioden % 15% 20 % Generell indikator for fornøydhet med studiekvaliteten ved HiØ Gjennomsnittskåren fra fornøydhetsutsagnet (OSI) for er 3,57. Indikatoren/uttrykket prosentvis enighet viser til prosentandelen studenter som gir et utsagn entydig positiv skår, det vi si enten Helt enig eller Delvis enig. For fornøydhetsutsagnet er indikatoren prosentvis enighet på 65. For EVA 2 i 2011 (n = 964) var resultatene identiske med referanseindikatorene over. For årets EVA 2 (n = 1475) er det marginale endringer, men i svak negativ retning; gjennomsnittsskår er 3,52 med denne frekvensfordelingen: 63 % 17 % 20 % 2012 Utrykket BRED prosentvis enighet anvendes også i rapportering fra EMS (CEQ) undersøkelser, som et alternativt og mindre krevende nøkkeltall (blant annet i det australske kvalitetssystemet). Bred prosentvis enighet er summen av prosentvis enighet pluss andelen som anvender middelskåren 3 som et uttrykk for at de opplever kvalitets som midt på treet, eller som OK, greit nok som flere respondenter kaller denne skåren. Altså viser bred enighet til andelen studenter som ikke gir et entydig uttrykk for at de misfornøyd med kvaliteten. For HiØ som institusjon tegner det seg et stabilt bilde av studentenes fornøydhet med studiekvaliteten basert på undersøkelser den siste femårsperioden: Bred enighet er 80 basert på svar fra i alt studenter. 8

10 Variasjon på avdelings- og programnivå Når institusjonsindikatorene brytes ned på avdelings- og programnivå, finner vi betydelige variasjoner når det gjelder studentenes fornøydhet med studiekvaliteten, som det framgår av tabell 3. I tabellen refererer P + og P henholdsvis studieprogrammet med høyest og lavest skår. Tabell 3 Gjennomsnittskårer og frekvensfordeling for utsagnet: I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet) Gjennomsnitt OK, greit nok! Frekvensfordeling HS = 3,6 65 % 17 % 18 % P + = 4,08 88,1 6,8 5,1 P = 3,13 45,0 23,5 31,5 IR = 2,9 34 % 23 % 43 % P + = 3,46 67, ,1 P = 2,37 16,7 23,3 60 IT = 3,8 73 % 17 % 10 % P + = 4,46 92,9 7,1 0 P = 3,46 65,3 7,7 26,9 LU = 3,3 53 % 19 % 28 % P + = 3,64 69,3 17,9 12,9 P = 2,89 37,0 18,5 45,5 ØSS = 3,8 77 % 13 % 10 % P + = 4,36 96,0 4,0 0 P = 3,58 68,2 16,9 14,9 Variasjonen på avdelingsnivå er på 0,9 skalapoeng mellom høyeste og laveste skår; det tilsvar en differanse på 43 i prosentvis enighet. Imidlertid er det tilsvarende og noe større differenser mellom programmer med høyeste og laveste skår innenfor den enkelte avdeling; største interne differanse er 1,1 skalapoeng. Det var 24 studieprogram som deltok i EVA 2 undersøkelsen i år. Av disse var det 7 program som utmerket seg med en prosentvis enighet høyere enn 80, tett fulgt av 2 med prosentvis enighet høyere enn 75. 9

11 Studentenes erfaringer med undervisning og læringsmiljø (EMS) Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for 2011 Nedenfor presenteres nøkkeltall/indikatorer på samme måte for generell fornøydhet, jf tabell 3. Prosentvis enighet og uenighet, samt nøytrale responser (OK, greit nok), for faktorene er regnet ut som gjennomsnittet av frekvensfordelingene for de enkelte utsagn som danner den aktuelle faktoren. GOD UNDERVISNING Utsagnene som danner skalaen God undervisning, er gitt i tabell 4. Tabell 4 GU3 GU7 GU15 GU17 GU18 GU19 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet 7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet 17 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg / ligger an i studiet 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss 19 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant (Reliabilitet [Cronbachs alfa] for skalaen God undervisning, GU, =0,80) Resultater for God undervisning for HiØ som institusjon er gjengitt i tabell 5, og for avdelingene i tabell 6, sammen med resultatet for 2011 og referanseindikatoren; snittet for perioden Tabell 5 God undervisning HiØ OK, greit nok! Gjennomsnittskår 2012 Frekvensfordeling 2012 Gj.snitt 2011 og Ref.indikatorer HiØ = 3,05 42 % 18 % 40 % 3,1 / 3,01 Sett under ett opplever og vurderer årets utvalg (2012) undervisningen ved HiØ stort sett som utvalgene i tidligere EVA 2-undersøkelser. I forhold til 2011-utvalget ligger snittskåren 0,05 skalapoeng lavere, som ikke representerer en praktisk signifikant forskjell. Det gjør heller ikke differansen i forhold til referanseindikatoren (0,04 skalapoeng). Men igjen skjules betydelig variasjon bak de aggregerte nøkkeltallene. Både på avdelingsnivå og mellom studieprogrammer på samme avdeling, indikert ved høyeste skår (P + ) og laveste skår (P ) for GU på den aktuelle avdeling, jf. tabell 6. 10

12 Tabell 6 God undervisning fordelt på avdelingene OK, greit nok! Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator HS = 3,08 40 % 27 % 33 % 3,2 /3,13 P + = 3,28 P = 2,91 IR = 2,63 25 % 23 % 52 % 3,0/2,80 P + = 3,10 P = 2,16 IT = 3,08 43 % 23 % 34 % 3,3/2,89 P + = 3,43 P = 2,98 LU = 2,98 37 % 25 % 38 % 2,8/2,91 P + = 3,01 P = 2,87 ØSS = 3,22 50 % 18 % 32 % --/-- P + = 3,85 P = 2,95 Drøyt en tredjedel (n=9) av de 24 programmene som deltok i årets EVA 2 hadde en gjennomsnittsskår 3,2. Frekvensfordeling for programmer som ligger dette sjiktet er antydet nedenfor, hvor program 3 er blant topp 3 i årets undersøkelse. OK, greit nok! Gjennomsnitt Frekvensfordeling Program 1 = 3,17 50 % 25 % 25 % Program 2 = 3,43 60 % 18 % 22 % Program 3 = 3,85 71 % 14 % 15 % Kommentar til God undervisning og lærernes tilbakemeldinger To utsagn i God undervisning, GU3 og GU17, handler om studentenes opplevelse av lærernes vektlegging av tilbakemeldinger i undervisningen, og om studentene vurderer tilbakemeldningen de mottar som nyttige, jf. tabell 4. Dette forholdet er tolket som å ligge tett opptil Kvalitetsreformen sentrale formulering og krav om tettere oppfølging. Derfor har vi fulgt den gjennomsnittlige, prosentvise enigheten for de to utsagnene i utvalgene som har deltatt i EVA 2-undersøkelser siden I perioden var gjennomsnitt litt i overkant av 20 % enige. I perioden var 40 % enige. I 2011 var prosentvis enighet

13 For årets utvalg (2012) er prosentvis enighet 32. Med andre ord bekrefter ikke dette utvalget den antatte positive trenden når det gjelder HiØs praksis for tilbakemelding/feedback og tettere oppfølging, basert på resultatene fra tidligere år. I årets undersøkelse er det ØSS som kommer best ut med prosentvis enighet på 39,1. Det betyr samtidig at det er de to utsagnene om tilbakemeldinger som får svakest oppslutning i skalaen God undervisning. Faktorskår for GU når disse ikke medregnes er 3,17, som er signifikant høyere enn skåren for GU når alle seks utsagn inngår (3,05). TILBAKEMELDINGER FEEDBACK For å få et mer nyansert bilde av opplevd tilbakemeldings-/feedback-praksis, er skalaen Tilbakemeldinger/Feedback (FB) introdusert i årets EVA 2, jf. tabell 1. De fire utsagnene i tabell 7 er hentet fra Graham Gibbs Assessment Experience Questionnaire (AEQ) 2 ; det første og siste usagnet er negativ formulert, men er snudd før videre statistisk bearbeiding. Tabell 7 Utsagn i skalaen Tilbakemeldinger/Feedback (FB) 9 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet 11 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang 14 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til 21 Tilbakemeldinger på innleverte oppgaver kommer ofte så sent at nytteverdien blir ganske liten Reliabiliteten for denne skalaen er relativt beskjeden (Cronbachs alfa= 0,59), men som forventet siden utsagnene er hentet fra fire ulike skalaer i AEQ. Imidlertid viser faktoranalyse av datamaterialet for 2012 at de fire utsagnene danner en distinkt faktor sammen med GU7 og GU17 (jf. over). Reliabiliteten for denne faktoren, = 0,75. Resultatene presentert i tabell 8 bygger på de fire utsagnene gitt ovenfor i tabell 7. De omfatter faktorskår og prosentvis enighet, både for skalaen og enkelutsagn, så vel på institusjonsnivå (HiØ) som for høgskolens avdelinger. 2 Se Gibbs og Dunbar-Goddet (2007) og Gibbs og Simpson (2003) for detaljer. En tilpasset norsk versjon av AEQ er utarbeidet og validert av R.C. Pettersen og Kristine H. Karlsen. Prosjektnotat. HiØ: NFR-prosjektet,

14 Tabell 8 Tilbakemeldinger for HiØ og fordelt på avdelingene OK, greit nok! Gjennomsnitt Frekvensfordeling HiØ = 2,94 37 % 22 % 41 % Utsagn 9 34 % 18 % 48 % Utsagn % 20 % 38 % Utsagn % 25 % 35 % Utsagn % 24 % 44 % HS = 2,86 34 % 23 % 43 % Utsagn 9 26 % 20 % 54 % Utsagn % 23 % 36 % Utsagn % 26 % 31 % Utsagn % 24 % 49 % IR = 2,54 24 % 22 % 54 % Utsagn 9 23 % 15 % 62 % Utsagn % 19 % 53 % Utsagn % 30 % 44 % Utsagn % 24 % 57 % IT = 2,96 38 % 22 % 40 % Utsagn 9 33 % 20 % 47 % Utsagn % 19 % 41 % Utsagn % 27 % 37 % Utsagn % 23 % 33 % LU = 2,95 37 % 19 % 42 % Utsagn 9 34 % 20 % 46 % Utsagn % 16 % 41 % Utsagn % 24 % 37 % Utsagn % 25 % 43 % ØSS = 3,16 46 % 20 % 34 % Utsagn 9 46 % 26 % 38 % Utsagn % 18 % 32 % Utsagn % 18 % 36 % Utsagn % 22 % 36 % Samlet gjennomsnittskår for utsagnene FB9 og FB21 er 2,8 som tilsvarer samlet gjennomsnitt for GU7 og GU17. De to parene omhandler korresponderende forhold: feedback-kvantitet og nytte/timing. For de fire utsagnene ligger prosentvis enighet i området på institusjonsnivå. Når gjennomsnittskåren for FB-skalaen ligger noe høyere (0,1 skalapoeng) enn for de nevnte utsagnene, skyldes det at studentene stort sett skårer utsagnene FB9 og FB21 13

15 høyest, relativt sett. Det som gjelder tilbakemeldingenes formative karakter, og tilbakemeldinger som fører til at studentene går gjennom sine oppgaver på nytt. KLARE MÅL Et av utsagnene i KM-skalaen er utelatt i årets EVA 2, KM25, som vist under. KM1 KM6 KM13inv KM25 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt Stort sett har jeg en klar oppfatning av hva som forventes og hvordan jeg ligger an i studiet Det er ofte vanskelig å forstå akkurat hva man forventer av studentene på dette studiet Helt fra begynnelsen gjør lærerne det klart hva de forventer av studentene Erfaringsmessig påvirker dette utsagnet (KM25) variasjonen i faktorskåren for Klare mål i beskjeden grad; utsagnet har typisk en gjennomsnittskår på 3,0 0,01, basert på tidligere undersøkelser (n= 2.500). Derfor har reduksjonen marginal betydning for sammenlikninger mellom årets og fjorårets resultat og i forhold til referanseindikatoren. Antatt effekt på KM-gjennomnittet er 0,05 skalapoeng. Utsagn KM13 er negativt formulert. Etter at skårene for utsagnet er invertert, refererer enighet til det omvendte utsagnet; at studentene opplever at det er enkelt å forstå mer nøyaktig hva som forventes av dem på studiet. Tabell 9 Klare mål (KM) HiØ Gjennomsnittskår 2012 Frekvensfordeling 2012 Gj.snitt 2011 og Ref.indikatorer HiØ = 3,17 46 % 25 % 29 % 3,2 / 3,14 På institusjonsnivå er det differensen mellom årets resultat for KM sammenliknet med så vel 2011 som referanseindikatoren i praksis lik null. Den prosentvise enigheten på enkeltutsagnene er slik: Enig Utsagn KM1 51 % Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt KM6 56 % Stort sett har jeg en klar oppfatning av hva som forventes og hvordan jeg ligger an i studiet KM13inv 31 % Det er ofte vanskelig å forstå akkurat hva man forventer av studentene på dette studiet Det er altså når det kommer til å forstå nøyaktig/akkurat hva som forventes og hvilke krav som stilles til studiearbeidet, at den prosentvise enigheten er lavest. Det er et gjennomgående trekk for alle avdelinger. I noen grad kan det muligens tas som en indikasjon på hvor godt man har lykkes med å implementere kvalifikasjonsrammeverket i det enkelte studieprogram. Intensjonen med læringsutbyttebeskrivelser er å formidle og øke 14

16 presisjonsnivået på de krav og mål som stilles til studentenes studiearbeid og læringsresultater. Tabell 10 viser gjennomsnittsskår for Klare mål på avdelingsnivå, samt frekvensfordeling og gjennomsnittsskår for programmet med henholdsvis høyest og lavest skår på avdelingen. Tabell 10 Klare mål (KM) fordelt på avdelingene OK, greit nok! Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator HS = 3,25 49 % 24 % 27 % 3,2 /3,16 P + = 3,43 P = 3,12 IR = 2,93 34 % 26 % 40 % 3,3/3,12 P + = 3,13 P = 2,61 IT = 3,06 45 % 28 % 27 % 3,2/2,97 P + = 3,38 P = 2,84 LU = 2,99 39 % 22 % 39 % 2,9/3,10 P + = 3,56 P = 2,70 ØSS = 3,41 55 % 20 % 25 % --/-- P + = 3,80 P = 3,15 Heller ikke på avdelingsnivå finner vi signifikante forskjeller sammenliknet med de fire foregående årene. Hovedinntrykket kan oppsummeres som status quo for avdelingene HS, IT og LU. For IR skårer årets utvalg KM signifikant lavere enn utvalgene for tidligere år. For ØSS har vi ikke sammenliknbare tall fra tidligere år, men konstaterer at også for Klare mål kommer ØSS best ut av evalueringen, som for faktorene God undervisning og Tilbakemeldinger/Feedback. ARBEIDSBYRDE Skalaen Arbeidsbyrde (ARB) er utformet for å få et mål/en indikasjon på i hvilken grad studentene opplever arbeidsbyrden knyttet til studieprogrammet som overkommelig/ passe. Høy skalaskår indikerer at studentene vurderer studiearbeidet som overkommelig og rimelig i forhold til studiets krav og utfordringer. En overkommelig/passe arbeidsbyrde er definert ut fra følgende utsagn: ARB4inv ARB14 ARB21inv ARB26 Arbeidsbyrden på utdanningen er for stor Studieopplegget gir oss tilstrekkelig med tid så vi kan få lært oss tingene ordentlig På studiet stilles det høye krav som fører til et stort press på meg som student Omfanget av lærestoff/pensum på dette studiet gjør at vi ikke kan lære oss alt skikkelig 15

17 Tabell 11 viser nøkkeltall og frekvensfordeling på institusjonsnivå, og tabell 12 viser resultatene brutt ned på avdelingsnivå. Tabell 11 Arbeidsbyrde HiØ Gjennomsnittskår 2012 Frekvensfordeling 2012 Gj.snitt 2011 og Ref.indikator HiØ =2,52 25 % 17% 58 % 2,3 / 2,44 Skalaen for arbeidsbyrde får typisk lavest skår og prosentvis enighet, både i undersøkelser med CEQ og i tidligere EVA 2-undersøkelser, jf. referanseindikator. Tabell 12 Arbeidsbyrde(ARB) fordelt på avdelingene, 2012 OK, greit nok! Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator HS = 2,36 20 % 18 % 62 % 2,3 /2,31 P + = 2,80 P = 2,13 IR = 2,17 14 % 13 % 73 % 2,4/2,45 P + = 2,41 P = 1,90 IT = 2,76 33 % 18 % 49 % 2,4/2,79 P + = 2,89 P = 2,32 LU = 2,47 21 % 19 % 60 % 2,3/2,49 P + = 2,70 P = 2,16 ØSS = 2,81 36 % 20 % 48 % --/-- P + = 3,22 P = 2,31 En undersøkelse fra Oxford i 2003 med bachelorstudenter hvor denne skalaen inngikk, fikk den gjennomsnittskår 2,95. Så det er et stykke igjen til HiØ matcher dette nivået, for de fleste avdelingene. Men det kan se ut som det kan være innenfor rekkevidde for ØSS; her finner vi også programmet med høyest faktorskår, 3,22 (!). 16

18 VURDERINGSFORMER Skalaen Vurderingsformer (VF) fokuserer på studentenes oppfatninger om hvilke kunnskapsformer studiet/lærerne vektlegger i vurderingen av studentenes læringsutbytter. Om lærerne er mest opptatt av studentenes forståelse av fagstoffet de arbeider med, eller om de primært etterspør faktainformasjon og faktakunnskaper, som referer til et lavere taksonomisk nivå (jf. Kvalifikasjonsrammeverket). De tre utsagnene er alle negativt formulert slik at når de inverteres, uttrykker høy faktorskår at det er studentenes forståelses av faget som tillegges vekt. VF8inv VF12inv VF20inv 8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger 12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått 20 Altfor mange av lærerne stiller spørsmål som bare gjelder faktakunnskaper Tabell 13 Vurderingsformer Gjennomsnittskår Frekvensfordeling 2012 Gj.snitt 2011 og Ref.indikator HiØ =3,52 52 % 29 % 19 % 3,5 / 3,54 Tabell 14 Vurderingsformer (VF) fordelt på avdelingene OK, greit nok! Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator HS = 3,46 52 % 29 % 19 % 3,6 /3,53 P + = 3,74 P = 3,28 IR = 3,30 47 % 29 % 24 % 3,3/3,43 P + = 3,90 P = 3,07 IT = 3,57 58 % 22 % 20 % 3,4/3,50 P + = 3,98 P = 3,18 LU = 3,64 59 % 26 % 15 % 3,5/3,56 P + = 4,33 P = 3,48 ØSS = 3,54 60 % 21 % 19 % --/-- P + = 4,19 P = 3,19 Også denne faktoren viser liten endring sammenliknet med fjorårets utvalg og referanseindikatoren. Status quo synes å være en nærliggende konklusjon. Muligens med unntak av LU hvor det er en svak forbedring i forhold til begge sammenlikningsgrunnlagene. 17

19 GENERELLE FERDIGHETER (GF) OG AKADEMISK MOTIVASJON (AM) Skalaen Generelle ferdigheter (GF) handler om hvordan studentene opplever at studiet bidrar til at de utvikler såkalte generelle ferdigheter. Det dreier seg eksempelvis om samarbeidsevne, kommunikasjon, problemløsning og faglig trygghet. To utsagn er utelatt i årets versjon av EMS, slik det framgår nedenfor. Den avkortede skalaen er rimelig reliabel; = 0,70. Generelle ferdigheter har gjennomgående den høyeste gjennomsnittskåren av EMS standardskalaer; referanseindikatoren er 3,78. Innenfor en feilmargin på 0, 1 skalapoeng er resultatene basert på den korte skalaen sammenliknbar med målinger tidligere år. GF2 GF9 GF11 GF16 GF22 GF24 Generelle ferdigheter Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid Studiet har bidratt til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig Studiet bidrar til at jeg utvikler mine ferdigheter i problemløsning Studiet bidrar til at jeg utvikler mine analytiske evner og ferdigheter Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver Skalaen Akademisk motivasjon består av kun to utsagn: AM 1 AM 2 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet Studiet har stimulert mine faglige interesser for utdanningens emner og fag Skalaen ble brukt både i 2010 og 2011 og oppnådde faktorskår 4, 1 begge år. Reliabilitet er beskjeden, men akseptabel: =0, 53. Det er i noen grad påvirket av at utsagn AM 1 er nært korrelert med skalaen Generelle ferdigheter. Skalaskårer og prosentvis enighet for begge skalaer, GF og AM, på institusjonsnivå er oppgitt i tabell 14. Tabell 14 Generelle ferdigheter og Akademisk motivasjon Gjennomsnittskår, HiØ Frekvensfordeling 2012 Gj.snitt 2011 og Ref.indikator Generelle ferdigheter =3,66 66 % 18 % 16 % 3,8 / 3,78 Akademisk motivasjon =4,19 85 % 8 % 7 % 4,1 / --- Hovedtrekket er marginale differenser på institusjonsnivå for begge skalaer sammenliknet med resultatene fra 2011-utvalget. For begge skalaer varierer snittskåren mellom avdelingene i 2012 i størrelsesorden 0,4-0,5 skalapoeng. Den avdelingsvise variasjonen på programnivå kan leses ut av oversiktene se s

20 Oppsummering og kommentarer STATUS QUO Tankeboblen på rapportens forside Nothing always happens 3 er ment å reflektere helhetsinntrykket av årets EVA 2-undersøkelse sett i forhold til resultatene for de fire forgående årene, hvor nøkkeltall for perioden framkommer som referanseindikatorer (Ref.IND i tabell 15). Sitatet over dukket først opp under analysen på institusjonsnivå for Generell fornøydhet (OSI-utsagnet). For 2012-utvalget som representerer HiØ i denne sammenhengen, er det en marginal, nærmest mikroskopisk endring i forhold utvalgene tidligere år. Forskjellen er på 0,05 skalapoeng i negativ regning. Omregnet til prosentvis enighet er det 3 % færre fornøyde studenter i år sammenliknet med 2011: 63 % i 2012 og 65 % i Skal det være snakk om signifikante forskjeller, så vel statistisk som praktisk, må disse ligger på 0,2 skalapoeng, både for fornøydhetsutsagnet og faktorskårene i EMS. I tabell 3 (s. 9) ser vi imidlertid at det er signifikante forskjeller mellom avdelingene for dette utsagnet, den største forskjellen er på 0,9. På den annen side, ser vi på utviklingstendensen fra 2011 til 2012, så er det signifikant færre fornøyde studenter ved HS og IR, mens for IT og LU er det mindre og ikke-signifikante endringer. Tabell 15 oppsummerer årets resultater for faktorene i EMS med referanseindikatorer som sammenlikningsgrunnlag. Tabell 15 God undervisning (GU) TILBAKEMELDINGER (FB) Klare mål (KM) 2012 Ref.IND 2012 Ref.IND 2012 Ref.IND HiØ 3,05 3,01 2, ,17 3,14 HS 3,08 3,13 2, ,25 3,16 IR 2,63 2,80 2, ,93 3,12 IT 3,08 2,86 2, ,06 2,97 LU 2,98 2,91 2, ,99 3,10 ØSS 3, , , Arbeidsbyrde (ARB) Vurderingsformer (VF) Generelle ferdigheter (GF) Ref.IND 2012 Ref.IND 2012 Ref.IND HiØ 2,52 2,44 3,52 3,54 3, HS 2,36 2,31 3,46 3,53 3,82 3,96 IR 2,17 2,45 3,30 3,43 3,41 3,59 IT 2,76 2,79 3,57 3,50 3,56 3,62 LU 2,47 2,49 3,64 3,56 3,63 3,72 ØSS 2, , , Den noe paradoksale formuleringen er hentet fra Steve de Shazer ( ), en pioner innenfor såkalt Løsningsfokusert terapi og veiledning (LØFT). 4 Kommentar til GF: At 2012-resultatene systematisk ligger noe under ref.indikator (og skårene fra fjorårets utvalg) kan muligens tilskrives at skalaen er redusert med to utsagn, som nevnt tidligere. 19

21 Siden faktorene i EMS er satt sammen av flere utsagn som er tenkt å måle (og definere) det aktuelle undervisningsaspektet, er de mer robuste enn resultater fra ett enkeltutsagn, for eksempel det som gjelder fornøydhet. Samtidig viser analyser fra tidligere år, og i år, at det er relativt sterk samvariasjon mellom OSI-utsagnet og faktorskårene. Tar vi gjennomsnittet av de enkelte faktorskårene, får vi et mål på samlet erfaring med studiet (omtalt som perceived academic quality, PAQ; jf. Richardson 2005). Den samlede erfaring med studiet, PAQ = 3,14 for I fjor var skåren 3,20. Korrelasjon mellom PAQ og OSI er 0,65 og 0,68 (Pearson r) for henholdsvis 2012 og 2011, som tilsvarer omtrent 45 % samvariasjon mellom de to variablene. Ved å finlese oppsummeringen i tabell 15 ser det ut til at utsagnet nothing always happens også gjelder her. Den marginale forskjellen mellom PAQ-skårene fra 2011 til 2012 støtter dette. Gitt kriteriet for signifikant endring mellom 2012-skårene og referanseindikatoren på 0,2 skalapoeng (i den ene eller annen retning), er det et stabilt bilde som tegner seg basert på nøkkeltallene, så vel på institusjonsnivå som for de enkelte avdelinger. Noen avvik kan registreres. Det gjelder skåren for GU med en positiv utvikling på IT, mens den er negativ for samme skala for IR. Men disse innfrir ikke kravet til signifikans. Eneste signifikante differanse finner vi for Arbeidsbyrde på IR. Ellers er det status quo for kvaliteten på undervisning og læringsmiljø ved HiØ og HiØs avdelinger, slik disse forholdene defineres og måles via spørreskjemaet Erfaring med studiet, EMS. Hvor fornøyde er vi med HiØ-standarden som EVA 2 tegner? I mangel på nasjonale referanser, siden EMS/CEQ ikke inngår i andre norske universiteter eller høgskolers kvalitetssystemer, rettet vi i fjor blikket internasjonalt. I Australia anvendes CEQ som ledd i den nasjonale, årlige undersøkelsen Graduate Course Experience, som gjennomføres fire måneder etter avlagt eksamen. Rapporter fra 2008 og 2009 viser at ca. 70 % av uteksaminerte bachelorstudenter er fornøyde (målt med OSIutsagnet). Videre løftet vi fram en undersøkelse fra University of Oxford (Trigwell & Ashwin, 2003) hvor CEQ ble anvendt, og som omfatter studenter på bachelornivå. Av disse var 85 % fornøyde, målt med samme utsagn (gjennomsnittsskår, 4,02); 5 % var misfornøyde (prosentvis uenighet) Fra 2005 har man også introdusert en nasjonal studentevaluering i Storbritannia, National Student Survey (NSS) ( Spørreskjemaet er som EVA 2 inspirert av CEQ og innholder noen av de samme utsagnene, blant annet OSI. Resultater fra NSS slås stort opp den britiske pressen, for eksempel skriver The Telegraph ( ): 20

22 National Student Survey: one-in-10 dissatified with degree. Almost on-in-10 final year undergraduates said courses were not good enough. This year, 83 per cent of the 265,000 students questioned said they were satisfied with the quality of their course A further nine per cent said they were dissatisfied while eight percent failed to give a preference. Også i denne undersøkelsen kommer Oxford godt ut med prosentvis enighet 93, altså høyere enn i undersøkelsen fra Og universitetene bruker resultatene for hva de er verdt, se for eksempel: Ved University of Leicester, som linken viser til, gjør de også et poeng av at gjennomsnittlig enighet for alle utsagn i spørreskjemaet gir et sannere og bedre bilde av kvaliteten, enn OSI-utsagnet alene. Ved Fakultetet for geologi var 96 % av studentene enige i fornøydhetsutsagnet. Imidlertid var fakultetet alene om å ha over 90 % fornøyde studenter ut fra gjennomsnittet basert på alle utsagn, såkalt true overall satisfaction, jf. figur 2. Figur 2 I figur 2 ser vi at Oxford har en true overall satisfaction på ca %; det vil si at verdien på denne parameteren ligger ca. 10 % under fornøydhetsskåren basert på OSIutsagnet. Et liknende forhold får vi ved å regne ut true overall satisfaction for HiØ basert på EMS (unntatt skalaen ARB, siden dette forholdet ikke berøres i NSS). Den prosentvise u-enigheten stiger da ca. 10 % sammenliknet med tilsvarende frekvens basert på OSI-utsagnet, oppsummert for HiØ: 20 % = basert på OSI. 30 % = basert på gjennomsnittet av utsagnene i EMS (unntatt ARB). Med undersøkelsene løftet fram ovenfor som bakteppe, framstår spørsmålet i overskriften nærmest retorisk. Svaret burde være ganske åpenbart. De institusjonelle nøkkeltallene for EVA 2 tegner ikke en standard HiØ bør slå seg til ro med! Samme konklusjon ble trukket i fjorårets rapport, og følgende standard HiØ som institusjonen bør strekke seg etter, ble foreslått: 21

23 Prosentvis enighet for studiekvalitet (OSI-utsagnet) % God undervisning (GU), faktorskår 3,3 3,5 Klare mål (GU), faktorskår 3,4 3,6 Arbeidsbyrde (ARB), faktorskår 2,6 2,8 For den nye faktoren, Tilbakemeldinger/Feedback (FB), bør skåren ligge omtrent på samme nivå som GU. Det er verdt å merke seg at av 2012-utvalgene ligger ØSS tett opp til den skisserte standarden, og IT matcher den for OSI-skår og for Arbeidsbyrde. Og på avdelingsnivå finner vi flere studieprogram som matcher både den forslåtte standarden og nivåer som i de skisserte australske og britiske referansene jf. de avdelingsvis oversiktene, side Spørsmålet er imidlertid hvordan høgskolen skal gå fram for å heve programmer som ligger under og til dels langt under opp til den skisserte standarden. Closing the loop videre arbeid Med foreliggende rapport er PULS bidrag til kvalitetsarbeidet basert på studentevalueringer fullført, i første omgang. Slik det er skissert i kvalitetssløyfa for studentevaluering av undervisning (figur 1, s. 6), hvor PULS oppgaver dreier seg om (1) administrasjon av EVA 2, (2) Analyse og bearbeiding av data og (3) Publisering av resultater. Dermed er stafettpinnen sendt til avdelingene, hvor ansvaret for det videre kvalitetsarbeidet ligger. Resultater fra studentevaluering av undervisning er ett sett handlingsdata, blant flere, for dekaner, studieleder og det øvrige kollegiet i arbeidet med å kvalitetssikre og utvikle kvaliteten hva gjelder undervisning og læringsmiljøer. Her bidrar EVA 2 som ett av flere handlingsgrunnlag basert på studentevaluering, hvor EVA 2 spesifikt setter søkelyset på generelle didaktiske kvaliteter i undervisning og læringsmiljøet. Resultatene presenteres som indikatorer, hint eller pekepinner som a first layer of information. Derfor må informasjonen (nøkkeltallene) analyseres, vurderes og drøftes på avdelingene i sammenheng med resultater/handlingsdata fra avdelingenes egne evalueringer (EVA 3). Aktuelle problemstillinger kan være hvorvidt EVA 2 bekrefter/understøtter resultater fra eget evalueringsarbeid, eller om EVA 2 resultatene framstår som irrelevante og på tvers av det som framkommer i andre evalueringer. Eller om EVA 2 setter søkelyset på relevante områder og utfordringer som bør undersøkes nærmere og drøftes videre, med tanke på endringer og tiltak. Dette arbeidet danner et kritisk moment i prosessen med å lukke kvalitetssløyfa, som er utfordringen avdelingene står overfor. Hovedpoenget er; understreket nok engang med Harvey (2011): Closing the loop is an important, albeit neglected, element in the student feedback process. 22

24 AVDELINGSVISE OVERSIKTER 2012 SAMMENLIKNINGSGRUNNLAG HiØ 2012 (2011 i parentes) Program med høyeste skårer for 2012 Bachelor Program med høyeste skårer for 2012 Master GU 3,1 (3,1) 3,9 3,8 FB 2,9 ( - ) 3,8 3,7 KM 3,2 (3,2) 3,7 3,8 ARB 2,5 (2,3) 3,2 3,2 VF 3,5 (3,5) 3,6 4,2 GF 3,7 (3,8) 4,1 4,2 63 % (3,5) 96 % (4,1) 94 % (4,1) % (3,6) Faktorskårer for Generell fornøydhet i 2012 og 2011 står i parentes. Avdeling for HELSE- OG SOSIALFAG PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) BARNEVERN SOSIALT ARBEID ARB.VELF SYKEPLEIE SYKEPLEIE VERNEPLEIE deltid GU 3,2 (3,2) 3,3 (3,4) 3,3 2,8 (3,0) 3,4 3,2 (3,2) FB 2,7 ( - ) 2,9 ( - ) 2,7 2,8 ( - ) 3,0 3,1 (4,2) KM 3,3 (3,4) 3,4 (3,5) 3,1 3,1 (3,1) 3,3 3,3 (3,2) ARB 2,8 (2,5) 2,8 (2,5) 2,8 2,1 (2,2) 2,6 2,2 (2,2) VF 3,7 (3,6) 3,7 (3,9) 3,7 3,2 (3,4) 3,5 3,4 (3,6) GF 3,9 (4,1) 4,1 (4,2) 3,9 3,6 (3,8) 3,7 4,0 (4,2) 88 % (4,0) 87 % (4,1) 77 % (3,9) 45 % (3,0) 92 % (4,2) 76 % (3,9) % (4,2) 88 % (4,2) % (3,5) % (3,9) 23

25 Avdeling for INGENIØRFAG PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) BIOING BYGG ELEKTRO *) INNOVASJON MASKIN-ING GU 3,1 (3,2) 2,6 (3,3) 2,4 (2,8) 2,9 ( - ) 2,2 (2,7) FB 3,1 ( - ) 2,5 ( - ) 2,2 ( -- ) 2,7 ( - ) 2,1 ( - - ) KM 3,0 (3,3) 3,1 (3,4) 2,9 (3,2) 2,6 ( - ) 2,8 (3,3) ARB 2,2 (2,8) 2,3 (2,4) 2,0 (2,5) 2,4 ( - ) 1,9 (2,1) VF 3,1 (3,7) 3,2 (3,1) 3,2 (3,2) 3,9 ( - ) 3,4 (3,6) GF 3,3 (3,9) 3,4 (3,8) 3,6 (3,6) 4,0 ( - ) 3,2 (3,2) 63 % (3,5) 29 % (2,8) 18 % (2,5) 35 % (3,1) 17 % (2,4) % (4,0) 48 % (3,2) 65 % (3,5) % (2,1) *) Svarprosent er 50 for 2012 Avdeling for INFORMASJONSTEKNOLOGI PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) DATA-ING *) DIGITAL MEDIA INFORMATIKK *) IT & LEDELSE GU 3,1 (3,3) 3,0 ( - ) 3,4 (3,7) 2,9 (3,2) FB 3,0 ( - ) 3,0 ( - ) 3,1 ( -- ) 2,7 ( - ) KM 3,3 (3,2) 2,8 ( - ) 2,4 (3,3) 2,9 (3,1) ARB 2,9 (2,9) 2,8 ( - ) 2,8 (2,3) 2,3 (2,6) VF 3,6 (3,4) 3,5 ( - ) 4,0 (3,3) 3,2 (3,4) GF 3,4 (3,6) 3,3 ( - ) 4,0 (3,9) 3,9 (3,9) 69 % (3,7) 70 % (3,6) 93 % (4,5) 65 % (3,5) % (3,6) % (4,1) 83 % (3,8) *) Gjennomsnitt for faktorskårene fra 2011 er basert på svarprosent 50 Avdeling for LÆRERUDANNING PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) FØRSKOLE GLU 1-7 GLU 5-10 PPU (HEL+DELTID) MASTER GU 2,9 (2,9) 3,2 (3,5) 3,0 (3,1) 2,9 (3,0) 3,3 ( - -) FB 3,0 ( - ) 2,9 ( - ) 2,9 ( -- ) 2,9 ( - ) 2,9 ( - -) KM 3,0 (2,8) 3,5 (3,5) 3,3 (3,2) 2,7 (3,0) 3,1 ( -- ) ARB 2,4 (2,3) 2,2 (2,1) 2,2 (2,4) 2,7 (2,5 ) 2,7 ( -- ) VF 3,5 (3,4) 3,7 (3,7) 3,5 (3,8) 3,8 (3,8 ) 4,2 ( -- ) GF 3,8 (3,8) 3,8 (3,9) 3,6 (3,7) 3,1 (3,4 ) 3,7 ( -- ) 52 % (3,3) 74 % (3,9) 50 % (3,2) 37 % (2,9) 69 % (3,6) % (3,2) 79 % (4,1) 64 % (3,7) 52 % (3,2)

26 Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) ENGELSK INT KOMMUNIK STATVIT ØK AD MASTER GU 3,6 (-) 3,9 (-) 3,3 (-) 2,9 (-) 3,8 (-) FB 3,6 (-) 3,8 (-) 3,0 (-) 2,9 (-) 3,7 (-) KM 3,3 (-) 3,7 (-) 3,2 (-) 3,3 (-) 3,8 (-) ARB 2,3 (-) 3,2 (-) 3,1 (-) 2,7 (-) 3,2 (-) VF 3,7 (-) 3,6 (-) 3,2 (-) 3,4 (-) 4,2 (-) GF 3,6 (-) 4,1 (-) 3,6 (-) 3,5 (-) 3,7 (-) 83 % (4,2) 96 % (4,4) 82 % (4,1) 68 % (3,6) 94 % (4,3)

27 Referanser Gibbs, G. & Dunbar-Goddet, H. (2007). The Effects of Programme Assessment Environments on Student Learning. Oxford: Oxford Learning Institute. Gibbs, G. & Simpson, C. (2003) Measuring the response of students to assessment. The Assessment Experience Questionnaire. 11 th International Improving Student Learning Symposium. Harvey, L. (2011). The nexus of feedback and improvement. I: C. S. Nair & P. Mertova (eds). Student Feedback. The cornerstone to an effective quality assurance system in higher education. Oxford: Chandos Publ. Richardson, J. T. E. (2005). Students perception of academic quality and approaches to studying in distance education. British Educational Research Journal, 31: 7/27. Roxå, T. & Mårtensson, K. (2011). Improving university teaching through student feedback: a critical investigation. I: C. S. Nair & P. Mertova (eds). Student Feedback. Trigwell, K. & Ashwin, P. (2003). Undergraduate Students Experience of Learning at the University of Oxford. University of Oxford. 26

28 VEDLEGG Erfaringer med studiet og læringsmiljøet (EMS) så langt i studieåret Husk: Bare ett svar pr utsagn ALLE utsagn MÅ besvares VENNLIGST MARKÉR (omtrent) SLIK HE DE?? NU HU 1 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet 2 Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet 4 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt 5 Arbeidsbyrden på utdanningen er for stor 6 Jeg har en klar oppfatning av hvordan jeg ligger an i studiet i forhold til hva som forventes 7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine 8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger 9 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet 10 På studiet stilles det høye krav som fører til et stort press på meg som student 11 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang 12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått 13 Omfanget av lærestoff/pensum på studiet gjør at vi ikke kan lære oss alt skikkelig 14 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til 15 Det er ofte vanskelig å forstå nøyaktig hva man forventer av studentene på dette studiet 16 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant 17 Studieopplegget gir oss tilstrekkelig med tid slik at vi kan lære oss tingene ordentlig 18 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet 19 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning 20 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet 21 Tilbakemelding på innleverte oppgave kommer ofte så sent slik at nytteverdien blir ganske 22 Lærerne liten på studiet er virkelig gode til å forklare tingene for oss 23 Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver 24 Altfor mange lærere stiller spørsmål som bare gjelder faktakunnskaper 25 Studiet har bidratt til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig 26 Studiet har stimulert mine faglige interesser for utdanningens emner og fag 27 I det store og hele er jeg fornøyd med kvaliteten på utdanningen (studiet) 27