Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold Vårsemesteret 2011

Transkript

1 EVA 2 Rapport Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold Vårsemesteret 2011 En kvantitativ kartlegging med Erfaringer med studie (EMS) Roar C. Pettersen PULS (Program for undervisning, læring og studiekvalitet) HiØ 14. september 2011

2 Innhold Introduksjon til EVA 2- undersøkelsen, Studentenes fornøydhet med den generelle studiekvaliteten 3 Tilleggsfaktorer og - utsagn for Analyser og resultater på ulike nivåer 4 Videre i rapporten 4 DEL 1 Resultater Institusjonsnivå 5 Fornøyd var studiekvaliteten? 6 Hvor fornøyde bør vi være med studentenes fornøydhet? 7 Variasjoner avdelingsnivå 7 Studentenes erfaringer med undervisning og læringsmiljø (EMS): Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for På jakt etter beste praksis på program- og klassenivå 12 På den annen side 13 Nøkkeltall for tilleggsfaktorer og - utsagn for Oppsummering og kommentarer 16 DEL 2 Resultater Program- og klasse- /kullnivå 19 Avdeling for helse- og sosialfag, HS 20 BSV 21 Sykepleie 27 Tilleggsfaktorer Avdeling for ingeniørfag, IR 31 Bioingeniør 32 Elektro og Design 34 Tilleggsfaktorer Avdeling for informasjonsteknologi, IT 37 IT- ledelse 38 Tilleggsfaktorer Avdeling for lærerutdanning, LU 41 Allmennlærer Grunnskolelærer 42 Førskolelærer 44 Praktisk- pedagogisk utdanning, PPU 46 Tilleggsfaktorer Referanser 50 Vedlegg 1 EVA 2, skjema 52 Vedlegg 2 EMS, kjernefaktorer og utsagn 53 1

3 Introduksjon til EVA 2- undersøkelsen, 2011 Den årlige avdelingsovergripende studentevalueringen av undervisning og læringsmiljø inngår som ledd i HiØs kvalitetssystem og blir gjerne omtalt som EVA 2. Kjernen i denne undersøkelsen, gjennomført først gang i , er spørreskjemaet Erfaring med stu- diet (EMS) som bygger på The Course Experience Questionnaire (CEQ) (Ramsden 2003), et internasjonalt kjent evalueringsinstrument med god validitet og reliabilitet. Det bru- kes i det nasjonale kvalitetssystemet i Australia og ved ulike utdanningsinstitusjoner verden over (f. eks. University of Oxford, University of Sydney og Lunds universitet 1 ). Standardversjonen av EMS har 26 utsagn fordelt på seks faktorer/dimensjoner som kartlegger studenters erfaringer med/opplevelser av sentrale pedagogiske/didak- tiske kvaliteter ved undervisning og læringsmiljø på studieprogram- og kursnivå. De seks faktorene er kort skissert og definert i tabell 1, og de 26 utsagnene som inngår i stan- dardversjonen av EMS er gjengitt i Vedlegg 2. Tabell 1 Erfaring med studier (EMS, norsk versjon av Course Experience Questionnaire) God undervisning GU Studentenes oppfatninger av lærernes forklaringer, formidlingsevne, (6 utsagn) tilbakemeldinger, kontakt og relasjon til studentene. Generelle ferdigheter GF I hvilken grad studiet bidrar til å utvikle studentenes ferdigheter i problemløsning, (6 utsagn) samarbeid, skriftlig kommunikasjon og organisering av eget arbeid, slik studentene vurderer det. Klare mål KM Studentenes oppfatninger av lærernes og programmets formidling av læremål, (4 utsagn) krav og forventninger som stilles til studentenes studiearbeid og innsats. Arbeidsbyrde ARB Dimensjonen fanger hvordan studentene opplever arbeidsbyrden, om den (4 utsagn) oppleves som passe/overkommelig at de får tid nok og reelle muligheter til å tilegne seg pensum/lærestoff. (Høy faktorskår indikerer at arbeidsbyrden oppleves som pas- se/overkommelig) Vurderingsformer VF Hvorvidt studentene anser at eksamens- og vurderingsformer legger mer vekt på (3 utsagn) faglig forståelse enn på å huske, memorere og gjengi faktakunnskaper. (Høy skår indikerer forståelsesorientert vurdering) Studentautonomi SA* ) Gjelder studentenes opplevelse av relativ frihet i forhold til oppgaver og (3 utsagn) studiearbeid og i hvilken grad de har muligheter til å styre egen læring. * ) Et utsagn fra denne faktoren er utelatt i versjoenen Studentene angir sine erfaringer på samtlige utsagn ved å markere på en femtrinns Li- kert- skala med verdier fra 5 = Helt enig, til 1 = Helt uenig. Verdien 3 uttrykker at man er usikker eller vurderer det aktuelle forholdet midt på treet. Faktorskåren (skala- skåren) regnes ut som gjennomsnittsverdien for utsagnene som inngår i den aktuelle skalaen; det gir verdien 5 som toppskår og 1 som bunnskår. Det er verdt å merke seg at flere utsagn i EMS er formulert negativt. Skårene for disse blir invertert før videre utregning og analyse. For eksempel, dersom utsagnet Ar- 1 Se f. eks: 2

4 beidsbyrden på utdanningen er for stor er markert med verdien 5, snus skåren til 1. Det betyr at man er helt uenig i at arbeidsbyrden er for stor, men snarere opplever den som rimelig, at man får unna studiearbeidet greit uten altfor store anstrengelser. På tilsva- rende måte: Skåres utsagnet Det er ofte vanskelig å forstå akkurat hva man forventer av oss på studiet med verdien 1 gis det til verdien 5; man er med andre ord helt enig i at det vanligvis er greit å forstå temmelig presist hva som forventes av studentene. In- vertering av negative utsagn gjør at høye gjennomsnittsskårer og høy prosentvis enighet indikerer positiv evaluering; det gjelder for samtlige skalaer og enkeltutsagn. Studentenes fornøydhet med den generelle studiekvaliteten Det siste utsagnet i EMS er et såkalt referanseutsagn som retter seg mot studentenes generelle fornøydhet med kvaliteten på studieprogrammet/utdanningen. I originalen kalt an overall satisfaction item (OSI), i norsk språkdrakt: I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet). Både tidligere EVA2- undersøkelser og andre studier med CEQ viser at studente- nes generelle fornøydhet har relativt sterk samvariasjon med resultatene på de ulike dimensjonene i CEQ/EMS. Korrelasjonskoeffisienten (Pearson r) mellom generell for- nøydhet og samlet erfaring med studiet ligger rundt 0,60; her er gjennomsnittskåren for de seks EMS- faktorene brukt som indeks for samlet erfaring (jf. perceived academic quality (PAQ); Richardson, 2005). I årets undersøkelse er r = 0,68. Der betyr at nærme- re 50 % av variasjonen i studentenes fornøydhet med kvaliteten kan relateres til de di- daktiske aspektene som dekkes av EMS; for faktoren God undervisning er r = 0,55. Tilleggsfaktorer og utsagn for 2011 Også i 2011 er standardversjonen av EMS utvidet til å omfatte i alt 35 utsagn, som i 2009 og Tabell 2 viser tilleggene i versjonen av EVA 2; de som også var inkludert i 2010 er merket * ). Tabell 2 Tillegg i versjonen av EVA 2 Skala/dimensjon Læringsfellesskap, LF (Learning community ) (3 utsagn) Tema Retter seg mot studentenes opplevelse av å delta i og være en del av et sosialt og faglig fellesskap som er engasjert i læring. Akademisk motivasjon, AM * ) (2 utsagn) Emneorganisering, EO * ) (1 utsagn) Bibliotek, BIB * ) (3 utsagn) I hvilken grad studentene opplever det som meningsfullt å investere tid og krefter i studiearbeidet, og opplever at studiet stimulerer deres faglige interes- se for utdanningens emner og fag. Studentenes vurdering av hvorvidt det faglige innholdet i studieprogrammets emner er oversiktlig og godt organisert. Studentenes vurdering av bibliotekets servicenivå og tilbud av læringsressurser. Utvidelsen av spørreskjemaet er inspirert av utviklingen av CEQ i det australske kvali- tetssystemet, hvor oppmerksomheten også er rettet mot forhold og faktorer som ikke er umiddelbart knyttet til det konkrete undervisnings- og læringsmiljøet. Det vil si kvali- 3

5 teter som i større grad assosieres med et utvidet studie- og læringsmiljø; for eksempel tilbudet av læringsressurser så som bibliotektjenester og informasjonsteknologi. Analyser og resultater på ulike nivåer Evalueringsverktøyet EMS er først og fremst uformet for studentevaluering av undervis- ning og læringsmiljø på emne- og/eller programnivå. Men ved å aggregere resultater fra deltakende klasser og kull på programnivå kan vi konstruere nøkkeltall (faktorskårer og frekvensfordelinger) som fungerer som institusjonelle kvalitetsindikatorer (performance indicators). Det vi si enkle talluttrykk som kan gi overblikk og generell indikasjon på undervisningskvaliteten ved høgskolen som helhet og ved de enkelte avdelinger. Det er imidlertid viktig å vurdere datagrunnlaget for den enkelte EVA 2- under- søkelsen nøye når vi tolker og forsøker å trekke konklusjoner basert på institusjonelle indikatorer. I perioden er de årlige indikatorene utledet fra studentutvalg som representer fra 15 til 23 % av HiØs samlede studentpopulasjon. Siden ulike utvalg repre- senterer HiØ- studentene hvert år, vil endringer fra et år til et annet dels kunne forklares ut fra utvalgenes sammensetning, det gjelder både på institusjons- og avdelingsnivå. Dette diskuteres mer inngående senere, under presentasjonen av nøkkeltall/indikatorer på institusjonsnivå. Forskrift om kvalitetssikring og kvalitetsutvikling i høyere utdanning (Rundskriv nr. F , 2011) framhever at kvalitetssystemer både skal sikre og utvikle studiekvaliteten ved institusjonene. Indikatorer generert på institusjonsnivå representerer i denne sammen- heng et kvalitetssikrende (accountablity) makroperspektiv. Deres primære funksjon er som utgangspunkt for mer detaljerte analyser på klasseromsnivå med sikte på kvali- tetsutvikling. Derfor er resultatene på programnivå og for de enkelte studieår (klasser/ kull) de viktigste indikatorene i et utviklingsperspektiv. Det er på dette nivået EMS og EVA 2 har sin styrke som tilbakemeldinger til lærere/lærerteam fra studentene om deres erfaringer og opplevelser i forhold til det aktuelle undervisnings- og læringsmiljøet de deltar i. Men skal indikatorer i form av faktorskårer og frekvensfordelinger (prosentvis enighet) basert på EMS/EVA2 fungere som valide indikatorer og pekepinner på forhold som bør undersøkes og avklares nærmere, bør svarprosenten være minst 50 for det en- kelte program/årstrinn. Lavere svarprosent gir generelt et mer usikkert bilde av pro- grammenes kvalitetsmessige status. Videre i rapporten Rapportens første del presenterer og diskuterer årets EVA 2- resultater på institusjonsni- vå, det vil si aggregerte data for HiØ som institusjon og for de enkelte avdelinger. I andre del presenteres detaljerte data avdelingsvis for programmer og klasser/kull som representerte avdelingene i årets undersøkelse, med resultater fra fjorårets EVA 2 som referanser. 4

6 Resultater DEL I Institusjonsnivå 5

7 Fornøyd var studiekvaliteten? I årets EVA 2 deltok 964 studenter; det største utvalget hittil. Fordelingen av svarene på hvor fornøyde de var med studiekvaliteten på utdanningen/studieprogrammet de fulgte i , er illustrert figur 1. I studieåret fordelte 964 HiØ- studenter seg slik 65 % svarte at de var helt eller delvis enig i ut- sagnet; 20 % var helt enig. 15 % svarte med alternativet sånn midt på treet (nøytral). 20 % var helt eller delvis uenig. I det store og hele er jeg fornøyd med kvaliteten på studiet Figur 1 Indikatoren/uttrykket prosentvis enighet viser til prosentandelen studenter som gir et utsagn entydig positiv skår, det vi si enten Helt enig eller Delvis enig. Prosentvis enighet for 2011 ligger 4,3 % høyere sammenliknet med utvalget fra 2010: 60,7 % (n = 940). Men på den annen side: Resultatet fra 2010 lå 9 % lavere sammenliknet med utvalget, hvor den prosentvise enigheten var 69,7 (n =767). Dette resultatet repre- senterte på sin side en økning på 6,2 % i forhold til 2008 da enigheten var 63,5 % (n = 513). Den observerte variasjonen i fornøydhet med studieprogrammenes kvalitet i denne fireårsperioden ( ) gir neppe et dekkende og valid bilde av reelle utvikling- strender ved HiØ som institusjon. Som nevnt over, henger en vesentlig del av den ob- serverte variasjonen sannsynligvis sammen med ulikheter og særtrekk ved utvalgene som deltok i EVA 2- undersøkelsene disse årene, og at hvert utvalg kun representerte fra 12 til 23 % av studentpopulasjonen. Derfor vil en generell, intern indikator basert på gjennomsnittlig fornøydhet fra de fire siste EVA 2- undersøkelsene antakeligvis gi et mer dekkende uttrykk for studen- tenes generelle fornøydhet med studiekvaliteten. I den aktuelle perioden deltok 3179 studenter i EVA 2; det tilsvarer omtrent 75 % av HiØs studentpopulasjon. Fordelingen basert på dette utvalget ser slik ut: 65 % 15% 20 % Generell indikator for fornøydhet med studiekvaliteten ved HiØ Gjennomsnittskåren fra fornøydhetsutsagnet (OSI) for er 3,57. I korte trekk: Resultatet for utvalget på det aktuelle utsagnet er identisk med den konstruerte referanseindikatoren for HiØ: Prosentvis enighet = 65 Faktorskår = 3,57. 6

8 Hvor fornøyde bør vi være med studentenes fornøydhet? Hvorvidt vi er tilfreds med en gjennomsnittlig prosentvis enighet på 65, vil sannsynligvis henge sammen med hva vi vet om status ved andre høgskoler og universiteter. Her fin- nes det imidlertid få relevante data vi kan sammenlikne oss direkte med, dvs. resultater fra norske institusjoner der studentene har forholdt seg til samme utsagn (EMS). En nærliggende referanse er resultater fra det australske kvalitetssystemet der CEQ/EMS administreres årlig til alle bachelorstudenter fire måneder etter avlagt eksa- men. Resultatene publiseres årlig i en ganske omfattende rapport, Graduate Course Ex- perience. Rapportene fra 2008 og 2009 viser at ca. 70 % av uteksaminerte australske bachelorstudenter er fornøyde (helt + delvis) med studiet begge disse årene (n ~ /år). Med andre ord må HiØs indikator på institusjonsnivå for fornøydhet løftes med ca. 5 % for å matche det australske gjennomsnittet; det tilsvarer en økning på omlag 0,20 25 poeng for utsagnets snittskår. Per i dag kan vi si at ved HiØ er om lag 2 av 3 studenter fornøyde med studiekva- liteten. Men hva med å heve ambisjonene og sette som mål at 3 av 4 studenter er forn- øyde; dvs. en prosentvis enighet på 75? I disse tider med fusjonsutredninger og formule- ringer av visjoner for en ny fusjonert høgskole framheves intensjoner om økt kvalitet, både når det gjelder forskning og studiekvalitet (undervisning og læringsmiljø). Med bakgrunn i EVA 2- resultater er mulig å konkretisere og tallfeste forhold som ofte omta- les i generelle vendinger ( kvalitetsretorikk ). Ved University of Oxford har man også undersøkt studiekvalitet og læringsmiljø med en versjon av CEQ/EMS (n = 2130) (Trigwell & Ashwin 2003). Rapporten gir et inn- blikk i resultatene fra et eliteuniversitet som stadig figurerer på topp i rankinglistene i Times Higher Education. Ved Oxford oppgir 85 % av studentene at de er fornøyde med studiekvaliteten, mens bare 5 % er misfornøyde (gjennomsnittskår for utsagnet = 4,02). Når det gjelder så vel fornøydhet med studiet som studentenes erfaring med uli- ke aspekter ved undervisning og læringsmiljø, finner vi imidlertid betydelig variasjon når vi analyserer HiØ- resultatene på programnivå og for de enkelte kull og klasser. Referan- sene over kan i denne sammenheng fungere som verdier for et typisk og et fremra- gende gjennomsnitt; med andre ord som eksterne referanseindikatorer når vi overveier og drøfter hvor fornøyde vi bør være med resultatene for HiØ- studentenes fornøydhet og erfaringer med undervisning og læringsmiljø, på ulike nivåer. Variasjoner avdelingsnivå Tabell 3 viser variasjonen i prosentvis enighet/uenighet for fornøydhetsutsagnet, samt gjennomsnittsskår for avdelingene. Resultater fra 2010 er oppgitt i parentes. Referanse- indikatorene i kolonnen helt til høyre er interne referanser, det vil si gjennomsnittsskå- rer for utsagnet basert på samlet antall studenter som deltok i EVA 2 i perioden

9 Tabell 3 Avdelingene 2011 N= Svar- prosent 2011 Enig % 2011 (2010) Uenig % 2011 (2010) Gj.snittskår 2011 (2010) Ref- indikator Akademi scenekunst (100) 0 (0) 4,6 (4,6) - Helse- og sosialfag (71) 13 (12) 3,8 (3,8) 3,8 (n=1392) Ingeniørfag (50) 21 (32) 3,4 (3,2) 3,2 (n=457) Informatikk (54) 12 (21) 3,8 (3,3) 3,4 (n=208) Lærerutdanning (48) 33 (37) 3,2 (3,1) 3,4 (n=887) Økonomi, språk og samfunnsfag* ) - - * ) se teksten nedenfor Akademi for scenekunst er en liten avdeling og framstår som spesiell og særegen i HiØ- sammenheng på flere måter. Det gjelder også studentens fornøydhet med studiet, med prosentvis enighet på 100 både i år og i Avdeling for helse- og sosialfag har levert stabile resultater basert på noe ulikt sammen- satte utvalg de siste fire årene, og årets resultat er konsistent med tidligere år. Med pro- sentvis enighet på 72 plasserer avdelingen seg marginalt over det australske gjennom- snittet, om vi velger det som referanse. Avdeling ligger altså tett opp til et resultat der 3 av 4 studenter er fornøyde med studiekvaliteten. Avdeling for ingeniørfag er i år representert med et utvalg som er signifikant mer forn- øyde med studiekvaliteten enn studentene som representerte avdelingen i 2010; utvalget plasserer seg marginalt under HiØ- gjennomsnittet, med en prosentvis enighet 63. Det er også verdt å merkes seg at referanseskåren for IR ( ) er basert på et vesentlig større antall studenter enn samlet antall studenter ved avdelingen (ca. 320); det burde borge for en valid referanseindikator også for IR. Avdeling for informatikk er representert med et utvalg som er svært godt fornøyd med kvaliteten (78 %). Imidlertid representerer utvalget bare om lag 13 % av samlet student- tall ved avdelingen. Gjennomsnittet for utvalget ligger betydelig over avdelingens refe- ranseskår for : 3,4 basert på om lag 55 % (?) av ITs studentpopulasjon. Årets resultat synes derfor først og fremst representativt for ett av avdelingens programmer (n=38), hvor mer enn 3 av 4 studenter var fornøyd med kvaliteten. Det er ønskelig med større og mer representative utvalg fra IT i framtidige EVA 2- undersøkelser for å få et mer valid bilde av status ved avdelingen. Avdeling for lærerutdanning er representert med et bredt sammensatt utvalg som er marginalt mer fornøyd med studiekvaliteten i år sammenliknet med utvalget fra Lav prosentvis fornøydhet både i år og i fjor, sammen med en fallende tendens i gjen- nomsnittskåren for fireårsperioden, burde tilsi at avdelingen undersøker og følger opp resultatene på program- og klasse- /kullnivå mer inngående (jf. Rapportens del 2). Avdeling for økonomi, språk og samfunnsfag er svakt representert, i år som i fjor. I år svarte 16 masterstudenter på EVA 2; riktignok en svært fornøyd gruppe, 100 % fornøyd. I 2010 svarte 28 masterstudenter; også disse var godt fornøyd med studiekvaliteten, 8

10 prosentvis enighet var 86. Når det ikke har vært relevant å beregne en /- indikator for ØSS, skyldes det lite representative data fra bachelorprogrammene; i 2008 og 2009 del- tok til sammen 159 bachelorstudenter fra ØSS med en gjennomsnittsskår for fornøydhet på 3,9. Dersom dette skulle være vise seg representativt for avdelingen, betyr det at resultater fra ØSS vil bidra til høyne verdiene på EMS- indikatorene for HiØ samlet. Men om så vil være tilfelle, gjenstår å se. Derfor er det sterkt ønskelig med resultater basert på større og mer representative utvalg fra ØSS i framtidige EVA 2- undersøkelser. 9

11 Studentenes erfaringer med undervisning og læringsmiljø (EMS) Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for 2011 Resultatene for 2011, beregnet som gjennomsnittskårer for kjernefaktorene i EMS, er samlet i tabell 4 og 5. Skårene for 2010 er med i parentes, og referanseindikatorene be- tegner gjennomsnittsskåren for perioden basert på samme antall respondenter som gitt i tabell 3 over. På samme måte som for utsagnet om fornøydhet kan endringer i faktorskårene fra ett år til et annet ofte forklares ut fra særtrekk ved utvalgene som representerer den enkelte avdeling, særlig når utvalgene er små. Derfor vil referanseindikatoren gi et mer korrekt bilde dersom vi er interessert i forskjeller mellom avdelingene. For at forskjelle- ne skal være statistisk signifikante, bør de være på minst 0,20-0,30 poeng. For å vurdere mulige positive og negative utviklingstrender i studentenes erfa- ringer med undervisning og læringsmiljø for avdelingene, får vi sannsynligvis et mest korrekt inntrykk ved å sammenlikne snittet for 2011 og 2010 med referanseindikato- ren. 2 Det samme gjelder for HiØ som institusjon. Tabell 4 EMS- faktorene God undervisning, Generelle ferdigheter og Klare mål God undervisning (GU) Generelle ferdigheter (GF) Klare mål (KM) 2011 (2010) Ref Ref Ref 2011 (2010) 2011 (2010) indikator indikator indikator AS 4,1 (4,1) - 4,3 (4,4) - 3,7 (3,5) - HS 3,2 (3,2) 3,13 4,0 (4,0) 3,96 3,2 (3,3) 3,16 IR 3,0 (2,8) 2,80 3,7 (3,6) 3,59 3,3 (3,1) 3,12 IT 3,3 (2,6) 2,86 3,8 (3,5) 3,62 3,2 (2,7) 2,97 LU 2,8 (2,7) 2,91 3,6 (3,8) 3,72 2,9 (3,0) 3,10 HiØ 3,1 (3,0) 3,01 3,8 (3,7) ,2 (3,2) 3,14 Tabell 5 EMS- faktorene Arbeidsbyrde, Vurderingsformer og Studentautonomi Arbeidsbyrde (ARB) Vurderingsformer (VF) Studentautonomi (SA) 2011 (2010) Ref Ref Ref 2011 (2010) 2011 (2010) indikator indikator indikator AS 2,6 (3,5) - 4,5 (4,6) - 4,3 (4,0) - HS 2,3 (2,3) 2,31 3,6 (3,6) 3,53 3,5 (3,6) 3,37 IR 2,4 (2,4) 2,45 3,3 (3,4) 3,43 3,2 (3,1) 3,14 IT 2,7 (2,8) 2,79 3,4 (3,6) 3,50 3,4 (3,9) 3,49 LU 2,3 (2,5) 2,49 3,5 3,6) 3,56 3,2 (3,5) 3,32 HiØ 2,3 (2,5) 2,44 3,5 (3,6) 3,54 3,4 (3,5) 3,37 Når det gjelder utviklingstendensen for HiØ på institusjonsnivå, er det nok mest dek- kende å hevde at det har skjedd fint lite de siste fire årene i forhold til studentenes opplevelse av og erfaring med undervisning og læringsmiljø slik forholdet fanges opp av EMS. Forskjellene mellom gjennomsnittet av skårene for 2011 og 2010 og referanseindi- 2 For eksempel: Snittet av for GU på IR er 2,90 og referanseindikator er 2,80; det gir en positiv differanse på 0,1 som indikerer en mulig positiv utviklingstrend. Tilsvarende for LU: 2,75 2,91 = 0,16, som indikerer en mulig negativ utvikling. 10

12 katorene er nærmest mikroskopiske. Et mulig unntak er Klare mål hvor det kan se ut som det er en svak positiv utvikling. Etter en vellykket implementering av nasjonalt kva- lifikasjonsrammeverk med fokus på læringsutbytte bør vi forvente stigende verdier på denne faktoren. Det vil i så fall indikere at mer presise målformuleringer på studieplan- nivå også erfares og oppfattes av studentene i undervisningssituasjonene/læringsmiljø- ene. Et annet og mer uttalt positivt utviklingstrekk gjelder lærernes tilbakemeldinger på studentenes arbeid og oppgaver. Forholdet drøftes nedenfor, avslutningsvis i rappor- tens første del. Også på avdelingsnivå domineres bildet av fraværet av signifikante endringer i faktor- skårene (minimum ± 0,2 poeng), som det framgår av differensene mellom gjennomnit- tet av skårene for 2011/2011 og referanseindikatorene. Også forskjellene mellom avde- lingene er relativt beskjedne. Ut fra resultatene i tabell 4 og 5 tegner det seg typiske og relativt konstante EMS- profiler på institusjonsnivå og for de enkelte avdelingene; dette er illustrert i fi- gur 2 som er basert på referanseindikatorene for perioden ,5 4 HiØ HS IR IT LU 3,5 3 2,5 2 1,5 1 GU GF KM ARB VF SA Figur 2. Typiske EMS- profiler for HiØ og avdelingene, På faktorene Klare mål, Arbeidsbyrde og Vurderingsformer er det minimal variasjon mel- lom avdelingene (når vi holder IT utenfor for KM og ARB). De relativt sett største for- skjellene finner vi dermed for God undervisning, Generelle ferdigheter og Student- autonomi. 11

13 På jakt etter beste praksis på program- og klassenivå HiØs kvalitetssystem har det ambisiøse navnet Beste praksis. Bildet som tegner seg av den pedagogiske praksisen kartlagt med EMS for HiØ samlet og de enkelte avdelingene, kvalifiserer neppe til betegnelsen beste praksis. Snarere synes det mer dekkende å snakke om en middels god praksis (?), når de aggregerte resultatene legges til grunn. Men gjennomsnittstall er og blir et gjennomsnitt av det som skjer, av hvordan studentene erfarer og opplever pedagogiske kvaliteter i ulike studieprogrammer og på ulike årstrinn. På dette analysenivået program- og klassenivå finner vi imidlertid en betydelig variasjon i forhold til det stabile bildet som er tegnet over. Det framgår klart av de detaljerte resultatene presentert i rapportens Del 2. Derfor er det med utgangspunkt resultatene i Del 2 vi kan komme under vær med om det er studieprogrammer (og/eller studentkull/klasser) i årets undersøkelse som kvalifiserer til betegnelsen beste praksis. Spørsmålet er hva vi definerer som bes- te praksis. Her er resultatene fra Oxford løftet fram som eksempel. Der var 85 % fornøyd med kvaliteten; tilsvarende ved HiØ er 65 %. Oxfordstudien inkluderer også fire EMS- faktorer: God undervisning med gjen- nomsnittskår 3,48 (for HiØ: 3,01); Klare mål med skår 3,30 (for HiØ: 3,14); Arbeidsbyrde med skår 2,95 (for HiØ: 2,44) og Vurderingsformer med skår 3,88 (for HiØ: 3,53). På in- stitusjonsnivå representerer dette signifikante og ganske store forskjeller; størst for GU og ARB. Analyser med utgangspunkt i prosentvis enighet for fornøydhet viser at det er flere program og klasser i årets EVA 2 som matcher den skisserte Oxford- standarden på denne indikatoren. Tre eksempler på programnivå er valgt ut her, hentet fra tre for- skjellige avdelinger; omtalt som Program 1, 2 og 3 (jf. figur 3). Prosentvis enighet for programmene er hhv. 88, 84 og 79. Figur 3 viser hvordan de tre programmene forholder seg til de institusjonelle fak- torskårene for Oxford og HiØ på God undervisning, Klare mål, Arbeidsbyrde og Vurde- ringsformer. 5 4,5 OXF Program 1 Program 2 Program 3 HiØ 4 3,5 3 2,5 2 1,5 1 GU KM ARB VF Figur 3. Eksempler på beste praksis ved HiØ,

14 Et interessant trekk er at alle tre HiØ- program matcher Oxford, og vel så det, på God undervisning. Det er også verdt å merke seg at de skårer høyere på Klare mål. Et nær- mest paradoksalt trekk er imidlertid at studenter ved en norsk høgskole opplever ar- beidsbyrden (ARB) signifikant og betydelig større enn gjennomsnittsstudenten ved et engelsk eliteuniversitet, hvor det neppe er lavere krav til studieinnsats. Men nå handler dette om opplevd arbeidsbyrde, og ikke om arbeidsbyrde som en objektiv, målbar stør- relse. Det kan tenkes at høgskolestudenter setter av for lite tid til studiearbeidet i for- hold til den tiden som faktisk kreves for rekke med undervisning, individuelle studier, oppgaveløsninger og innleveringer. Da kan arbeidsbyrden fort oppleves som for stor og lite tilpasset den tiden de setter av til studiearbeidet. Det kan være én mulig, men nep- pe fullgod forklaring. På den andre siden kan det imidlertid tenkes at summen av under- visning, individuelt arbeid og arbeidet med innleveringer er så pass stor at en normal arbeidsuke på 38 timer ikke strekker til, slik at studentene opplever at de ikke får gjort jobben på en tilfredsstillende måte; men snarere sitter igjen med en følelse av stadig å være på etterskudd. Vi vet også at evnen til realistisk tidsplanlegging påvirker opple- velsen av arbeidsbyrde, og ikke minst spiller studentenes læringskompetanse, deres repertoar av effektive studiestrategier og læringstilnærminger, en vesentlig rolle for hvordan de opplever arbeidsbelastningen i studiet. Når det gjelder faktoren Vurderingsformer, matcher ett program OXF, mens ett ligger signifikant lavere. På den annen side Når vi finner programmer og kull som oppfatter og evaluerer undervisningskvaliteten og læringsmiljøet markant bedre enn HiØ- gjennomsnittet, vil det nødvendigvis, logisk sett, være programmer og kull som oppfatter samme forhold markant dårligere. To eksempler fra årets data som faller i denne kategorien, er skissert nedenfor; de viser oppfatninger og erfaringer med studiekvalitet, undervisning og læringsmiljø som ligger langt unna kriteriene for beste praksis. Eksemplene gjelder to kull som rap- porterer om henholdsvis 13 % og 29 % fornøydhet med studiekvaliteten. Den prosent- vise u- enigheten er hhv. 70 og 55. Det kan være ulike forklaringer på at majoriteten av studentene er misfornøyd studiekvaliteten. Misnøyen kommer også til utrykk som negative erfaringer på EMS- faktorene. Ser vi på kullet som er minst fornøyd, finner vi følgende fordelingen på disse utsagnene fra faktoren God undervisning: 11 % er enige (helt + delvis) i utsagnet om at lærerne motiverer studentene til å gjøre sitt beste i studiet; 64 % er uenige (helt + delvis). 23 % er enig i at lærerne legger vekt på å forstå problemer studentene måtte ha med studiearbeidet; 70 % er uenige. 19 % er enige i at lærerne er gode til å forklare tingene for studentene; 70 % er ueni- ge 19 % er enige i at lærerstaben legger stor vekt på å gjøre lærestoffet interessant; 64 % er uenige. 13

15 Store avvik fra referanseskårene for HiØ/avdelingene bør motivere utdanninger til å undersøke nærmere hva som kan ligge seg bak resultatene fanget opp med EVA 2. Hvil- ke forhold og erfaringer motiverer studentene til å respondere som de gjør? EMS regi- strerer og produserer informasjon om hvordan relativt generelle didaktiske aspekter oppleves og erfares i den forstand produserer EMS evalueringsdata på et første nivå. For å komme under vær med hvorfor tingene oppleves og erfares som de gjør, kre- ves det andre, mer finkornede og inngående evalueringsstrategier; for å kartlegge og konkretisere forhold som studentene har hatt i tankene når de har svart på EVA 2- undersøkelsen. Det er nødvendig for å kunne diskutere disse forholdene mer i detalj med tanke på å endre og forbedre sider ved undervisning og læringsmiljø studentene har reagert negativt på. Nøkkeltall for tilleggsfaktorer og - utsagn for 2011 Tabell 6 viser gjennomsnittskårer for tilleggene i versjonen av EVA 2, både for av- delingene og HiØ samlet. Relevante referanser fra 2010 er oppgitt i parentes (utsagnene for Bibliotek er så pass endret i årets versjon at resultatene med 2010 ikke er direkte sammenliknbare). Gjennomsnitt for faktorene og prosentvis enighet på kull- /klassenivå finnes i rapportens Del 2. Tabell 6 EVA 2- faktorene Læringsfellesskap, Akademisk motivasjon, Bibliotektjeneste og utsagn om Emneorganisering AKADEMISK LÆRINGSFELLESSKAP MOTIVASJON EMNEORGANISERING BIBLIOTEK AS 4,6 4,8 (4,9) 3,4 (3,5) 3,8 HS 4,0 4,3 (4,4) 3,2 (3,3) 3,8 IR 3,8 3,8 (4,0) 3,1 (2,9) 3,4 IT 3,6 4,1 (3,8) 3,4 (2,6) 3,4 LU 3,6 3,8 (3,8) 2,8 (2,9) 3,9 HiØ 3,9 4,1 (4,1) 3,1 (3,1) 3,8 Faktoren Læringsfelleskap er anvendt for første gang i år, og gjennomsnittet for HiØ er 3,9. Det er en relativt høy skår, som vi bør være fornøyd med. Omregnet til prosentvis enighet 3 tilsvarer det at 77 % av studentene opplever at de deltar i og er en del av et læringsmiljø definert som et sosialt og faglig fellesskap engasjert i læring. I år som i fjor ligger snittskåren for Akademisk motivasjon høyt, 4,1. Det tilsvarer i år at 80 % av HiØ- studentene opplever at studiet stimulerer deres faglige interesse for utdanningens emner og fag, og at det er meningsfullt å investere tid og krefter i studie- arbeidet. Det er imidlertid signifikante forskjeller mellom avdelingene i gjennomsnitts- skårer (differanse 0,3 poeng). Igjen står Akademiet i en særstilling hvor det bare var én av de 16 studentene som var noe usikker på ett av faktorens to utsagn, og krysset av for alternativ 3 samtidig som tre studenter var delvis enig i samme utsagn. Med det ble den prosentvise enigheten på 97 for Akademiet. For HS var den 91, mens 72 % av stu- dentene både ved IR og LU var enige i at de deltar i et stimulerende læringsmiljø. 3 Prosentvis enighet for faktorer regnes som gjennomsnitt av prosentvis enighet for faktorens enkeltut- sagn. 14

16 Det er en rekke forhold og trekk ved studie- og læringsmiljøet som kan tenkes å forklare studentenes høye skår på motivasjonsfaktoren. Opplevelsen av å delta i et so- sial og faglig læringsfelleskap kan tenkes som én faktor. I EVA 2- materialet er det mode- rat korrelasjon mellom Akademisk motivasjon og Læringsfellesskap, r = 0,48. Det samme gjelder forholdet mellom Akademisk motivasjon og utsagnet (i God undervisning) som gjelder hvorvidt lærerne legger vekt på å motivere studentene til å gjøre sitt beste i stu- diet, r = 0,49. Statistisk sett kan de to dimensjonene til sammen knyttes til ca. 50 pro- sent av variasjonen i studentenes akademisk motivasjon. Gjennomsnittskåren for Bibliotek, 3,8, tilsvarer at 63 % av studentene er enige i at bi- blioteket tilbyr de læringsressursene de trenger i studiet, samt at personalet holder et høyt servicenivå. Imidlertid har en stor andel av studentene krysset av for middelskåren 3, i gjennomsnitt ca. 30 %. For faktoren Biblioteket kan det tolkes på to måter. For det ene at studentene vurderer kvaliteten som middels ( midt på treet). For det andre kan det tenkes en del av de som velger dette svaralternativet, bruker biblioteket i beskjeden grad og derfor anser at utsagnene har liten relevans for dem, og at de i den forstand ikke kan svare på dem (jf. skjemaets instruksjon for bruk av svaralternativet 3 ; se Vedlegg 1). Med andre ord er det bare 7 % av utvalget som har negative erfaringer og syns- punkter i forhold til bibliotektjenesten. Uttrykket Bred prosentvis enighet som omfatter samlet frekvens for skårene Helt enig (5), Delvis enig (4) og Nøytral (3), brukes som en mindre kritisk parameter enn Prosentvis enighet. Anvendt på bibliotektjenestene blir bred prosentvis enighet 93, som også er indirekte uttrykk for andelen som ikke har kri- tiske/negative tilbakemeldinger på forholdene det gjelder. Utsagnet om Emneorganisering handler om hvorvidt det faglige innholdet i stu- dieprogrammets emner oppfattes som oversiktlig og godt organisert. Det får lavest skår av tilleggene for ,1 som også var snittet for HiØ samlet i Prosentvis enighet er 44; bred prosentvis er 64 det vil si at 36 % av studentene ikke synes at em- nene var oversiktlig og godt organisert i

17 Oppsummering og kommentarer For HiØ sett under ett underbygger og bekrefter resultatene fra EVA 2- undersøkelsen i 2011 i grove trekk funnene fra de tre foregående årene når det gjelder studentenes er- faringer med og vurdering av undervisning, læringsmiljø og studiekvalitet. Ved å legge institusjonelle referanseindikatorer til grunn, definert som gjennomsnittsverdier for EVA 2- parameterene for perioden , tegnes et stabilt bilde av undervisnings- og studiekvaliteten ved HiØ som institusjon. Det er få markante og signifikante endringer å spore; og status for 2011 er så å si identisk med dette bildet. I den forstand fungerer EVA 2 som et kvalitetssikrende instrument på institu- sjonsnivå. Det indikerer en kvalitet på undervisning og læringsmiljøer ved HiØ sett un- der ett som ligger på et stabilt og middels godt nivå, slike forholdende defineres og fanges opp med spørreskjemaet Erfaringer med studiet. Stabilitet over tid kan tolkes som at det ikke har skjedd en samlet og entydig po- sitiv utvikling og forbedring av undervisning og læringsmiljø rundt omkring i høgsko- lens ulike programmer og klasserom. I det minste ikke i et omfang som har bidratt til å høyne de institusjonelle EMS- verdiene. Alternativt: Det har heller ikke har vært en tyde- lig, samlet negativ utvikling i det aktuelle tidsrommet. Imidlertid viser resultatene i Del 2 betydelig variasjon mellom ulike programmer og klasser/kull. Men de positive og negative resultatene og utviklingsmønstrene nulles ut når de aggregeres til institusjonsnivå. Det er gjennomsnittets logikk, så å si. Derfor er det er resultatene på program- og kull- /klassenivå vi må rette oppmerksomheten mot når vi vil anlegge et kvalitetsutviklende perspektiv med utgangspunkt i EVA 2. For eksempel kan vi i med utgangspunkt i studentenes prosentvise fornøydhet, som en første indikator, finne fram til programmer og klasser/kull som skårer høyt på denne variabelen (f. eks. 80 %). Det er ofte et tegn på god praksis siden fornøydhet korrelerer relativt sterkt med skårene på EMS- faktorene (selv vi ikke alltid finner en like sterk sammenheng for alle programmer og årstrinn). I neste omgang handler det om å analysere resultatene for de enkelte utsagn innen hver faktor. Det kan gi et mer detal- jert bilde av hvilke aspekter studentene legger særlig vekt på når de opplever undervis- ning og læringsmiljø som god praksis. Imidlertid gir ikke EMS- resultatene en fullgod og dekkende beskrivelse av hva god praksis er. For å få en dypere forståelse av hva som kjennetegner og definerer god praksis mer inngående, er det nødvendig å følge opp EMS- indikatorene med andre og varierte former for studentevaluering og tilbakemeldinger fra studentene, gjerne med utgangspunkt i kvalitative tilnærminger, muntlig feedback og dialoger med studentene. Avdelingenes emnevalueringer og lærernes/ lærerteamenes fortløpende evaluering av egen undervisning (ofte omtalt som EVA 3) vil kunne bidra med data og informasjon som gir et mer fullstendig bilde og en bedre forståelse av kvalitetene ved undervisnings- og læringspraksis studentene evaluerer som god praksis, med EVA 2 som referanseram- me. Vel så avgjørende i et utviklingsperspektiv er å følge opp programmer og kull på samme måte der studentene rapporterer om svakere grad av prosentvis fornøydhet (f. eks. < 60 %), og hvor én eller flere av faktorskårene ligger signifikant under referanse- indikatorene for HiØ (f. eks. 0,2 poeng; jf. tabell 4 og 5 ). Prinsipielt sett burde utvik- lingspotensialet være størst, relativt sett, der avvikene fra institusjonelle gjennomsnitt 16

18 er størst. Men for å realisere dette potensialet i praksis, er et steg på veien å følge opp EVA 2- resultetatene med sikte på å få fram et mer fullstendig bilde og en kvalifisert for- ståelse av de sidene ved læringsmiljø og undervisningspraksis som studentene har erfart som negative med tanke på å endre og forbedre disse forholdene, i neste omgang. Samtidig ligger det betydelige utviklingsmuligheter (og det største potensialet for HiØ som institusjon?) i programmer og kull som leverer resultater som sentrer om de institusjonelle gjennomsnittsverdiene. Analyse- og oppfølgingsstrategier vil være som skissert over. For disse programmene og kullene kan følgende, konkrete arbeidshypote- se være ett mulig utgangspunkt: Hvilke endringer og tiltak vil være fornuftige/nødvendige for at studentene med større sannsynlighet vil gi tilbakemeldinger på EVA 2 som vil ligger nærmere kjennetegn på god praksis. Slik begrepet god praksis for undervisning og læringsmiljø er eksemplifisert og tallfes- tet med EMS som referanse i rapporten, kan god praksis anslagsvis se slik ut for fire sentrale EMS- indikatorer: Prosentvis enighet for studiekvalitet % God undervisning, faktorskår 3,3 3,5 Klare mål, faktorskår 3,4 3,6 Arbeidsbyrde, faktorskår 2,6 2,8 Kort og godt er det en enkel utviklingsstrategi som skisseres over, hvor det for det første handler om å sikre kvaliteten for programmer som dokumenterer god praksis, og om mulig styrke den ytterligere. Dernest å vurdere endringer og tiltak som kan bidra til å løfte programmer som ligger signifikant under HiØ- gjennomsnittet opp mot disse verdi- ene i første omgang. Og for programmer som ligger rundt snittverdiene, dreier det seg om å undersøke og vurdere hva som kan gjøres med tanke på produsere resultater der differensen mellom nåværende status og de skisserte verdiene for god praksis reduseres. Utgangspunktet for aktuelle endringer og tiltak må bygge på et bredt tilfang av informasjon og data utviklet i samarbeid og dialog med studentene; EMS indikerer kun noen områder som bør kartlegges og undersøkes nærmere. I neste omgang kan EVA 2/EMS fange opp eventuelle effekter av endret praksis; det forutsetter imidlertid at re- presentative utvalg deltar i undersøkelsen. Avslutningsvis, en kort kommentar til faktorene Generelle ferdigheter, Akademisk moti- vasjon og Læringsfelleskap: Det er disse faktorene som gjennomgående oppnår får de høyeste snittskårene. Det er gledelig i seg selv: At våre studenter overveiende er enige i at studiet og læringsmiljøet bidrar til at de utvikler sine generelle ferdigheter og stimule- rer og støtter deres motivasjon for studiearbeidet og at de opplever seg som deltakere i et engasjerende læringsfelleskap. Imidlertid ligger gjennomsnittskårer for disse faktorene generelt høyt i undersø- kelser med CEQ/EMS; typisk 0,5 0,9 poeng høyere enn tilsvarende for de opprinnelige EMS- faktorene (GU, KM og VF) og ofte (minst) ett poeng høyere enn Arbeidsbyrde. Det 17

19 tilskrives gjerne at de nye faktorene har en noe ulik innretning. De etterspør hvordan studentene vurderer læringsmiljøets betydning for egen læring (av generelle ferdighe- ter), motivasjon og opplevelse av tilhørighet. Til forskjell fra de opprinnelige faktorene som ber studentene vurdere erfaringer med lærernes undervisning, vurderingspraksis og formidling av klare mål og standarder for studentenes læring. Og helt til slutt, føljetongen om tettere oppfølging av studentene, blant annet som hyppige tilbakemeldinger på deres oppgaver og arbeider, i kjølvannet av Kvalitetsrefor- men. I tidligere EVA 2- rapporter har vi knyttet dette til EMS- utsagnet om at lærerne bruker mye tid/legger ned mye arbeid i å kommentere/gi tilbakemelding på studentenes oppgaver. I utvalgene fra 2005, 2006 og 2008 var i gjennomsnitt noe i overkant av tjue pro- sent av studentene enige i utsagnet; i perioden var 40 % enige. Prosentvis enighet i 2011 var 44. Her ser det altså ut til å være en stabil positiv utvikling for HiØ i retning av å matche nivået for så vel Oxfordstudenter (2003) som australske bachelorer (2008), som rapporterer om prosentvis enighet på henholdsvis 47 og 51. Men også her er det store forskjeller mellom programmer og kull/klasser i årets undersøkelse; flere ligger også i 2011 på nivå med gjennomsnittet for Mens andre, for eksempel programmene knyttet til god praksis (over), i snitt har en pro- sentvis enighet på 60. Det støtter ideen om at hyppige tilbakemeldinger er et viktig trekk ved god undervisnings- og læringspraksis; det ser også ut til å ha betydning for studentenes fornøydhet med studiekvaliteten (r = 0,40). 18

20 Resultater Del II Program- og klasse- /kullnivå 19

21 Avdeling for helse- og sosialfag, HS Samlet oversikt på programnivå Faktorskårer for 2011 og prosentvis fornøydhet. Samlet oversikt på klasse- /kullnivå Prosentvis fornøydhet. Faktorskårer for 2011 med resultater fra 2010 og 2009 (der disse er tigjengelig). Gjennomsnitt for utsagnene på hver faktor (2010- resultater i parentes). Prosentvis enighet for enkeltutsagn (resultater for 2010 er med der de er til- gjengelige). PROGRAMNIVÅ Faktorskårer EMS og fornøydhet (overall satisfaction item) BARNEVERN SOSIALT ARBEID SYKEPLEIE VERNEPLEIE AIO GU 3,2 3,4 3,0 3,2 4,4 GF 4,1 4,2 3,8 4,2 4,2 KM 3,4 3,5 3,1 3,2 4,0 ARB 2,5 2,5 2,2 2,2 2,6 VF 3,6 3,9 3,4 3,6 4,2 SA 3,7 3,5 3,4 3,6 3,9 86 % (4,2) 88 % (4,2) 59 % (3,5) 76 % (3,9) 100 % (4,8) Prosentvis fornøydhet på klasse- /kullnivå Kull/klasse BV 2 BV 3 SA 2 SA 3 SP1 SP3 SP4-1 VP 2 VP 3 VP Faktorskårer, gjennomsnitt ( ) PROGRAM/studieår GU GF KM ARB VF SA BV 2 (n = 29) 3,5 (3,4 3,1) 4,0 (3,9 4,0) 3,4 (3,4 3,2) 2,5 (2,1 2,3) 3,7 (3,9 3,4) 4,0 (3,1 3,5) BV 3 (n = 34) 3,0 (3,0 3,0) 4,2 (4,3 4,1) 3,3 (3,3 3,0) 2,5 (2,6 2,9) 3,6 (4,0 3,6) 3,5 (3,9 3,6) SA 2 (n = 38) 3,5 (3,2 - ) 4,1 (3,7 - ) 3,5 (3,0 - ) 2,5 (2,0 - ) 3,8 (3,5 - ) 3,7 (2,8 - ) SA 3 (n = 28) 3,3 (3,4 3,1) 4,3 (4,1 - ) 3,4 (3,5 2,8) 2,5 (2,4 2,5) 4,1 (3,7 3,6) 3,3 (3,4 3,2) SP1 (n = 100) 3,1 3,8 3,1 2,1 3,3 3,4 SP3 (n = 65) 2,8 3,9 3,2 2,1 3,5 3,2 SP4-1 (n = 24) 3,3 3,6 3,4 2,6 3,4 3,8 VP 2 (n = 39) 3,0 (3,2 2,7) 4,0 (3,9 4,0) 3,1 (3,1 3,3) 2,0 (1,7 2,4) 3,3 (3,6 3,9) 3,7 (3,7 3,6) VP 3 (n = 19) 3,1 (2,8 2,9) 4,3 (4,1 4,1) 3,1 (3,3 3,0) 2,1 (2,8 2,3) 3,8 (3,4 3,6) 3,4 (3,5 2,9) VP 4 (n = 24) 3,4 (3,5 3,5) 4,5 (4,4 4,4) 3,7 (3,4 3,2) 2,5 (2,5 2,5) 3,9(3,6 3,3) 3,5 (4,0 3,3) AIO (n=16) 4,4 4,2 4,0 2,6 4,2 3,9 HUSK: I tabellene for prosentvis enighet nedenfor er negativt formulerte utsagn merket * ) ; disse inverteres /snus før analyser og utregning av resultater, som nevnt innledningsvis. Det betyr at høy skår/enighet betegner positiv evaluering uansett om utsagnene er formulert positivt eller negativt. OG: I tabellene for kull- /klassenivå regner vi som en tommelfingerregel at forskjeller i prosentvis enighet bør ligge på minst %, for å være av signifikant betydning. 20

22 BSV BARNEVERN God undervisning (GU) 2011 GU Faktorskår GU3 GU7 GU15 GU17 GU18 GU19 2. år 3,5 (3,4) 3,7 (4,0) 3,5 (3,0) 3,3 (3,3) 2,9 (2,7) 3,8 (3,6) 3,8 (4,0) 3. år 3,0 (3,0) 3,5 (3,7) 2,3 (2,3) 2,8 (2,8) 2,5 (3,0) 3,4 (3,2) 3,3 (3,2) 1. år 2. år 3.år 1.år 2.år 3.år 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet Lærerne legger ned mye arbeid å kommentere/gi tilbakemeldinger på oppgavene mine 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet Lærerne gir vanligvis nyttige tilbakemelinger om hvordan jeg klarer meg og ligger an i studiet 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant Generelle ferdigheter (GF) 2011 GF Faktorskår GF2 GF9 GF11 GF16 GF22 GF24 2. år 4,0 (3,9) 4,2 (4,1) 3,8 (4,0) 3,9 (3,7) 3,9 (3,7) 3,9 4,3 (4,1) 3. år 4,2 (4,3) 4,2 (4,4) 3,9 (4,0) 4,2 (4,6) 4,2 (4,2) 4,0 4,5 (4,4) 1. år 2. år 3. år 1.år 2.år 3.år 2 Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid Jeg har utviklet mine ferdigheter i å kommunisere og uttrykke meg skriftlig ved å delta på dette studiet 16 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning Studiet har bidratt til at jeg har skjerpet mine analytiske evner og ferdigheter Studiet har bidratt til at jeg føler meg sikrere på å håndtere nye og ukjente problem- stillinger og oppgaver Klare mål (KM) 2011 KM Faktorskår KM1 KM6 KM13* ) KM25 2. år 3,4 (3,4) 3,6 (3,4) 3,8 (3,8) 3,1 (2,8) 3,2 (3,4) 3. år 3,3 (3,3) 3,5 (3,4) 3,9 (3,7) 2,8 (3,1) 3,1 (3,1) 1. år 2.år 3.år 1.år 2.år 3.år 1 Det er lett å forstå og finne ut hvilke krav som stilles til studiearbeidet mitt Vanligvis har jeg en klar oppfatning av hva som forventes av meg, og hvordan jeg ligger an i studiearbeidet 13 Det [er sjelden vanskelig] å forstå nøyaktig hva man forventer på dette studiet *) Helt fra begynnelsen gjøres det helt klart hva lærerne forventer av studentene

23 Arbeidsbyrde (ARB) 2011 ARB Faktorskår ARB4* ) ARB14 ARB21* ) ARB26* ) 2. år 2,5 (2,1) 3,1 (2,7) 2,7 (2,0) 2,4 (1,9) 1,8 (1,8) 3. år 2,5 (2,6) 3,2 (3,3) 2,6 (2,5) 2,4 (2,5) 2,1 (2,0) 1. år 2. år 3. år 1.år 2.år 3.år 4 Arbeidsbyrden på utdanningen er for stor *) Som regel synes jeg vi får tid nok til å forstå de tingene vi skal lære oss Det stilles høye krav og er stort press på meg som student i dette studiet *) Omfanget av lærestoff/pensum vi må gjennom gjør at vi ikke kan lære oss og forstå alt grundig *) Vurderingsformer (VF) 2011 VF Faktorskår VF8* ) VF12* ) VF20* ) 2. år 3,7 (3,9) 3,9 (4,4) 3,6 (3,7) 3,5 (3,6) 3. år 3,6 (4,0) 4,0 (4,6) 3,4 (3,7) 3,4 (3,7) 1. år 2.år 3.år 1.år 2.år 3.år 8 For å klare seg godt på dette studiet er alt du egentlig trenger en god hukommelse *) Jeg synes lærerne er mer interessert i å teste hva vi husker enn hva vi har forstått *) Altfor mange av lærerne stiller spørsmål som bare gjelder faktakunnskaper *) Studentautonomi (SA) ( freedom in learning ) 2011 SA Faktorskår SA10 SA23 2. år 4,0 (3,1) 4,2 (3,4) 3,8 (2,7) 3. år 3,5 (3,9) 3,7 (4,0) 3,4 (3,7) 1. år 2. år 3. år 1.år 2.år 3.år 10 Studieopplegget gir meg gode muligheter til å styre eget studiearbeid og Vi får ganske stor frihet i forhold til oppgaver og studiearbeid som skal utføres

24 SOSIALT ARBEID God undervisning (GU) 2011 GU Faktorskår GU3 GU7 GU15 GU17 GU18 GU19 2. år 3,5 (3,2) 3,7 (3,4) 3,4 (3,0) 3,3 (3,0) 3,1 (2,9) 3,8 (3,1) 3,9 (3,5) 3. år 3,3 (3,4) 3,9 (3,9) 2,5 (3,3) 3,3 (3,7) 2,8 (3,3) 3,6 (3,2) 3,9 (3,4) Prosentvis enighet (helt + delvis enig) år 2. år 3. år 1.år 2.år 3.år 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet Lærerne legger ned mye arbeid å kommentere/gi tilbakemeldinger på oppgavene mine 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet Lærerne gir vanligvis nyttige tilbakemelinger om hvordan jeg klarer meg og ligger an i studiet 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant Generelle ferdigheter (GF) 2011 GF Faktorskår GF2 GF9 GF11 GF16 GF22 GF24 2. år 4,1 (3,7) 4,1 (3,6) 3,5 (3,7) 4,3 (4,1) 4,0 (3,4) 4,1 4,3 (3,9) 3. år 4,3 (4,3) 4,3 (4,5) 4,0 (3,8) 4,4 (4,5) 4,3 (4,3) 4,5 4,4 (4,4) 1. år 2. år 3. år 1.år 2.år 3.år 2 Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid Jeg har utviklet mine ferdigheter i å kommunisere og uttrykke meg skriftlig ved å delta på dette studiet 16 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning Studiet har bidratt til at jeg har skjerpet mine analytiske evner og ferdigheter Studiet har bidratt til at jeg føler meg sikrere på å håndtere nye og ukjente problemstillinger og oppgaver Klare mål (KM) 2011 KM Faktorskår KM1 KM6 KM13* ) KM25 2. år 3,5 (3,0) 3,5 (3,0) 3,9 (3,3) 3,1 (2,6) 3,4 (3,0) 3. år 3,4 (3,5) 3,5 (3,6) 3,8 (4,1) 3,0 (3,0) 3,2 (3,3) 1. år 2.år 3.år 1.år 2.år 3.år 1 Det er lett å forstå og finne ut hvilke krav som stilles til studiearbeidet mitt Vanligvis har jeg en klar oppfatning av hva som forventes av meg, og hvordan jeg ligger an i studiearbeidet 13 Det [er sjelden vanskelig] å forstå nøyaktig hva man forventer på dette studiet *) Helt fra begynnelsen gjøres det helt klart hva lærerne forventer av studentene