Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold

Transkript

1 Studieledere/programansvarlige som ønsker detaljerte nøkkeltall for klasser/kull: Kontakt PULS : puls@hiof.no EVA 2 :RAPPORT 2014 Studentevaluering av undervisning og læringsmiljø ved Høgskolen i Østfold 2014: «EVA2 goes digital» NØKKELTALL på institusjons-, avdelings- og programnivå fra kartlegging med EMS (Erfaringer med studiet ) Roar C. Pettersen For PULS (Program for undervisning, læring og studiekvalitet) 15. mai, 2014 (revidert 20. august 2014)

2 Innhold Introduksjon til EVA 2-undersøkelsen, Digital debut for EVA 2 2 Utvalg og svarprosent Spørreskjemaet EMS (Erfaringer med studiet) 4 Kvalitetsindikatorer 4 Hvor fornøyd er årets utvalg med studiekvaliteten? 6 «Always look at the bright side» 6 Undervisningskvalitet og tilbakemeldingspraksis 7 Feedback og tilbakemeldingspraksis noen nyanser 8 Kort oppsummering og vegen videre 10 Resultater EMS faktorskårer 12 Det store bildet - institusjonsnivå 12 Variasjon på avdelingsnivå 12 Avdeling for HELSE- OG SOSIALFAG 13 Avdeling for INGENIØRFAG 13 Avdeling for INFORMASJONSTEKNOLGI 14 Avdeling for LÆRERUTDANNING 14 Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG 15 AKADEMI FOR SCENEKUNST 15 Vedlegg 16 EVA 2-RAPPORT

3 Introduksjon til EVA 2-undersøkelsen, 2014 Digital debut for EVA 2 I år ble EVA 2 sendt ut og besvart digitalt via lenke i Fronter. En fordel med å administrere EVA 2-undersøkelsen på denne måten er at vi slipper å legge inn data manuelt fra papirbaserte spørreskjemaer i statistikkprogrammene som brukes i analysen, som er et tidkrevende arbeid. En fordel med en elektronisk løsning er også at studentene kan besvare EVA 2 hvor som helst og når som helst, uavhengig av sted og tid. Imidlertid viser erfaring at når undersøkelser gjennomføres digitalt, har svarprosenten en tendens til å synke. Dette erfarte vi også ved HiØ da vi testet en digital versjon av EVA 2 i 2007; svarprosenten var den gang så lav at det ga lite mening å analysere de sparsomme dataene som ble registrert. Derfor valgte vi å «kopiere» undersøkelsesstrategien vi til nå har anvendt i gjennomføring av de tradisjonelle, papirbaserte EVA 2-undersøkelsene som de to siste årene har gitt en samlet svarprosent på 72, som er meget bra. I korte trekk er denne strategien slik: Kvalitetsrådgiver kontakter i samarbeid med PULS avdelingsledelsen (dekan og studieledere) og ber dem finne undervisningstid for de klassene som skal delta der det forventes maksimal oppmøte. Ledelsen avtaler med lærer(ne) som har den aktuelle timen om å sette av ca. 15 minutter til å fylle ut EVA-skjemaet. I år ville det innebære at studentene åpnet sine PC er, logget seg inn og bevarte det elektroniske EVA2- skjemaet og trykket Send. Studenter som av ulike grunner ikke var til stede på de avtalte tidspunktene, ble oppfordret til å besvare EVA 2 på nettet innen fristen. I år var den opprinnelig før påske men ble forlenget til 30. april. Vi håpet og forventet at vi med denne framgangsmåten kunne unngå den «digitale evalueringsfella»: at svarprosenten ikke ville bli lavere når undersøkelsen ble administrert via nettet. Utvalg og svarprosent 2014 I alt 1028 studenter utgjorde det samlede utvalg i år, i hovedsak tredjeårs studenter. Vi valgte dette studieåret siden fjorårets EVA 2 hadde hovedfokus på førsteårs studenter og masterstudenter, samtidig som andreårs studentene deltok i NOKUTs Studiebarometer dette studieåret. Pr. 6. mai hadde vi mottatt 375 utfylte EVA 2-skjemaer fra årets utvalg. Det gir en svarprosent på 36 som er 50 % lavere enn i 2012 og 2013; da den var 72. EVA 2-RAPPORT

4 36 % 64 % Det ser ut som vi ikke helt unngikk den digitale evalueringsfella, omtalt over. På den annen side kan den lave svarprosenten sees i sammenheng med at 3.årsstudenter er en vanskelig gruppe å fange opp siden de for det meste er «selvgående» siste semesteret og har derfor få felles møtepunkter. Det kan være en mulig forklaring på at den skisserte evalueringsstrategien ikke fungerte optimalt for årets utvalg i tredje studieår. Tabell 1 viser hvilke programmer som deltok og svarprosent for de enkelte programmer. Tabell 1 EVA Programmer og klasser/kull representert med svarprosenter Avdeling/Program N= Svar % Avdeling/Program N= Svar % Helse- og sosialfag Informasjonsteknologi Arbeids- og velferdsfag 3. år Digital medieproduksjon 3. år Barnevern 3. år Informasjonssystemer 3. år Sosialt arbeid 3. år Informatikk: design og utv. 3. år 6 29 Sykepleie, heltid 3. år Ingeniørfag data 3. år Sykepleie, deltid 3. år 0 0 Ingeniørfag data y-veien 3. år 1 50 Vernepleie, heltid 3. år Samlet Vernepleie, deltid 3. år 2 7 Samlet Ingeniørfag Lærerutdanning Bioingeniørfag 3. år 4 27 GLU år Bygg 3. år GLU år Elektro 3. år 6 50 Førskole, heltid 3.år Elektro y-vei 3. år 4 36 Førskole, deltid 3.år 0 0 Industriell design 3. år 5 25 Barnehagelærer, heltid 1.år Maskin-ing 3. år 5 36 Barnehagelærer, deltid 1.år Maskin y-vei 3. år 2 33 Samlet Innovasjon og prosjektl. 3. år Samlet Akademi for scenekunst Økonomi, språk og samf Scenografi Alle 4 34 Internasjonal kommunikasjon 3.år 9 32 regnskap Skuespill Alle 6 38 Regnskap og revisjon profil 3.år 1 33 Samlet Regnskap og revisjon profil 3.år revisjon 9 36 Samfunn, språk og kultur 3.år 0 0 Øk adm 3.år Samlet HIØ En side ved den gjennomgående lave svarprosenten er at det kun er seks programmer som når minimumsgrensen på 50 % som er kriteriet for videre analyse av dataene, som vi har benyttet i tidligere EVA 2-rapporter (jf. tabell 1). For å få et rimelig representativt bilde av EVA 2-RAPPORT

5 klassens/kulles erfaringer med de aspektene av undervisnings- og læringsmiljøet som EMS kartlegger, bør det bygge på data fra minst halvparten av klassen/kullet. Det er begrunnelsen denne minimumsgrensen. Vi har imidlertid valgt å senke minimumsgrensen i årets undersøkelse. Vi har derfor analysert data hvor minimum en tredjedel av klassen/kullet deltok i undersøkelsen, ca %. Med en svarprosent på dette nivået er det imidlertid mer usikkert om denne studentgruppa gir et valid bilde av klassen den representerer, med andre ord er det et relativt svakt grunnlag for å generalisere fra utvalg til populasjon. Spørreskjemaet EMS (Erfaringer med studiet) Siden EVA 2 undersøkelsen ble gjennomført ved HiØ første gang i 2005, har vi anvendt en norsk versjon av et intensjonalt kjent evalueringsverktøy, The Course Experience Questionnaire (CEQ). Den norske versjonen er grundig validert og har fått navnet Erfaring med studiet EMS (se Vedlegg 1). EMS/CEQ er et såkalt faktor- eller indeksbasert verktøy. Det vi si at de 29 utsagnene i skjemaet tilordnes seks faktorer eller indekser som beskriver viktige trekk ved undervisnings- og læringsmiljøer, ut fra sentrale høgskole- og universitetspedagogisk teorier og erfaringer. Derfor er det studenters erfaring med og opplevelse av sentrale generelle pedagogiske/didaktiske kvaliteter ved undervisning og læringsmiljø som kartlegges med EMS, samlet i seks ulike faktorer/dimensjoner såkalte kvalitetsindikatorer. Kvalitetsindikatorer De seks faktorene i EMS er oppsummert i tabell 2 med en kort beskrivelse av de pedagogiske kvalitetene hver av dem retter seg mot. Tabell 2 Erfaring med studier faktorer God undervisning GU Studentenes oppfatninger av lærernes forklaringer, formidlingsevne, (6 utsagn) tilbakemeldinger, kontakt og relasjon til studentene. Generelle ferdigheter GF I hvilken grad opplever studentenes at studiet bidrar til å utvikle deres ferdigheter i (6 utsagn) problemløsning, samarbeid, skriftlig kommunikasjon og organisering av eget arbeid. Klare mål KM Studentenes oppfatninger av lærernes og programmets formidling av læremål, (3 utsagn) krav og forventninger som stilles til studentenes studiearbeid og innsats. Arbeidsbyrde ARB Dimensjonen fanger hvordan studentene opplever arbeidsbyrden, om den (4 utsagn) oppleves som passe/overkommelig at de får tid nok og reelle muligheter til å tilegne seg pensum/lærestoff. (Høy faktorskår indikerer at arbeidsbyrden oppleves som passe/overkommelig). Vurderingsformer VF Hvorvidt studentene anser at eksamens- og vurderingsformer legger mer vekt på (3 utsagn) faglig forståelse enn på å huske, memorere og gjengi faktakunnskaper. (Høy skår indikerer forståelsesorientert vurdering). Tilbakemeldinger/ Tar opp forhold knyttet til lærernes tilbakemeldinger på oppgaver/arbeidskrav. Feedback FB (4 utsagn) Akademisk motivasjon AM (2 utsagn) I hvilken grad studentene opplever det som meningsfullt å investere tid og krefter i studiearbeidet, og opplever at studiet stimulerer deres faglige interesse for utdanningens emner og fag. EVA 2-RAPPORT

6 Faktorskårene regnes ut som gjennomsnittsverdien for utsagnene i den aktuelle faktoren/skalaen. Verdien 5 betegner toppskår og 1 er bunnskår. Altså, resultater med høy gjennomsnittsskår og høy prosentvis enighet indikerer positiv evaluering (selv om enkelte utsagn er negativt formulert; disse snus før endelig analyse). Fra noen studenter har vi fått tilbakemeldinger om de synes spørsmålene i EVA 2 er for vidt og vagt formulert. De kunne ønske seg utsagn som er mer spesifikke og konkrete. Men når utsagnene er formulert som de er, henger det sammen med så vel den funksjonen EVA 2 er tiltenkt i HiØs kvalitetssystem som måten skjemaet er konstruert på. Hovedhensikten med EVA 2 er å pekte på indikere forhold det er verdt å undersøke og se nærmere på. Enten fordi faktorskårene er påfallende lave eller høye. EMS oppgave er å gi «a first layer of information». For å få mer konkrete svar på hvorfor studenter svarer som de gjør hva de har i tankene når svarer på EVA 2, må resultatene følges opp med evalueringer på nivåene HiØs kvalitetssystemet omtaler som EVA 3 og EVA 4. EVA 3 er de systematiske evalueringer av emner knyttet til de enkelte studieprogram ved avdelingen som gjennomføres i løpet av studieåret. Her er det avdelingen ved emneansvarlige, studieleder og dekan som har ansvar for at slike evalueringer gjennomføres, med evalueringsstrategier og metoder de selv velger. Her kan EVA 2 bidra med pekepinner og hint om hva som også bør vektlegges i disse evalueringene. EVA 4 er lærers/lærerstabens løpende studentevaluering av egen undervisning som lærerne selv har ansvar for å initiere og gjennomføre med metoder de finner egnet. Det er særlig på dette nivået studentevaluering kan bidra til utvikling og forbedring av undervisnings- og læringskvaliteten og dialogen mellom lærer og student. EVA 4 skal inngå som en integrert del av læringsprosessen! Det er også her at studentene som deltar i evalueringen, kan erfare resultatene av den feedbacken de gir lærer gitt at lærerne er omhyggelige med å lukke evalueringssløyfa (dvs. melde tilbake til studentene). Det er altså på disse nivåene de mer konkrete spørsmålene som noen studenter etterlyser, bør stilles med mer finmaskede evalueringsmetoder. Det er her EVA 2 kan bidra ved å peke på områder som bør belyses mer konkret i det enkelte program og i klasser som har deltatt i EVA 2-undersøkelsen. EVA 2-RAPPORT

7 Hvor fornøyd er årets utvalg med studiekvaliteten? Det siste utsagnet i EMS retter seg mot studentenes generelle fornøydhet med kvaliteten på studieprogrammet/utdanningen, an overall satisfaction item (OSI): I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet). Den «typiske HiØ studenten» Vi har beregnet en såkalt intern referanseindikator for utsagnet basert på gjennomsnittet de siste 5 årene; den er 3,55. Det gir en prosentvis enighet på 64 % (summen av skårene Helt enig og Enig). For årets utvalg er gjennomsnittlig fornøydhetsskår 3,60. Det er marginalt, men ikke signifikant lavere enn fjorårets utvalg av bachelorstudenter: 3,64 (n = 696). Det gir denne fordelingen for 2014-utvalget: Bachelorstudenter, HiØ, % 59 % 29 % 12 % % 17 % 16 % I forhold til fjorårets utvalg er det større samling om 3,0-skåren for 2014-utvalget. Tolket som at en større andel vurderer kvaliteten som «midt på treet» eller «grei nok». Denne andelen rekrutteres i år både fra «Enig- og Uenig-gruppene», slik at årets utvalg i mindre grad er uttalt fornøyd med kvaliteten enn både 2013-utvalget og den «typiske HiØ studenten». På den annen side er summen av studenter som ikke er uttalt uenige i utsagnet (summen av fornøyde og nøytrale studenter ) høyere i Indikatoren er betegnet som bred enighet. Den har gjennom årene ligget stabilt på 80 %. I år er den på 88 %, som er over fjorårets resultat på 84 %. «Always look at the bright side» Beste Praksis er navnet på HiØs kvalitetssystem. I tråd med dette løftet vi i fjor fram programmer hvor studentene var svært fornøyde, hvor skåren lå 0,4-0,5 poeng over gjennomsnittet. Fire programmer kvalifiserte. I år finner vi ingen programmer som ligger så høyt. I år presenterer vi derfor de tre beste programmene (med svarprosent > 50 %). De ligger i rundt 0,2 poeng over gjennomsnitt og er gjengitt i tabell 3 sammen med fjorårets «vinnere». EVA 2-RAPPORT

8 Tabell 3 3 Bachelorer på topp, 2014 Program Frekvensfordeling - % N Topp Barnevern 3. år 3, N=51 GLU 1-7, 1. år 4,25 94 Vernepleie 3. år 3, N=33 Barnevern, 3. år 4,18 94 GLU år 3, N=29 Vernepleie, 4 årig, 1. år 4,10 86 Barnevern, 1. år 4,08 89 Typisk er rundt tre av fire studenter entydig fornøyd med kvaliteten i programmene som «topper» årets fornøydhetsskala. Anvender vi indikatoren bred enighet så er i snitt mindre enn 1 av 10 uttalt misfornøyd med kvaliteten på disse tre utdanningene. Men som det framgår av tabell 3 matcher ingen av årets programmer resultatene fra «topp 4» i Imidlertid finner vi mindre utvalg som matcher fjorårets «topp 4» men de har relativt lav svarprosent slik at generalisering til programmene de representer blir noe usikker, tabell 4. Tabell 4 Program Frekvensfordeling - % N Svarprosent Akademi f scenekunst 5, N=10 37 % Internasjonal kommunikasjon 4, N=10 32 % Barnehagelærer, deltid 1. år 4, N=11 28 % Innovasjon og prosjektledelse 3, N=10 38 % som utgangspunkt Vi bruker fornøydhetsskåren (OSI) som utgangspunkt for å se nærmere på to viktige parametere i EMS. Det er basert på at OSI erfaringsmessig er tett knyttet disse faktorene, ut fra korrelasjonsanalyser. Det betyr at vi kan forvente at de sju programmene som er løftet fram i tabell 3 og 4, også ligger høyt på de to faktorene vi ser nærmere på nedenfor, God undervisning og Tilbakemeldinger. Undervisningskvalitet og tilbakemeldingspraksis For å få et mer nyansert bilde av studentenes reaksjon på lærernes tilbakemeldingspraksis, introdusert vi i 2012 faktoren Tilbakemeldinger/Feedback (FB) med disse utsagnene: Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til Tilbakemeldinger på innleverte oppgaver kommer ofte så sent at nytteverdien blir ganske liten EVA 2-RAPPORT

9 Tabell 5 viser resultatene for God Undervisning (GU) og Tilbakemeldinger/Feedback (FB) sammen med fornøydhetsskåren for programmene som ble løftet fram i tabell 3 og 4. Tabell 5 Fornøydhet, God undervisning og Tilbakemeldinger Program Svarprosent over 50 OSI GU FB Barnevern 3. år 3,8 77 3,0 2,8 Vernepleie 3. år 3,8 77 3,2 3,1 GLU år 3,8 73 3,2 3,1 Svarprosent under 50 Akademi f scenekunst 5, ,3 3,5 Internasjonal kommunikasjon 4, ,4 4,1 Barnehagelærer, deltid 1. år 4,1 82 3,5 3,0 Innovasjon og prosjektledelse 3,9 70 3,4 3,3 HiØ 3,6 59 3,0 2,9 De utvalgte gruppene har alle, bortsett fra Barnevern, skårer over det samlede gjennomsnitt på både GU og TB; det viser også at OSI-skåren gir rimelig god prediksjon for disse faktorskårene. For God undervisning ligger gjennomsnittskåren for årets utvalg omtrent på samme nivå som for utvalgene i 2012 og 2013, dvs. området 3,0-3,1. Et tilsvarende bilde tegnes for Tilbakemeldinger/Feedback; her var gjennomsnitt for samlet utvalg 2,9 i 2012 og 3,0 i Feedback og tilbakemeldingspraksis noen nyanser Vi har imidlertid fulgt faktoren Tilbakemeldinger i bare tre år. I år er gjennomsnittlig prosentvis enighet for faktoren 33, beregnet som snittet for faktorens fire utsagn. Av faktorenes utsagn er det dette: «Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene)» som får lavest skår: 2,75 som tilsvarer at 29 % mener at de får nok tilbakemeldinger. Dette samsvar godt med studentenes respons på et utsagn fra God undervisning som også har tilbakemeldinger i fokus: «Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine». For 2014-utvalget er den prosentvise enigheten for dette utsagnet også 29. Lavest skår når det gjelder tilbakemeldinger får det andre utsagnet i God undervisning som omhandler tilbakemeldinger «Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet». Kun 20 % av studentene er enig i det. EVA 2-RAPPORT

10 Vi har fulgt disse to utsagnene i God undervisning GU 7og GU 17 siden 2005 som en indikator på lærernes tilbakemeldingspraksis, slik studentene oppfatter den. For utsagnene er den gjennomsnittlige enigheten 25 % i Figur 1 gir en oversikt over den gjennomsnittlige prosentvise enigheten for utsagnene i perioden og samt årene 2011, og Figur 1 Figuren viser en klar trend. I perioden var mindre enn 20 % av studentene enige. De svake evalueringsdata den gang førte til økt oppmerksomhet rundt tilbakemeldingspraksis, og til at det ble avholdt seminarer og fagdager om temaet. Dette sammen med en generell tematisering av forhold som tettere oppfølging og hyppigere tilbakemelding understreket i Kvalitetsreformen, kan ha bidratt til den positive utviklingen med en foreløpig topp i 2012, med en prosentvis enighet på over 40. Denne positive trenden ble imidlertid ikke støttet av utvalgene i 2012 og 2013, hvor den prosentvise enigheten var på henholdsvis 32 og 33. Resultatene fra 2014-utvalget støtter heller ikke den positive utviklingen hva gjelder tilbakemeldinger med en prosentvis enighet på 25 ligger tilbakemeldingspraksis nærmere nivået ifølge årets utvalg. Det burde være en omforent forståelse for at undervisningskvalitet er et sentralt kjennekjennetegn ved gode undervisnings- og læringsmiljøer. God undervisning (GU) er også den sterkeste og mest dominante faktorene i EMS/CEQ hvor hyppige og gode tilbakemeldinger inngår som en viktig dimensjon. Legger vi resultatene fra så vel årets som tidligere EVA 2-undersøkelse til grunn, bør vi rette oppmerksomheten på hva som kan gjøres for å snu den fallende trenden hva gjelder hyppigheten av og kvaliteten på tilbakemeldinger til studentene særlig på bachelorprogrammene. For masterstudentene i 2013 (n=147) var den prosentvise enigheten på 57, altså var mer enn dobbelt så mange masterstudenter fornøyde med tilbakemeldingene. Spørsmålet er om det er kritiske forskjeller mellom praksis på bacherlorog masterprogrammene som bachelorprogrammene kan lære av? (I rapportens resultatdel er snittet for utsagnene GU 7 og 17 satt opp som egen faktor) EVA 2-RAPPORT

11 Kort oppsummering og vegen videre Den lave oppslutningen om årets EVA 2-undersøkelse var både overraskende og noe skuffende. Her feilberegnet vi nok trusselen fra den tidligere omtalte digitale evalueringsfella. En forklaring kan også være at studenter i siste år på bachelorprogrammer er «frittgående» med få felles møtepunkter- og tider. Likevel er dette et paradoks siden EVA 2 i år var tilgjengelig uavhengig av tid og sted. Det kan derfor se ut til at det er en relativ høy terskel for å benytte denne muligheten. Med tanke på neste års undersøkelse er det avgjørende at PULS og kvalitetsrådgiver i samarbeid med avdelingsledelse og studentenes tillitsvalgte legger større trøkk på en tettere oppfølging av strategien med å finne felles undervisningspunkter med stort frammøte. Slik at studentene får et kvarters undervisningstid til å fylle ut spørreskjemaet. Selv om dette prinsipielt ikke er nødvendig i og med EVA 2 er frikoplet fra til og sted. MEN det kan se ut som at det i praksis er nødvendig med en sterkere og strammere planlegging og organisering av studiekvalitetsundersøkelsen! Små utvalg og lav svarprosent på klassenivå fordrer at vi tolker resultatene med et visst forbehold, særlig for programmer som er svakt representert. Med dette forbeholdet viser årets resultater på institusjonsnivå marginale avvik i forhold til 2013-utvalgets evaluering, med to unntak. Det første gjelder utsagnet om studiekvalitet. Selv om og 2013-utvalget gir dette omtrent samme gjennomsnittskår, er et færre som er uttalt enig i at de er fornøyd med kvaliteten på studieprogrammet i 2014; indikatoren prosentvis enighet utrykker dette. Den er 59 i år mot 67 i fjor. På den andre siden er det færre i årets utvalg som er uttalt uenig; 12 % er ikke fornøyd med kvaliteten mot 16 % i 2013-utvalget. Med andre ord gir nærmere 9 av 10 i år utrykk for at kvaliteten er god eller «grei nok» (88 %). Det andre forholder gjelder (opplevd) arbeidsbyrde (ARB). Her er 2014-utvalgets gjennomsnittskår signifikant høyere enn i ,3 poeng. Utvalget som i hovedsak består av i tredjeårs studenter oppfatter altså arbeidsbyrden som mer passe og overkommelig, at de i større grad får tid nok og reelle muligheter til å tilegne seg pensum/lærestoff og utføre de oppgavene de skal, sammenliknet med 2013-utvalget hvor majoriteten var førsteårs studenter (jf. tabell 6 i resultatdelen). Dette er en positiv trend! Et forhold vi har lagt vekt på i EVA 2-undersøkelsene siden 2005 er følge opp studentenes erfaringer med tilbakemeldingspraksisen ved HiØ. Tett oppfølging og hyppige tilbakemeldinger er en sentral anvisning i Kvalitetsreformen; det skal bidra til å forme lærings- og undervisningsmiljøer som støtter studenters læringsutbytte og sjanse til å lykkes i høgere utdanning. Dette er også i tråd med HiØs strategiske plan for som er under arbeid i år, hvor man ser for seg et HiØ kjennetegnet ved god undervisning og veiledning og nær kontakt mellom lærer. EVA 2-RAPPORT

12 I alt 10 utsagn i EMS setter fokus på god undervisning og tilbakemeldinger. Gjennomsnittet for disse utsagnene viser at samlet er 32 % av 2014-utvalget enig eller delvis enig at undervisning og tilbakemeldingspraksis er god. Men en like stor andel av studentene er uenig eller delvis uenig at det ikke er slik. De tre utsagnene med lavest oppslutning gjelder tilbakemeldinger med en gjennomsnittlig prosentvis enighet på 26; det er hver fjerde student i utvalget. Her er det den prosentvise uenigheten 43. Det betyr at 2 av 5 studenter melder tilbake om at de ønsker seg hyppigere og bedre tilbakemeldinger. Kort og godt: Resultatene fra årets utvalg støtter den fallende trenden vi har registrert i evalueringene av tilbakemeldingspraksis i EVA 2-undersøkelsene i 2012 og 2013 (se s. 8-9). Med bakgrunn i EVA 2-undersøkelsene de tre siste årene bør vi derfor både på institusjonsnivå og de enkelte avdelinger undersøke status for og utvikling av tilbakemeldingspraksisen nærmere: Ikke minst hvorvidt det ressursmessig gis nok tid og rom for å gi hyppigere og gode tilbakemeldinger på studentenes innleverte arbeider og arbeidskrav. Imidlertid er det store variasjoner mellom de enkelte studieprogram; det framgår av faktorskårene som presenteres i rapportens resultatdel. Her vil vi peke på at det er mulig å effektivisere og utvikle så vel tilbakemeldinger som feedbackstrategier ved hjelp av digitale verktøy og medier. Det vil også være i tråd med de strategiske mål HiØ arbeider fram i disse dager hvor utviklingen av kvalitativt gode, fleksible løsninger i så vel undervisning som veiledning av studenter løftes fram som et prioritert satsningsområde. EVA 2-RAPPORT

13 Resultater EMS faktorskårer Det store bildet - institusjonsnivå Både i tolkning og vurdering av resultatene i tabell 6 (og de øvrige tabellene) særlig når og 2013-resultater sammenliknes er det verdt å se tallene i lys av: 2014-utvalget er mindre representativt for HiØ som institusjon; 375 besvarte undersøkelsen i 2014 mens 704 bachelorstudenter svarte i uvalget består i hovedsak av studenter i tredje studieår; i 2013 var hovedvekten 1.års studenter. I alle tabeller er 2013-resultatene satt i parentes for de enkelte faktorer. Tabell 6 EMS-faktorer HiØ 2014 (2013-utvalget i parentes) God undervisning (GU) 3,0 (3,1) Tilbakemelding/Feedback (TB/FB) 2,9 (3,0 ) Tilbakemeldinger GU7+17 2,7 (2,9) Klare mål 3,2 (3,2) Arbeidsbyrde (ARB) 2,9 (2,6) Vurderingsformer (VF) 3,6 (3,5) Generelle ferdigheter (GF) 3,8 (3,7) Fornøydhet med kvalitet (OSI) 59 % (3,6) % (3,5). Variasjon på avdelingsnivå Tabell 7 EMS-faktorer og fornøydhet med kvaliteten (OSI) OSI i prosent og ( ) GU FB GU7 og 17 KM ARB VF GF Akademiet 4,3 3,5 4,2 3,2 3,1 4,6 4,3 100 % (5,0) - HS 2,9 (3,1) 2,8 (3,0) 2,6 3,2 (3,2) 2,9 (2,5) 3,6 (3,5) 3,9 (3,8) 64 % (3,7) 71 % (3,8) IR 2,7 (3,0) 2,7 (3,1) 2,4 3,0 (3,0) 2,9 (2,6) 3,5 (3,6) 3,7 (3,4) 46 % (3,2) 54 % (3,3) IT 2,8 (3,0) 2,7 (2,7) 2,5 3,1 (3,1) 3,0 (2,7) 3,5 (3,6) 3,6 (3,6) 54 % (3,4) 67 % (3,6) LU 3,1(3,2) 3,2 (3,1) 2,9 3,3 (3,0) 3,0 (2,5) 3,7 (3,6) 3,6 (3,6) 60 % (3,7) 65 % (3,6) ØSS 3,2 (3,1) 2,9 (2,6) 3,1 3,6 (3,4) 3,0 (2,5) 3,7 (3,6) 3,8 (3,5) 52 % (3,5) 75 % (3,8) HiØ 3,0 (3,1) 3,1 (3,0) 2,7 (2,9) 3,2 (3,2) 2,9 (2,6) 3,6 (3,5) 3,7 (3,6) 59 % (3,6) 67 % (3,6) EVA 2-RAPPORT

14 Variasjon på programnivå Avdeling for HELSE- OG SOSIALFAG Tabell ARB.VELF BARNEVERN SOSIALT ARBEID VERNEPLEIE GU 2,6 (3,3) 3,0 (3,2) 2,7 3,2 (3,1) FB 2,3 (3,2) 2,8 (3,0) 2,6 3,1 (3,1) Gu7+17 2,0 2,6 2,2 3,0 KM 2,8 (3,5) 3,6 (3,4) 3,0 3,3 (3,2) ARB 3,1 (3,1) 3,3 (2,8) 3,0 2,8 (2,5) VF 3,5 (3,7) 3,7 (3,6) 3,6 3,5 (3,5) GF 3,7 (4,0) 3,9 (3,9) 3,9 3,9 (3,9) 47 % (3,3) 77 % (3,8) 53 % (3,6) 77 % (3,3) % (3,9) 88 % (4,1) - 73 % (3,9) Avdeling for INGENIØRFAG I tabellen er programmer med svarprosent % merket * og programmer med svarprosent i området % er merket ** Tabell BIOING** BYGG* ELEKTRO INNOVASJON** INDUSTR DESIGN* MASKIN- ING* GU 2,3 (3,6) 2,7 (2,8) 2,3 (2,8) 3,4 (3,5) 2,6 (2,7) 2,7 (2,6) FB 3,0 (3,7 ) 2,3 (2,9) 2,6 (2,7) 3,3 (3,5) 2,6 (2,9) 2,8 (2,6 ) Gu7+17 1,8 2,4 2,2 3,3 2,5 2,6 KM 2,4 (3,4) 3,2 (3,2) 2,6 (2,9) 3,0 (2,8) 2,9 (2,9) 3,5 (2,9) ARB 2,3 (2,8) 3,1 (2,6) 2,7 (2,1) 3,3 (3,4) 2,9 (2,1) 3,3 (2,2) VF 3,3 (3,1) 3,3 (3,4) 3,2 (3,2) 4,0 (4,1) 3,9 (3,8) 3,9 (3,4) GF 3,8 (3,7) 3,6 (3,3) 3,1 (3,6) 4,2 (4,2) 4,1 (3,1) 3,9 (3,5) 50 % (3,5) 50 % (3,3) 33 % (2,5) 70 % (3,9) 40 % (3,4) 57 % (3,2) % (3,4) 52 % (3,1) 20 % (2,5) 68 % (3,8) 33 % (2,9) 40 % (3,4) EVA 2-RAPPORT

15 Avdeling for INFORMASJONSTEKNOLOGI I tabellen er programmer med svarprosent % merket * og programmer med svarprosent i området % er merket ** Tabell 10 DATA-ING DIGITAL INFORMATIKK MEDIA* Design og utv** INFORMASJONSSYSTEMER * GU 2,7 (2,9) 2,8 (3,1 ) 2,8 (3,4) 2,8 (2,9) FB 2,8 (2,5) 2,6 (2,9) 2,7 (3,1) 2,8 (3,0) Gu7+17 2,3 2,7 2,5 2,5 KM 3,4 (3,5) 2,4 (2,5) 3,6 (2,4) 3,0 (3,3) ARB 3,3 (2,9) 2,8 (2,5) 2,9 (2,8) 2,9 (2,8) VF 3,4 (3,4) 3,5 (3,7) 4,1 (4,0) 3,0 (3,4) GF 3,6 (3,4) 3,5 (3,5) 3,9 (4,0) 3,7 (4,1) 64 % (3,4) 27 % (3,1) 67 % (3,8) 70 % (3,7) % (3,5) 62 % (3,4) 77 % (3,9) 70 % (3,9) Avdeling for LÆRERUTDANNING I tabellen er programmer med svarprosent % merket * og programmer med svarprosent i området % er merket ** Tabell 11 GLU 1-7* GLU 5-10* FØRSKOLE BARNEHAGE BARNEHAGE Heltid Heltid* Deltid** GU 2,5 (3,3) 3,2 (2,9) 3,3 (-) 3,0 (-) 3,5 (-) FB 2,6 (3,3) 3,1 (2,9) 3,6 (-) 3,2 (-) 3,0 (-) Gu7+17 2,4 2,9 3,2 2,9 2,5 KM 2,8 (3,2) 3,7 (3,2) 3,4 (-) 2,9 (-) 3,5 (-) ARB 2,4 (2,5) 3,0 (2,6) 3,1 (-) 2,9 (-) 3,1 (-) VF 3,5 (3,6) 3,6 (3,4) 3,7 (-) 3,7 (-) 4,0 (-) GF 3,2 (3,6) 3,9 (3,5) 3,8 (-) 3,4 (-) 3,8 (-) 18 % (3,1) 73 % (3,8) 62 % (3,6) 59 % (3,8) 82 % (4,1) % (4,0) 48 % (3,3) Kommentar 2013-resultatene for GLU 1-7 bygger på samlet utvalg fra 1. og 2. studieår. For GLU 5 10 deltok studenter fra 1., 2., og 3. år. EVA 2-RAPPORT

16 Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG I tabellen er programmer med svarprosent % merket * og programmer med svarprosent i området % er merket ** Tabell 12 INTERNASJONAL KOMUNIKASJON* Internasj. komm. 1. år 2012 REVISJON Profil regnskap* Revisjon samlet 2013 GU 4,4 (-) 3,9 2,4 3,1 FB 4,1 (-) 3,8 1,8 2,6 Gu7+17 4,4 -- 1,9 KM 4,1 (-) 3,7 3,0 3,1 ARB 3,7 (-) 3,2 2,7 2,5 VF 4,2 (-) 3,6 3,3 3,6 GF 4,5 (-) 4,1 3,4 3,5 100 % (4,9) 96 % (4,4) 11 % (2,6) % (3,8) Kommentar For Internasjonal kommunikasjon er resultatene fra 2012 satt som referanse, som gjelder programmets 1. studieår. Svarprosenten i 2012 av 74, mens den er 32 i AKADEMI FOR SCENEKUNST I tabellen er programmer med svarprosent % merket * Tabell 13 SCENOGRAFI* SKUESPILL* GU 4,0 (-) 4,5 FB 3,6 (-) 3,5 Gu7+17 4,0 4,3 KM 3,3 (-) 3,2 ARB 3,0 (-) 3,2 VF 4,2 (-) 4,9 GF 4,2 (-) 4,4 100 % (5,0) 100 % (5,0) EVA 2-RAPPORT

17 VEDLEGG Spørreskjema: Erfaringer med studiet og læringsmiljøet så langt dette studieåret (EMS) HE = Helt enig DE = Delvis enig?? = Usikker/«midt på treet» NU = Noe uenig HU = Helt uenig Husk: Bare ett svar pr utsagn ALLE utsagn MÅ besvares VENNLIGST MARKÉR SLIK HE DE?? NU HU 1 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet 2 Studiet bidrar til at jeg er blitt bedre til å samarbeide og delta i teamarbeid 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet 4 Arbeidsbyrden på utdanningen er for stor 5 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til 6 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt 7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine 8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger 9 Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid 10 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte forbedre til neste gang 11 Studiet bidrar til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig 12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått 13 Jeg har en klar oppfatning av hvordan jeg ligger an i studiet ut fra hva som forventes av meg 14 Studieopplegget gir oss tilstrekkelig med tid slik at vi kan lære oss tingene ordentlig 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet 16 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning 17 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss 19 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant 20 Altfor mange lærere stiller spørsmål som bare gjelder faktakunnskaper 21 På studiet stilles det høye krav som fører til et stort press på meg som student 22 Studiet bidrar til at jeg utvikler mine analytiske evner og ferdigheter 23 Tilbakemelding på innleverte oppgave kommer ofte så sent slik at nytteverdien blir ganske liten 24 Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver 25 Det er ofte vanskelig å forstå nøyaktig hva man forventer av studentene på dette studiet 26 Omfanget av lærestoff/pensum på studiet gjør at vi ikke kan lære oss alt skikkelig 27 Studiet stimulerer min faglige interesse for utdanningens emner og fag 28 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet 29 I det store og hele er jeg fornøyd med kvaliteten på utdanningen (studiet) EVA 2-RAPPORT