KONTINUERLIG EVALUERING AV UNDERVISNING 2013 Rapport med utgangspunkt i lærernes innrapportering
Innhold 1 Innledning... 3 2 Oppsummering av innrapporteringen 2009-2013... 3 2.1 Gjennomført/ikke gjennomført evaluering... 3 2.2 På hvilken måte evalueringen er gjennomført... 4 3 Lærernes opplevelse av den kontinuerlige evalueringen... 5 4 Oppsummering... 8 2
1 Innledning Kontinuerlig evaluering av undervisning inngår i System for sikring og utvikling av utdanningskvalitet ved Norges musikkhøgskole som beskrevet i punkt 2.6: Alle lærere skal gi sine studenter mulighet til å gjennomføre evaluering av undervisningen. Hva som skal evalueres og hvordan evalueringen skal foregå vurderes av den enkelte lærer i samråd med studentene. Kontinuerlig evaluering skal være et tema på utviklingssamtalene fagseksjonslederne holder med sitt personale. Alle lærere skal i tillegg årlig rapportere at evalueringen er gjennomført og på hvilken måte, mens studentene i sin studieprogramevaluering (pkt. 2.4) rapporterer hvor stor andel av lærerne som har gitt dem mulighet til å evaluere undervisningen 2 Oppsummering av innrapporteringen 2009-2013 Skjema for innrapportering ble sendt til alle lærere på epost som har undervist i løpet av studieåret 2012-2013 Liste over lærere hentes ut fra FS (Felles Studentsystem) og sammenlignes med arbeidsplanlistene. Denne metoden for å hente ut liste over lærere kan være noe upålitelig. Alle lærere som engasjeres i løpet av studieåret blir registrert på samme måte enten de har ett kort og intensivt kurs, eller de underviser et lite emne gjennom hele året. Det kan også finnes feilregistreringer. 2009 2010 2011 2012 2013 Antall inviterte 253 218 228 236 253 Respondenter 142 167 160 153 157 Prosent 56 % 77 % 70 % 65 % 62 % Tabell 1. Svarprosent Antall lærere som har respondert på evalueringen har gått noe ned de siste to årene sammenlignet med 2010 og 2011. Nedenfor følger tabell over besvarte skjema sett i forhold til stillingsstørrelse for perioden 2009-2013. 2009 2010 2011 2012 2013 100 % 80 % 86 % 86 % 86 % 82 % 99-50 % 65 % 82 % 78 % 69 % 75 % - 49 % 33 % 68 % 56 % 53 % 48 % Tabell 2. Besvarelse og stillingsprosent 2.1 Gjennomført/ikke gjennomført evaluering De siste årene er det i større grad blitt oppfordret til å besvare undersøkelsen selv om man ikke har gjennomført evaluering med studentene. I årets undersøkelse har 119 (76 %) av de 157 som har respondert gjennomført en form for evaluering: 2009 2010 2011 2012 2013 Gjennomført 98 % 62 % 88 % 84 % 76 % Ikke gjennomført 2 % 38 % 11 % 16 % 24 % Tabell 3. Andel som har gjennomført evaluering 100 % 99-50 % -49 % Gjennomført 78 % 82 % 68 % Tabell 4. gjennomføring i forhold til stillingsprosent 3
Lærerne som krysset av for at de ikke hadde gjennomført evaluering ble bedt om å oppgi årsak. 37 % oppgir at de ikke fikk tid på slutten av året. Det er noe færre enn i 2012 som har svart at de ikke var klart over at de skulle gjennomføre evaluering. Annen årsak: Elev på tup. Ikke naturlig å evaluere. sykemeldt på slutten av semesteret Det "forsvant",beklager. Skal få inn rutine på det. har evaluert med de fleste, men ikke alle. Ingen spesiell grunn, annet enn at tiden gikk... Jeg gjør det hvert år, men i år glemte jeg det. Jeg underviser kun på TUP - jeg har ikke hørt noe om at man skulle gjennomføre studentevaluering her?? 2.2 På hvilken måte evalueringen er gjennomført Lærerne ble også bedt om å oppgi på hvilken måte evalueringen hadde foregått. Det var mulig å krysse av på flere av alternativene, noe enkelte lærere også har gjort. Som tidligere år er en muntlig evaluering den klart vanligste blant NMHs lærere: Annet: Ved utsending av mitt eget utformede standardbrev som sendes ut i en versjon ved nyttår og i en annen mot slutten av vårsemesteret. Stadig i dialog med mine studenter Muntlig gjennom hele året, ikke som en samtale ved semesterslutt refleksjonsnotat Ingen formell referansegruppe, men kontinuerlige samtaler med kolleger nasjonalt og internasjonalt, samt tidligere studenter og relevante oppdragsgivere 4
skriftlig ved endt studieår jevnlig gjennom året 3 Lærernes opplevelse av den kontinuerlige evalueringen De lærerne som gjennomfører evaluering opplever klart at de får noe ut av det: Avsluttende kommentarer Under følger fritekstkommentarene som læreren har gitt avslutningsvis i denne undersøkelsen. Noen få kommentarer er redigert, og et par er tatt helt ut av hensyn til anonymitet. Jeg har satt opp kommentarene inndelt i følgende bolker: - De som beskriver nytteverdi/positive opplevelser av den kontinuerlige evalueringen - Kommentarer om hvorfor man ikke har gjennomført - Kommentarer knyttet til opplevelse av liten nytteverdi - Betraktninger rundt måten det evalueres på/forslag til endringer - Mer generell betraktninger og beskrivelser av hvordan man har gjennomført evalueringen - Kommentarer til denne undersøkelsen Opplevelse av nytte I flere år hadde jeg skriftlige evalueringer I år hadde jeg muntlig evalueringbasert på de samme spørsmålene...og med vekt på hva studentene ønsket skulle være annerledes. Jeg opplevde god stemning og fikk enkelte gode forslag til forandringer. I tillegg til svarene jeg har fått på mine spørsmål, har studentene gitt spontane muntlige og skriftlige (e-post og sms) tilbakemeldinger som har vært av god nytteverdi for videre undervisning. super dupert! Veldig bra for å se hva som faktisk er utviklende for dem og hva de får med seg av budskapene i undervisningen. Mange overaskelser! Synes den kontinuerlige evalueringen er viktig og gir klare tilbakemeldinger - fungerer veldig fint. Når jeg har lagt det på it's learning, har færre svart enn når vi har gjort det skriftlig/ muntlig på timen. Fikk tips som jeg tar med meg til dette studieåret! Fin ordning. Jeg har gjennomført det hvert år og syns jeg har fått fine tilbakemeldinger både om hva som kan beholdes og hva som kan justeres/forandres. I år var det imidlertid helt spesielle forhold som gjorde det uaktuelt. Neste år regner jeg med å gjennomføre evalueringen som vanlig. Opplever at jeg får nyttige og viktige tilbakemeldinger fra studentene. I stor grad på det de konkret er fornøyd med. Får også noen ideer de har til hvordan faget kan arrangeres for nye studenter. Nyttig for det verdifulle samspill hovedinstrumentundervisn. er. Studentenes svar fører til noen justeringer i undervisningen. 5
Jeg har god dialog med studentene og det fungerer godt begge veier. Er fornøyd med opplegget. Studentene hjelper meg som alltid til å forbedre undervisningen min! Jeg syns jeg får veldig verdifulle innspill fra studentene. Tar dette med når jeg planlegger videre undervisning. Jeg synes evaluering er viktig. Det er nyttig for meg, og jeg tar også det studentene sier med meg inni fagråd for å diskutere med mine kolleger der. Det är säkert ett väldigt bra verktyg att identifiera eventuella missförhållanden, och att kunna rätta till detaljer. Det er et vesentlig verktøy for den videre utviklingen av faget. Den kontinuerlige evalueringen er en del av min dialog med studentene og helt nødvendig for å få undervisningen til å fungere så godt som mulig. Jeg evaluerer muntlig til jul og skriftlig til sommeren, og forøvrig spør jeg dem rett som det er hva de synes om ulike aktiviteter vi holder på med.svarene deres er et korrektiv, slik at jeg kan endre kursen dersom jeg opplever det som nødvendig Ikke gjennomført Har ikke utført dette i år, fordi jeg ikke har vært hovedlærer for noen. Har kun hatt ett emne over flere ganger. Her fikk jeg gjennomført en muntlig evaluering. Som svart tidligere glemte jeg evalueringen og det ble til slutt for sent. Sorry! Jeg underviser en modul i. Jeg tok kontakt med studieseksjonen før jeg avsluttet undervisn for å spørre om jeg skulle foreta skriftlig evaluering. "Nei, for det er kun en modul", var svaret. Problemet er jo at hele faget består i moduler, slik at en skriftlig evaluering derfor ikke forekommer i dette faget. Tilsvarende skjer for tror jeg, der mange lærere deler timene mellom seg. Slik deling gjør altså at det muligens ikke tas ansvar for evaluering av faget som helhet - dette vil jeg oppfordre til å være oppmerksom på framover! Opplevelse av liten nytte Mange kommentarer, men har ikke overskudd til å prøve å nå igjennom - blir som alltid fullstendig neglisjert. Jag måste lära mig mer om detta. Om det skall ske muntligt eller skriftligt, personligt eller anonymt. I skrivande stund förstår jag inte poängen varför jag som är berörd skall ställa frågan till studenten. Graden av nytte er begrenset. Etter mange års praksis er det ingen store overraskelser. Men siden jeg gjør det muntlig er det ok at studentene gis mulighet til å bli hørt samtidig som formen er enkel å gjennomføre. unødvendig, siden jeg er i dialog med studentene gjennom hele året Betraktninger om måten det evalueres på Den bør være obligatorisk skriftlig for alle lærere. Studentene svarer om man tar seg ti minutter på timen - anonymt der det er mulig selvsagt (grupper). Veldig relevante tilbakemeldinger stort sett. Jeg har for første gang ikke gjennomført evalueringen, og beklager dette. Jeg pleier å ha en skriftlig evaluering, men hadde i år tenkt å gå over til muntlig, siden mange av studentene glemmer å levere skjemaet. Jeg synes forøvrig det er synd at vi ikke må rapportere resultatet av evalueringen videre oppover, hvis noen studenter har mange kritiske/negative tilbakemeldinger så kommer de 6
ikke videre, de blir hos oss, på den måten forplikter ikke vi oss til å forbedre undervisningen. Synd! Studentene nevner at de opplever det som en utfordring av de er få i fagene og at det er dermed er vanskelig å kunne svare anonymt. Generelle betraktinger Evalueringen av undervisningen er en nær ukentlig foreteelse. Jeg sjekker nesten alltid ut hvordan undervisningen fungerer og hva de ønsker mer av. Jeg tester også ut litt ulike og runder av semesteret med spørsmål om hvordan min undervisning har fungert og hva som evt. bør endres. Studentenes forslag blir fulgt opp i den grad jeg har anledning til dette. Enkelte behov blir formidlet videre til seksjonsleder, men også enkelte positive vurderinger av undervisningen. Mitt fokus er først og fremst på studiet og faget. Hadde kun muntlig evaluering forrige skoleår, kommer til å gjennomføre en mer grundig evaluering skriftlig ved slutten av inneværende skoleår. Studentene synes bruksklavertimene er for korte men relevant for studiet. Jeg veiledet to og studentene var fornøyd. Jeg biveiledet tre og var fornøyd. Pleier å gjøre det skriftlig, og det fungerer bra.som regel fornøyde studenter, heldigvis, og dermed ikke så mange ønsker om forandringer Jeg opplever at det var lettere å få svar muntlig enn skriftlig, som jeg har brukt de siste årene. Det er ikke så lett å svare bare med ja/nei på foriige spørsmål. Ulike studenter har svært ulike oppfatninger, motivasjoner og mål for faget, og evalueringen blir vanskelige å lese. I mitt tilfelle er det snakk om enkeltundervisning og 3 studenter som får undervisning som gruppe. Jeg får uoppfordret tilbakemeldinger på undervisningen uten å be om det, på timene, på sms og facebook. Jeg ser det som en selvfølge at man evaluerer undervisningen kontinuerlig i form av kommunikasjon med elev. Den ble foretatt i kurset ved tre allmøter (alle i lærerteamet og de deltagende studentene) gjennom skoleåret. Gjennomfører dette først i juni,og gør det som vanlig muntlig med en og en av mine studenter. (Evaluering gør vi,jeg og mine studenter,i stort sett hele året.) Denne ordningen fungerer godt når det er et åpent forhold mellom student og lærer. Jeg synes at det må være en forutsetning at det er så etor åpenhet på dette nivået. Ikke annet enn at jeg synes det er meget viktig!! For min undervisning er det effektivt med muntlig kontinuerlig evaluering, da leksjonene må fungere til det beste for studentene i fremtidsrettet perspektiv mtp den korte tiden som er til disposisjon. Jeg har undervist i delmoduler innenfor ontinuerlige emner som timelærer. Jeg har heller ikke fått vite at jeg skulle delta i/gjennomføre en evaluering. Er ellers svært positiv til slike type tiltak. Generelt anser jeg det som vesentlig at en kontinuerlig evaluering er en integrert del av studiet. Takk for et bra arbeidsdokument. Spesifikt blir den avsluttende evalueringen blir gjort etter siste eksamenskonsert. Den er ofte tøff både for studentene og lærerne, men nyttig, nødvendig og ofte nyskapende. Evalueringen i år finner sted midt ute på Oslofjorden, avsluttes med reker og hvitvin, før studenten selvgående seiler av sted. Er en naturlig del av undervisningen. Jeg har gjennomført evalueringen i ulike former og synes det har vært ok. Det er lettere å få til når det gjøres muntlig eller hvis du setter av undervisningstid til skriftlig evaluering. 7
Gör det INTE bara en gång per år men fortlöpande!! På bakgrunn av jevnlig evaluering hvert skoleår, ser jeg at jeg har klart å få et undervisningsopplegg som fungerer svært godt. en ganske selvfølgelig del av kurset, når kurset er lite nok og har godt nok med tid avsatt til samtale Evalueringen kan like mye være for studentenes egen bevisstgjøring som for evaluering av meg og undervisningen. Om denne evalueringen Det bør utvikles bedre muligheter for å videreformidle synspunkter som har kommet via evalueringen til seksjonen. Jeg ønsker en påminnelse med skjema litt tidligere i året. Jeg synes det bør være mer nyanserte svaralternativ. Ikke bare ja og nei...det bør være mulighet for fritekst ved hvert spørsmål. Opplever ikke at jeg får svart så utfyllende jeg vil slik det er nå. Jeg har en kommentar til skjemaet.på siste spørsmål, om hvorvidt evalueringen fungerer var det kun mulighet til å svare ja eller nei. Jeg kunne ønsket meg flere graderte svaralternativer, ect. også fritekst. Har valgt å svare ja, fordi det er riktigere enn nei, men et mer utfyllende svar ville være: ja, de svarer til dels på evalueringen, og jeg får tidvis nyttige tilbakemeldinger. Men studentene virker ikke så interesserte i å svare/har ikke så mange tilbakemeldinger. Nei, jeg har som tidligere meldt funnet en form jeg er ganske fornøyd med. Jeg derimot innspill på den årlige nettbaserte studentevalueringen, som jeg gjerne diskuterer med noen ved anledning. 4 Oppsummering Antallet lærere som deltar i denne undersøkelsen har vært ganske jevnt de siste årene. Dessverre har ikke antallet som oppgir at de har fullført noen form for evaluering blant sine studenter økt. En overvekt av de som faktisk gjennomfører evaluering ser imidlertid en nytte av dette. Den vanligste årsaken til at evalueringen ikke ble gjennomført er at det ikke ble tid til dette mot slutten av året. Som også tidligere undersøkelser har slått fast, gjennomfører det store flertallet av lærerne den kontinuerlige evalueringen muntlig med sine studenter. Dette burde i teorien ikke være svært tidkrevende, og det er trolig behov for mer bevisstgjøring og mer jevnlige påminnelser om både hvordan evalueringen kan gjennomføres og hva slags nytte flere opplever av dette. Kompetanseutviklingskomiteen kan eksempelvis se nærmere på denne tematikken og hvordan det kan være hensiktsmessig å informere ansatte. I etterkant av studieutvalgets behandling av rapporten om kontinuerlig evaluering har fagseksjonslederne gjennom flere år fått en liste over hvilke lærere innen sin fagseksjon som ikke har levert rapporteringsskjema samt de skjema som er levert fra lærere innen sin seksjon. Hensikten med dette er at kontinuerlig evaluering er et av temaene som skal tas opp under medarbeidersamtalene fagseksjonsleder har med de ansatte. Sett i lys av at andelen som gjennomfører evaluering ikke har økt, ser ikke dette tiltaket ut til å fungere. Jeg vil foreslå at evaluering fortsatt er et tema i medarbeidersamtalen, men der fokus er å dele erfaringer eller manglende erfaringer med dette, fremfor å relatere det til undersøkelsen konkret for den enkelte. September 2013, Cecilie Flaatin Kvalitetskoordinator 8