KONTINUERLIG EVALUERING AV UNDERVISNING Rapport med utgangspunkt i lærernes innrapportering 2013-14
Innhold Kontinuerlig evaluering av undervisning 2013-2014 1. Innledning... 3 2. Svarprosent 2009-2014... 3 3. Oppsummering av innrapporteringen 2014... 5 2
1. Innledning Kontinuerlig evaluering av undervisning 2013-2014 Kontinuerlig evaluering av undervisning inngår i System for sikring og utvikling av utdanningskvalitet ved Norges musikkhøgskole (punkt 2.6). Alle lærere skal gi sine studenter mulighet til å gjennomføre evaluering av undervisningen. Hvordan evalueringen skal foregå vurderes av den enkelte lærer i samråd med studentene. Kontinuerlig evaluering skal være et tema på utviklingssamtalene fagseksjonslederne holder med sitt personale. Alle lærere skal i tillegg årlig rapportere at evalueringen er gjennomført og på hvilken måte, mens studentene i sin studieprogramevaluering (pkt. 2.4) rapporterer hvor stor andel av lærerne som har gitt dem mulighet til å evaluere undervisningen. Fritekstkommentarene i spørsmål 2 og 3 er gjengitt i sin helhet. Fritekstkommentarer i spørsmål 5 og 6 er gjengitt eksempelvis og/eller redigert for anonymitet. Kommentarer som er luket ut handler for det meste om personlige grunner for at evalueringen ikke er gjennomført eller en kommentar om hvordan personen skal gjøre dette annerledes neste år. Kommentarene er vurdert som uinteressant i denne sammenhengen. Fritekstkommentarene fremstilles i kursiv i denne rapporten. 2. Svarprosent 2009-2014 Skjema for innrapportering ble sendt på e-post til alle lærere som underviste studieåret 2013-14. Liste over lærere hentes ut fra FS (Felles Studentsystem) og sammenlignes med arbeidsplanlistene. Metoden for å hente ut liste over lærere som har undervist kan være noe upålitelig. Alle lærere som engasjeres i løpet av studieåret blir registrert på samme måte enten de har ett kort og intensivt kurs, eller de underviser et lite emne gjennom hele året. Det kan også finnes feilregistreringer. Lærere som kun har undervist på korte kurs eller noen få timer har ikke fått tilsendt undersøkelsen. I FS registreres ikke stillingsprosent, noe som gjorde det vanskelig å legge inn stillingsprosent som bakgrunnsinformasjon. Det antas at dette er blitt gjort manuelt tidligere år, noe det ikke har vært ressurser til å prioritere i år. Det betyr at vi i årets rapport har mulighet til å vite noe om stillingsprosent til de som har svart, men ikke til de som ikke har svart. Analysen blir derfor noe forskjellig fra tidligere års rapporter. Dersom stillingsprosent skal ligge som bakgrunnsinformasjon i rapporteringen, må det være mulig å hente ut denne opplysningen fra systemet. 2009 2010 2011 2012 2013 2014 Antall inviterte 253 218 228 236 253 223 Respondenter 142 167 160 153 157 128 Svarprosent 56 % 77 % 70 % 65 % 62 % 57 % Tabell 2.1 Svarprosent Andelen lærere som har innrapportert har gått nedover de siste årene og er nå på nivå med 2009. Dette må tas med i arbeidet med neste års innrapportering. På neste side vises andel innrapportering fordelt på fagseksjoner. Det er verdt å merke seg at høyeste svarprosent ligger på 70 % i en innrapportering som er en del av alle faglig ansattes arbeidsoppgaver. 3
100 % 90 % 80 % 70 % 60 % 67 % 53 % 60 % 70 % 56 % 65 % 50 % 40 % 38 % 30 % 20 % 10 % 0 % Svarprosent - fagseksjoner Diagram 2.1: Svarprosent (innrapportering) fordelt på fagseksjoner. 4
3. Oppsummering av innrapporteringen 2014 1. Gjennomført/ ikke gjennomført De siste årene er det i større grad blitt oppfordret til å besvare undersøkelsen selv om man ikke har gjennomført evaluering med studentene. I årets undersøkelse har 111 (84 %) av de 128 som har rapportert gjennomført en form for evaluering. 2009 2010 2011 2012 2013 2014 Gjennomført 98 % 62 % 88 % 84 % 76 % 84 % Ikke gjennomført 2 % 38 % 11 % 16 % 24 % 16 % Tabell 3.1: gjennomført/ikke gjennomført 2. Lærerne som krysset av for at de ikke hadde gjennomført evaluering ble bedt om å oppgi årsak: Resultat fremstilles sammen med resultat fra 2013 Jeg har ikke undervist noen kontinuerlige emner og det har derfor ikke vært naturlig å 21 % 35 % Jeg har ikke hatt kjennskap til at man skulle gjennomføre studentevaluering Jeg har ikke undervist ved Musikkhøgskolen dette studieåret (høst/ vår) 0 % 3 % 5 % 16 % Det ble ikke tid på slutten av året 30 % 37 % Annet 24 % 30 % 0 % 5 % 10 % 15 % 20 % 25 % 30 % 35 % 40 % 2014 2013 Diagram 3.2: årsak ikke gjennomført Annet: Sykmeldt x 2 Gjennomføres i juni 2014 etter avsluttende eksamen, muntlig. Det er svært unaturlig fordi undervisningen foregår med en student av gangen. Det er for personlig til at elevene vil føle seg fri nok til å gi sine kommentarer av min undervisning. Hvis NMH ønsker slik tilbakemelding fra elevene må administrasjonen selv hente inn dette og gi elevene anonymitet. Da jeg spurte min kontaktperson om vi skulle ha evaluering av undervisningen, fikk jeg beskjed om at det ikke skulle være evaluering av dette emnet Er i nær dialog med den enkelte student kontinuerlig. 5
16 % av de som har rapportert inn oppgir at de ikke har gjennomført evaluering. Dette tilsvarer 20 personer. Av disse svarer flest at de ikke har undervist noen kontinuerlige emner, noe som muligens kan unngås ved å vaske listene enda bedre til neste år. Ansatte som ikke underviser kontinuerlige emner eller har lengre sykemeldinger bør muligens ikke motta rapporteringen. Prosentandelen som oppgir at det ikke ble tid går noe ned, men ikke nevneverdig til at noen konklusjoner kan trekkes. 4 av 6 som svarer dette er fra seksjon for blås og slagverk. Kun en har oppgitt Jeg har ikke hatt kjennskap til at man skulle gjennomføre studentevaluering, en nedgang fra i fjor. Det bør fortsatt sendes ut påminnelse til alle lærere en gang i semesteret med link til håndboken for studentevaluering av undervisning for å sikre at alle lærere er klar over at undervisningen skal evalueres kontinuerlig. 3. Lærerne som krysset av for at evaluering er gjennomført ble bedt om å oppgi på hvilken måte (flere valg var mulig): Resultat fremstilles sammen med resultat fra 2013 Muntlig med mine studenter 87 % 92 % Ved hjelp av spørreskjema 27 % 22 % Webbasert på læringsplattformen It's learning På e-post Ved hjelp av referansegruppe opprettet i mitt emne Annet 6 % 4 % 15 % 11 % 0 % 0 % 4 % 5 % 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % 2014 2013 Diagram 3.3: Gjennomført på hvilken måte Annet: Brev til studentene i desember og mai. Gjennomført som samtale, der jeg har tatt notater av de ulike momentene som har kommet frem. Det skal sies at jeg i år ikke har fått gjennomført underveisevaluering med alle studentene mine. Et par av dem det gjelder skal jeg ha til høsten, og jeg vil da foreta evaluering. webbasert andre nettsider Skriftlig tilbakemelding hvor studentene skriver om hva de har fått ut av faget og om hva de skulle ønske annerledes. 6
Muntlig evaluering er også i år den metoden flest benytter seg av, samtidig som bruken av spørreskjema, web og e-post går noe opp fra 2013 til 2014. Det kan ikke konkluderes som en tendens da dette må sees i et lengre perspektiv. Ingen rapporterer bruk av referansegrupper. 4. Hvordan opplever du at den kontinuerlige evalueringen fungerer? 5. Har du andre kommentarer til den kontinuerlige evalueringen? Kommentarene handler for det meste om hvorfor kontinuerlig evaluering ikke fungerer optimalt, eller hvorfor det fungerer godt. Noen lærere deler også ulike metoder de bruker for evaluering, og enkelte setter spørsmålstegn ved organisering og struktur. Kommentarene nedenfor er et representativt utvalg. Fungerer ikke optimalt Fungerer godt Ulike metoder Som jeg har alltid har ment, er det ikke lett for studentene å komme med negative kommentarer direkte til læreren, og det derfor unyttig. Føler ikke det passer med mesterlæring. Jeg har litt vanskeligheter med at evalueringen skal være "kontinuerlig". Passer bedre at jeg tar en runde med studentene i slutten av 2.semester, for å fange opp saker som kan forbedres i det neste studieåret. Tror det fungerer bra når alt er ok, og det bare er små justeringer som kanskje skal til. Om det skulle oppstå større problematiske situasjoner, er jeg ikke så sikker. Jeg synes det er et fint redskap for å finne ut hva studenten synes om timene og finne ut hvilket rom studenten synes hun/han har for å kunne uttrykke seg. Jeg synes kontinuerlig evaluering er positivt og bidrar til økt bevissthet om undervisning og kvalitet. Studentene har fått tilbud om å svare skriftlig eller ha en kontinuerlig muntlig evaluering. Alle ville gjøre det muntlig. Jeg føler at dialogen med studentene fungerer veldig bra og at de ikke har problemer med å formidle konstruktiv kritikk. Denne kontinuerlige formen for evaluering føler jeg gjør kommunikasjonen mellom student og lærer mer åpen. Viktig for egenutvikling og for å få nye idéer. Jeg foretrekker at det blir en del av gruppeprosessen, der evalueringen skjer som en samtale mellom meg og studentene. De bes om å reflektere over sin egen innsats og deltakelse i faget, gi kommentarer til selve fagets innhold, gjennomføringen av opplegget, tilbakemeldinger til meg som lærer og innspill til forbedring av kurset. Dette er alltid nyttig og interessant. 7
Er begynt å bruke noen enkle skjemaer i klasser der det er litt større grupper, syns det gjør samtalene bedre. Andre kommentarer Som jeg tror jeg har nevnt før så synes jeg at vi burde bli pålagt å melde tilbakemeldingene vi får videre, slik at vi forpliktes til å gjøre noe med den. Slik som det er nå kan vi velge å overse eller bortforklare de tilfellene hvor studentene har negative tilbakemeldinger. Det er heller ingen som kontrollerer om vi faktisk gjennomfører evalueringen i det hele tatt. Kunne kanskje samordnes og systematiseres. Jeg er svært positiv til å gjennomføre kontinuerlig vurdering, men synes det er frustrerende at de samme kommentarene/klagene knyttet til organiseringen av faget kommer opp hvert år uten at jeg kan gjøre noe med dette forholdet. 6. Til slutt i spørreskjemaet fikk lærerne mulighet til å komme med synspunkter på emnebeskrivelse, emnets plass i studiene og/ eller emnets rammefaktorer. Flere lærere har benyttet seg av denne muligheten, her følger de konkrete forslagene som bør følges opp: Henviser til forrige "bolk" hvor jeg nevner at akkompagnement faktisk ikke er et obligatorisk og timeplanlagt "fag". Jeg tror på at det ville vært en sterk fordel om så hadde vært tilfelle, spesielt de to første årene av hovedinstrumentalundervisning. Må også få lov til å tilføye at det burde vært visse obligatoriske verk(innenfor en valgfri ramme av sonater, konserter, andre verk med akk.) som burde blitt innstudert i løpet av kandidatstudiet. Jeg nevner bevisst ikke solostykker og ev. etyder, da disse verk blir uavhengig av akkompagnatør. Til dels et obligatorisk repertoire vil også styrke planlegging og forutsigbarhet i arbeidet for akkompagnatøren som også vil komme studenten til gode. Det ville være ønskelig å formalisere en repertoireårsplan fra hovedinstrumentallærers side, noe som altså vil være med på å styrke planlegging og forutsigbarhet i samarbeidet med studenten. Så mener jeg ikke med dette at man må falle inn i et "rigid", fastlåst skjema,... men pr. i dag er vi langt unna en slik situasjon. Det kom fram at studentene er svært fornøyd med Ensembleledelse 2 kor, men at de kunne ønsket seg en akkompagnatør på noen timer. De var en liten gruppe, og når jeg måtte spille og undervise dem samtidig ble det mindre utbytte enn det kunne vært med en pianist. Evt kan midler tas fra et av øvingsensemblene, hvis vi har en gang mindre pr år, frigjør vi midler til mange ganger med pianist. Studentene melder hvert år om at det er: 1. for kort kurs 2. Sammensetningen bra for grunnkurs, men at et trinn 2 bør inn som valgfag. For de klassiske studentene da tilrettelagt også mht sjanger etc Ps kurset ble kortet inn med 4 timer da vi hadde økonomisk krise, det er et tydelig ønske og behov at dette tilbakeføres, både fra studenter og oss som underviser i improvisasjon. 8
Jeg opplever at studentene stort sett holder et høyt nivå. Dersom det med rammefaktorer menes i hvilken grad emnene skulle hatt mer eller mindre undervisning er det min mening at klaverundervisning av jazz-studenter kunne hatt økte rammer eller flere timer, og dette gjelder også bruksklaver. Bruksklaver er viktigst for studenten når hun/han kommer ut i musikkskolen og skal undervise på eget hovedinstrument. Å ha gode klaverferdigheter da gjør dem til bedre lærere. Noen av disse studentene er også gode til å spille klaver og trenger god undervisning. Elevene - og jeg ønsker mere tid sammen, spesielt bachelor 1. avdeling. Som det er nå anslår jeg at de får ca 30 % mere hovedinstrument undervisning enn det jeg er lønnet for pluss klassetimer, oppmøte på konserter og Generalprøver. I det NMH har nivå og lærerkrefter opp mot internasjonal standard håper jeg vi kan løfte hovedinstrument undervisning til samme ressurs som våre konkurrenter i utlandet, dvs minst 1 1/2 times hovedinstrumentundervisning pr uke pluss klassetimer. Piano (akkompagnement) ressursen på nmh er enormt mye større enn på skoler i andre land i 2. avd. og spesielt master. 1. avdeling er den derimot alt for lite. Jeg har skrevet om emnebeskrivelsen for MUSTEK37 og ser at dette emne trenger 10 studiepoeng i motsetning til 5 som det har nå. MUSTEK45 trenger en ny beskrivelse da det også er rettet mot vokalister til produksjon av egen vokal. Organiseringen av pedagogikk i PPU-deltid - med pedagogikkundervisning i 1. og 4. semester bør gjennomgås. Likeså rammefaktorene i faget. Spesielt bør det ses på ressurser til eksamensarbeid og veiledning knyttet til prosjektoppgaven. Til sammenligning har studentene på adm/ledelse en ressurs på 7 timer til veiledning av sin eksamensoppgave på 15 sider, mens det ikke er avsatt noen slik ressurs for PPU-studenter som skriver en tilsvarende men større oppgave (20 s). Hvilke begrunnelser finnes det for denne forskjellsbehandlingen? Jeg vil også gjerne vite hva som skjer med de tilbakemeldingene som gis i denne surveyen. Mine timer for EXMUS Musikkforståelse 1 på kun 45 minutter i henholdsvis Kommunikasjonsteori og Dramaturgisk analyse er for kort. Det blir for krevende å legge frem så mye materiale på så kort tid. Det er ikke lett å gjøre det på en god pedagogisk måte. Dette mener jeg og studentene støttett behovet for å få mer tid til nettopp disse emnene. I generell fagdidaktikk bør den allmenne musikkdidaktikken komme tidligere. 4. Konklusjon Av de 128 ansatte som har rapportert inn er det svært få som ikke har gjennomført evaluering. Disse tallene er ikke grunnlag for bekymring eller tiltak, men det kan være grunn til å tro at en mye større andel av de som ikke har rapportert ikke har gjennomført evaluering. Det vil vi ikke vite noe om før vi oppnår et høyere antall innrapporteringer. At kun litt over halvparten av skolens lærere gjennomfører rapporteringen er ikke tilfredsstillende tall, og fagseksjonene må ha større fokus på dette før neste rapprotering. De aller fleste som rapporterer inn at de har evaluert oppgir også at de har god nytte av dette. Det bør være et større fokus på samtaler rundt dette, utveksling av tips og råd for å få kontinuerlig evaluering til å fungere. Det bør også i større grad fokuseres på informasjon om hva kontinuerlig evaluering faktisk er, at det er en kontinuerlig prosess og ikke noe man kun gjennomfører på slutten av et kurs. Et ledd i dette arbeidet er revidering av Studentevaluering 9
av undervisning. En håndbok for lærere og studenter ved Norges musikkhøgskole som er gitt ut i nytt opplag og delt ut til alle ansatte med posthylle på NMH ved studiestart august 2014. Musikkhøgskolen er lovpålagt å bruke studentevaluering av undervisning som et virkemiddel for å forbedre kvaliteten av undervisningen. Kontinuerlig evaluering er et av temaene som skal tas opp under medarbeidersamtalene fagseksjonsleder har med de ansatte. Fagseksjonsledere vil også i år motta lister over hvem som rapporterer og hva de rapporterer som grunnlag for temaet. Større fokus på viktighet av innrapportering må til for at vi skal kunne si noe om hvor tiltakene skal settes inn. Det bør være et samarbeid mellom kvalitetskoordinator og fagseksjonslederne ved neste innrapportering for å øke svarprosenten betraktelig. August 2014, Tone Jordhus Kvalitetskoordinator 10