EVALUERING AV EKSAMEN Rapport med bakgrunn i sensorenes tilbakemeldinger og eksamenskontorets vurderinger

Transkript

1 EVALUERING AV EKSAMEN 2015 Rapport med bakgrunn i sensorenes tilbakemeldinger og eksamenskontorets vurderinger Tone Jordhus, Kvalitetskoordinator Renate Hauge Sund, eksamenskoordinator Rapport: 14/2015

2 Innhold Evaluering av eksamen 2015 Oppsummering og vurdering... 3 Den tekniske gjennomføringen... 3 Svarprosent... 3 Sensorenes evaluering av innhold, relevans og faglig nivå... 3 Informasjon Innledning Spørreundersøkelsen Svarprosent Spørreskjemaene Eksterne sensorers evaluering Interne sensorers evaluering

3 Oppsummering og vurdering Den tekniske gjennomføringen Våren 2015 ble det gjennomført ca 260 utøvende eksamener med til sammen 34 eksterne sensorer. I tillegg ble det avholdt eksamen i ca 30 emner med vurdering fra 20 eksterne sensorer. Årets gjennomføring av eksamen har stort sett gått som planlagt. Samarbeidet med formidlingsseksjonen har blitt styrket i Felles planleggingsmøter tidlig i planleggingsfasen er viktig for å gi best mulig tilrettelegging, både teknisk og tidsmessig, for studentene. Det har vært fokus på økt støtte til folkemusikkstudentene og master studenter med spesielle behov. Eksamenskontoret har også forbedret rutinene med raskere informasjonsflyt av kontrakter og rapporter i elektronisk form. Fortsatt har vi en utfordringen i at studentene leverer rapport og repertoar lenge etter fristen den 15. april, noen så sent som et par dager før eksamen. Dette forsinker informasjonen som sendes ut til kommisjonene, og da spesielt til de eksterne sensorene, noe disse også kommenterer i spørreundersøkelsen. Eksamenskontoret oppfordrer hovedinstrumentlærere om å minne studentene på viktigheten av å overholde fristen. Våren 2016 vil eksamenskontoret fokusere på å bedre rutiner for fordeling av skriftlig eksamensarbeid for interne sensorer i samarbeid med aktuelle fagseksjonsledere, samt å øke bevisstheten rundt interne informasjonskanaler som epost og internpost. Mastereksamener som avvikles utenfor det tradisjonelle konsertformatet må, i større grad enn tidligere år, bli tydeligere kommunisert til alle medlemmer av kommisjonen. Svarprosent Svarprosenten for både interne og eksterne sensorer er tilnærmet uendret fra i fjor, og ligger på 67 % for eksterne og 60 % for interne sensorer. Sensorenes evaluering av innhold, relevans og faglig nivå Alle sensorer, både interne og eksterne, fikk spørsmål om vurderingsformen er relevant i forhold til emnets læringsmål, om vurderingsformen gir studentene mulighet til å vise sin kompetanse og om formen på eksamen er relevant for arbeidslivet studentene skal utdannes til. Resultatene er positive på alle disse tre spørsmålene, og gjennomsnittvurderingen har gått opp fra fjorårets evaluering med unntak av eksterne sensorer på videreutdanning (2 stk) og interne sensorer på masternivå, der vi ser en liten nedgang. Dette er veldig små endringer og resultatene anses allikevel som tilfredsstillende. De eksterne sensorene vurderer NMHstudentens faglige nivå som godt både i forhold til arbeidslivet de møter og i forhold til studenter ved andre institusjoner. Unntaket er igjen eksterne sensorer på videreutdanning, men man må ta i betraktning at dette kun er to sensorers mening. Både interne og eksterne sensorer kommenterer problematikken rundt gradert/ ikke gradert karakter på hovedinstrumenteksamen. Pr d.d. har NMH gradert karakter på kandidatstudienes hovedinstrumenteksamen og ugradert på mastereksamen. Flere som har sensurert bachelornivåeksamen påpeker at det bør være ugradert karakter på disse, og flere som har vurdert mastereksamenen skriver at det her bør være gradert. Flere interne sensorer kommer også med utdypende kommentarer ang hovedinstrumenteksamens form og innhold, der de foreslår endringer for å gjøre den mer relevant for arbeidslivet. Det bør gjøres en faglig gjennomgang av disse tilbakemeldingene. 3

4 Informasjon 6 eksterne sensorer oppgir at de har fått for lite informasjon. Det dreier seg om ulike ting de savner informasjon om, og kan tyde på personlig preferanse. Andelen eksterne sensorer som savner informasjon har gått ned fra i fjor da den lå på 37 % mot årets 23 %. Dette er en positiv utvikling. Eksamenskontoret bør allikevel gå gjennom rutinene for informasjon til eksterne sensorer før neste eksamensperiode for å se på mulighetene for ytterligere forbedring. For de interne sensorene er andelen som savner informasjon svært lav (6 %) og uendret fra i fjor. De oppgir ikke samme informasjon som manglet og tallene viser at rutinene for informasjon til interne sensorer fungerer svært godt. 4

5 1. Innledning Evaluering av eksamen 2015 Våren 2015 ble det gjennomført ca 260 utøvende eksamener med til sammen 34 eksterne sensorer. I tillegg ble det avholdt eksamen i ca 30 emner med vurdering fra 20 eksterne sensorer. Evaluering av eksamensavviklingen inngår i Musikkhøgskolens kvalitetssikringssystem, ved Norges musikkhøgskole som beskrevet i punkt 4.2: NMH skal årlig evaluere vurderingsformens relevans, innhold, form og praktisk gjennomføring. Dette krever at eksamenskommisjonene evaluerer vurderingsformens relevans, innhold, form og praktisk gjennomføring og at eksterne sensorer evaluerer emnets læringsmål, innhold og generelle faglige nivå, vurderingsformens relevans, form og innhold, og den praktiske gjennomføringen av eksamen. Både eksterne og interne sensorer har fått tilsendt en spørreundersøkelse per e-post der de bes om å vurdere gjennomføringen, relevansen av formen og innholdet, og eventuelt foreslå endringer. Eksterne sensorer ble i tillegg bedt om å evaluere emnets læringsmål, innhold og generelle faglige nivå. 2. Spørreundersøkelsen Spørreundersøkelsen besto både av spørsmål med avkryssingsmulighet og spørsmål med åpne svarmuligheter. Kommentarer som går på det praktiske og organisatoriske rundt eksamensavviklingen oversendes eksamenskontoret, mens kommentarer som går på det faglige oversendes de aktuelle fagseksjonslederne dersom det er mulig å identifisere hvilket emne kommentaren dreier seg om Svarprosent Svarprosenten ligger omtrent uendret fra i fjor for de eksterne sensorene. For de interne kan det se ut som den har stabilisert seg rundt %, og at dette er nivået man kan forvente uten at det settes inn ytterligere tiltak for å heve svarprosenten. Eksterne sensorer Vår 11 Vår 12 Vår 13 Vår 14 Vår 15 Inviterte Respondenter Svarprosent 52 % 18 % 85 % 68 % 67 % Tabell Historisk svarprosent eksterne sensorer Interne sensorer Vår 11 Vår 12 Vår 13 Vår 14 Vår 15 Inviterte Respondenter Svarprosent 26 % 15 % 69 % 57 % 60 % Tabell Historisk svarprosent interne sensorer Den store økningen i antall inviterte interne sensorer skyldes at det i 2014 og 2015 ble sendt ut evalueringsskjema til alle som har sensurert, ikke bare leder for eksamenskommisjonene slik det ble gjort tidligere Spørreskjemaene Det ble utarbeidet to spørreskjemaer, et for interne sensorer og et for eksterne. Skjemaet for eksterne sensorer var mulig å fylle ut på engelsk. Skjemaene ble sendt ut elektronisk via 5

6 programmet SurveyXact den 19. og 20. juni 2015, med to påfølgende automatiske påminnelser. Undersøkelsene ble stengt for besvarelser Respondentene ble bedt om å oppgi følgende: Vennligst plasser emnet du har sensurert i en av følgende kategorier. Dersom du har sensurert flere emner, er det mulig å krysse av på flere valg. På hvilke(t) nivå er sensuren du har gjort? (Bachelor, master, videreutdanning) Svarene på disse spørsmålene brukes til analyse dersom det viser seg interessant. Spørsmålene er gjengitt i fet skrift. Fritekstkommentarer kan være redigert og/ eller anonymisert for personlige hensyn. Der kommentaren er gjengitt ordrett står den i kursiv, der den er redigert står den som normal. Alle fritekstkommentarene er for øvrig presentert i sin helhet for rektoratet, studie- og FoU-sjefen samt eksamenskoordinator. 3. Eksterne sensorers evaluering Bachelornivå 1. I hvilken grad 2. Hvordan vurderer du 6

7 Masternivå 3. I hvilken grad 7

8 4. Hvordan vurderer du Evaluering av eksamen 2015 Videreutdanningsnivå 5. I hvilken grad 8

9 6. Hvordan vurderer du 7. Dersom du har kommentarer ang vurderingsformens relevans, innhold eller form kan du skrive dem her: Kommentarer om gradert/ ugradert karakter: Vurderingen er en typisk sluttvurdering der studentens innsats i løpet av studiet i liten grad blir tatt hensyn til når det settes karakter. Gradert karakter istf. bestått/ikke b. fører lett til at en overvurderer sluttvurderingens betydning. Grades on the bachelor level does not feel entirely relevant, since the common practice seems to have limited down the six-grade scale to two grades, A and B, where B is regarded as a "failure". As the grade is based on one performance, there's also an element of chance, that gives the grade a less than appropriate weight. Andre kommentarer: En god blanding av kortsvarsspørsmål og essayoppgaver (altså oppgaver der kandidaten forventes å gi et mer utdypende svar i en sammenhengende fremstilling). Den totale oppgavemengden oppfatter jeg likevel som i overkant stor i forhold til prøvetiden (6 timer). Det kunne med fordel vært noen valgmuligheter mellom essayoppgavene. Slik arbeidsmarkedet for kirkemusikere har utviklet seg, vil orgelkandidatene møte et svært differensiert tilbud mht til stillingsprofil. I mange stillinger er høy kompetanse i orgelspill svært relevant, i andre stillinger kan det være andre typer musikerkompetanse som vektlegges og etterspørres. 9

10 Clearly articulated assessment criteria would have assisted the process. (Hovedinstrument stryk/harpe) I utg.pkt er praktisk-muntlig en god vurderingsform på Musikk og helse. Denne gang var oppgaven gitt på en måte som kanskje begrenset studentene noe ifht det de faktisk har lært på studiet. For sensorer på bachelornivå, hovedinstrumenteksamen: 8. I hvilken grad opplever du at hovedinstrumentrapporten er nyttig informasjon for deg som sensor? For sensorer på masternivå, hovedinstrumenteksamen: 9. I hvilken grad opplever du at studentenes refleksjonsnotat og prosjektbeskrivelse er nyttig informasjon for deg som sensor? 10. Har du fått tilstrekkelig informasjon før sensureringen startet? (f.eks. angående studentene, studieplanen eller sensors rolle) 11. Vennligst oppgi hvilken type informasjon som manglet: Program, hvilke rolle man har i en stor jury, hva som bør vektlegges, refleksjonsnotat får jeg først ved oppmøtet. Studieplan More detailed information about the procedure of the exam and also about the student projects, preferably more reflections and less facts. curriculum, exam requirements, assessment criteria, previous exams content and results 10

11 All informasjon manglet. NMH var totalt fraværende i forkant av eksamen. Egeninnsats og et par tlf oppdaterte meg imidlertid. Dette er for dårlig. Ingenting skriftlig, bare en tlf om jeg kunne være sensor for en tid tilbake. Hadde vært fint å få spesifisert antallet mapper som skal sensureres for å beregne arbeidsbyrde. Den ble noe stor for en sensor. Ellers svært god informasjon hele veien. 12. Dersom du har synspunkter du ikke føler at har kommet frem i spørreskjemaet, kan du skrive dem her. Litt vanskelig å finne rett studieplan på egen hånd. Info kom litt i seneste laget denne gang: Eksamensrepertoar sendt pr epost kun få dager før eksamen, på min forespørsel. Øvrige dokumenter ble hentet i resepsjonen eksamensdagen.. Forsåvidt tilstrekkelig, men ikke helt tilfredsstillende. Ved tidligere anledninger har alt kommet pr post i god tid på forhånd. En bitteliten glipp sikkert, og utypisk for NMH slik jeg kjenner institusjonen. Ellers: Det er lærerikt, nyttig og utfordrende å sensurere ved NMH. Og alltid faglig utbytterikt og hyggelig å diskutere fag og prestasjonsbedømmelse med gode kolleger hos dere. Takk for oppdraget. 4. Interne sensorers evaluering Bachelornivå 1. I hvilken grad 11

12 Masternivå 2. I hvilken grad Videreutdanningsnivå 3. I hvilken grad 12

13 4. Dersom du har kommentarer ang vurderingsformens relevans, innhold eller form kan du skrive dem her: Om hovedinstrumenteksamen: Det er god grunn til se nærmere på sammenhengen mellom læringsmål, vurderingsform og arbeidslivets krav Vi trenger en diskusjon vedr karakterer eller en skriftlig uttalelse. Studentene er ofte mer opptatt av å sammenligne karakterer enn å få en konstruktiv vurdering av egne prestasjoner. Jeg er meget skeptisk til at det skal være mulig å ta avsluttende mastereksamen i utøvende masterstudium uten å spille en tone på "eksamen" slik en av gitarstudentene gjorde i år. På bachelor burde det være en samlet vurdering av solo spill, orkesterstudier (utdrag osv), kammermusikk, men det må ikke nødvendigvis gjennomføres på samme eksamen. Sluttkarakteren burde også gjenspeile arbeidsinnsatsen og regelmessig arbeid til studentene, dvs deltagelse på gruppe- og klassetime opplegg, mengde av instudert repertoar, og ikke bare den ene konserten (som er en stor stress faktor) Det er altfor sjelden at eksamen finner sted på bachelor (bare etter 2. og 4. klasse) og etter min mening hvert år burde det avholdes en hovedinstrument solo eksamen og f.eks orkesterutdrag eksamen. Hvert års karakter burde påvirke sluttkarakteren det siste året, slik at studentene blir oppfordret helt fra starten å ta ting på alvor, og tenke langsiktig og helhetlig. Dersom man mener at blåsere i stor grad utdanner seg til å bli utøvere i det profesjonelle musikklivet, og dette inkluderer distriktsmusikerstillinger såvel som orkestermusikerstillinger, så kan det diskuteres om man ikke også skulle ha en egen eksaminering i orkesterutdrag i tillegg til den rene solistkonserten som nå avslutter masterstudiet. Man kan jo diskutere om en konsert er rette måten å vurdere kommende klaverpedagoger...en konsert viser jo studentens nivå på hovedinstrument, naturligvis,...men en pedagog trenger så mye mer enn et høyt nivå på hovedinstrumentet sitt. Spørsmålet er om de får vist fram sin praktiske, pedagogisk kompetanse gjennom andre eksamener i løpet av studiet... Studenterna har mycket større nytta av den muntliga vurderingen fr sensor efter. Arbetslivet brukar aldrig examenskaraktärer Det er etter min mening en stor svakhet i det utøvende masterstudium at det ikke benyttes gradert karakterskala. Informasjonsverdien for arbeidsgivere ved fremtidige ansettelser er lite tilfredsstillende. 13

14 For studenter som har som mål å bli orkestermusikere, kan det virke som en eksamenskonsert er litt på siden av det de egentlig blir utdannet til. Studentens rolle i en slik konsert er hovedsakelig solistisk. De får ikke vist sine ferdigheter som orkestermusikere. Mastergrad eksamen må ha minst samme grad av karakterer som bachelor. Bestått, ikke bestått viser i alltfor liten grad det arbeid som studenten har ytet. Gehørtreningsfaget har eksamen etter både 1. og 2. studieår. Det kan hende det er mer relevant å tone ned eksamen etter 1. år, for å understreke det underliggende toårsløpet som faget egentlig har. Det er ønskelig med en prøveordning neste studieår for å se om dette vil fungere bedre. Dersom det likevel skal være eksamen etter både 1. og 2. år er nåværende ordning god. karakterene skaper et unødvendig fokus på en bokstav snarere enn den faktiske tilbakemeldingen, som er mr relevant. Bør innføre bestått/ ikke bestått snarest! Gradert karaktersystem fra A-F må endres til Stått/Ikke bestått på Bachelor,slik det er på Master. Sjølve vurderingsformen med karakter på prestasjonen studenten gjer, er ikkje relevant. Berre forkludrande i høve tilbakemelding og samtale om eksamenskonserten. Om andre eksamner: På dirigeringseksamen får studentene bare vist dirigering, ikke innstudering eller annet prosessarbeid med kor. Kanskje er formen på eksamen det som faktisk er realistisk å gjennomføre, men studentene kan jo mye som de ikke viser på eksamen. ( Kirkemusikkstudentene i 3. klasse har også eksamen i oppvarming og i innstudering, så den er ok) en bokstav karakter sier uhyre lite om hva komponistens egentlige profil er. Mulgens burde bokstavkarakteren kompletteres av en juryuttalelse, slik vi gjør på master. Dette gjelder altså formen på evalueringen ikke formen på eksamen I både gehør og musikkpedagogikk er evne til å bruke kunnskap i praktiske situasjonar, ofte i interaksjon med andre menneske, den aller viktigaste kompetansen, og dette kjem ikkje til uttrykk gjennom eksamen. Vi skal evaluere praktisk-muntlig eksamen på M&H og Master musikkterapi i PUMT og gjøre nødvendige endringer. Og da vil neste års score bli 5 på alt! Jeg synes semesteroppgave er en fin form for studentene til å bruke litteratur og refleksjon, og tror de sitter igjen med mer selv etter å ha skrevet en slik oppgave enn f.eks skoleeksamen. (Musikk og helse) For bachelornivå 5. I hvilken grad opplever du at hovedinstrumentrapporten er nyttig informasjon for deg som sensor? 14

15 For masternivå 6. I hvilken grad opplever du at studentenes refleksjonsnotat og prosjektbeskrivelse er nyttig informasjon for deg som sensor? Masterstudentens eksamensprogram var ikke spesifikt knyttet opp til masterprosjektet Refleksonnotatene må tydeligere legges til grunn for vurderingen I tillegg til refleksjonsnotat kunne studentene presentere en slags portfolio med ting de har gjort i løpet av master studie (opptak osv). Det at refleksjonsnotat er innlevert 2 mnd før selve sluttpresentasjon gjør at studentene går glipp av mye refleksjon, tror jeg. Jeg fikk ikke tilsendt informasjon om noe som helst, så som om masteroppgavens profil eller om tidligere konserter i studiet eller om vurderingssystem slik det er nå. 7. Har du fått tilstrekkelig informasjon før sensureringen startet? (f.eks. angående studentene, studieplanen eller sensors rolle) 8. Vennligst oppgi hvilken type informasjon som manglet Tre stykker kommenterte spørsmålet. De har ulike tilbakemeldinger om hva de manglet av informasjon, og eksamenskontoret tar kommentarene til etterretning. 9. Dersom du har synspunkter du ikke føler at har kommet frem i spørreskjemaet kan du skrive dem her. Om hovedinstrumenteksamen: Valg av jurymedlemmer: På hovedinstrument bør det alltid være et medlem fra en annen faggruppe/seksjon. I år var det på akkordeon kun akkordeonister i juryen, det er ikke bra, det bør vær en utenfra også. Ved de fleste tilfeller er juryarbeidet ukomplisert, men jeg har i år opplevd å få tilbakemeldinger ved jurymøtet som jeg nærmest vil kalle trakasserende. I dette tilfellet dreide det seg om smak og toleranse for alternativ tolkning. Jeg opplever en intens oppkjøring og nivåheving hos mange mot eksamen. Jeg tror obligatorisk tentamen hvert halvår kan bedre nivået og forberede studentene mot eksamen og prøvespill. Orkesterutdrag kan integreres i denne sammenheng kan organiseres bedre, samle nivåene, bedre tid til diskusjoner i kommisjonen etter avsluttet nivå Info i forbindelse med tidspunkt(er) for eksamen bør i større grad registreres av adm. Godt og vel 6 mnd. i forveien ble jeg spurt om hvilke dager som passet/ikke passet i perioden mai/juni. P.g.a. hektisk tjeneste i Filharmonien er det ikke alltid lett å få kabalen til å gå opp. Jeg kom med en detaljert tidsplan. Dette ble delvis ignorert. 15

16 Om andre eksamener: Jeg har tidligere undervist og vært sensor på emnet, og hadde derfor tilstrekkelig bakgrunnsinformasjon til å gjøre jobben nå. Det ble imidlertid ikke kommunisert til sensor nr to at hun var blitt tildelt en bunke med oppgaver som hun var forventet å sensurere. Jeg har tidligere opplevd det samme. Dette er selvfølgelig uheldig, og skaper unødig mye stress for den som ikke har fått beskjed om oppgaven. Bedre rutiner i denne kommunikasjonen hadde vært ønskelig. Det bør være tre sensorer i vurderingsgruppen. Liturgisk spill er et av de aller viktigste fagene for en kirkemusiker og svært relevant ifht arbeidslivet. Eksamen bør derfor styrkes ved bredere sammensatt vurderingsgruppe. 16