Oppfølging av ECTS Users Guide Innføring av karaktertabell

Oppfølging av ECTS Users Guide Innføring av karaktertabell Delrapport 1- august 2012 Universitets- og høgskolerådets utdanningsutvalg oppnevnte i 2009 en arbeidsgruppe for å vurdere oppfølgingen av endringene i siste versjon av ECTS Users Guide som kom i 2009. Gruppen ble bedt om å vurdere hvordan informasjon om karakterfordelinger bør innarbeides i Diploma Supplement og hvordan det kan etableres autoritative databaser som viser aktuelle karakterfordelinger. Rapporten ble avlevert 14. mai 2010, og senere sendt på høring med frist 23. august 2010. På bakgrunn av høringen der det kom inn 21 høringssvar vedtok Utdanningsutvalget 30. november 2010 en anbefaling om at det innføres karaktertabeller i Grunnlag for vitnemål, Transcript of Records og i karakterutskrift under forutsetning av at tabellene enkelt kan etableres i studentsystemene. Utdanningsutvalget satte ned en arbeidsgruppe som skulle vurdere de tekniske tilbakemeldingene fra høringsrunden, lage et system for å etablere karaktertabeller og gjennomføre og evaluere en pilot der noen institusjoner prøver ut ordningen. Gruppen har følgende sammensetning: Studiesjef Kjetil Solvik, Norges musikkhøgskole leder Studiedirektør Ole Jørgen Torp, UMB Overingeniør Knut Løvold, FS-gruppen Spesialrådgiver Yngve Bersvendsen, DBH Sekretær: Seniorrådgiver Rachel Glasser, UHR Gruppen leverer to delrapporter. Denne første rapporten, delrapport 1, avleveres i august 2012 og inneholder bakgrunn, oppsummering og vurdering av høringsrunden og en beskrivelse av arbeidsgruppens løsningsforslag. Delrapport 2 vil utarbeides etter at noen utvalgte institusjoner har fått prøve ut løsningen og rapportert til arbeidsgruppen, og vil være en oppsummering av pilotfasen med endelige anbefalinger. Gruppen har hatt tre møter som grunnlag for delrapport 1. 1

Bakgrunn I vedlegg 3 til 2009 versjonen av ECTS Users' Guide er det en nærmere omtale av The ECTS Grading Table, som er en tabell over karakterfordelingen i et program/ved et lærested, som skal kunne brukes til tolking av karakterer og ved sammenligning av karaktergivning mellom institusjoner. Karaktertabellen skal erstatte den relative ECTS-skalaen (10 % A, 25 % B, 30 % C, 25 % D og 10 % E), som har vist seg for vanskelig å bruke, særlig for karaktersystem som har relativt få karaktertrinn. I praksis har skalaen vært lite brukt. For å forenkle prosedyren med å gjøre de ulike skalaene mer sammenlignbare blir det nå tilrådd å innføre ECTS Grading Table, for å vise karakterfordelinga på ulike program. En karaktertabell vil være en synliggjøring av karakterenes betydning: (,) the ECTS grading table allows for simple, transparent interpretation and conversion of grades from one system or context to another, and therefore does justice to the level of academic performance of all learners. Used correctly, it bridges different grading systems as well as different cultures in the European Higher Education Area and beyond. (ECTS Users Guide, s. 43) Formålet med tabellen er å gi enkel informasjon om hvordan ulike karakterskalaer blir brukt og gjøre det lettere å tolke karakterer fra andre system. Definisjoner av dokument med karakterfordeling Oversikter over karakterfordeling er aktuelt i følgende dokumenter: Grunnlag for vitnemål/transcript of Records (ToR) i tilknytning til Diploma Supplement Karakterutskrift/Transcript of Records Utgjør en del av vitnemålet. Dokumentasjon på beståtte eksamener og prøver som inngår i graden/utdanningen. En karakterutskrift er en offisiell utskrift fra studentens vurderingsprotokoll som gir en oversikt over alle emnene studenten har bestått ved et lærested, eller ved et studieprogram ved lærestedet. For hvert emne inneholder oversikten (minst) emnekode, emnenavn, eksamenssemester, studiepoeng og karakter. En karakterutskrift skal også inneholde lærestedets navn og logo, relevant forklarende tekst, dato for utstedelse og utsteders stempel og signatur. Arbeidsgruppens vurderinger En oppsummering I rapporten til arbeidsgruppen som vurderte innføring av karaktertabeller, lød forslaget at karakterfordelinger skulle vises for alle studenter som har tatt eksamen i de samme emnene som kandidaten/studenten i en periode på 2-4 år. Et viktig moment for valg av modell var at tallet som inngår i en karakterfordeling ikke bør bli for lavt. Ettersom DBH kun viser karakterfordeling når det er flere enn 5 som har tatt eksamen i et emne, la arbeidsgruppen til grunn at 5 bør være et minimum også for å vise karakterfordeling i karaktertabeller. Karakterdata i DBH viser at flere bachelor og masterprogram har relativt mange emner der 2

bare 1-3 studenter har avlagt eksamen i løpet av et år. Det ble også understreket at på program med lengre studietid blir det mange emner slik at det vil bli relativt store tabeller: Sjølv om karakterfordeling per emne gir ein tilleggsinformasjon i høve til samla karakterfordeling, vil arbeidsgruppa ikkje tilrå at så detaljerte tabeller blir nytta sidan det kan bli for få studentar på ein del emne slik at karakterfordelinga ikkje kan visast. Føremålet med karaktertabellen er å samanlikne kandidatens samla prestasjoner med prestasjonane til ei referansegruppe, og etter arbeidsgruppa si vurdering krev ikkje dette så detaljert informasjon. (Vurdering av endringar i ECTS Users Guide, s. 8). I høringssvarene kom det et forslag om å vise karakterfordeling grafisk, og denne arbeidsgruppen ble på sitt første møte enig om å forsøke å vise emnevise karakterfordelinger grafisk i søylediagram, i stedet for tabellform, dersom det var enkelt teknisk og lett lesbart. Søylediagram per emne har flere fordeler: De gir et visuelt bilde som raskt gir leseren oversikt over karakterfordelingen på det aktuelle emnet. Emnevise fordelinger gir mer informasjon enn de foreslåtte aggregerte tabellene, uten at de tar like mye plass som emnevise tabeller ville ha gjort. Det ble laget noen eksempler som med noen justeringer virker såpass lovende at gruppen ønsker å gå inn for denne løsningen. Forslaget løser imidlertid ikke problemet med at fordeling ikke vil bli vist for emner med få studenter. Arbeidsgruppen ønsker i tillegg å heve grensen slik at karakterfordelinger kun vises for emner med 10 eller flere studenter. Fordelinger for fem kandidater er for lite for å få frem statistiske sannheter. Det er gruppens vurdering at informasjonsverdien og lesbarheten ved en grafisk fremstilling per emne oppveier ulempene ved at det ikke vil komme fram fordelinger for alle emner. Det bør imidlertid trykkes en fotnote i dokumenter med karakterfordeling som uttrykkelig forklarer hva som vises (og ikke vises) i tabellene. Gruppen foreslår at følgende fotnotetekst blir trykket på dokumentene med karakterfordeling (Grunnlag for vitnemål og karakterutskrift): * Karakterfordelingen viser prosentvis karakterfordeling for emnet for inntil fem år tilbake i tid fra eksamenstidspunktet. Fordelingen vises kun der den graderte karakterskalaen A F er benyttet, og strykkarakterer inngår ikke i fordelingen. Fordelingen vises ikke dersom færre enn 10 studenter har avlagt eksamen i emnet. *The distribution of grades is shown by percentage for the subject for up to five years preceding the time of the examination. The distribution is only shown where the grading scale A F is applied and failure (F) is not included in the distribution. The distribution is not shown if less than 10 students took the examination in the subject. 3

Forslag fra den opprinnelige arbeidsgruppen Den opprinnelige arbeidsgruppen kom med syv forslag. Under presenterer vi forslagene sammen med en oppsummering fra høringsrunden og denne arbeidsgruppens kommentarer. Forslag 1 Karakterfordelingen for alle studenter som har tatt en eksamen i de samme emnene som kandidaten/studenten (dokumentinnehaveren) i en periode på 2-4 år/ 4-8 semester blir vist i en karaktertabell. Emnevise oppsett gir lange emnetabeller, men høyere lesbarhet. Det kom spørsmål om hva man gjør i de tilfeller hvor store deler av utdanningen er tatt ved en ekstern institusjon og hvor det ikke fremkommer karakterer fra disse emnene på vitnemålet. Én institusjon foreslår at det vurderes å vise fordelingene grafisk i stedet for i tabellform. Forslag1 tar opp ulike tema. Spørsmålet om hvilken periode som skal vises kommenteres under forslag 2 nedenfor. Arbeidsgruppen er enig i at emnevise oppsett gir høyere lesbarhet, og mener den foreslåtte løsningen med søylediagram på emnenivå vil ivareta dette hensynet. Emner tatt ved ekstern institusjon holdes utenfor. Disse emnene vil fremkomme i karakterutskrift fra annen institusjon med tilhørende karakterfordeling. Det bør presiseres i en fotnote til karakterfordelingen at alle emner med gradert karakter på institusjonen, med minimum ti studenter, er tatt med i fordelingen. Forslag 2 Tidsperioden på 2-4 år bør regnes i forhold til tidspunktet for avlagt eksamen i et emne. Der det er mulig, bør den regnes til 2 år/4 semester før, eksamenssemesteret inkludert, og 2 år/4 semester etter at eksamen i et emne er avlagt. Skepsis til å ta med eksamen i to år etter at eksamen i et emne er avlagt. Tidsrommet for referansegruppen bør være en nasjonal felles standard (større tidsrom mindre treffsikkert, men mer robuste resultat) Hva gjør man med emner med få kandidater og/eller emner som bare gis en gang? Det bør fremgå hvilke årskull som inngår i referansegruppen, særlig siden det for nye emner ikke vil være mulig å ha en slik tidsperiode I Guiden står det at tabellen skal ta med minimum to år. Arbeidsgruppen foreslår at fordelingene hentes ut for inntil fem år bakover fra eksamenstidspunktet. Dette vil gi bedre uttrekk, særlig ved mindre institusjoner. 4

Det forenkler prosessen teknisk om vi kun går bakover i tid. Ved denne fremgangsmåten vil fordelingen gjelde fra når eksamen er tatt i emnet, og vil ikke endres i etterkant (slik den vil kunne gjøres om man også skal regne med eksamener 2 år etter at eksamen i emnet er avlagt). Arbeidsgruppen mener det vil bli for komplisert og omfattende å ta med hvilke årskull som inngår i referansegruppen. Dette ville kreve tilleggsforklaringer i dokumentene, og arbeidsgruppen mener at fordelen med informasjon om årskull ikke veier opp for ulempene. Forslag 3 Det er prosentfordelingen for beståtte eksamener som skal vises. Der skalaen bestått/ikke bestått er brukt, bør det opplyses om det i innledningen til karaktertabellen. Arbeidsgruppen mente at siden eksamener med karakteren F/ikke bestått ikke står på karakterutskriftene, bør de heller ikke inngå i karaktertabellen. Vil det oppgis prosentandel for bestått/ikke bestått? Hva gjør man i de tilfeller hvor det i store eller hele deler av utdanningen er benyttet karakterskalaen bestått/ikke bestått? Flere mener stryk bør fremgå av tabellen: Stryk kan si noe om nivået på de som består eksamen og vil kunne ha et meningsbærende innhold for kandidaten selv og potensielle arbeidsgivere Stryk gir også relevante opplysninger om vanskelighetsgraden på emnene Hvis stryk skal vises kan det bli mange misvisende tall. Det blir rart å ha med stryk når det ikke er med i karakterutskrifter. Det er ikke ønskelig å ha med stryk, og heller ikke bestått/ikke bestått. Poenget med å innføre oversikt over karakterfordelinger er å vise hvordan den graderte skalaen brukes på beståtte karakterer. Forslag 4 Ved utregning av samlet karakterfordeling bør emnene vektes i forhold til studiepoengsomfanget Ved vekting må det være opplyst om hvordan man har valgt å vekte, slik at tabellen ikke kan misforstås. Problemstillingen blir uaktuell med det aktuelle løsningsforslaget med søylediagram på emnenivå. Forslag 5 For kandidater som har fullført et masterprogram eller andre program der masterarbeid eller tilsvarende emner oppfyller kravene i Forskrift om krava til mastergrad 1, bør 1 Se: http://www.regjeringen.no/nb/dokumentarkiv/regjeringen Bondevik II/ufd/lover ogregler/2002/forskrift om krav til mastergrad.html?id=92156 (05072011) 5

karakterfordelingen for dette emnet vises særskilt. Omfanget bør oppgis i karaktertabellen. Tilsvarende bør karakterfordelinga på bacheloroppgave/hovedemne i andre program vises særskilt dersom det er ønskelig. Bakgrunnen for forslaget var at det er stor forskjell på karakterfordeling på større selvstendige arbeider og andre eksamener. Det er viktig og nødvendig at studentene på det enkelte studieprogram er aktive deltakere i beslutningen om hvorvidt det er hensiktsmessig at bacheloroppgaven/hovedemnet på det enkelte studieprogram skal fremgå av karaktertabellen. Problemstillingen blir uaktuell med det aktuelle løsningsforslaget med søylediagram på emnenivå. Forslag 6 Karaktertabellen blir laget med utgangspunkt i de eksamenene som er listet opp i Grunnlag for vitnemål, Transcript of Records og karakterutskrift. Ingen spesielle kommentarer Det vil bli vist søylediagram for alle eksamener i emner med graderte karakterer (med minimum 10 studenter) som vises i Grunnlag for vitnemål og karakterutskrifter. Forslag 7 Dersom en karakterfordeling gjelder mindre enn 5 kandidater, bør fordelingen ikke vises i karaktertabellen. I DBH blir det ikke vist karakterfordeling når det totalt er mindre enn fem som har tatt eksamen i et emne. Arbeidsgruppen la dette til grunn for at fem bør være et minimum også for å vise karakterfordeling i karaktertabeller. Et høyere tall vil ivareta siktemålet med ordningen: Å gi et sannere bilde av hvordan enkeltprestasjoner plasserer seg i en større sammenheng. Det statistiske sammenligningsgrunnlaget vil bli mer pålitelig. Fordelinger for fem kandidater er for lite for å få frem statistiske sannheter. Arbeidsgruppen foreslår en fotnote i Grunnlag for vitnemål og karakterutskrifter som sier at fordeling vises kun for emner med minimum ti studenter.. 6

Annet Det må være mulig for institusjonene å koble ekvivalente emner slik at karakterfordelingen vises samlet for emner som i prinsippet er like. Det vil fra tid til annen skje at det av ulike grunner må lages ny emnekode for et emne, selv om emnet i prinsippet er uendret. I slike tilfeller er det ønskelig at karakterfordelingen henter data fra både ny og gammel emnekode. I FS vil dette trolig kunne løses gjennom valg knyttet til emnekjedefunksjonen. Gruppen var enig om at det ikke er heldig å bruke tall for å gjengi karakterer (for eksempel A = 5). Det er videre kun snakk om karakterskalaen A E, og ikke gamle karakterskalaer. Oppsummering Arbeidsgruppens anbefalinger: Karakterfordelinger vises per emne grafisk i søylediagram. Karakterfordelinger vises kun for emner med 10 eller flere studenter. Det trykkes en fotnote på dokumentene med karakterfordeling (Grunnlag for vitnemål og karakterutskrift) som forklarer hva som vises (og ikke vises) i tabellene: Karakterfordelingen viser prosentvis karakterfordeling for emnet for inntil fem år tilbake i tid fra eksamenstidspunktet. Fordelingen vises kun der den graderte karakterskalaen A F er benyttet, og strykkarakterer inngår ikke i fordelingen. Fordelingen vises ikke dersom færre enn 10 studenter har avlagt eksamen i emnet. *The distribution of grades is shown by percentage for the subject for up to five years preceding the time of the examination. The distribution is only shown where the grading scale A F is applied and failure (F) is not included in the distribution. The distribution is not shown if less than 10 students took the examination in the subject. Emnesamling/emnekjede: Det skal være mulig å koble ekvivalente emner slik at karakterfordelingen vises samlet for emner som i prinsippet er like. Pilotundersøkelse Arbeidsgruppen ønsker å be noen av UHRs medlemsinstitusjoner teste ut den foreslåtte ordningen med karakterfordeling i grunnlag for vitnemål, Transcript of Records tilhørende DS, samt karakterutskrifter på norsk og på engelsk. Det er laget en løsning i FS som kan prøves ut i demonstrasjonsbasen. Følgende institusjoner inviteres til å delta i pilotundersøkelsen: Universitetet i Oslo Universitetet i Nordland Universitetet for miljø- og biovitenskap Norges musikkhøgskole Høgskolen i Lillehammer Høgskolen i Gjøvik 7

En hovedmålsetning med å vise karakterfordeling er at det skal være lett for forstå ulike karaktersystem på tvers av landegrenser. Institusjonene vil bli bedt om å ta kontakt med sine samarbeidsinstitusjoner for å få tilbakemeldinger på hvordan den foreslåtte metoden for å vise karakterfordeling oppfattes utenfor Norge. Det er også ønskelig med tilbakemeldinger fra arbeidsgivere, og om studentene oppfatter at denne måten å vise karakterfordelingen på gir ønsket informasjon. Pilotinstitusjonene vil bli bedt om å rapportere tilbake til arbeidsgruppen innen 1. desember. Arbeidsgruppen lager deretter en avsluttende rapport med en oppsummering av pilotundersøkelsen og endelige anbefalinger. 8