26. januar 2004 Bokstavkarakterer på masternivå Bjørn Erik Rasch Innledning Dette notatet følger opp et tidligere notat om bruken av bokstavkarakterer ved bacheloreksamener. Vi bygger på karakterstatistikk i perioden fra og med vårsemesteret 2000 til og med vårsemesteret 2003, altså de siste tre årene tallkarakterer ble benyttet ved instituttet. Alle sensurvedtak i denne perioden er med. Med smått og stort dreier det seg om 1.552 sensurvedtak på hovedfagskurs (inkludert metode) og for hovedoppgaver. Ideelt sett burde tall fra andre universiteter som har uteksaminert statsvitere vært tatt med, men det har ikke vært mulig. Store studenttall ved Institutt for statsvitenskap i Oslo gjør imidlertid at dette lærestedet uansett vil veie tungt i en nasjonal statistikk. I fremstillingen nedenfor er alle sensurvedtak gitt samme vekt, til tross for at hovedoppgavekarakteren har gitt større uttelling på vitnemålet til den enkelte student enn hver kurskarakter. Vi foretar en viss skjønnsmessig korrigering av dette (ved å se hen til karakterfordelingen på hovedoppgaver når vi avrunder). Kvalitetskriterier det sentrale normalfordelingen kun indirekte betydning Først en kommentar om formålet med betraktningene som følger. Det er viktig å merke seg at bokstavkarakterer skal benyttes med utgangspunkt i både en absolutt og relativ komponent. Karakteren B er for eksempel definert relativt som en meget god prestasjon som ligger over gjennomsnittet, og absolutt som en prestasjon hvor evne til selvstendighet kommer til syne. 1 Til sammenligning krever karakteren A at det vises stor grad av selvstendighet. Til grunn for tallkarakterene vi tidligere benyttet har det ligget kun absolutte forestillinger om kvaliteten på prestasjonene. En 2,5 har gjenspeilet et visst kvalitetsnivå, men spør vi forskjellige sensorer vil vi sikkert få litt ulike verbale utlegninger av hva en laud egentlig står for. Noen vil kanskje si at de har gitt laud når en kandidat har jevnt gode pensumkunnskaper 1 De absolutte kravene er utdypet i de fagspesifikke kriteriene for statsvitenskap som ble vedtatt i fagrådsmøte 11.10.2002. Her sies følgende om B på masternivå: God innsikt i forskningslitteraturen på området. Behersker fagets teori og metode, god evne til vitenskapelig framstilling. Ved en A kreves til sammenligning bred innsikt, svært gode kunnskaper om fagets teori og metode og velutviklet evne til vitenskapelig framstilling. I tillegg skal studenten kunne formulere fruktbare og forskbare problemstillinger.
og har vist tilfredsstillende evne til vitenskapelig fremstilling, 2 mens andre vil si at de har måttet se spor av selvstendighet for å vurdere laud. 3 Uansett har vi ikke overraskende benyttet kvalitetskriteriene på en slik måte at det over tid og for større studentmasser fremkommer en normalfordeling. ECTS-systemet krever at bruken av bokstavkarakterer på masternivå over tid (og på nasjonalt nivå) skal respektere en fordeling med 10 % A, 25 % B, 30 % C, 25 % D og 10 % E. Her ser en bort fra de som ikke tilfredsstiller minimumskravene, og får F. Anvendelse av denne prosentfordelingen i forhold til det statistiske materiale som foreligger fra de siste årenes hovedfagseksamener, gir oss en operasjonalisering av de absolutte (!) kriteriene til grunn for bokstavkarakterene. Det vil altså si at hvis vi benytter bokstavkarakterene slik som materialet nedenfor viser (bl.a. slik at A tilsvarer området fra en svak 2,1 og bedre), og utelukkende tenker på besvarelsenes kvalitet på samme måte som vi har gjort tidligere, vil det av seg selv fremkomme en normalfordeling som respekterer ECTS-systemet krav (forutsatt at studentene vi får i årene som kommer ikke avviker klart fra studentene vi har hatt de senere årene). Slik må det også være all den stund karakterfastsettingen i faget er helt desentralisert. Det ville være uholdbart om eksamenskommisjoner skulle sette karakterer ut fra annet enn den følelse for kvalitet de har, og hva de mener er riktig nivå for en prestasjon i henhold til absolutte kvalitetskriterier. 4 Det er svært viktig å understreke at dette bare er mulig om vi ser store fagområder under ett over lengre tid (fortrinnsvis på nasjonalt plan). Et masterstudium i statsvitenskap omfatter flere typer eksamener. Det vil oppstå problemer hvis en trekker ut en viss type eksamener, for eksempel masteroppgavene, og tenker seg at normalkurven med ECTS-fordelingen skal komme til anvendelse på disse eksamenene isolert. 5 I et fag hvor vi har erfaring for at masteroppgavene (hovedoppgavene) gjennomgående har vært vurdert bedre enn kurseksamener, ville det innebære at vi måtte operere med flere kvalitetsskalaer på samme nivå av studiet. Det er ikke bare absurd, men også i realiteten upraktikabelt. Det sentrale regelverket understreker da også at en ikke skal skjele til prosentfordelingen ved enkelteksamener, og at den bare skal være retningsgivende når en ser store fagområder under ett over flere semestre (formulering fra vedtak i Universitetets studiekomité 14 oktober 2003). Resultater I Figur 1 vises fordelingen av alle karakterene som er gitt på hovedfag i statsvitenskap ved UiO over en treårs-periode fra våren 2000. Den tilsvarende fordelingen for grunn- og 2 Dette er (absolutte) betegnelser som i dag knyttes til bokstavkarakteren C. 3 Selvstendighetskravet kommer i dag først inn i bildet som kriterium ved bokstavkarakterene B og A. 4 Hvis det for eksempel over tid viser seg at det på masternivå samlet (og sett nasjonalt) blir for mange A er og B er ut fra ECTS-fordelingen med 10 prosent A og 25 prosent B, bør en justere kursen ved å praktisere kvalitetskravene litt strengere. 5 På fakultetet skal det uformelt visstnok være diskutert hvordan karakterer på hoved- eller masteroppgaver fordelte seg i høstsemesteret 2003. Denne typen diskusjon av et lite erfaringsmateriale revet løs fra konteksten bør en ikke i det hele tatt gi seg inn på, og av retningslinjene for praktisering av bokstavkarakterer går det klart frem at det ikke skal gjøres.
mellomfag var svakt høyreskjev med 2,62 som gjennomsnittskarakter og 2,5 som modus. Materialet fra hovedfag viser også en svakt høyreskjev normalfordeling. Gjennomsnittet ligger på 2,50. Modus i fordelingen er 2,4, men karakterene på begge sider av denne det vil si 2,3 og 2,5 benyttes nesten like hyppig. Det er dermed klart at en gjennomsnittlig prestasjon på masternivået ikke er identisk med en gjennomsnittsprestasjon på bachelornivået, og at innarbeidede kvalitetskriterier i en viss forstand bør praktiseres strengere på det mest avanserte nivået. 300 250 244 258 253 200 Antall sensurvedtak 150 100 174 169 98 68 61 59 50 0 0 1 12 31 32 16 22 17 16 6 5 4 5 0 1 1,7 A 1,8 A 1,9 A 2,0 A 2,1 A 2,2 B 2,3 B 2,4 C 2,5 C 2,6 D 2,7 D 2,8 D 2,9 E 3,0 E 3,1 E 3,2 E 3,3 E 3,4 E 3,5 E 3,6 E 3,7 E 3,8 E 3,9 E 4,0 E Tallkarakterer (med bokstavkarakterer etter ECTS-fordelingen) Figur 1. Fordelingen av karakterer på hovedfag statsvitenskap 2000-03. Anvender vi ECTS-fordelingen på materialet i figuren ovenfor, får vi følgende forståelse av bokstakarakterene: A Fra og med 2,13 og bedre (A starter på en litt svak 2,1) B Intervallet 2,14 2,31 (karakterene 2,2 og 2,3 ligger innenfor intervallet) C Intervallet 2,32 2,49 (i praksis karakterene fra sterk 2,4 til en klar 2,5) D Intervallet 2,50 2,85 (fra svak laud og de hele karakterene 2,6 2,8) E Fra 2,86 til og med 4,0 (de hele karakterene fra 2,9 og svakere) Hvis vi benytter bokstavkarakterene på masternivå på den måten som (skjønnsmessig forenklet) fremgår av Tabell 1, vil vi være på rimelig trygg grunn. I tabellen er materialet fra bachelornivået også satt inn, og vi ser at vi ikke kan benytte nøyaktig den samme tallforståelsen av bokstavkarakterene på de to nivåene hvis ECTS-fordelingen skal
respekteres på sikt. Dette er naturlig i og med at det er en selektert studentmasse som tas opp på masterstudiet. En god del av disse studentene vil nok merke at de faller ned et karaktertrinn sammenlignet med det de oppnådde på bachelornivå. Tabell 1 BACHELOR TALLKARAKTERER MASTER A 1,8 1,9 2,0 2,1 2,2 2,3 B B 2,4 2,5 C C 2,6 2,7 2,8 D E 2,9 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4,0 A D E Det ligger altså i kortene at karakterfastsettelsen i en viss forstand bør være strengere ved mastereksamener enn på lavere nivåer (ut over det som følger av at man selvsagt må kunne mer på et mer avansert nivå). Det er imidlertid ikke sikkert at det i praksis er så enkelt å operere med to skalaer på denne måten. Vi har i beregningene ovenfor tatt utgangspunkt i alle sensurvedtak ved instituttet over en gitt tidsperiode. Hvis vi bryter ned materialet på ulike typer eksamener, er det betydelige variasjoner å spore. Gjennomsnittet for alle sensurvedtak samlet er som nevnt 2,50. Hovedoppgavene har et snitt på hele 2,33. Det obligatoriske metodekurset har med 2,73 det klart svakeste gjennomsnittet. De valgfrie kursene 71 i alt i den aktuelle tidsperioden kommer ut med et snitt på 2,45. Den hyppigst forekommende karakteren i de samlede dataene er 2,4. Modus er én tiendedel bedre på hovedoppgavene og én tiendedel svakere på kursene.
Ikke noe av dette bør skape problemer i denne sammenheng, så lenge ECTS-fordelingen ikke søkes oppfylt på ulike deler av masterstudiet isolert. Det er ikke problematisk i forhold til gjeldende regelverk og retningslinjer at det gjennomgående gis gode karakterer på masteroppgaver. Det er også gode grunner at det blir slik: Instituttet bruker store ressurser på veiledning, det er ingen formell tidsbegrensning på arbeidet (i motsetning til kurseksamener), mange studenter har ikke ønsket å levere før de har fått signal om at oppgaven etter veileders mening er laudabel, osv. I figuren nedenfor vises karakterene som er gitt innenfor de ulike delene av hovedfaget. Den nederste kurven for metodekurset STV-621 viser bemerkelsesverdig stor spredning. (I alt er 418 metodeeksamener med, 793 eksamener på valgfrie kurs og 341 hovedoppgaver.) 300 Hovedoppgaver Metodekurs Hovedfagskurs Totalt (alle eksamener) 250 Antall sensurvedtak 200 150 100 50 0 1,7 1,8 1,9 2 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4 Tallkarakterer Figur 2. Karakterfordelingen innenfor ulike deler av faget.