Karaktersetting i UH-sektoren En felles plattform Tid: 24. januar 2007 kl: 1000 1600 Sted: Felix konferansesenter, Bryggetorget 3, Vika, Oslo Vellykket konferanse om karaktersetting i UH-sektoren! Den 24. januar avholdt UHR konferanse om karaktersetting i universitets- og høgskolesektoren. Konferansen var et ledd i arbeidet med harmonisering av måten skalaen A- F benyttes på. Det var ca 220 deltakere fra høgskolene og universitetene, studentorganisasjonene og Kunnskapsdepartementet. Innlederne var hentet fra UHRs analysegruppe, karakterpaneler, medlemsinstitusjoner, studentorganisasjon samt NIFU-STEP. UHRs leder, rektor ved Høgskulen i Volda Gunnar Stave åpnet seminaret. UHRs generalsekretær Ola Stave var møteleder. UHRs styreleder, rektor Gunnar Stave, Høgskulen i Volda Som et hjelpemiddel i arbeidet for å få til en ensartet praksis i bruken av karakterskalaen har UHR nå ca 50 karakterpaneler og en analysegruppe som sammenfatter resultatene. Det arbeides fortsatt med å gjøre forbedringer for å få dette apparatet til å fungere best mulig. Stave pekte på at det har vært uklare signaler på bruk av skalaen: Det er de kvalitative beskrivelsene som skal legges til grunn ved karaktersetting samtidig som det er gitt signal om at den relative ECTS-skalaen en skal forholde seg til. Det er også reist spørsmål om forholdet til normalfordeling. Foreløpige konklusjoner fra arbeidet tilsier at det per i dag ikke er felles forståelse i sektoren om bruk av skalaen. Det er viktig å jobbe mot en felles forståelse og praktisering av skalaen, alternativt må vi være tydelige på at vi ikke når dette målet. Leder av UHRs analysegruppe, seniorrådgiver Asbjørn Bjørnset, UiB Bjørnset redegjorde for bakgrunnen for innføring av karakterskalaen, og for hvilke vedtak som ble fattet og iverksatt. Herunder pekte han på at det ble utarbeidet generelle beskrivelser av nivået på den enkelte karakter. Intensjonen var også at det skulle utarbeides fagspesifikke beskrivelser knyttet til trinnene på den enkelte skala. For mange fagområder er dette gjort. En forutsetning var at karakteren C skulle være uttrykk for en jevnt god prestasjon og det skulle ikke være noen forhåndfordeling av karakterer. I følge daværende Utdannings- og forskningsdepartement ville skalaen være i tråd med ECTS-systemet og oversettelse av norske karakterer til ECTS unødvendig. 1
Bjørnset pekte på mulige innebygde motsetninger i signalene fra departementet. Den norske skalaen er absolutt mens ECTS er en relativ skala. Et sentralt spørsmål som er tydeliggjort i forbindelse med innføringen av ny skala er om den skal brukes likt på bachelor- og masternivået. Karakterpanelene Bjørnset formidlet erfaringer fra karakterpanelenes arbeid med karakterskalaen for perioden 2004-2006. Arbeidet i karakterpanelene er svært arbeidskrevende for dem som både tar stikkprøver og analyserer statistikker. For mange av panelene har normalfordeling vært et utgangspunkt for vurderinger som ble gjort, særlig i 2004. Fordi panelene har arbeidet til dels ulikt er det behov for forenkling og standardisering. Foreløpige konklusjoner som kan trekkes på bakgrunn av det arbeidet som er gjort i panelene: Det er foreløpig ikke grunnlag for å konkludere om det er en felles forståelse av: bruken av karakteren A skillet mellom bruken av karakteren E og F bruken av karakteren C Flere paneler mener det må skilles mellom bachelor- og masternivået. Bjørnset pekte på at i det videre arbeidet må det legges vekt på bl.a. følgende momenter: Felles forståelse for bruk av skalaen: mer bruk av stikkprøver, mindre bruk av statistikk Ny framgangsmåte? Drøfte masternivået inngående Hva gjør de i andre land? Noen eksempler v/forsker Elisabeth Hovdhaugen NIFU-STEP Hovdhaugen redegjorde kort for en del forhold omkring ECTS. Det er opprinnelig både et overføringssystem for karakterer og for studiepoeng. Et studieår tilsvarer 1600 arbeidstimer, som igjen tilsvarer 60 studiepoeng. ECTS-skalaen forholder seg til en prosentfordeling. I Norge baserer karaktersettingen seg på en kvalitativ fortolkning, ikke prosentfordeling På bakgrunn av data fra FS hevdet Hovdhaugen at skalaen brukes på samme måte i høgskoler og universiteter. Det viste seg å være store forskjeller på høgere og lavere grad og innen fag. Hovdhaugen kunne opplyse at f.eks. naturfag og ingeniørfag brukes skalaen flatere. Men hun viste til at det også er forskjeller mellom læresteder innen samme fag. Erfaringer fra andre lang Generelt sett foreligger det lite informasjon om bruk av karakterskala fra andre land. Mange land har ikke nasjonal skala. Danmark: 2
Her hadde de en 13-trinns men har gått over til 12-trinn. Det benyttes kvalitative beskrivelser av skalaen. Sverige: I Sverige har man ikke noe nasjonalt karaktersystem. Vanligst er et 3-trinnssystem. Kravet til Godkjent: ligger på 50 % rett. Andre skalaer brukes i jus og tekniske fag. Karakterene er målrelaterte, dvs. de forholder til hvilken grad bestemte mål er oppnådd. Det er planlagt å innføre A-F fra 2010. I den forbindelsen har det vist seg å være stor intern motstand i UH-sektoren. Sektoren er redd for at studentene skal bli mer fokusert på karakterer enn på det å lære stoffet. Finland: I Finland finnes en nasjonal 5-trinns skala. samt bestått - ikke bestått. Det er knyttet kvalitative beskrivelser til bruken av karakterskalaen. USA Institusjonens renommé er ofte viktigere enn studentenes karakterer på vitnemålet. På lavere grad er det vanlig å benytte skalaen A, B, C, D, F. På høyere grad er det stort sett A og B som brukes Oppsummering: De fleste land i Bolognaprosessen forsøker å tilpasse seg ECTS-systemet. Norge, Finland og Italia har innført 5-trinns skala. Innenfor Bolognaprosessen er det foreløpig bare krav om å tilpasse seg ECTS-poengsystemet, ikke karakterskalaen. Et generelt problem er at mange land ikke har en nasjonal karakterskala Det kan se ut til at tilpasningen gås lettere der man har en skala med flere trinn enn få trinn. Et spørsmål Hovdhaugen stilte til slutt er om en lik skala i alle land virkelig vil kunne gi like karakterer med tanke på at skalaen praktiseres ulikt i ulike fag i ulike land? Et studentperspektiv v/susanne Skjørberg, fagpolitisk ansvarlig i NSU Skjørberg stilte bl.a. spørsmålet om karakterer er et redskap underveis i utdanningen eller et mål for kvalitet? Hun mente at karakterene kan ha ulike funksjoner. Et viktig aspekt er selektering. Hvem har behov for selektering, og på hvilket tidspunkt? Øker selektering motivasjonen? Selektering kan knyttes til summativ evaluering. Ved gode karakterer kan selektering gi positive konsekvenser, ved dårlige karakterer kan det gi negative konsekvenser. Skjørberg hevdet at karakterer forteller hva sensorer mener om hva studenten har prestert på et gitt tidspunkt. Hun spurte bl.a. om karakterer gir adekvat tilbakemelding. Svaret på spørsmålet var at karakterer gis for stor betydning. Karakterer er en form for evaluering, men kanskje ikke den som gir best tilbakemelding Skjørberg nevnte noen forhold som kan påvirke karakterene, slik som bl.a. tid til studier, talent, kulturell kapital, erfaring, psykologiske faktorer. Dette ledet over til å se på hvordan karakterene påvirker karakterene. I den forbindelsen nevnte hun bl.a.: prestasjon oppleves som viktigere enn læringsutbytte 3
karakterer fører til resultatfokus fremfor fokus på læring for læringens skyld forbedring bli mindre viktig enn objektive kriterier Til slutt ble studentenes ønsker for bruk av karakterer fremmet: karakterer skal være faglig begrunnet institusjonene skal utvide bruken av bestått/ikke bestått informasjon om karakterenes betydning må distribueres karakterer skal være en kvalitativ vurdering det er viktig med nasjonal ensartet praksis ønsker ikke normalfordeling Til slutt stilte Skjørberg spørsmålet om studentenes ønske om bruken av karakterer henger sammen med mangel på andre former for tilbakemeldinger. 1110-1130: Diskusjon I diskusjonen fremkom bl.a. følgende momenter: Hovdhaugen hadde basert sine innledende kurver på statistikk hentent kun fra FS-systemet. Store deler av sektoren bruker andre systemer, dermed er datagrunnlaget begrenset. Påstand om at den norske skalaen er absolutt ble betvilt. Bjørnset presisert at skalaen er absolutt i den forstand at karakterene skal gis ut fra beskrivelsene, ikke i forhold til andre studenter. Mange studenter ønsker bestått - ikke bestått. Samtidig blir det hevdet at studentene ønsker mer større bruk av graderte karakterer for ellers oppstår det problemer med å komme inn på masterstudier. Skjørberg mente at studentene nok er noe delt i synet, men at man ønsker bestått/ikke bestått på høyere grad. Hovdhaugen opplyste i en kommentar at en av grunnene til innføringen av flere-trinnsskala i Sverige er kandidatenes problemer med å få stipendiatstillinger og studieplasser i utlandet. Når det gjelder karakterpanelene bør disse nå ta mer stikkprøver av besvarelser. Valg av besvarelser kan gjøres ved å se på de fagene/emnene som avviker kraftig fra gjennomsnittet. En tidligere student fortalte at han hadde brukt mye tid på å reflektere over fagene i den første tiden han studerte. Dette sluttet han med på andre året fordi det tok for lang tid. Han fortalte at han fikk like gode karakterer ved å lese eksamensrettet. Før man kommer noen vei med karakterene må studiekravene i faget tydeliggjøres. Dette gjelder bl.a. hvor mange sider pensum det er behov for, og hva slags evalueringsformer som skal benyttes. I karakterpanelet for barnevernpedagogutdanningen så man raskt at utdanningene var svært ulike. Derfor valgt man ut 5 av 11 institusjoner som tilbyr utdanningen. Det viste seg å være veldig stor forskjell i karakterbruken. Hva som er A i Alta er antageligvis ikke A på Lillehammer. Mange studenter bruker kun 20-30 timer pr uke. Hvordan kan de få så gode karakterer når de bruker så liten tid? 4
Bestått/ikke bestått som alternativ til A-F v/studieleder Karen Engeland og høgskolelektor Dag Dæhlen, Høgskolen i Akershus, avd. for vernepleierutdanning Engeland redegjorde for bakgrunnen for bruk av bestått/ikke bestått og vektla følgende punkter: Ny fagplan ble introdusert i 2004 Modulbasert (10 eller 15 stp) Flere eksamensavviklinger enn før 5 teorimoduler første studieår: Stor grad av innføringstemaer, basis for fordypning andre og tredje år Dæhlen presenterte et eksempel på innhold og organisering av et kurs samt gjennomføring av bacheloroppgave. Eksempel 1 Individuell oppgave tidlig i studiet Tre ukers kurs innføring i et eller flere fag Tre siders individuell besvarelse Oppgaven utleveres ved kursstart, innlevering ved avsluttet kurs Erfaringer: Jevngode prestasjoner Flere stryker Noe frustrasjon over å ikke kunne belønne de beste Lett å rette Studentene vet ikke hvilket nivå de er på Eksempel 2 Gruppeoppgave sent i studiet Faglig fordypning over 13 uker Oppgave på ca. 50 sider over selvvalg tema Muntlig eksamen i stoffet Erfaringer: Frustrasjon over å ikke kunne skille gruppene Kunne ikke skille individuelle gruppemedlemmer på muntlig Samarbeidsproblemer i gruppen får ikke like store konsekvenser Svakere studenter mister ikke selvtillit rett før overgang til arbeidslivet Vanskelig for senere kull å vite nivå på tidligere oppgaver Oppsummert: Bedre erfaring med bestått/ikke bestått på kortere kurs tidlig i studieforløpet Problematisk på arbeider som krever større innsats over lenger tid Effektiv retting, men lite tilbakemelding for studentene Ikke anledning til å belønne de beste 5
Bestått/ikke bestått som alternativ til A-F, v/prodekan Nils-Erik Huseby, Det medisinske fakultet, Universitetet i Tromsø Noen organisatoriske rammer: Tidlig pasientkontakt, utplassering i sykehus/allmennpraksis Integrasjon mellom teoretiske og kliniske fag Mer gruppeundervisning og seminarer på bekostning av forelesninger Valgfrie undervisningselement og en selvstendig, skriftlig oppgave Få og integrerte eksamener Karakterer - bestått/ikke-bestått Fordeler ved bestått/ikke-bestått Godt verktøy ved integrerte eksamener i fagkunnskap, holdninger og ferdigheter. Studentene skal ha kunnskaper i f.eks. anatomi, fysiologi m.m., etikk, kommunikasjon. holdninger, dannelse, samt ferdigheter. Intensjonen er å integrere disse forholdene i en eksamen. Bruk av bestått/ikke bestått gir en rask sensurering av en stor gruppe kandidater, og dermed god tid til grundig vurdering av de studentene som befinner seg i grenseland mellom bestått/ikke bestått. Studentene inviteres til samtale ved ikke bestått. Denne ordningen sikrer et relativt høyt faglig nivå Ulemper Svake studenter får ikke detaljert tilbakemelding etter eksamen. Gode studenter får ikke klar beskjed på at de er gode. Har ikke entydig beskrivelse av ikke-bestått Nødvendige sikringstiltak: Kursprøver må gi gode tilbakemeldinger Evalueringer fra studentene er viktige Ferdighetstrening Oppfølging i praksisperioder av læremål Sikring av retningslinjer for eksamenskommisjonene Oppfølging av studenter som stryker Hele medisinstudiet skal evalueres. Bestått/ikke-bestått som skala kommer til å bli videreført i ny studieplan. Det må fortsatt gis gode tilbakemeldinger til studentene. De ansatte må prøve å overbevise studentene om at det ikke er eksamen som er målet, men det er prosessen. Nytt karaktersystem, gammel karakterkultur: HFs tiltak for å få sensorene til å bruke skalaen riktig v/professor Tor Egil Førland, UiO Førland redegjorde for prosessen som HF hadde vært gjennom i forbindelse med innføring av ny karakterskala. Foruten de nasjonale føringene hadde både Universitetet og det nasjonalt fakultetsmøte engasjert seg i prosessen. HF hadde vedtatt egne retningslinjer som bl.a. innebærer at det holdes karaktermøter med alle lærere på det enkelte fag for å diskutere forrige semesters statistikk samt karakterbruken ved andre institusjoner som tilbyr samme fag. Eksamensoppgaver kvalitetssikres, og det sikres at nødvendig informasjon om bruk av skalaen distribueres til sensorene. 6
HF har også kvalitetssikringstiltak under sensur, som f.eks. bruk av to sensorer ved muntlig prøving ettersom karakter fastsatt etter muntlig ikke kan påklages. Ved masteroppgaver brukes ekstern sensor i tillegg til intern. Alle oppgaver som er vurdert til E og F forelegges for en ekstra bedømmersensor. Karakterene gitt på lavere grad følger generell trend. Karaktersettingen på høyere grad viser en stor bruk av karakterene til venstre på skalaen, noe som ikke er i tråd med departementets forventninger. Noe av årsakene til dette kan være at Sensorene vil ikke gi studenter som har fått C eller bedre på lavere grad, dårligere karakterer på høyere grad. Veilederne anbefaler ikke masterstudentene å levere oppgaven før de mener den holder akseptabelt nivå, dvs C eller bedre. Sensorene holder fast ved en gammel hovedfagskarakterkultur der gjennomsnittskarakteren var ca 2,2 og nesten ingen fikk dårligere enn laud (2,5). Ledelsen har ikke villet ta i bruk virkemidler som er sterke nok til at karakterkulturen blir endret Et eksempel på konsekvensene av karaktersettingen på lavere grad viser seg bl.a. ved at musikkstudenter fra eksterne institusjoner lettere kommer inn på mastergrad enn HFs egen studenter. Dette skyldes at flere av de øvrige institusjonene som tilbyr samme grunnstudium benytter karakterskalaen på en annen måte. Førland foreslo følgende løsning: Ledelsen på alle nivåer må insistere på at karakterforventningene oppfylles også på høyere grad: C må være gjennomsnittskarakter. A skal bare gis til ca 10 % av studentene. Dersom karakterforventningene i et emne ikke oppfylles, må bokstavkarakterskalaen byttes ut med dikotom skala i dette emnet. Førland pekte på at løsningsforslaget neppe holder i fht. lovverket. Førland stilte spørsmålet Hvorfor virker ikke dette? og besvarte det slik: Ledelsen på tilstrekkelig mange læresteder og på tilstrekkelig mange nivåer vil ikke bruke den makt som er nødvendig for å få det norske systemet i tråd med ECTS-systemet. og la til: Tar du karakterillusjonen (forestillingen om at han er bedre enn gjennomsnittet) fra en gjennomsnitts høyeregradsstudent (som i dag får gjennomsnittskarakteren B), tar du livslykken fra både ham og veilederen hans. Førland understreket betydningen av at tidspunktet for å foreta beslutninger om hvilke vei Norge skal gå med hensyn til bruk av karakterer er nå. Venter vi, risikerer vi at dagens praksis setter seg. 7
Hvordan jobber panelene? v/karakterpanelet for masterstudiene i rettsvitenskap v/professor Finn Arnesen, UiO Rammene for karaktersetting: Et oppgaveutvalg velger ut eksamensoppgaver og lager sensorveiledninger. Disse gjøres tilgjengelig for studentene. Det avholdes sensormøter. Det er to sensorer på alle besvarelser. Det er etablert et nasjonalt sensorkorps. En bekymring er at det er for lavt antall universitetsansatte i sensorkomiteene Funn fra arbeidet i karakterpanelet: Godt samsvar mellom lærestedene i forståelsen av hvilken grad av sammenfall mellom kunnskapskrav og prestasjon som er nødvendig for å oppnå de enkelte karakterene De statistiske oppgavene viste at hele karaterskalaen brukes I arbeidsmarkedet for jurister spiller kjønn og etnisitet liten rolle. Det er karakterer som teller. Arnesen presenterte følgende hjertesukk: A til F skalaen er for lite nyansert i toppen Når vi er opptatt av lik bruk av skalaen, men ikke av ensretting av det vi bruker den på kaster vi ikke da blår i øynene på hverandre? A til F som pliktig karakterskala skaper en rekke unødvendige problemer, samtidig som en ekte omregningsskala befrir oss fra dem Relativiseringen som ligger implisitt i koblingen til ECTS leder til usynlige kunnskapskrav. Ønsker vi det? Hvordan jobber panelene? v/nasjonalt fagråd for lingvistiske fag v/professor Hanne Gram Simonsen, UiO Simonsen klargjorde hvilke forhold karakterpanelet har vurdert, og hvilke de ikke har vurdert: Panelet har ikke sett på skillet E-F. Panelet har fokusert på emner på mastergradsnivå Funn: Skjevfordeling o Kun UiT bruker hele karakterskalaen inkludert E og F o Forskjellige typer emner ved de ulike universitetene o Forskjellige eksamensformer o 20 % A = skjevrekruttering til lingvistikk? Simonsen understreket at det var et lite tallmateriale, og at det er nødvendig å følge utviklingen over flere år. Hun skisserte den veien videre slik: Evaluere MA-emner over en 5-års periode Evaluere karaktersetting på masteroppgave o Viktig for rekruttering til Ph.d. o Krever ekstra ressurser! Evaluere emner på bachelor-nivå o Utfordring å finne sammenliknbare emner o Nasjonal koordinering og arbeidsdeling 8
Simonsen uttrykte enighet med Førland i at tidspunktet for å bestemme veien videre er nå. Imidlertid kom hun til en annen konklusjon en Førland: Det vi trenger er skalaen bestått/ikke bestått. Alternativ framgangsmåte for å vurdere karaktersetting i UH-sektoren lanseres av UHRs analysegruppe v/ førsteamanuensis Torfinn Torp, UMB Torfinn Torp foreslo følgende fremgangsmåte for å forbedre og forenkle arbeidet: 1. Bestem hvilke fag/emner og bachelor/master som skal undersøkes (kan varieres fra gang til gang, for hvis alt er med hver gang blir omfanget for stort). 2. Velg eksamensoppgaver (oppgavetekst), tilhørende målformuleringer og eksamensbesvarelser, på alle nivåer (A F besvarelser). 3. Fra hver av en del institusjoner (for eksempel tre stykker) velges minst to sensorer (innen de aktuelle fag/emner). Samtlige sensorer henholdsvis bedømmer (på en enkel skala for vanskelighetsgrad og liknende) og karaktersetter de samme oppgavene og besvarelsene (innen sitt fag/emne). 4. Resultatene analyseres (ved hjelp av egnede statistiske metoder). Noen kommentarer: I mange fag/emner kan det være vanskelig å finne minst to sensorer fra hver deltagende institusjon. Et alternativ kan da være at fagrådet/profesjonsrådet oppnevner en nasjonal kommisjon innen de aktuelle fag/emnene. Men, med bare en sensor fra de/den deltagende institusjonen(e) kan det bli vanskelig, for ikke å si umulig, å avgjøre om en eventuell forskjell skyldes sensor (individ) eller institusjon. Den skisserte alternative framgangsmåten er ikke ment som noen form for ettersensurering eller kontroll av antatte syndebukker. For noen fag/emner vil det kunne gå lang tid mellom hver gang de er med i undersøkelsen. Kanskje bør slike fag/emner i så fall underlegges en enklere form for vurdering? Konklusjonene basert på resultatene av analysen vil ikke av seg selv føre til en best mulig anvendelse av bokstavkarakterskalaen på de ulike institusjonene. Men, indirekte vil en kunne håpe og kanskje forvente at fag/emner/institusjoner som avdekkes å bruke skalaen på en dårlig/uønsket måte, på eget initiativ eller på oppfordring vil gå i seg selv for å forbedre sin karaktersetting. Detaljer omkring tidsfrister, rapporteringsansvar etc. må bestemmes. Torp pekte på flere forhold som må avklares, bl.a. hva som menes med fremragende og andre karakteristika av karakterene. Diskusjon Ola Stave ledet diskusjonen og bruke anledningen til å gi kommentarer til hva som skal gjøres framover. Dagen seminar: har gitt forståelse for hvor vi står i dag vi skal forbedre/forandre rutinene vi har fått forslag til hvordan dette arbeidet kan gjøres så lite byråkratisk som mulig, med så få ressurser som mulig og likevel opprettholde troverdigheten Tydelig signaler på at bachelornivå og masternivå bør håndteres ulikt Momenter fra diskusjonen: 9
KRL-fag følger kurven på bachelor. Teologi lavere grad følger også bra. Teologi høyere grad følger også kurven med MF og Misjonshøgskolen, men ikke på TF hvor kurven blir venstrevridd. Skal vi endre systemet eller holdningene? Karaktersystemet er et stort problem. Et hovedproblem er om ECTS-skalaen skal følges slavisk eller ikke. Dette fører til en illusjon om at det finnes en koordinering av karakterbruken. En forskjell som ikke er kommet frem er forholdet mellom samme fag på ulike institusjoner. Ideen som er kommet fram om å begynne på nytt bør tas på alvor jf Førland. Det bør vurderes om de fag som avviker svært blir fratatt retten til å gis A-F-karakterer. Dagens system er bedre enn det som var før. Det er lettere for arbeidsgivere å sammenlikne kandidater nå enn tidligere, til tross for skjevheter. Det bør være bestått/ikke bestått på mastergrad. Det er en selvmotsigelse som ikke er nevnt: Prosentfordeling innen en populasjon på lærestedet i forhold til et ønske om generalisering på nasjonalt nivå. Karakteren sier ikke så mye om nivå. Rapportene er viktige som informasjons- og diskusjonsgrunnlag i fagmiljøene. Oppdraget i neste runde må være så eksplisitt og tydelig som mulig. Analysegruppen har begynt på rapporten for 2005. Det fokuseres spesielt på mastergradsnivået. Oppsummering og videre utfordringer v/ leder av UHRs utdanningsutvalg og prorektor for utdanning ved UMB Trine Hvoslef- Eide Hvoslef-Eide håpet at seminaret var oppklarende og inspirerende for deltakerne. Hun oppfordret forsamlingen til å dra hjem til egen institusjon og arrangere seminarer om temaet karaktersetting. 10