%-poengmetoden. Et anbefalt verktøy ved sensurarbeid

Transkript

1 Til lærere og sensorer %-poengmetoden. Et anbefalt verktøy ved sensurarbeid Denne anbefalingen tar utgangspunkt i at alle prestasjoner som skal vurderes og gis en karakter, kan bedømmes innenfor et område som kan skaleres fra 0 til 100 %, og omtales som %-poengmetoden. Metoden kan benyttes på alle typer fag og arbeider, men nødvendiggjør at ethvert fagområde utvikler sine egne kriterier for bedømmingen som ivaretar fagområdets spesifikke egenart. %-poeng skalaen som sådan, utgjør i mange land selve karakteren eller den fungerer som sideordnet nivåindikator til et annet system for karakterangivelse. Ved internasjonal bedømmelse har metoden i særlig grad sin styrke i at alle kan forholde seg til den, og at det er en enkel sak å oversette %-poeng til lokale karaktersystemer. 1. Innledende bemerkninger Vi kan grovt sett dele inn vurderinger i 3 grupper: Vurdering basert på prøver med mange spørsmål (Metode 1). Vurderinger basert på arbeider (Metode 2). o Prosjektrapporter o Bachelor- eller masteroppgaver o Andre skriftlige arbeider med en eller få problemstillinger. (Essay etc) Vurdering ved muntlig prøving (Metode 3). 2. Metodikk Metode 1: Ved vurderinger basert på mange spørsmål, tildeles hvert spørsmål et maksimalt antall %- poeng som kan oppnås for korrekt svar, ut fra hvor sentralt spørsmålet ansees og hvilken vekt det skal tillegges. Hvert delspørsmål gis en poengsum ut fra tildelt tallverdi, retningslinjer for vurderingen og et sett av kriterier som sensorene blir enige om, samt den faglige kvalitative beskrivelsen av karaktertrinnene. Kriteriene vil være forskjellige i ulike emner og fagmiljø og må tilpasses disse ulikhetene og typen oppgaver. Summen av delsvarsverdiene utgjør den totale prestasjonen. Summen for en helt perfekt besvarelse blir 100 %-poeng. november 2006 s. 1 av 14

2 Metode 2: Ved vurderinger basert på arbeider som prosjektrapporter, bachelor-/masteroppgaver eller andre skriftlige arbeider, legges flere kriterier til grunn. Her må det gjøres en totalvurdering ut fra den faglige kvalitative beskrivelsen av karaktertrinnene, og et sett av kriterier for bedømmingen. Kriteriene vil være forskjellige i ulike emner og fagmiljø og må tilpasses disse ulikhetene og typen oppgaver. Som eksempel kan man tildele %-poeng etter følgende retningslinjer: o Problemforståelse o Utredning og metodisk skikkelighet o Originalitet / eget bidrag / selvstendighet o Diskusjon / kritisk vurdering o Presentasjon/språk/rapportkvalitet Sum 0 10 %-poeng 0 25 %-poeng 0 25 %-poeng 0 25 %-poeng 0 15 %-poeng %-poeng Ved vurdering av arbeid i laboratorier kan kriteriene til dels være av en annen art, som for eksempel at orden og ryddighet kommer med: o Problemforståelse 0 10 %-poeng o Orden /ryddighet 0 10 %-poeng o Selvstendighet 0 20 %-poeng o Gjennomføringsevne/mestringsgrad 0 25 %-poeng o Diskusjon / kritisk vurdering 0 20 %-poeng o Presentasjon/språk/rapportkvalitet 0 15 %-poeng Sum %-poeng Hvert kriterium vurderes ut fra tildelt tallverdi og de retningslinjer for vurderingen som sensorene blir enige om, samt den faglige kvalitative beskrivelsen av karaktertrinnene. Metode 3: Ved vurdering av muntlig prøving hvor det gjerne er få kandidater, kan man gå fram på følgende måte: Tildele %-poeng etter metode 1 eller 2 avhengig av situasjonen. Spørsmålsstillingen bør i særlig grad legge vekt på å finne ut hvordan kandidaten står kunnskapsmessig i forhold den faglige kvalitative beskrivelsen av karaktertrinnene, men i tillegg konsentreres om å skille kandidatene fra hverandre kunnskaps- og ferdighetsmessig. Ved svake kandidater må man i særlig grad vurdere i forhold til grensen for stryk. Kandidatene rangeres. Uansett metode, så sammenstilles resultatene: Prestasjonene i prøven sammenstilles i et histogram november 2006 s. 2 av 14

3 Informasjonen i histogrammet vurderes og sammenstilles med konverteringskurven Eksempel på bruk av metode 2 er vist i vedlegg 3. Histogrammer og vurdering av resultat fra %-poengmetoden Histogrammet er et velegnet verktøy ved vurdering av resultatene når %-poengmetoden benyttes. I etterfølgende figurer finnes eksempler på histogrammer fra emner som er benevnt emne 1, 2, 3, 4 og 5. Histogrammene for emne 1, 2, 3 og 4 er basert på en studentmengde på 100. Emne 1, 2 og 4 har en strykprosent på 10 %, mens emne 3 har en strykprosent på 43 %. Emne 5 er basert på 5 studenter og ingen stryk. Emne 1 viser en typisk fordeling av prestasjoner i et emne hvor det er samhørighet mellom prøvens vanskelighetsgrad, den gjennomsnittlige studentens typiske og forventede prestasjon, samt de vurderingskriterier som er lagt til grunn for denne vurderingen. Omhylningskurven for histogrammet kan anta flere former. Den kan være meget flat og bred eller ha en eller flere pukler. Denne kurveformen er uten betydning. Det som er viktig er å beregne hvor tyngdepunktet eller gjennomsnittsverdien for de beståtte besvarelsene ligger. I dette eksemplet ligger tyngdepunktet på 70 %-poeng. Histogram emne Antall studenter % -poeng Emne 2 viser en forskyvning av tyngdepunktet mot at det er mange studenter med høye %- poeng. Tyngdepunktet ligger ved 82 %-poeng. Her er det grunn for sensorene til å vurdere flere faktorer ved prøvingen. november 2006 s. 3 av 14

4 o Var oppgavene for lette til å prøve den gjennomsnittlige studentens typiske og forventede prestasjon? o Var vurderingskriteriene for lette slik at svært mange studenter kunne oppnå høye %- poeng? o Er studentgruppen i dette spesielle tilfellet vesentlig bedre enn et typisk dels forventet gjennomsnitt over flere år? Histogram emne Antall studenter % -poeng november 2006 s. 4 av 14

5 Histogram emne Antall studenter % -poeng Emne 3 viser en klar forskyvning av tyngdepunktet mot at det er mange studenter med lave %-poeng. Tyngdepunktet totalt ligger ved 43 %-poeng, og blant de beståtte besvarelsene ligger det ved 53 %-poeng. Her er det grunn for sensorene til å vurdere flere faktorer ved prøvingen. o Var oppgavene for vanskelige til å prøve den gjennomsnittlige studentens typiske dels forventede prestasjon? o Var vurderingskriteriene for strenge slik at svært mange studenter oppnådde lave %- poeng? o Er studentgruppen i dette spesielle tilfellet vesentlig svakere enn et typisk dels forventet gjennomsnitt over flere år? Emne 4 viser et fenomen som ofte oppstår. Prestasjonene danner klynger. Dette kan skje enten tyngdepunktet i histogrammet er slik som for emne 1, 2 eller 3. I dette tilfellet ligger tyngdepunktet ved 64 %-poeng. Emne 5 viser en typisk fordeling med svært få studenter. Sensor må her vurdere den kvalitative faglige beskrivelsen av karaktertrinnene og nødvendigheten av rangering av studentene i sterkere grad enn ellers. Vurdering av tyngdepunkt gir mindre hjelp. I svært mange slike tilfeller vil det dreie seg om en gjentakseksamen hvor de fleste av studentene er faglig svake i utgangspunktet. november 2006 s. 5 av 14

6 Histogram emne Antall studenter % -poeng Histogram emne Antall studenter % -poeng november 2006 s. 6 av 14

7 4. Konvertering til karakterer For konvertering fra %-poeng til lokal karakterskala f.eks. bokstavskala må fagsektorene utarbeidet hjelpemidler for konverteringen. Disse kan for eksempel uttrykkes i form av en konverteringstabell. Poenggrensene for karaktertrinnene gjenspeiler vanskelighetsgraden i oppgaver og tradisjoner ved eksaminasjon innen fagområdet. Det er således en kontinuerlig diskusjon om hvor grensen for stryk skal legges og hvor grenseområdene for de enkelte karakterene skal legges i %-poengskalaen. Hvor unik og eksklusiv skal beste karaktertrinn være og hvor skal den typisk gode prestasjon plasseres. 4.1 Sammenstilling av histogrammet med konverteringstabellen Ved denne sammenstillingen er det benyttet en konverteringstabell mellom %-poeng og bokstavkarakterer som har utarbeidet og vedtatt for bruk i ingeniør og sivilingeniørutdanningene i Norge. Det vises til vedlegg for opplysninger om tabellen. Ved selve sammenstillingen er det flere faktorer som må vurderes: Avhengig av om histogrammet tilhører typen; emne 1, 2 eller 3 og de vurderinger som gjøres i den sammenheng, foretas en helhetsvurdering av grunnlaget for vekting av poenggivingen i forhold til prøvens vanskelighetsgrad, og den gjennomsnittlige studentens typiske, dels forventede prestasjon. Er strykgrensen vurdert til å være riktig? Ta gjerne en ekstra stikkprøve på besvarelser i grenseland. Er de beste prestasjonene av en slik kvalitet at de kan honoreres med en A, og hvor skal grensen for en slik prestasjon legges? Klynger bør gis samme karakter dersom de ikke anses for å være for brede. I eksemplet, emne 2, er tyngdepunktet havnet på 82 %-poeng. I slike tilfeller anbefales en helhetsvurdering av grunnlaget for vekting av poenggiving i forhold til prøvens vanskelighetsgrad og den gjennomsnittlige studentens typiske, dels forventende prestasjon. Hvis vurderingen tilsier at det er grunnlag for en korreksjon, kan man forskyve poenggrensene med 10 %-poeng. Ved en slik operasjon må man dobbeltkontrollere både grensen til stryk og grensen til beste karakter. Selv med en korreksjon på 10 %-poeng vil det likevel være forholdsvis mange med karakter over middels. I eksemplet, emne 3, er tyngdepunktet havnet på 53 %-poeng og det er sannsynlig at det er grunnlag for en korreksjon. Denne kan bestå i at man forskyver poenggrensene med hele 20 %-poeng. Ved en slik operasjon må man dobbeltkontrollere både grensen til stryk og grensen til beste karakter. Selv med en korreksjon på 20%-poeng vil vi likevel få forholdsvis mange med karakter under middels, og tyngdepunktet vil bare endre seg til 64 pga alle som blir berget fra stryk, men fortsatt vil få en karakter under middels.. I eksemplet, emne 4, anses tyngdepunktet blant de beståtte besvarelsene å være tilfredsstillende, og det er naturlig at de to klyngene over 90 %-poeng begge gis karakteren A. november 2006 s. 7 av 14

8 Den neste klyngen fra 74 til 86 %-poeng er så bred at den kan deles ved 80 %-poeng. 80 til 86 %-poeng gis karakteren B. 73 til og med 79 %-poeng slås sammen med den klart utskilt klyngen omkring 63 til 69 %-poeng og gis karakteren C. Den klart utskilte klyngen 55 til 61 %-poeng gis karakteren D, og de to klyngene 40 til 45 og 47 til 52 %-poeng slås sammen og gis karakteren E. Emne 5 gir et eksempel med bare 5 kandidater. Sammenstillingen må også her ta utgangspunkt i den gjennomsnittlige studentens typiske, dels forventede prestasjon, samt de vurderingskriterier som er lagt til grunn for denne vurderingen, og plassere den gjennomsnittlige prestasjonen innenfor de %-poenggrenser man mener er riktig. Når det er gjort, må man i det foreliggende eksemplet vurdere om man bør tenke på rangering og klynger. Karaktersetting er tross alt ingen eksakt disiplin, og her kan flere hensyn spille inn. Beste prestasjon er her kommet ut med 94 %-poeng, mens nest beste er kommet ut med 88 %- poeng. Her må man vurdere om disse to skal behandles som en klynge eller ikke. Enklest er det da å si at begge får A selv om de ligger på hver side av den anbefalte grensen for A. På den annen side er prestasjonene klart forskjellige, og spørsmålet er om de bør rangeres forskjellig. Ser man videre på den tredje beste prestasjonen som kom ut med 77 %-poeng, vil den få karakteren C i utgangspunktet, men siden vi nå kanskje har flyttet grensen for karakteren A ved å gi de to beste karakteren A, må vi vurdere om ikke denne kandidaten skal få B i stedet. De to svakeste kandidatene ligger i en typisk klynge med henholdsvis 48 og 53 %-poeng, men på hver sin side av grensen for karakterene E/D. Det burde være rimelig at disse fikk samme karakter. Om denne karakteren skal være E eller D er et skjønnsmessig spørsmål, men det vil vel helle mot å gi kandidatene en fordel og at begge honoreres med karakteren D. 5. Generelle kommentarer Vi skal ikke bruke normalfordeling som kriterium ved tildeling av enkeltkarakterer. En jevnt god og typisk besvarelse bør honoreres med C uansett nivå på utdanningen. Kravet til en prestasjon forventes å øke med nivået på utdanningen, slik at hele karakterspennet skal brukes uansett nivå. På grunn av at bokstavkarakterskalaen ikke er lineær, er det særdeles viktig at alle beregninger, summeringer og skaleringer av delvurderinger fra semesterprøver og andre karaktergivende tiltak, gjøres ved hjelp av %-poengmetoden før konvertering til endelig bokstavkarakter. Man må derfor ta vare på poengsummene hele veien fram til at alle klagefrister er utløpt. Kjell Malvig november 2006 s. 8 av 14

9 Vedlegg: Konverteringstabellen I 2005 har foretatt undersøkelser om karakterer basert på forespørsler til utdanningsinstitusjoner i Europa og oppslag på nettsider i Australia og USA. De fleste land i Europa benytter 40 %-poeng som strykgrense, men en del bruker 50, og Nederland stikker seg fram med 55. I USA er det vanlig med 50 %-poeng som strykgrense. Poenggrensen for stryk må ikke tas for kategorisk, da det til en strykgrense også er knyttet en kultur om å gi vanskelige eller lette oppgaver ved evalueringer. Undersøkelsen viste at det i de fleste nasjoner var en kultur for å benytte den høyeste karakteren til å skille ut de ypperste prestasjoner, slik at denne karakteren forekommer relativt sjeldent (max.10 %). Et stort unntak fra dette er USA, hvor inflasjonen har ødelagt bokstavkaraktersystemet, og hvor man seriøst diskuterer å gå over til %-poeng som karaktersystem. De aller fleste nasjoner bruker nå %-poeng som sideordnet beskrivelse av sine nasjonale karaktertrinn. Undersøkelsen viser at poengrensene for øvrig varierer en del mellom nasjonene, men det er typisk at poengområdet for den jevnt gode prestasjon er bredt omkring 70 %-poeng. Ut fra en bred behandling i diverse fora i sivilingeniørutdanningen og ingeniørutdanningene vedtok i sitt rådsmøte å anbefale at ingeniør- og sivilingeniørutdanningene følger denne konverteringstabell. Grenseverdiene er veiledende og kan fravikes ut fra de eksempler som er gitt i hovednotatet. Tabell 1 Karakter %-poenggrenser A 90 til og med 100 B 80 til og med 89 C 60 til og med 79 D 50 til og med 59 E 40 til og med 49 F 39 poeng eller dårligere november 2006 s. 9 av 14

10 Tabell 2 Karakterskala med spesifikk beskrivelse av karaktertrinnene Symbol Betegnelse Utdypende beskrivelse med vurderingskriterier A Fremragende Kandidaten viser særdeles god kunnskap i og oversikt over emnets faglige grunnlag og innhold. Kandidaten viser meget stor grad av selvstendighet og analytisk forståelse. Kandidaten viser svært gode ferdigheter i anvendelsen av kunnskapen. B Meget god Kandidaten viser meget god kunnskap i og oversikt over emnets faglige grunnlag og innhold. Kandidaten viser betydelig grad av selvstendighet og analytisk forståelse. Kandidatens ferdigheter i anvendelsen av kunnskapen ligger over gjennomsnittet. C God Kandidaten viser god oversikt over de viktigste kunnskapselementene og sammenhengene i emnets faglige grunnlag og innhold. Kandidaten viser selvstendighet. Kandidaten viser analytisk evne og forståelse. Kandidaten viser gjennomsnittlig evne til å anvende sin kunnskap. Gjennomsnittet kan dels tolkes som typisk prestasjon av mange studenter i emnet og dels som krav til tilfredsstillende god prestasjon i emnet. D Nokså god Kandidaten viser i noen grad analytisk evne og forståelse. Kandidaten viser selvstendighet i noen grad. Kandidaten viser oversikt over de viktigste kunnskapselementene og sammenhengene i emnets faglige innhold, men denne oversikten er preget av noen vesentlige mangler. Kandidaten viser i noen grad evne til å bruke kunnskapen aktivt, men prestasjonen er noe dårligere enn gjennomsnittet. E Tilstrekkelig Kandidaten viser mangelfull analytisk evne og forståelse. Kandidaten viser gjennomgående noe, men sporadisk preget oversikt over de viktigste kunnskapselementene og sammenhengene i emnets faglige innhold. Kandidatens prestasjon oppfyller minimumskravet som stilles i emnet når det gjelder kunnskap, analytisk evne og ferdighet i å anvende emnets kunnskapsinnhold. F Ikke bestått Kandidatens prestasjon faller under minimumskravet som stilles i emnet når det gjelder kunnskap, analytisk evne og ferdighet i å anvende emnets kunnskapsinnhold. november 2006 s. 10 av 14

11 Eksempel: Metode 2 En bedømmelse kan systematiseres og forenkles betydelig ved å strukturere arbeidet. Dette sikrer en bedre og mer rettferdig bedømming både individuelt og rangeringsmessig mellom kandidater i samme eksaminasjon og mellom årskull. Følgende anbefaling er velprøvd og lar seg lett sette opp i et regneark. Ved denne metode baserer man seg på kriterier og en vektlegging av disse. Ved bedømmingen er det vanskelig å forholde seg til et kriterium som er tildelt til eksempel hele 25 %-poeng. Dersom vi normaliserer %-poengene ved å la alle kriterier bedømmes på en skala fra 0 10 og deretter multiplisere med en vektfaktor for hvert kriterium vil arbeidet falle mye lettere.((0 10) x 2.5 = 0 25) Vi kan da i bedømmingen vurdere hvert kriterium ut fra den utdypende beskrivelsen i tabell 2. Dersom til eksempel kriteriet for utredning og metodisk skikkelighet vurderes til å være utført i hht. den utdypende beskrivelsen for en god prestasjon gis det 7 poeng. Således kan det for de øvrige vurderingstrinn benyttes standardverdier slik som vist i tabell 3. Tabell 3 Fremragende 9.5 eller 10 Meget god 8.5 God 7 Nokså god 5.5 Tilstrekkelig 4.5 Ikke bestått 0, 1, 2 eller 3 Metode 2 anga følgende kriterier og poengfordeling: o Problemforståelse o Utredning og metodisk skikkelighet o Originalitet / eget bidrag / selvstendighet o Diskusjon / kritisk vurdering o Presentasjon/språk/rapportkvalitet Sum 0 10 %-poeng 0 25 %-poeng 0 25 %-poeng 0 25 %-poeng 0 15 %-poeng %-poeng Med bakgrunn i den utdypende beskrivelsen i tabell 2 og de normaliserte verdiene i tabell 3, kan vi nå sette opp tabell 4 for en spesifikk kandidat. I dette eksemplet vurderes kandidatens arbeid til god (7) med hensyn til problemforståelse, meget god (8.5) hva angår utredning og metodisk skikkelighet, nokså god (5.5) hva angår originalitet / eget bidrag / selvstendighet, god (7) hva angår diskusjon / kritisk vurdering og god (7) hva angår presentasjon/språk/rapportkvalitet. Man tar så til slutt summen i nedre høyre rute og går inn i tabell 1 og finner at kandidaten kan gis karakteren C. november 2006 s. 11 av 14

12 Tabell 4 Kriterium Vurdering Multiplikator %-poeng Problemforståelse Utredning og metodisk skikkelighet Originalitet / eget bidrag /selvstendighet Diskusjon / kritisk vurdering Presentasjon/språk/rapportkvalitet Sum ~68 Sammenstilling av %-poeng fra flere delprøver Etter innføring av kvalitetsreformen kom det pålegg om at studenter skal prøves på flere måter enn bare ved avsluttende eksamen. Det er derfor blitt vanlig med tellende semesterprøver og andre arbeider i tillegg til avsluttende eksamen. Her vises et eksempel på hvorledes man kan telle sammen resultatene fra flere delprøver når man benytter %-poengmetoden. Eksemplet er basert på et tilfelle hvor avsluttende eksamen teller 60 %, en semesterprøve teller 20 %, og et arbeide teller 20 % i den endelige karakteren. Fremgangsmåten er da at man for hver av de 3 tellende delene utarbeider en bedømmelse i henhold til %-poengmetoden på en skala i henhold til de metoder som her er angitt. Det er svært viktig at man tar vare på %-poengene fra hver av bedømmelsene. Konvertering til bokstavkarakter må skje i aller siste operasjon. Man får da følgende enkle regnestykke: %-poeng avsluttende eksamen x %-poeng semesterprøve x %-poeng arbeider x 0.2 = totalpoeng. Et eksempel med fiktive %-poeng er satt sammen i tabell 5. Eksemplet viser at summen i nedre høyre rute viser at studenten totalt oppnår 76 %-poeng og vil få karakteren C, mens ruten for avsluttende eksamen alene angir 84 %-poeng og karakteren B. Dvs. at semesterprøven og arbeider drar sluttkarakteren ned. november 2006 s. 12 av 14

13 Man kan lett lage eksempel på at semesterprøven og arbeider drar sluttkarakteren opp. Svært mange faglærere mener at en ordning hvor resultatet av en avsluttende eksamen gir studenten et bedre resultat enn det samlede resultat av avsluttende eksamen med semesterprøve og arbeider, så skal studenten få nyte godt av at avsluttende eksamen fastsetter det endelige resultatet. Dette vil i alle tilfeller virke inspirerende på studenten til å delta i semesterprøver og arbeider i tilfelle avsluttende eksamen skulle gå galt av uforutsette grunner. Derved virker ordningen innsatsinspirerende i studiet. Noen universiteter og høgskoler gir faglærerne denne valgfriheten. Tabell 5 Prøvetype %-poeng (0-100) Multiplikator %-poeng Delpoeng av total Avsluttende eksamen ~50 Semesterprøve Arbeider Sum 76.4 ~76 Følgende beskrivelse er kopiert fra Diploma Supplement for ingeniørutdanningene i Norge: 4.4 Grading scheme and, if available, grade distribution guidance: The Norwegian scale of grades is based on the European ECTS grading scale, with letters from A to F or Passed/Failed. There is only one grade for failed. This is different from the ECTS grading scale that has two grades for failed. Some assignments, field work or similar work may be graded Completed/Not completed. It is important to point out that the US letter-based grades are different from the Norwegian ones. The comparison with US grades, in the table, is only indicative, and most applicable above D. The percentages for grades below D might be quite different between the US and Norway. The limit for Fail in the US might be 50%. The percentages are only used for conversion to letter-based grades in single courses. Norwegian grades: Equivalent percentages: US equivalent approx.: A: Excellent % A+ B: Very good % A / A- C: Good % B+ / B / B- D: Satisfactory % C+ / C / C- E: Sufficient % D F: Fail < 40 % Fail november 2006 s. 13 av 14

14 In Norway, A should be the grade for an excellent performance, and C should be the average grade over any large population and a long period of time. There is no demand for a statistical distribution of grades in a specified population or class. All grades are to be used equally at all levels of the education, which means that C should be the average grade both at Bachelor s and Master s levels. Kjell Malvig november 2006 s. 14 av 14