Hva er viktige kvaliteter ved god sensur? -En kartlegging av bruk av ekstern sensor på lavere grad med fokus på kvalitet, økonomi, vurdering og læring Nicoline Frølich, Synnøve Brandt, Vibeke Opheim og Tine S. Prøitz 29. oktober 2010, Presentasjon UH-rådet v/tine S. Prøitz
Bakgrunn for prosjektet Kvalitetsreformen ga lærestedene for høyere utdanning større frihet til å avgjøre hvilke sensorordninger som skulle benyttes (Bernt, 2006). 3-9. Eksamen og sensur (1) Universiteter og høyskoler skal sørge for at kandidatenes kunnskaper og ferdigheter blir prøvet og vurdert på en upartisk og faglig betryggende måte. Vurderingen skal også sikre det faglige nivå ved vedkommende studium. Det skal være ekstern evaluering av vurderingen eller vurderingsordningene. 1-6. Kvalitetssikring (1) Universiteter og høyskoler skal ha et tilfredsstillende internt system for kvalitetssikring. Studentevalueringer skal inngå i systemet for kvalitetssikring. Situasjonen da og nå: Som nå var norsk høyere utdanning i 2000 preget av heterogenitet i vurderingsmetodene (Vabø, 2000: 7).
Begrepsapparat Sensorordninger er en samlebetegnelse for hvordan sensur organiseres ved eksamen, sensorordninger handler om; hva som skal sensureres, hvem og hvor mange som skal sensurere, samt hvordan sensuren skal gjennomføres. Å sensurere betegner en rekke profesjonaliserte handlinger knyttet til å vurdere en kandidats prestasjon ved eksaminering, det være seg skriftlig, muntlig eller ved løsning av en praktisk oppgave. I høyere utdanning innebærer eksamenssensur å vurdere en (eksamens)prestasjon, uttrykke denne vurderingen i en karakter, kommunisere vurderingen til eksamenskandidaten, samt å forholde seg til eksamenskandidatens reaksjon på vurderingen.
Argumenter for og mot ekstern sensur Det er tre sentrale formål med ekstern sensur: 1. Ekstern sensur skal sikre at karakterer som gis ved ulike institusjoner er sammenliknbare i forhold til nasjonale (internasjonale) standarder. 2. Studenter skal sikres rettferdig vurdering ved å skape distanse mellom dem som underviser og dem som vurderer prestasjoner. 3. Ekstern sensurering kan anses som et hensiktsmessig virkemiddel for kontroll og kvalitetssikring gjennom det innsyn og transparens systemet åpner for (Stensaker et al., 2008). De to første formålene er direkte knyttet til sensurarbeidet, mens den tredje er av mer indirekte karakter. Det tredje formålet kan sees i lys av de siste års fokus på ansvarliggjøring av offentlig virksomhet (accountability). Kritiske røster: det er ikke mulig å oppnå sammenliknbarhet for karakterer spørsmål ved om det finnes èn bestemt akademisk standard negative konsekvenser ved systemer der institusjonene for høyere utdanning organiserer ekstern sensur selv opprettholde akademiske standarder innenfor disiplinene ekstern sensur er for kostbart og tidkrevende
Tema og problemstillinger for kartleggingen Kartlegging av hvordan nøkkelaktører i feltet begrunner sine valg, gir vi en fremstilling av rådende praksis og oppfatninger knyttet til følgende tre spørsmål: 1. Er det en sammenheng mellom sensorordning og kvalitet på sensuren? 2. Er det en sammenheng mellom sensorordninger og kostnader? 3. Er det en sammenheng mellom sensorordning og læring og vurdering?
Analytisk rammeverk for kartleggingen Å etablere gode ordninger for sensur handler om å balansere en rekke hensyn og prioriteringer. Basert på Lauvås (2000) utviklet vi et rammeverk for å muliggjøre diskusjon om sensur i forhold til kvalitet, økonomi, læring og vurdering Fire hovedhensyn: Formelle forhold; rettsikkerhet, ivaretakelse av juridiske rettigheter Kommunikasjonsmessige forhold; legitimitet Metodiske aspekter: standardisering, objektivitet, reliabilitet, ytre validitet, indre validitet, Praktiske forhold; balanse mellom ressurser og omfang Lauvås (2000) peker på at det er vanskelig å ivareta alle hensynene like godt og at det gjøres prioriteringer mellom dem når et system etableres. Sensorordninger er forankret i utdanningssystemenes tradisjoner, historie og institusjonelle strukturer. Derfor tas de gjerne for gitt og diskuteres sjelden.
Metodisk tilnærming Kartlegging av sensurpraksis ved 31 offentlige læresteder datagrunnlaget består av en spørreundersøkelse om sensurpraksis sendt samtlige universiteter, vitenskapelige høyskoler og statlige høyskoler i mars 2009 (37). Trettien læresteder besvarte undersøkelsen. Samtidig ble det gjennomført 30 kvalitative intervju med studiedirektører, studieledere og tilsynssensorer ved fem fagområder (naturvitenskapelige og teknologiske fag; samfunnsfag; humanistiske fag; juridiske fag og pedagogiske fag) ved 10 læresteder; Universitetet i Bergen (UiB), Universitetet i Stavanger (UiS), Universitetet i Oslo (UiO), Norges Handelshøyskole (NHH), Høgskolen i Lillehammer (HiL), Høgskolen i Bodø (HBO), Høgskolen i Sogn og Fjordane (HSF), Høgskolen i Oslo (HiO), Høgskolen i Nesna (HiNe), Høgskolen i Østfold (HiØ)
Resultater: omfang av ulike typer sensurpraksis
Resultater: mest utbredt sensurpraksis
Resultater: andel sensorordninger knyttet til kvalitetssikringssystem
Resultater: oppfatninger om kvalitet i sensur Ekstern sensur: Et hovedsynspunkt i materialet er at ordninger som omfatter intern og ekstern sensor bidrar til å sikre kvalitet Informanter ved mindre høyskoler uttrykker behov for å velge ekstern sensorordning for å signalisere kvalitet til studenter, samt til andre læresteder og arbeidsgivere. Ene-sensur: Oppgis å bli benyttet i enkeltemner med ved Bachelor oppgaven benyttes ekstern sensur Ved bruk av ene-sensur i større skala trekkes enkeltemner ut for ekstern sensur som korrektiv I tillegg til ene-sensur brukes også ordninger med tilsynssensor Tilsynssensor/programsensor/bedømmersensor/eksamenskomite/ nivåkontrollør En ordning for kvalitetssikring der gjennomgående ekstern sensur ikke lengre brukes Andre sensurformer: to interne sensorer
Ekstern sensur og kostnader Tre hovedfunn om forholdet mellom ekstern sensur og kostnader: Varierende oppfatninger om kostnader ved ekstern sensorordning Hvilke kostnader som anses å inngå i sensorordning varierer Fagmiljøenes tilpasning til økonomisk situasjon varierer En hovedoppfatning er at ekstern sensorordning er svært kostnadskrevende, men tilpasningene til denne oppfatningen varierer blant fagmiljøene. Den gamle ordningen oppfattes som mest kostnadskrevende, enesensur oppfattes som minst kostnadskrevende Tilsynssensor anses å være en nyvinning for å opprettholde kvalitet på sensur og redusere kostnader.
Sensurering og læring Tre hovedsyn i spørsmålet om ekstern sensur flytter ressurser fra læring til vurdering. bruk av ekstern sensur flytter ressurser fra læring til vurdering, dette vil nødvendigvis ikke skje, læringsorienterte vurderingsformer er mer ressurskrevende enn bruk av ekstern sensur. Det fremholdes av informanter at det er et motsetningsforhold mellom læring og vurdering og at ekstern sensur flytter ressurser fra læring til vurdering..samtidig utfordres dette motsetningsforholdet av andre informanter som mener at alternative tilnærminger er mer ressurskrevende enn ekstern sensur. Ikke systematisk sammenheng mellom oppfatninger og ordning
Resultater oppsummert Hvordan sikrer U&H institusjoner kvalitet gjennom sensorordninger; Ekstern sensur brukes fortsatt i stor grad Det er imidlertid stor variasjon mellom og innenfor U&H institusjoner i hvordan sensorordninger er organisert Gammel praksis videreføres (ekstern sensor er fortsatt en del av eksaminasjonskommisjoner) Ny praksis uten ekstern sensor med med ekstern kvalitetssikring Ny praksis uten ekstern sensor men med annet internt tiltak for kvalitetssikring... og dermed signifikansen av læringsutbytte i U&H sektoren? Det er høy enighet blant informantene om at sensorordning med ekstern sensur er den beste måten å sikre kvalitet på. Samtidig finner vi at å sikre kvalitet krever flere enn en sensor, og at antallet sensorer anses som like viktig som skillet mellom ekstern og intern sensur. Informantene er likevel ikke enige om hvilken ordning med ekstern sensur som er den beste.
Gode fortolkninger? Plutselige endringer i sensorordninger med røtter i sterke tradisjoner møtes med motstand og medfører dilemmaer og spørsmålsstillinger ved institusjonaliserte prosedyrer. U&H institusjonene utformer lokale løsninger med vekt på tradisjonelle kvalitetsargumenter og forsøker å kombinere nye krav fra myndighetenes side med innarbeidede idealer. Til tross for opprettholdelsen av ekstern sensurs status, er det ikke enighet angående hvorvidt ulike nye sensurordningene sikrer kvalitet. Kan vi si at opprettholdelsen av prinsippet om ekstern sensur ved institusjonene kan tolkes som de vitenskapelige ansattes siste skanse for akademisk kontroll og autoritet når det gjelder kvalitet i utdanning?
Tema for diskusjon: Institusjonenes ulike forutsetninger for ivaretakelse av ulike hensyn ved valg av sensorordning kan medføre ulike prioriteringer er det mulig å ivareta kvalitet og herunder rettsikkerhet i en slik situasjon? Er det holdbart med stor variasjon i ordninger for sensur og hva betyr variasjonen for kvaliteten på karakterene? Takk for oppmerksomheten
Et utvalg referanser Dysthe, O., Raaheim, A., Lima, I., & Bygstad, A. (2006). Undervisnings- og vurderingsformer. Pedagogiske konsekvenser av Kvalitetsreformen. Hannan, A., & Silver, H. (2006). On being an external examiner. Studies in Higher Education, 31: 57-69. Jacobsen, A., & Lauvås, P. (2001). Examen - eller hvad. Former for summativ evaluering i professionsuddannelser. Fredriksberg : Samfundslitteratur. Lauvås, P. (2000). "Eksamen" innen høgre utdanning i Norge. Vedlegg 13 til NOU 2000: 14 (Mjøs-utvalgets innstilling). Oslo. Lauvås, P., Havnes, A., & Raaheim, A. (2000). Why this inerita in the development of better assessment methods? Quality in Higher education, 6(1): 91-99. Silver, H., Stennet, A., & Williams, R. (1995). The external examiner system. Possible futures. Report of a project commissioned by the Higher Education Quality Council. London : Quality Support Centre. Solum, N. H. (2005). Sensorordninger i høyere utdanning - kartlegging av status og utviklingstrekk ved 10 institusjoner. Oslo : NIFU STEP Arbeidsnotat 17/2005. Stensaker, B., Brandt, E., & Solum, N. H. (2008). Changing systems of external examination. Quality Assurance in Education, 16: 211-223. Vabø, A. (2000). Eksamens- og evalueringsformer i høyere utdanning: en sammenlignende studie. En rapport for Mjøs-utvalget og for KUF. Oslo : NIFU Skriftserie 7/2000.