Karakterundersøkelsen 2014. Rapport fra Nasjonalt fagråd for kjønnsforskning 1 Innledning 1.1 Utarbeidelse av rapporten Fagrådet for kjønnsforskning har utarbeidet rapporten. Den bygger på notat og muntlig rapport fra en ekstern kommisjon oppnevnt av fagrådet, og diskusjoner i fagrådet. 1.2 Problemstillinger i rapporten Fagrådet valgte å fokusere karaktersetting av tverrfaglige masteroppgaver i kjønnsforskning, jfr. problemstillingen «Bruken av karakterskalaen på masterarbeid. Undersøkelse av inntil 10 masterarbeid» (brev fra UHR mars 2014). Institutt for tverrfaglige kulturstudier/senter for kjønnsforskning (SKF) ved NTNU har tilbudt en mastergrad - Master i tverrfaglige kultur- og kjønnsstudier siden 2003 1, mens graden Master in Gender Studies er relativt ny ved Senter for tverrfaglig kjønnsforskning, UiO. MAoppgavene inngår i 2-årige program som er tverrfaglige. 2 På grunnlag av innspill fra kommisjonen valgte fagrådet å diskutere følgende del-problemstillinger: Hvordan er karakterskalaen brukt? Synes bedømmingen riktig og rettferdig? Hvordan fungerer karakterbeskrivelsen? Hvilke spesielle utfordringer er knyttet til tverrfaglighet? Hvordan er forholdet mellom sofistikert teori og analytisk kompetanse? 1.3 Arbeidsmåte I bestillingen fra Universitets- og høgskolerådet ble det anbefalt å benytte karakterdata fra 2013. Det viste seg å være vanskelig å oppfylle slik at utvalget av masteroppgaver fra de to institusjonene er gjort på forskjellig måte (se under pkt. 2.2). 1 H- 2014 ble dette endret til Master i likestilling og mangfold. 2 Tverrfaglig betyr i denne sammenheng flere ting: pensum består av tekster fra kjønnsforskning i ulike disipliner, studentene rekrutteres både fra BA i kjønnsstudier, andre BA-program forutsatt at de har minst 30 studiepoeng i kjønnsstudier og BA program i humaniora og samfunnsvitenskap uten kjønnsstudier, foreleserne har i all hovedsak sin akademiske opplæring fra andre disipliner enn kjønnsstudier, sensorene har oftest sin bakgrunn i andre disipliner enn kjønnsstudier. De to siste punktene har sammenheng med at kjønnsstudier som disiplin har en kort historie i Norge. 1
Fagrådet valgte å oppnevne en ekstern kommisjon bestående av to medlemmer til å vurdere og sette karakter på de utvalgte masteroppgaver. De to medlemmene kom fra hhv. NTNU og Høgskolen i Oslo og Akershus. Ingen av dem har vært foreleser, veileder eller sensor ved de to masterprogrammene. Kommisjonen ble oppnevnt 14.07.14 og skulle levere sitt notat til Fagrådet innen medio oktober 2014. Kommisjonen bestemte seg for at begge medlemmene skulle lese alle oppgavene og bedømme dem individuelt, for så å ha en felles vurdering med karakter etter skalaen A-F. Kommisjonen var ukjent med hvilke karakterer som ble gitt ved ordinær sensur. Kommisjonen har skrevet et notat hvor det er redegjort for bedømmelseskriteriene som kommisjonen benyttet og det er gitt en begrunnet vurdering av alle masteroppgavene. I notatet gir kommisjonen til slutt en vurdering av sitt resultat, samt anfører en del punkter til drøfting. Kommisjonen presenterte notatet gjennom en muntlig redegjørelse i Fagrådets møte 24.oktober 2014. 2. Den konkrete undersøkelsen 2.1. Om problemstillingene a) Hvordan er karakterskalaen brukt? Hvordan er karakterskalaens spenn brukt i ordinær sensur og av kommisjonen? Hvis skalaen er lite brukt, hva kan være grunnen og hvilke konsekvenser kan det ha? b) Hvordan kan bedømmingen bli riktig? En sammenligning av karakterfastsettingen i sensur og av kommisjonen kan gi en indikasjon på om bedømmelsen er riktig og rettferdig eller ikke. c) Hvordan fungerer karakterbeskrivelsen? Er karakterbeskrivelsene egnet til å honorere masteroppgavene entydig langs én dimensjon? Hvis flere dimensjoner, som kunnskapsbidrag og tekstlig øvingsoppgave, er vektingen mellom dem presisert? d) Utfordringer knyttet til tverrfaglighet. Tverrfaglighet stiller både studenter og lærere overfor spesielle utfordringer: Mange av studentene har en BA-grad som er forankret i disiplinfag, og har dermed opplæring i disiplinenes faglige idealer, normer og standarder. De fleste sensorer har en disiplinbasert grad. I varierende grad har de sin praksis fra undervisning (og forskning) i 2
tverrfaglige kjønnsstudier. Kan disse forholdene komplisere karakterfastsettingen? Hvordan samsvarer kompetansekrav til studentene med deres faglige forutsetninger? Hvordan forholder sensorene seg til forholdet mellom disiplinfag og tverrfaglighet? e) Forholdet mellom sofistikert teori og analytisk kompetanse. Tverrfaglige kjønnsstudier er kjennetegnet av sofistikerte teoridannelser, som også avspeiles i pensum. God forskning på feltet viser hvordan analyser er gjennomført; hva slags teori(er) de er beriket av. Er det godt samsvar mellom studentenes teoretiske kunnskaper og analytiske ferdigheter? 2.2 Materiale og datakilder Rapporten bygger på kommisjonens analyse av 8 masteroppgaver levert og bedømt i årene 2010-2013 ved SKF/ NTNU og STK/UiO. Ved Institutt for tverrfaglige kulturstudier/skf ble det plukket ut fire oppgaver innenfor årene 2010-2013 ut fra karakter, to oppgaver som hadde fått karakteren A, en med karakteren B og en med karakteren C. Valget var dels begrunnet med karakterspredning, dels å få vurdert bruk av karakteren A. Utvalget ble foretatt av administrativt personale som ikke har spesifikt kjennskap til oppgavene. Ved Senter for tverrfaglig kjønnsforskning ble det valgt ut fire oppgaver fra STKs første MA-kull i 2013, to med karakteren B og to med karakteren C. Ingen oppgaver ved STK har fått karakteren A. Begge masterprogrammene bruker karakterskalaen A-F. Kommisjonen fikk tilsendt institusjonenes karakterbeskrivelser og følgebrev til sensorer og utførte blindsensur på oppgaver ingen i kommisjonen hadde sensurert tidligere. På bakgrunn av dette utarbeidet de et notat og framla en grundig rapport i møte med Fagrådet. Fagrådets diskusjoner, samt en diskusjon av utvalgte problemstillinger i STKs programråd, danner utgangspunktet for resultater, vurderinger og forslag til tiltak. 2.3. Resultat Karakterbeskrivelser og følgebrev til sensorer legger vekt på om studenten demonstrerer evne til å behandle et avgrenset tema på en faglig holdbar, gjennomtenkt og presis måte. Masteroppgaven skal utgjøre et selvstendig arbeid av forskningskarakter. Den skal konsentrere seg om en avgrenset, forskbar problemstilling, og være basert i et 3
empirisk materiale som foreliggende tekster, egne observasjons- og /eller intervjudata, foreliggende intervjudata, statistikk m.m. Begrunnelser for datavalget bør foreligge. Det samme bør en teoridiskusjon/litteraturgjennomgang i tillegg til selve analysen av et empirisk materiale. Kommisjonen la følgende sjekkliste til grunn: Er problemstillingen forskbar, klar og presis? Er problemstillingen i dialog med valgt teori? Er den anvendte metoden formålstjenlig med hensyn til problemstillingen? Er behandlingen av faglitteraturen fyllestgjørende, oppdatert og relevant? Er framstillingen logisk oppbygd, og er det sammenheng mellom de forskjellige delene av oppgaven? Er analyseresultatene og konklusjonene rimelige og konsistente med det framlagte data- eller kildematerialet, og har analysen sammenheng med valgt teori og metode? Resultatet av kommisjonens vurderinger: Oppgave Opprinnelig Kommisjonens Kommentar karakter vurdering 1 A C Stor diskrepans sensur/kommisjon 2 B 1: D 2: B Intern uenighet i panel 3 A C Stor diskrepans sensur/kommisjon 4 B C Diskrepans sensur/kommisjon 5 C C 6 B B (?) Ett kommisjonsmedlem i tvil 7 C C 8 C C 4
Det er særlig tre forhold som utpeker seg. For det første viser tabellen at det var diskrepans mellom kommisjonens vurderinger og opprinnelig sensur i 3 oppgaver (oppgave 1, 3, 4). Det som trer fram i kommisjonens vurderinger som fellestrekk av de tre oppgavene er at det er særlig svakheter i den empiriske analysen. Den tenderer til å bli normativ og uttrykk for studentens meninger mer enn fundert i materialet. Oppgavene viser en teoretisk styrke, men det er ikke godt samsvar mellom teori og empiri i analysene. For det andre var det relativt stor enighet i kommisjonen. Kommisjonen var enige om karaktersetting i 6 av 8 oppgaver, unntak var oppgave 2 og 6. For oppgave 2 var det et sprik fordi styrker og svakheter ble vektet ulikt. Oppgave 6 ble vurdert bare av en av kommisjonens medlemmer da den andre ikke kjente seg kompetent til å gjøre en vurdering. For det tredje fikk de 6 oppgavene karakteren C. Kommisjonen angir at de ikke selv helt kan forklare hvorfor. Disse tre resultatene ble grunnlaget for drøftingen i fagrådet. 3. Drøftinger/vurderinger Fagrådet ser det som positivt at UHR valgte ut Tverrfaglige kjønnsstudier til årets karakterundersøkelse. Dette har bidratt til diskusjoner om viktige spørsmål for fagfeltet. Diskusjonene om de ulike problemstillingene kan oppsummeres slik: Ad a) Den ordinære sensuren viste spredning i bruk av karakterskalaen blant utvalget av oppgaver. Kommisjonens vurderinger ga som resultat at langt de fleste oppgavene (6 av 8) ble bedømt til karakteren C. Utfra en antakelse om at det sannsynligvis er en spredning i kvaliteten på oppgaver bør det gi seg utslag i karakterene. Fagrådet ser følgende som mulige forklaringer på kommisjonens mange C er: Tverrfaglighet er i seg selv en utfordring, og resultatene kan være et resultat av at dette er spesielt krevende, snarere enn av at studentenes evner isolert sett i hovedsak tilsvarer C Kommisjonen kan ha safet i sin bedømmelse fordi kvalitetskriteriene er uklare. Oppgavene var på C-nivå fordi studentene ble «forvirret» av tverrfagligheten i løpet av studiet. 5
Programmet tiltrekker seg svake studenter. Noen studenter kan ha lavere ambisjoner enn å få A eller B og har lagt opp arbeidet med sikte på en ståkarakter. Det er observert at studenter gjerne venter til sitt siste semester før de begynner å skrive oppgaven. Da er det sent å lære seg det praktiske håndverket det er å analysere. Ad b) Riktig og rettferdig vurdering må sees i sammenheng med evalueringsprosessen. Kommisjonen bemerket at det var sprik mellom ordinær sensur og kommisjonens vurdering i 3 av 8 oppgaver, og at det var sprik internt i kommisjonen i 2 oppgaver. Fagrådet mener at: Karakterfastsetting bør være en kollektiv prosess som bidrar til å sette standarder ved at det brukes mer enn en sensor. Slik er det ikke på lavere nivå, mens MA-oppgaver alltid vurderes både av en intern og en ekstern sensor. Det kan likevel være et problem å finne uhildede sensorer fordi feltet er lite. Riktig og rettferdig vurdering bør også sees i sammenheng med valg av sensorer. Velges sensorer ut fra oppgavens tema, hvilken disiplin den ligger mest opp til eller/og hvilken analysetradisjon den representerer? Ad c) Sensurkriterier. Skal en MA-oppgave i tverrfaglig kjønnsforskning bedømmes som tekstlig øvingsoppgave eller utfra hva den bidrar med til ny kunnskap, eller begge deler? Kommisjonen observerte at sensurkriteriene primært legger til grunn at masteroppgaven skal gi studenten praktisk øvelse i å gjennomføre et forskningsarbeid (følgebrev til sensorene SKF). Fagrådet erkjenner at: kriteriene som er i bruk har ikke i tilstrekkelig grad tatt hensyn til kvalifikasjonsrammeverket som er utviklet spesielt for tverrfaglige kjønnsstudier. Kriteriene tar heller ikke hensyn til at noen oppgaver har anvendte ambisjoner. 6
Ad d) Tverrfaglighetenes utfordringer. Fagrådet påpeker at utfordringer forbundet med tverrfaglighet ikke kun gjelder sensurarbeid, men er en utfordring for feltet som sådan. De fleste etablerte forskere i feltet har en annen disiplin enn kjønnsstudier som akademisk opplæring. Et spørsmål er om dette innebærer at studenter bedømmes utfra en dobbelt-faglighet? Vår erfaring er at dette ikke skjer, dvs. at det er stor enighet mellom oss som veileder/sensurerer uavhengig av fagbakgrunn. Et annet spørsmål er om feltet heller bør satse mer på BA-grad i stedet for å tilby mastergrad til studenter som har sin BA-grad i en disiplin. Det er ulike opptakskriterier ved de to undersøkte institusjonene. I den ene kreves kun BA-grad i humaniora eller samfunnsvitenskap, i den andre kreves minst 30 studiepoeng i kjønnsstudier. Likevel framkom ingen forskjell i kommisjonens vurdering av oppgaver fra de to institusjonene. Ad e) Forholdet mellom teori og analyse De vurderte oppgavene bærer preg av kjennskap til sofistikert teori, men også av en svakere sammenheng mellom teori og empirisk analyse. Dette gjelder både oppgaver som ligger nært opp til humanistiske og til samfunnsvitenskapelige fag. Fagrådet mener det er viktig at studentene lærer å gjennomføre og gjøre rede for sammenhengen mellom materiale, teori og analyser, noe som også inngår i læringsmålene ved de to masterprogrammene. Et spørsmål som ble tatt opp er om den mest avanserte teoriens plass i undervisningen forut for at studentene skal forholde seg til empiri og virkelighet. Det kan være hensiktsmessig å justere ned krav og forventninger til avansert teori uten at dette går ut over studentenes evne til å ivareta kritiske perspektiv. Spørsmålet om forholdet mellom teori og empiri gjelder ikke nødvendigvis for alle oppgaver. Oppgaver som bygger på for eksempel filosofiske tradisjoner gjør ikke det. 4. Utfordringer/forslag til tiltak 7
De utfordringene som det bør jobbes videre med er: Sensurkriteriene: De bør i større grad reflektere fagspesifikke kompetansekrav. Analytisk kompetanse bør vektlegges tydelig. Sensurkriteriene bør også inneholde generelle krav, slik som å forholde seg til annen forskning på feltet, etterprøvbarhet og referanser. Det må også tas hensyn til at ikke alle oppgaver består i å anvende teoretiske perspektiver på empirisk materiale. Analytiske ferdigheter: Veiledere og studenter bør tidlig informeres om sensurkriteriene. Undervisning og veiledning bør legge mer vekt på analytisk kompetanse Studenter bør oppfordres til å reflektere over forholdet mellom «å bruke teori xx» og «å være inspirert av teori xx». Mest mulig rettferdig og riktig vurdering: Sensorer bør i størst mulig grad gjenspeile oppgavens fag/analysetradisjon i tillegg til tema. Tverrfaglighetens utfordringer: Diskutere betydningen av kjønnsforskning som tverrfaglig disiplin versus som dobbelt-disiplinært fagfelt. 8