Karakterrapport for 2014 Vedtatt av Nasjonalt råd for økonomisk-administrativ utdanning (NRØA) 13. oktober 2014

Karakterrapport for 2014 Vedtatt av Nasjonalt råd for økonomisk-administrativ utdanning (NRØA) 13. oktober 2014 Bakgrunn UHR har etter innføring av bokstavkarakterskalaen gjennomført årlige karakterundersøkelser. Formålet har vært å få en nasjonal koordinering og en felles forståelse av hvordan karakterskalaen skal brukes på tvers av fag og institusjoner og på de ulike fagnivåene. En arbeidsgruppe under UHR har analysert karakterrapportene og på bakgrunn av disse utarbeidet årlige, nasjonale karakterrapporter. NRØA har bidratt til disse undersøkelsene ved å utarbeide flere karakterrapporter for bachelorstudiene i økonomi og administrasjon samt to karakterrapporter på masterstudiene. Rapportene har vært grundig drøftet i NRØA-møtene og er også oversendt til NRØAs medlemsinstitusjoner for internt bruk. NRØA nedsatte i tillegg i 2013 en ad hoc-arbeidsgruppe som bl.a. fikk som oppgave å utarbeide generiske karakterbeskrivelser for masterarbeiderne i økonomi og administrasjon. Denne arbeidsgruppen avleverte sin innstilling desember 2013, og innstillingen ble behandlet i NRØA-møte 8. januar 2014. NRØA har i likeledes i 2014 utarbeidet og vedtatt karakterbeskrivelser for bacheloroppgavene i økonomi og administrasjon. (Se: http://www.uhr.no/documents/vurderingskriterier_bacheloroppgaven_060814_korrigert.pdf og http://www.uhr.no/documents/karakterbeskrivelse_for_masteroppgavene_i kadm_vedtatt_1 00614 endelig_versjon.pdf ) 1

UHR har bedt fagmiljøene delta i en ny runde med karakterunderundersøkelser i perioden 2012-2016. Hvert fagområde vil være gjenstand for én undersøkelse i perioden. NRØA skal gjennomføre undersøkelsen i 2014. UHRs analysegruppe har pekt på følgende problemstillinger: Valg av karakterskala, bokstavkarakterskalaen eller bestått ikke-bestått Forholdet mellom bokstavkarakterskalaen og bestått ikke-bestått, særskilt vurdering av karakteren F i høve til minstekravet for bestått (gjelder særlig profesjonsutdanninger der en sertifiserer for yrkesutøving) Bruken av karakterskalaen på masterarbeid. Undersøkelse av inntil10 masterarbeid Erfaringene med fagspesifikke karakterbeskrivelser for masterarbeid Bruken av karakterskalaen på bachelorarbeid eller tilsvarendeinnleveringsarbeid. Undersøkelse av inntil 15 oppgaver Bruken av karakterskalaen på skoleeksamen. Undersøkelse av inntil 15 oppgaver Bruken av karakterskalaen opp mot kvalifikasjonsrammeverket Oppfølging ved institusjonene og i de nasjonale rådsorganene Andre aktuelle problemstillinger innen faget/fagområdet Analysegruppen under UHR anmoder om at det i tillegg til arbeidet med karakterbeskrivelser foretas en undersøkelse av karaktersettingen på et begrenset antall masterarbeider. Analysegruppen anbefaler også at NRØA vurderer om det er mulig å samordne karakterbeskrivelsene for masterarbeider med de samfunnsvitenskapelige fagene. I rapportene fra UHRs analysegruppe og i SØF-rapport nr. 03/13 påpekes en uheldig karakterfordeling for masterarbeidene i økonomi og administrasjon. Sammen med juridiske fag har masterarbeidene i økonomi og administrasjon den klart høyeste andelen av karakteren A, og det ingen tendens til endringer. Arbeidsgruppen som utarbeidet generiske karakterbeskrivelser for masterarbeiderne hadde i tillegg til mandatet kartlagt karaktergiving på masteroppgaver i perioden 2006-2012. Arbeidsgruppen kom til samme konklusjon som UHRs analysegruppe. 2

På bakgrunn av ovennevnte vedtok NRØA derfor at NRØAs karakterrapport for 2014 skal ha fokus på bruken av karakterskalaen på masterarbeidene. Dette ble begrunnet med at det både i rapportene fra UHRs analysegruppe og i SØF-rapport nr. 03/13 påpekes en uheldig karakterfordeling for masterarbeidene i økonomi og administrasjon. NRØA vedtok i sak 6/14 at det nedsettes en arbeidsgruppe på fem medlemmer for utarbeiding av karakterrapporten, og at de institusjonene som tilbyr masterutdanninger inviteres til å foreslå et medlem av arbeidsgruppen. Arbeidsutvalget for NRØA ble bedt om å nedsette gruppen på bakgrunn av de innkomne forslag. NRØA fant det hensiktsmessig at karakterrapporten tar utgangspunkt i den førnevnte ad hoc arbeidsgruppes kartlegging. Følgende karakterpanel ble oppnevnt: Professor Terje Vassdal, Universitetet i Tromsø (leder) Professor Gabriel R.G. Benito, Handelshøyskolen BI Førsteamanuensis Frode Kjærland, Høgskolen i Sør-Trøndelag Prodekan Frode Fjelldal Soelberg, Universitetet i Nordland Førsteamanuensis Kolbjørn Christoffersen, Norges miljø- og biovitenskapelige universitet Seniorrådgiver/sekretær i NRØA Mona Majgaard, UHR har vært panelets sekretær. Mandat for karakterpanelet: Panelet får i mandat å utarbeide en karakterrapport for bruk av karakterskalaen på masterarbeidene i økonomisk-administrativ utdanning. Panelet bes ta utgangspunkt i funnene om karaktergiving på masteroppgaver i perioden 2006-2012 som er presentert i rapport fra NRØAs hoc-arbeidsgruppe som har utarbeidet generiske karakterbeskrivelser for masterarbeiderne i økonomi og administrasjon, datert desember 2013. Gruppen bes i tillegg undersøke karaktergivingen i ca. 10 utvalgte masterarbeider i økonomisk-administrativ utdanning for studieåret 2013-2014. Gruppen bes ferdigstille karakterrapporten 15. september 2014. Se: http://www.uhr.no/rad_og_utvalg/nasjonale_rad/nroa/karakterrapport_for_2014 3

Ny analyse av 12 masteroppgaver innlevert 2013 Som det påpekes i NRØAs vedtatte mandat for karakterpanelet, vil ny analyse/karaktersetting av minst 10 oppgaver være hovedarbeidet for gruppen. Metode benyttet for ny karaktersetting I utvalgsmøtet 10. juni ble man enig om metode for ny karaktersetting Gruppen sensurerer med utgangspunkt i de nye karakterbeskrivelsene. Karakterpanelet skal foreta den nye karaktersettingen og er derfor den kommisjonen som skal sette karakterer. Det er blind sensur, dvs. karakterpanelet skal ikke få greie på hvilken karakter studenten opprinnelig har fått på oppgaven. Navnet på kandidaten(e), veileder(e) og lærestedet holdes mest mulig skjult for karaktergruppen. Vi avgrenser denne analysen til besvarelser som opprinnelig hadde fått A eller B. Begrunnelse for dette er at det er en utbredt oppfatning at det gis for mye gode karakterer, spesielt A. Utvalgets sekretær får tilsendt 4 oppgaver fra BI, 4 fra NHH og 2 fra hver av de øvrige institusjonene som gir siviløkonommaster, til sammen 22 oppgaver. Oppgavene må være innlevert og sensurert i 2013. Det må opplyses om det er en eller to studenter som har skrevet oppgaven. Oppgavene kan samles inn randomisert hvor fortrinnsvis noen som ikke kjenner innholdet i oppgaven foretar utvelging. Av de tilsendte oppgavene velges så ut minst 10 oppgaver basert på den kompetansen som karakterutvalget har. Det blir to sensorer på hver oppgave. Sekretariatet i NRØA tilskrev de institusjonene i Norge som gir mastergrad i økonomi og administrasjon i henhold til NRØAs plan for master som gir sidetittel «Siviløkonom». Vi fikk inn 23 oppgaver hvor navn på veileder og student(er) var fjernet fra alle oppgavene. Det lot seg ikke gjøre å anonymisere oppgavene på institusjonsnivå. Leder av karakterutvalget satte sammen nye kommisjoner basert på faglig kompetanse og oppgavenes innhold. For å få bredest og mest mulig faglig kompetanse ble utvalget for denne nye karaktergivingen utvidet med følgende anerkjente fagpersoner: professor Olje Gjølberg, NMBU, professor Øystein Gjerde, NHH, og professor Bernt Arne Ødegaard, UiS. Alle som deltok sensurerte 3-5 4

oppgaver. Ingen har sensurert oppgaver fra egen institusjon. Det er forsøkt unngått at noen sensurerte fra institusjon hvor man har bistilling. Det er skrevet karakterbegrunnelse for hver enkelt sensurert oppgave. Denne karakterbegrunnelsen, og hvem som sensurerte de enkelte oppgaver, er interne arbeidsdokumenter for arbeidsgruppen, og vil ikke bli offentliggjort. Til sammen 12 oppgaver ble sensurert. Resultatet vises i følgende tabell, hvor vi har med opprinnelig karakter og karakter ved ny sensur. Institusjon og fordypning Opprinnelig karakter Ny karakter NHH oppgave 2 (Finansiell økonomi) A B+ NHH oppgave 4 (Finansiell økonomi) A A/B UIT Oppgave 1 (Finans og investering/regnskap) B B- BI - Oppgave 1 (Finans) B B BI - Oppgave 2 (Finans) A B BI - Oppgave 4 (Tax and Accounting) A A/B NMBU - Oppgave 1 (CSR corporate social responsibility) A A NMBU - Oppgave 2 (Strategi/organisasjon) B C- UiA - Oppgave 1 (Økonomisk analyse) A D/C UiA - Oppgave 2 (Financial Economics) A B/C SiB Bodø Oppgave 1 (Finans og investering) B B (-) HBV oppgave 2 (Markedsføring) A A Drøfting De utvalgte masteroppgavene besto bare av oppgaver som hadde fått karakteren A (8 besvarelser) og B (4 besvarelser). Utvelging av de 12 oppgavene av et utvalg på 23 hvor ingen i karakterpanelet kjente til opprinnelig karakter, har ført til at vi ikke fikk jevn fordeling av A og B. Ingen av besvarelsene som opprinnelig fikk B har ved ny sensur fått A. Av de åtte besvarelsene som opprinnelig fikk A, endte fire med enten en klar A eller A/B. I praktisk sensurarbeid hvor også veileder er med i sensurarbeidet, vil ofte A/B bli forhøyet til karakter A. Fire besvarelser med A har nå fått en lavere karakter. Det er én oppgave med opprinnelig karakter A som nå har fått karakter C/D. Det kan skyldes at ulike fagområder har ulik standard på hva som er en god besvarelse. Det kan også skyldes at veiledere nominerer eksterne sensorer, og derfor vil ha en tendens til å velge sensorer som har samme faglige utgangspunkt. 5

Et annet moment er hvordan sensurprosessen foregår. Hvis det er lite sentral samordning på institusjonsnivå skjer det en del ganger at hver veileder kontakter sin egen sensor (gjerne en nær kollega), selv om man bare veileder én eller to oppgaver. Det å sensurere én eller to oppgaver uten en større kontekst kan være uheldig. Det vil være bedre å samordne sensur, slik at hver sensor har flere / mange oppgaver å vurdere (gjerne alle fra en hovedprofil hvis mulig). En slik metode for å velge ekstern sensor vil gi mer rettferdighet. Man kan rangere oppgavene, og det vil være lettere å se hvilke oppgaver som framstår som utmerkede eller "klart skiller seg ut". Dette er vanskelig hvis en sensor bare leser én oppgave, særlig hvis veileder og/eller sensor er uerfaren. Samordning av sensur kan være et forslag til tiltak i denne sammenheng. De nye karakterene er relativt mye forskjellige fra de opprinnelige. Bruker vi vanlig vekting (A=5, B=4 osv.) er differansen 0,77 når alle observasjonene er med og 0,52 hvis vi tar bort observasjon 9 (som ble endret fra A til D/C). Med statistisk testing, hvor vi har brukt både vanlig t-test og bayesiansk t-test, er begge differansene forskjellig fra null innenfor 95 % signifikansintervall. 6

Karakterutviklingen over tid Utvalget har tatt utgangspunkt i arbeidet til NRØAs karakterutvalg oppnevnt i 2013. Som en del av dette arbeidet, og som oppfølging av tidligere karakterutredninger gjort av NRØA, er det samlet inn karakterstatistikk fra alle norske institusjoner som gir master i økonomi og administrasjon av typen «Siviløkonom». Noen institusjoner har forholdsvis parallelle studier med delvis overlappende emneinnhold, som likevel ikke fullt ut tilfredsstiller kravene som stilles av NRØA for master i økonomi og administrasjon. Vi har skilt ut slike studier. I tilfeller hvor slike studier er til stede innen en institusjon, har vi i noen tilfeller forsøkt å se om det er systematiske forskjeller i karaktergiving mellom de ulike studieløpene. Denne analysen er ikke vist i dette notatet. Konklusjonen er imidlertid at innen en og samme institusjon er hovedregelen at ulike studieløp får om lag samme karakterfordeling på mastergradsoppgaven. Noen studieløp med få studenter er observert å ha avvikende karakterfordeling. Vi har følgende totaltall for sektoren for masteroppgaver i økonomi/administrasjon (Siviløkonom). Vi har karakterstatistikk for 7 811 besvarelser fordelt på åtte år. Vi noterer at antall kandidater har mer enn fordoblet seg i denne perioden. A B C D E F Sum 2006 248 208 73 15 0 5 549 2007 286 261 91 16 0 3 657 2008 362 326 97 10 3 2 800 2009 405 388 100 11 1 0 905 2010 483 510 123 24 12 2 1154 2011 520 518 182 27 4 4 1255 2012 495 561 158 26 6 11 1257 2013 487 565 130 33 1 18 1234 Sum 3286 3337 954 162 27 45 Totalsum 7811 Det er helt klart at A og B er de dominerende karakterene. Dette forholdet er stabilt over tid. Ikke bestått og karakter svakere enn C er relativt uvanlig. Den relative fordeling hvert år og samlet fremgår av følgende tabell. 7

A B C D E F 2006 45,2 % 37,9 % 13,3 % 2,7 % 0,0 % 0,9 % 2007 43,5 % 39,7 % 13,9 % 2,4 % 0,0 % 0,5 % 2008 45,3 % 40,8 % 12,1 % 1,3 % 0,4 % 0,3 % 2009 44,8 % 42,9 % 11,0 % 1,2 % 0,1 % 0,0 % 2010 41,9 % 44,2 % 10,7 % 2,1 % 1,0 % 0,2 % 2011 41,4 % 41,3 % 14,5 % 2,2 % 0,3 % 0,3 % 2012 39,4 % 44,6 % 12,6 % 2,1 % 0,5 % 0,9 % 2013 39,5 % 45,8 % 10,5 % 2,7 % 0,1 % 1,5 % Samlet 42,1 % 42,7 % 12,2 % 2,1 % 0,3 % 0,6 % Det er få studenter som innleverer masteroppgave og så stryker. Vi kan vel anta at en del svake masteroppgaver blir holdt igjen av veileder og ikke kommer fram til sensur. Ulike institusjoner kan ha ulike eksamensregler for slike tilfeller. Når en inkluderer stryk, er det bare 3 % av studentene som får dårligere karakter enn C. I fem år (av åtte) er A den vanligste karakter på masteroppgave. Over hele tidsperioden får nesten 85 % av studentene karakter A eller B. Vi har for alle institusjoner beregnet veid karakter (vekt: A=5, B=4, C =3, D=2, E=1) for besvarelser bedømt til en bestått karakter. Vi har også for alle institusjoner regnet ut antall studenter for hver karakter, og relativ fordeling. I denne rapporten viser vi er slik analyse bare for hele sektoren. 8

Hele sektoren Karakterutvikling 2006-13. (Siviløkonom) 4,35 4,30 4,25 4,27 4,25 4,30 4,31 4,24 4,22 4,21 4,24 4,20 4,15 4,10 4,05 4,00 2006 2007 2008 2009 2010 2011 2012 2013 9

Er det lik karakterfordeling på alle institusjonene? Nei, det er det ikke. Noen institusjoner gir over tid klart bedre gjennomsnittlige karakterer enn andre. Dette illustreres i totaltallene, som vises i følgende figur. Vi har ikke gjort noe forsøk på å finne årsaken til denne situasjonen. 4,40 4,30 4,20 4,10 4,00 3,90 3,80 3,70 3,60 Gjennomsnitt karakter på institusjonsnivå 4,35 4,30 4,14 4,13 4,11 4,01 3,98 3,87 3,87 Vi ser at NHH og BI samlet over hele perioden har gitt bedre karakterer enn de øvrige institusjonene. Hvor stor forskjellen er, er vist i følgende figur. Forskjellen er statistisk signifikant når testet med ikke-parametrisk kji-kvadrattest. 10

Drøfting og oppsummering Denne utredningen har vurdert karaktersetting for masteroppgave i økonomisk-administrative fag som gir sidetittel «Siviløkonom». Det finnes mange alternative studieretninger innen det forholdsvis brede fagfeltet under betegnelsen samfunnsøkonomi, uspesifisert økonomi, økonomi og ledelse osv. Som påpekt, vår avgrensing er oppfattet å bare evaluere «Siviløkonom» -studiet. Den nye karaktersettingen av 12 oppgaver viste at forholdsvis få oppgaver fikk eksakt den samme karakter. Ingen av oppgaven fikk bedre karakter ved ny karaktergiving. Men hvis en tar hensyn til avrunding til hele karakterer, og en tendens til avrunding oppover, fikk 7 av 12 den samme karakter. Dette kan skyldes at karaktergiving i utgangspunktet ikke er en helt eksakt vitenskap. I det eksperimentet vi har gjort, har hver kommisjon hatt forholdsvis få oppgaver å forholde seg til. Det har derfor ikke vært mulig, som ofte er praksis, å starte med å rangere oppgavene internt for å finne «det relative nivået», og deretter relatere oppgavene til karakterbeskrivelsen. Men vårt arbeid kan også ha avdekket virkning av den etablerte prosedyre for karaktersetting. For det første har ikke vi hatt veileder med i karaktersettingen. Hvem som var veileder, var forsøkt holdt skjult for karaktergruppen. Veileder vil normalt ha et synspunkt på hvilken karakter en oppgave fortjener og vil kunne ha sterk innflytelse på karakterkommisjonen. For det andre er det i vårt eksperiment bare eksterne sensorer (to på hver oppgave). Dette skiller seg fra praksis i øk.adm. fagene som alle bruker en ekstern og en intern sensor, og hvor den interne sensor normalt også er veileder. For det tredje vil i mange tilfeller veileder nominere (foreslå) ekstern sensor for «sine» oppgaver. Det er ofte en ekstern sensor som har samme syn på metode og teorigrunnlag. Etter vår vurdering trekker de fleste av disse forhold i retning av at den etablerte sensurprosedyre tenderer til å gi studenten bedre karakterer enn vi kom fram til. Riktig karakter er bestemt av den vedtatte karakterbeskrivelsen. Dette fører til at vi skal sette karakter i forhold til en absolutt karakterskala. Vi vet at i den perioden vi har statistikk fra (2006-13) og for det året vi foretok ny karaktersetting (bare for året 2013), har det ikke vært en god fagspesifikk karakterbeskrivelse tilgjengelig. Det er nå rettet opp. NRØA har fått utarbeidet en ny, grundig og gjennomtenkt karakterbeskrivelse for masteroppgaver. NRØA har anbefalt at alle institusjoner tar i bruk den nye karakterbeskrivelsen fra og med 2015. Denne endringen kan påvirke karaktersetting, og virkningen av dette ene tiltaket må 11

evalueres. I neste trinn bør det vurderes om også andre tiltak bør implementeres. To forhold er etter vårt syn sentrale hvis karakterene fremdeles blir urimelig gode, og bare en liten del av karakterskalaen brukes. Det første og enkleste tiltaket er at alle institusjoner for sitt sensurarbeid begynner å anvende et standardisert sensurskjema, for eksempel tilvarende det som er anbefalt brukt for MNT-fagene. Dette vil føre til at en nødt til å dokumentere bedre hva som er grunnlaget for den karakteren som gis. Det andre tiltaket er å komme fram til en sensurprosedyre hvor veileder ikke er med i karaktergivingen, men selvsagt blir konsultert av kommisjonen og får komme med innspill og vurderinger. Etter vår informasjon er det den nye, anbefalte praksis for MNT-fagene. Bare én institusjon (UiT) bruker i dag en slik eksamensform for vurdering av øk.adm. masteroppgaver. NRØA har vedtatt å anbefale at alle institusjoner som gir master i økonomi og administrasjon anvender samme prosedyre for involvering av veileder. Implisitt betyr nok vedtaket at en da forsetter med den praksis som flertallet allerede følger, dvs. at veileder er et av medlemmene i kommisjonen. Men det kan tenkes at en bør gå over til den eksamensform som MNT-fagene har vedtatt å innføre, hvor veileder ikke er med i karakterkommisjonen, men skal konsulteres før karaktersetting, for eksempel i et møte med sensorene. Motargumentet kan være at dette blir mer kostbart og administrativt vanskeligere enn dagens ordning. Kostnadsargumentet og praktiske hensyn synes vi er svakt underbygget. Karakter på masteroppgave er for studentene trolig den viktigste karakter i hele studiet. Institusjoner bør ikke ta lett på denne karaktersettingen og velge en billig sensurprosedyre. Det er vist at gjennomsnittlig karakternivå er forholdsvis stabilt over tid innen hver institusjon. Sammenpressing av karakterskalaen til dagen praksis med hovedsakelig karakterer A og B, er også stabil. Noen institusjoner har en tydelig mer sammenpresset bruk av skalaen enn andre. Dette fenomen kan forklares eller bortforklares. For det første har studentene gått gjennom seleksjon før de blir opptatt på masterstudiet, og karakterkrav for opptak varierer mellom institusjonene. Opptak til bachelor skjer (bortsett fra BI) gjennom Samordna opptak, og karakternivå for lavest kvalifiserte student kan der avleses. For opptak til masterstudiet praktiserer mange institusjoner internt opptak. Karaktergrensen er da ikke åpent kjent. Det bør gjøres en studie som ser på sammenhengen mellom karakterer på masteroppgaven og kvalifikasjonsgrense for opptak til samme masterstudium. Det er også fremhevet at studentene får veiledning. Det er derfor ikke urimelig at resultatet blir bra og markert bedre enn for normale karakterfordelinger til vanlige eksamen i ulike emner. En student med en i utgangspunktet svak oppgave kan bli frarådet å innlevere, kan bruke ekstra tid, eller få aktiv hjelp av veileder til å forbedre oppgaven. Svake besvarelser blir derfor 12

sortert ut før eksamen. Studenter har også mulighet til å skrive oppgaven innen et tema som de har spesiell interesse og talent for, og dette trekker trolig også opp karakternivået. Vi må ikke her glemme at karakterer skal settes i forhold til et absolutt nivå, ikke en relativ frekvensskala. Og til slutt kan trekkes frem at fagets praktiske og næringsrettede egenart, på grense til et profesjonsfag med liten interesse fra studentene til videre studier mot en PhDgrad, gjør at en detaljert karakterskala kan oppfattes som et lite relevant signal når en skal ut i den første jobben. En vurdering i form av bestått ikke bestått har i lengre perioder tidligere vært brukt av noen av våre institusjoner før nåværende karakterskala ble innført. En kan ikke helt se bort fra at en så enkel vurderingsmåte faktisk kan være dekkende for behovet. Det nåværende store antall gode karakterer, hvor tidvis A er den mest brukte karakteren, er en ulempe for de spesielt gode besvarelsene. Det virker ikke helt rimelig at 40 50 % av besvarelsene er så fullkomne at de kan karakteriseres som «En fremragende prestasjon som klart utmerker seg på et nasjonalt nivå». (Sitat fra karakterbeskrivelse for A). I årene 2006-13 er det 3286 slike «fremragende» besvarelser av totalt 7811. Trolig er en slik karaktersetting mest diskriminerende eller urettferdige for de virkelig utmerkede besvarelsene. Det bør ikke være en stor nedvurdering om oppgaven mer riktig kan karakteriseres som «En meget god prestasjon som klart skiller seg ut» (karakter B), eller «En generelt god prestasjon [som har] god innsikt i fagområdets vitenskapelige teori og metode og viser kunnskap på et godt nivå.» (karakter C). Oppsummert kan en si at vi argumenterer som følger: Er den nåværende karaktersetting et problem eller ikke? Det kan tenkes at karakterene avspeiler riktig nivå på oppgavene og studentenes evner. Vi synes ikke de verbale argumentene for dette synet er overbevisende, men det bør kanskje studeres om det er en sammenheng mellom opptaksnivå og karakterer på masteroppgaven. Vi synes det kan argumenteres for at karakternivået er blitt et problem fordi det ikke gir informasjon om hva som er spesielt gode prestasjoner, og hva som er alminnelig gode prestasjoner. Også sammenlignet med andre fag kan karakternivået bli sett på som et problem. Hva skal en så gjøre? Vi foreslår at en følger NRØAs anbefaling og bruker de nye karakterbeskrivelsene aktivt fra og med 2015, og at alle har en ensartet praksis for hvor involvert veileder skal være. En bør observere om dette har noen effekt. Hvis problemet består, bør en vurdere å gjøre mer fundamentale endringer i selve funksjonen til eksamenskommisjonene. Det mest drastiske er da å frikoble veileder fra direkte karaktersetting, og at eksamenskommisjonen bare konsulterer med veileder før karakter settes. 13

Vedlegg 1: En detaljert beskrivelse av karakterene for alle institusjonene som deltar i undersøkelsen Institusjonene kommer i følgende rekkefølge: 1. BI Handelshøgskolen 2. Høgskolen i Buskerud 3. Høgskolen i Sør-Trøndelag (TØH) 4. Norges Handelshøyskole (NHH) 5. NMBU 6. Universitetet i Agder 7. Universitetet i Nordland Handelshøgskolen i Bodø 8. Universitetet i Stavanger Handelshøgskolen 9. Universitetet i Tromsø - Handelshøgskolen 14

BI 2006-13. For perioden 2006-11 er trolig mer enn master i øk.adm. inkludert. Høgskolen i Buskerud 2009-13 15

HiST (TØH) 2006-13 16

NHH 2006-13 17

NMBU (alias NLH, alias UMB) 2007-13 18

UiAgder 2006-13 19

UiN Høgskolen i Bodø (har bare årstall 2010-13) 20

UiS Handelshøgskolen 2007-13 21

UiT Handelshøgskolen 2006-13 22

23

Vedlegg 2: Testing av forskjeller Hensikten med denne testen er å sammenligne frekvensfordeling for to utvalg. Frekvensene som brukes er antall karakterer i karaktergruppene A, B, C D, E. Ikke bestått (F) er utelatt. Dette gir en 5 x 2 tabell, som har (5-1) x (2-1) = 4 frihetsgrader. En kji-kvadrattest er brukt, og vi har brukt signifikansnivå 99 % og 95 %. Konkusjonen «Sterkt signifikant forskjell» betyr at forskjellen mellom forventet og observert fordeling er signifikant på minst 99 % nivå. Konklusjonen «Svak signifikant forskjell» betyr at forskjellen er signifikant mellom 95 % og 99 %, mens «Ingen signifikant forskjell» betyr at forskjellen ikke er signifikant på 95 % nivå. Nedenfor er vist testprosedyren for forskjellen mellom BI og NHH perioden 2006-13. Konklusjonen er at det er forskjell i karaktergiving. Vi ser imidlertid av utregningen «Decomposed Chi-Square» at forskjellen ikke kommer av ulik frekvens A-karakterer, men skyldes ulik frekvens for B, C og D. NHH gir relativt mer B og mindre C og D enn BI. Resultatet av de øvrige testene er vist summarisk på neste side. Er det forskjell på NHH og BI i hele perioden 2006-2013? Kjikvadrattest Tekst A B C D E Obs NHH-2006-13 1407 1319 262 29 5 3022 BI-2006-13 1212 951 318 55 8 2544 2619 2270 580 84 13 5566 Expected NHH-2006-13 1422 1232 315 46 7 3022 BI-2006-13 1197 1038 265 38 6 2544 5566 Actual - Expected -15 87-53 -17-2 15-87 53 17 2 0 Decomposed Chi-Square 0,157 6,075 8,888 6,047 0,600 0,187 7,216 10,558 7,183 0,713 Kjikvadrat 47,625 4 frihetsgrader For 4 degrees of freedom P(χ 2 >13.28) = 0.01 and P(χ 2 >9.49) = 0.05 Konklusjon: Sterk signifikant forskjell 24

Følgende tester er gjennomført 1 2 3 4 5 6 7 8 Kjikvadrat testobservator (4 df) Konklusjon Er det forskjell på NHH og BI i hele perioden 2006-2013? 47,625 Sterk signifikant forskjell Er det forskjell på NHH og BI i perioden 2012-2013? 14,905 Sterk signifikant forskjell Er det forskjell på siv.øk opp mot lignende studieretninger i økonomi på NMBU 2007-2013? 1,240 Ingen signifikant forskjell Er det forskjell på siv.øk i Tromsø og i Bodø 2010-2013 5,158 Ingen signifikant forskjell Er det forskjell på siv.øk (5 eller 3+2)i Bodø 2010-2013 og Andre i Bodø 9,441 Ingen signifikant forskjell Er det forskjell på NHH+BI mot "røkla" 2013 83,439 Sterk signifikant forskjell Er det forskjell på beste år NHH (2013) mot dårligste år NHH (2009) 19,598 Svak signifikant forskjell Er det forskjell på HiBodø 2006-9 mot 2010-13 (Energy mangement og sustainable management trukket fra) 26,650 Sterk signifikant forskjell 25