Karakterundersøkelser 2015 MNT-fag Delrapport for Master i teknologi (siv.ing)

Karakterundersøkelser 2015 MNT-fag Delrapport for Master i teknologi (siv.ing) Innhold 1 Om rapporten... 2 2 Sammendrag... 3 3 Problemstillinger i rapporten... 5 3.1 Institusjoner som omtales i rapporten... 5 4 Metode... 6 4.1 Metode og modellspesifikasjon... 6 4.2 Resultater og tolkninger... 6 5 Resultater... 7 5.1 Sammenheng mellom inntakskarakterer og karakterbruk i de ulike delene av studieprogrammene... 7 5.1.1 Inntakskarakters effekt på studieresultat i grunnleggende matematikk, fysikk og IKT fag.. 7 5.1.2 Sammenheng mellom arbeidsinnsats og Matematikk 1, IKT Grunnkurs og Fysikk samt i masteroppgaver i teknologi... 7 5.1.3 Sammenheng mellom gjennomstrømning, karakterer og inntakskvalitet... 9 5.1.4 Sammenheng mellom karakterene på ulike trinn i studiet... 12 5.1.5 Karakterbruk gjennom studiet... 13 5.2 Karakterbruk på masteroppgaven... 14 5.2.1 Effekt av veileder i eksamenskommisjonen for masteroppgaver... 15 5.2.2 Effekt av om en presentasjon av masterarbeidet inngår i bedømmelsen på karakter... 16 5.2.3 Er det ulik bruk av karakterskalaen for masteroppgaver i ulike fagmiljø?... 16 5.3 Utvikling i karakterer på masteroppgaven over tid... 19 5.4 Er det forskjeller mellom studieprogrammene i utviklingen i karaktersetting?... 24 5.5 Er karaktersetting avhengig av antall studenter i emnene?... 25 5.6 Diskusjon av resultatene... 26 5.6.1 Funn... 26 1

5.6.2 Metodiske problemer... 26 5.6.3 Usikkerhet i datagrunnlag... 27 5.6.4 Vurdering av arbeidsmetoden... 27 6 Konklusjon... 28 6.1 Referanser... 29 7 Vedlegg... 30 7.1 Vedlegg 1: Studieprogram som inngikk i undersøkelsen og koding av programnavn... 30 7.2 Vedlegg 2: Uttak av karakterdata fra FS Bestilling til institusjonene... 33 7.3 Vedlegg 3: Spørsmål som hver institusjon ble bedt om å svare på for hvert program.... 37 7.4 Vedlegg 4: Ulike data, grafer og analyser som ikke fikk plass i hovedrapporten... 38 1 Om rapporten Rapporten er utarbeidet av Øyvind Gregersen NTNU (leder), Geir Øivind Kløkstad UiA, Sigbjørn Hervik UiS, Hans Ekkehard Plesser NMBU og Ivar Pettersen NTNU (sekretær) Arbeidet ble ledet av Nasjonalt råd for teknologisk utdanning (NRT) og Nasjonalt fakultetsmøte for realfag (NFmR). Arbeidsgruppen samarbeidet med tilsvarende arbeidsgrupper for Bachelorutdanning i ingeniørfag (3-årig), Bachelorutdanning i realfag og Masterutdanning i realfag. 2

2 Sammendrag I denne rapporten har vi undersøkt hva som påvirker karakterbruken innen masterutdanningene i teknologi i Norge. Undersøkelsen er gjort basert på uttrekk av karakterdata for alle enkeltemner fra FS og kobling mellom emner og program. Denne metoden gjør det mulig å se tydelige kvantitative sammenhenger og ulikheter i karakterbruken. Det anbefales at metoden brukes i fremtidige karakterundersøkelser. Vi ser at det som har størst effekt på karakteren til enkeltstudenter er opptaksgrunnlaget fra videregående skole. Studenter med en karakter bedre opptaksgrunnlag fikk i snitt 1,4 til 1,7 bedre karakterpoeng i grunnleggende emner og 0,7 bedre karakterpoeng på masteroppgaven. Vi så også en tydelig positiv korrelasjon mellom karakterene enkeltstudenter fikk på ulike nivå gjennom studiet. Disse funnene viser at vi er konsistente i bedømmelsen av gode og svake prestasjoner. Funnene viser også at det er rimelig at karakterfordelingen varierer mellom ulike studieprogram i Norge avhengig av hvor godt karaktergrunnlag studentene som starter på studiet har. Imidlertid viser beregningen av naive enhetsbidrag at når man justerer for hvor godt opptaksgrunnlag (5-årige program) eller hvor godt studentene har gjort det i masterdelen av studiet, så er det fremdeles betydelige forskjeller i hvor gode karakterer studentene får på masteroppgaven mellom de ulike studieprogrammene. Med noen få unntak ligger denne effekten innenfor ±0,4 karakterpoeng. Disse avvikene kan enten tolkes som at enkelte fagmiljø er konsistent for snille eller for strenge i sin bedømmelse av masteroppgaver. Det er imidlertid ikke mulig å skille effekten av bedømmelse fra effekten av kvaliteten i oppfølging og veiledning, så dette vil og kunne ha en effekt på naive enhetsbidrag. Fra innføringen av nye karakterbeskrivelser i, så ser vi ulike effekter for ulike institusjoner. HiT, HiG og NMBU har hatt en nedgang i gjennomsnittskarakter på 0,5-0,7 mens NTNU har en liten men signifikant nedgang på 0,1. For andel A ser vi en lignende trend, HiG og NMBU har størst nedgang med 25 og 22 prosentpoeng, HiT reduserte med 9 prosentpoeng og NTNU med 5 prosentpoeng. Vi har noen opplysninger som kan tyde på at måten de nye karakterbeskrivelsene er innført på og spesielt, hva som skal til for å oppnå en A på masteroppgaven skiller de institusjonene som har hatt en markant reduksjon i snittkarakter og de som ikke har det. Vi har funnet at det ikke har noen tydelig effekt på masterkarakteren om en presentasjon av oppgaven inngår som en del av arbeidet eller ikke. Vi kan ikke konkludere på om det har noen betydning om veileder deltar i eksamenskommisjonen for sensur av masteroppgaver eller ikke, etter som det bare er Universitetet i Tromsø som praktiserer at veileder ikke er med i noen av kommisjonene. Vi vil anbefale institusjonene å følge opp karakterbruken i fagmiljø som har store positive eller negative avvik i naive instituttbidrag for karaktersetting av masteroppgaver. Sensorer og faglærere bør igjen informeres grundig om karakterbeskrivelser og sensurveiledninger før 3

sensuren våren 2016. De institusjonene som ikke har vist noen endring i karakterbruk bør både informere og vurdere andre tiltak. De institusjonene og fagmiljøene som har store positive avvik i naive instituttbidrag på masterkarakteren bør vurdere om en egen sensurgruppe bør gå gjennom masteroppgaver som sensor og faglærer mener skal belønnes med A for å sikre ens karaktersetting og en rimelig andel A. 4

3 Problemstillinger i rapporten Denne rapporten undersøker karakterbruken ved universitet og høyskoler i Norge som tilbyr masterutdannelse innen teknologiske fag. Undersøkelsen er gjort som en del av UHRs karakterundersøkelser og er utført i parallell og samarbeid med tilsvarende undersøkelser for bachelorutdannelse i realfag og i teknologi og masterutdannelse i realfag. De sentrale problemstillingene som blir berørt i denne rapporten er: Hvordan er sammenheng mellom gjennomsnittlig opptakskarakter, resultat i grunnleggende emner, resultater i masterdelen av studiet og masterkarakter? Er det slik at det er ulik karaktersetting mellom ulike institutt og institusjoner som ikke kan forklares ved at studentene ikke er like sterke? Påvirker det karakteren om faglærer inngår i eksamenskommisjonen? Inngår en presentasjon som en del av masteroppgaven og påvirker dette karakterene? Har innføringen av nye karakterbeskrivelser i hatt den ønskede effekten? Påvirker når og hvordan nye karakterbeskrivelser ble innført effekten av karakterbeskrivelsene? Påvirker studentenes arbeidsinnsats i programmet karakterene som blir gitt Gjennomstrømmingstall for programmet og sammenheng med karakterer Sammenheng mellom antall studenter i et program og karakterbruk Sammenheng mellom resurser (vit ansatt/student) og karakterbruk 3.1 Institusjoner som omtales i rapporten Følgende institusjoner er omtalt i rapporten: Høgskolen i Buskerud og Vestfold (HBV), Høgskolen i Ålesund (HiÅ/HiAls), Høgskolen i Gjøvik (HiG), Høgskolen i Narvik (HiN), Høgskolen i Telemark (HiT), Norges miljø- og biovitenskapelige universitet (NMBU), NTNU, Universitetet i Agder (UiA), Universitetet i Stavanger (UiS) og UiT Norges arktiske universitet (UiT) 5

4 Metode Alle universitet og høgskoler som har masterutdanning i teknologi ble bedt om å levere data til karakterundersøkelsen fra utvalgte studieprogram. Studieprogrammene ble valgt slik at alle program med mer enn 20 uteksaminerte studenter pr år ble inkludert, i tillegg ble program med færre studenter inkludert hvis dette var nødvendig for at alle institusjonene skulle bli inkludert. Hvilke institusjoner og program som har levert data fremgår av Vedlegg 1. Hver institusjon ble bedt om å levere en fullstendig oversikt over karakterbruk i hvert enkeltemne ved å gjøre et datauttrekk fra FS for perioden - etter en prosedyre utarbeidet av arbeidsgruppen (Vedlegg 2). Dette datauttrekket gav karakterdata på individnivå. Dataene ble anonymisert før oversendelse til arbeidsgruppen. Hver institusjon fikk i tillegg et spørreskjema (Vedlegg 3) med spørsmål om sensorbruk, hvordan sensur av masterutgaver utføres og innføring av nye karakterbeskrivelser. I tillegg har vi hentet ut data om studentenes egen rapporterte arbeidsinnsats fra studiebarometeret og informasjon om gjennomsnittlige opptakspoeng og gjennomstrømning fra DBH. 4.1 Metode og modellspesifikasjon Vi analyserer sammenhengen mellom karaktersetting og opptaksgrunnlag ved hjelp av regresjonsanalyser. I regresjonsanalyser har vi muligheten til å beregne gjennomsnittseffekten av endring i en forklaringsvariabel på utfallet samtidig som vi kan kontrollere for andre kjennetegn. Vi definerer et utvalg avhengige variabler som forklares av ett sett av forklaringsvariabler. De estimerte effektene har ikke nødvendigvis en kausal tolkning. Vi inkluderer binærvariable (dummier) for år og institusjoner i noen av analysene. Institusjonsdummiene kontrollerer for uobserverbare forhold som er konstante over tid. Årsdummiene kontrollerer for forhold som påvirker alle enheter samme år. 4.2 Resultater og tolkninger Generelt tolkes MKM-koeffisienter 1 som gjennomsnittlig endring i avhengig variabel som følge av én enhets økning i forklaringsvariabelen. Eksempel: i en analyse av effekten av opptaksgrunnlag på gjennomsnittskarakter estimerer vi en koeffisient på 0.15. Dette betyr at gjennomsnittskarakteren øker i gjennomsnitt med 1.5 karakterer hvis opptaksgrunnlaget øker med 1 hel karakter, dvs. 10 opptakspoeng (for eksempel fra 4 til 5 i snitt). 1 Minste-kvadraters metode. En lineær regresjonsmetode som sikrer beste lineære føyning mellom faktiske og predikerte verdier. 6

5 Resultater 5.1 Sammenheng mellom inntakskarakterer og karakterbruk i de ulike delene av studieprogrammene 5.1.1 Inntakskarakters effekt på studieresultat i grunnleggende matematikk, fysikk og IKT fag Som et første trinn i analysen undersøkte vi i hvilken grad inntakskarakter påvirket resultatet i grunnleggende emner i matematikk, fysikk og IKT, som er felles for studieprogrammene. Med hensyn til tilgjengelige data korrelerte vi enkeltstudenters eksamensresultater i hhv Matematikk 1, Fysikk 1 og IKT Grunnkurs (NTNU, NMBU, UiT; se Vedlegg 4 for detaljert informasjon om hvilke emner inngikk for hvert lærested); i alt inngikk 23360 karakterer i analysen (9439 matematikk, 7084 fysikk, 6023 IKT; 15626 NTNU). Samlet over alle lærersteder, studieprogrammer og grunnfag viser analysen at en forskjell på 1,0 i inntakskarakter medfører en forskjell på 1,5 i grunnfagskarakter, jf Tabell 1. Korrigerer man for faste effekter, dvs velger en meget konservativ regressionsanalyse, ser man fremdeles en forskjell på 0,9 i grunnkarakter Inntakskarakteren har altså en stor effekt på studiesuksess i grunnemnene. Fullstendige analyseresultater er i tabell A3 i vedlegg 5. Resultatene viser også at NTNU har signifikant lavere gjennomsnittskarakterer enn NMBU når alle grunnemner er med i analysen. UiT ligger systematisk over NMBU. For NTNUs del gjelder dette resultatet alle de tre disiplinene, men for UiT gjelder dette kun i matematikk. Tabell 1: Resultat av regresjonsanalyse mellom inntakskarakter og karakter i grunnemner. Verdien 1,5 for IKT betyr: for to studieprogrammer A og B, der A har 1,0 høyere inntakskarakter enn B, vil gjennomsnittskarakter i IKT grunnemne for studenter som følger program A være 1,5 høyere enn for studenter som følger program B. Alle grunnemner Alle grunnemner uten NTNU Alle grunnemner korrigert for faste effekter Matematikk 1 Fysikk 1 IKT 1 1,5 1,6 0,9 1,7 1,4 1,5 5.1.2 Sammenheng mellom arbeidsinnsats og Matematikk 1, IKT Grunnkurs og Fysikk samt i masteroppgaver i teknologi Vi har opplysninger om studentenes rapporterte tidsbruk (antall timer per uke) til organiserte læringsaktiviteter og egeninnsats utover dette. Tallene er hentet fra studiebarometeret og er aggregert på studieprogramnivå i våre analyser. Respondentene i undersøkelsen er 2.- og 5. årsstudenter. Tidsbrukstallene er fra, og i hovedsak basert på respondenter i sitt 2. studieår. For å sannsynliggjøre at vi kobler respondentene mot riktig kull kan vi studere karaktersetting i 7

/200-emner i mot rapportert tidsbruk. I tillegg kan vi studere sammenheng mellom masteremner avlagt i mot tidsbruk i 5. år. Opptaksgrunnlaget kan tenkes å påvirke studentenes tidsbruk i studiene. To konkurrerende hypoteser om det. Den ene er at gode karakterpoeng fra videregående skole er en proxy for studentenes arbeidsvaner som antyder en positiv korrelasjon. Alternativt er opptaksgrunnlag og arbeidsinnsats substitutter (for et gitt resultat må svake studenter jobbe hardere enn sterke studenter). Da forventes en negativ sammenheng. Fasiten er at opptaksgrunnlaget og tidsbruken er positivt korrelert. Korrelasjonen er også statistisk signifikant mellom antall karakterpoeng og den organiserte aktiviteten. Sammenheng karakterer og egeninnsats MTMART 35 MTDESIG MTIØT 30 25 20 IMAT-EOM IMAT-INF MTMT MTBYGG MTEL MTTK MTFYMA MTPETR MTPROD MTKJ MTENERG MTDT MTING M-BA MTTEKGEO M-VM M-MF MTNANO 15 M-KB M-IØ MTKOM M-MPP 2.50 3.00 3.50 4.00 4.50 5.00 Snittkarakter masteroppgave 5-årige masterprogram NTNU blå, NMBU lysegrønn og UiT rød Figur 1: Sammenheng mellom studentenes tidsbruk på studier og snittkarakter på masteroppgaven for studieprogrammene i undersøkelsen (se forklaring på programnavn i vedlegg 1) I figur 1 har vi illustrert rapportert tidsbruk i 5. år og gjennomsnittskarakter på masteroppgaven. Regresjonslinjen antyder en systematisk sammenheng der økt tidsbruk i gjennomsnitt bidrar til økt gjennomsnittskarakter. Regresjonsresultater viser at dette resultatet er avhengig av modellspesifikasjonen. I tabell 2 ser vi at egeninnsatsen har en signifikant positiv effekt på gjennomsnittskarakteren og andel A 8

på masteroppgaver. En økning i egeninnsats på 10 timer i uken øker karaktersnitt i gjennomsnitt med 0,4. Denne effekten reduseres når vi også kontrollerer for opptaksgrunnlaget. I noen robusthetstester viser det seg at denne effekten i stor grad drives av forskjeller mellom institusjonene. Inkluderes institusjonsdummier i analysen blir effekten av egeninnsatsen ikke signifikant. Dette kan tolkes som om institusjoner med flittige studenter får bedre karakter på masteroppgaver, men at denne effekten er svakere innenfor hver institusjon, dvs mellom studieprogram for gitt institusjon. Analysene viser også at opptaksgrunnlaget er en viktig prediktor for gjennomsnittskarakter og andel A. Tabell 2: Regresjonsanalyse som viser effekten av opptakskarakterer, gjennomsnittlig arbeidsinnsats og organisert aktivitet på grunnleggende emner, masteremner og masteroppgaven 1./2.årsemner M5 1./2.årsemner M5 1./2.årsemner M5 M- EMNER M5 MOPPG M5 MOPPG M5 MOPPG M2 M- EMNER M2 Andel A Organisert aktivitet -0.0024-0.0013 Egeninnsats 0.0018-0.00067-0.0012 0.014** 0.0040 0.0089* 0.0018 Karakterpoeng 0.013*** 0.012*** 0.012*** 0.032*** Snittkarakter Organisert aktivitet -0.028-0.020 Egeninnsats 0.014-0.0038-0.0033 0.035** 0.010* 0.041*** 0.014 Karakterpoeng 0.076** 0.070** 0.056*** 0.078*** *** p<0.01, ** p<0.05, * p<0.1. 5.1.3 Sammenheng mellom gjennomstrømning, karakterer og inntakskvalitet Vi har tre datasett tilgjengelig for å analysere sammenhengen mellom gjennomstrømming og karakterer. Et sett hver for 2- og 5-årige masterprogram (Figur 2 og 3) i tillegg til NTNU-data som er personentydige. Fra DBH har vi hentet data som beskriver utviklingen i antall kandidater og antall opptatte studenter. Kandidatproduksjon sett i forhold til antall opptatte 2 eller 5 år før gir oss en gjennomstrømmingsrate. I de 2-årige programmene har vi ikke karakterdata for bachelorutdanningen. Vi er derfor begrenset til å bruke karakterer fra masteremner. I de 5-årige programmene kan vi teste sammenhengen mellom gjennomstrømmingsraten fra 2009-kullet og karakterer i grunnleggende emner våren (andre semester for 2009-kullet). 9

Vi har god grunn til å tro at en eventuell sammenheng mellom karakterer og gjennomstrømming kan drives av bakenforliggende faktorer. Opptaksgrunnlaget vil sannsynligvis påvirke begge. For å teste dette kan vi inkludere opptaksgrunnlaget fra 2009 i analysen av de 5-årige programmene. Karakterdata er på individnivå, mens gjennomstrømmingsratene og opptaksgrunnlaget på studieprogramnivå. I analysene er det derfor viktig å kontrollere standardavvikene for denne clustringen på studieprogramnivået. 0.90 0.80 0.70 Sammenheng gjennomstrømming og karakterer 2-årige masterprogram MIBYGG MIPROD MSPROMAN 941 MIUVT MSINDECOL MACS MASTENE MITK MSELPOWER MSN1 MASTINDØK 850MD M-IN M-KONMAT M-EL M-PETENG MSG1 MIS M-INDØKG M-OFFTEC M-ENVTEC 940 0.60 0.50 M-PETBOR M-IB 942 MASTIKT 840MD MASTMEK M-TECHSAFE 2.00 2.50 3.00 Snittkarakter mastergradsemner 3.50 4.00 Kilde: FS og DBH. A=5 HiG oransje, NTNU blå, UiS grønn, HiALS lilla, HiN svart, HiT rosa, UiA gul og UiT rød. Figur 2: Sammenheng mellom snittkarakterer i masterdelen av studiet og gjennomstrømingsrate for 2-årige masterprogram. 10

1.20 Sammenheng gjennomstrømming og karakterer 5-årige masterprogram M-BA 1.00 MTPETR M-VM MTIØT 0.80 0.60 0.40 MTTEKGEO MTKOM MTMT MTDESIG MTING MTDT MTEL IMAT-EOM MTPROD MTKJ MTENERG MTTK M-MPP M-KB MTBYGG MTMART M-IØ M-MF MTFYMA IMAT-MOLBI IMAT-INF MTNANO 1.50 2.00 2.50 Snittkarakter 1.årsemner-emner 3.00 3.50 Kilde: FS og DBH. A=5 NTNU blå, NMBU lysegrønn og UiT rød Figur 3: Sammenheng mellom karakterer i grunnleggende emner og gjennomstrømningsrate for femårige masterprogram Begge figurene antyder en stigende sammenheng mellom gjennomsnittskarakterer og gjennomstrømmingsrate. En regresjonsanalyse av sammenhengen er utført (Tabell 3), men resultatene kan ikke tillegges noen kausal tolkning. Effektene bør tolkes som betingede korrelasjoner. Resultatene fra regresjonsanalysen bekrefter den positive korrelasjonen mellom karaktersnitt og gjennomstrømming for både 2- og 5-årige masterprogram. For de 5-årige programmene forsvinner denne effekten når vi inkluderer opptaksgrunnlaget i modellen. Vi kan ikke utelukke at opptaksgrunnlaget på 2-årige master også driver denne sammenhengen. I så tilfelle er den observerte effekten spuriøs da den drives av en bakenforliggende faktor. Tabell 3: Regresjonsanalyse av effekten av gjennomsnittskarakterer i studiet på gjennomstrømningsrate Avhengig: snittkarakter Gjennomstrømmingsrate 1.årsemner 1.årsemner Masteremner Masteremner u/oppg M5 M5 M2 M2 0.75** 0.18 0.035*** 0.036*** Karakterpoeng 0.099*** N 7,312 7,312 38,521 35,940 Alle modeller inneholder binære kontroller for institusjon og år. *** p<0.01, ** p<0.05, * p<0.1 11

5.1.4 Sammenheng mellom karakterene på ulike trinn i studiet For å undersøke utviklingen av karakterene i løpet av studiet, har vi delt inn emner i grunnemner ( nivå), videregående emner (200 nivå), masteremner (500 nivå) og masteroppgaven. Tabell 4 viser korrelasjonen mellom karakterene på de forskjellige nivå for hele studentpopulasjonen for masterkullet, dvs karakterene for masteroppgaver levert våren ble korrelert med masteremner, videregående emner høsten /våren og grunnemner våren. Siden analysen bygger på populasjonsdata, er også karakterer fra studenter som ikke fullførte studiet innen normert tid eller falt fra med i data for lavere nivå. Analysen viser en korrelasjonskoeffisient på rundt 0,6 mellom et nivå og påfølgende nivå (p=0.05), men ingen signifikant korrelasjon mellom nivåer som ikke følger direkte på hverandre. Det er altså en sammenheng mellom karakterer fra nivå til nivå, men ikke over lengre avstander i studieløpet. Tabell 4 Korrelasjon mellom gjennomsnittskarakterer i emner på forskjellige nivå (*: signifikant med p=0.05). Masteroppgave Masteremner 2.årsemner H/V 1.årsemner V Masteroppgave 1 Masteremner 0.5964* 1 2.årsemner H/V 0.0597 0.1102 1 1.årsemner V -0.1561-0.2209 0.6928* 1 For NTNU hadde vi dessuten mulighet for å gjennomføre en tilsvarende analyse på individnivå. Dermed kunne vi begrense analysen til studentene som avsluttet studiene sine med masteroppgave i perioden 2003-, dvs vi ser her hvordan karakterene utvikler seg for konkrete studenter (i alt 9000 fullførte mastergrader). Resultatene vises i Tabell 5. Her ser man en tydelig korrelasjon spesielt mellom - og 200 nivå (r=0.69), og en korrelasjonskoeffisient rundt 0,5 fra nivå til nivå senere i studiet. I motsetning til populasjonsanalysen ser vi nå også en om enn forholdsvis svak korrelasjon over to og tre nivåer. Analysen tyder på at det er sammenheng mellom karakterene som studentene oppnår i løpet av sine studieløp. Tabell 5 Korrelasjon mellom karakterer på forskjellige nivå analysert på individnivå (bare NTNU, 9000 karakterer; *: p=0.05). Masteroppgave Masteremner 2.årsemner H/V 1.årsemner V Masteroppgave 1 Masteremner 0.48* 1 2.årsemner H/V 0.31* 0.52* 1 1.årsemner V 0.28* 0.45* 0.69* 1 12

5.1.5 Karakterbruk gjennom studiet Snittkarakter etter studenttilhørighet, etter studieprogram. Teknologiprogram. Grupper etter studienivå, NTNU Karaktersnitt 0 1 2 3 4 5 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 200500 501 MTEL MTMT MTTEKGEO MTBYGG MTTK MTMART MTENERG MTFYMA MTNANO MTKOM MTING MTDT MTKJ MTPROD MTPETR MTDESIG MTIØT Kilde: FS. Karakterskala: A-F Figur 4: Gjennomsnittskarakter i emner på, 200 og masternivå samt på mastergraden for hvert av de femårige programmene til NTNU. Snittkarakter etter studenttilhørighet, etter studieprogram. Teknologiprogram. Grupper etter studienivå, NMBU Karaktersnitt 0 1 2 3 4 200 500 501 200 500 M-VM M-MPP Kilde: FS. Karakterskala: A-F 501 200 M-KB 500 501 200 500 501 M-BA 200 M-MF 500 501 200 500 501 M-IØ Figur 5: Gjennomsnittskarakter i emner på, 200 og masternivå samt på mastergraden for hvert av de femårige programmene til NMBU. 13

Figur 4 og 5 illustrerer hvordan det gjennomgående blir gitt bedre karakterer i slutten av studiet enn i starten. Forskjellen i karakter mellom masterdelen av studiet og mastergraden er ca en halv karakter. 5.2 Karakterbruk på masteroppgaven Tabell 6: Effekt av opptakskarakter for masteroppgaven Avhengig variabel: Snittkarakter Utvalg Alle M5 Uten NTNU Alle M5 vår Uten NTNU vår Karakterpoeng 0.076*** -0.0079 0.072*** -0.020 N 2,546 162 341 40 Kun 5-årige masterprogram. Alle regresjoner inkluderer kontroll for institusjon og studieår. Basert på en regresjonsanalyse (tabell 6) fant vi at det en sterk effekt av inntakskarakteren til femårige studier på karakteren på masteroppgaven. Studenter med en enhet høyere inntakskarakter fikk i snitt 0,7 karakterpoeng bedre resultat på masteroppgaven. 14

5.2.1 Effekt av veileder i eksamenskommisjonen for masteroppgaver Karakterfordeling etter sammensetning av kommisjon, år Teknologiprogram. Masteroppgaver Andeler 20 40 60 80 0 Uten veileder i kommisjon Veileder i kommisjon 2015 Andel A Andel B Andel C Andel D Andel E Andel F Kilde: FS. Karakterskala: A-F Figur 6: Karakterfordeling på masteroppgaver gruppert etter om faglærer inngår i eksamenskommisjonen. Figur 6 viser ikke noen tydelig forskjell i karakterbruken på masteroppgaver avhengig av om veileder inngår i eksamenskommisjonen eller ikke. Dette resultatet er imidlertid svært usikkert etter som det bare er Universitetet i Tromsø som ikke har veileder med i eksamenskommisjonen. 15

5.2.2 Effekt av om en presentasjon av masterarbeidet inngår i bedømmelsen på karakter Karakterfordeling etter bruk av presentasjon i bedømmelsen, etter år Teknologiprogram. Masteroppgaver Andeler 20 40 60 80 0 Uten presentasjon 2015 Med presentasjon Andel A Andel B Andel C Andel D Andel E Andel F Kilde: FS. Karakterskala: A-F Figur 7: Karakterfordeling på masteroppgaven gruppert etter om en presentasjon av masterarbeidet inngår i bedømmelsen av masteroppgaven. Figur 7 viser at det ikke har noen tydelig effekt på karakterbuken om en muntlig presentasjon av masterarbeidet inngår som en del av bedømmelsen av arbeidet eller ikke. 5.2.3 Er det ulik bruk av karakterskalaen for masteroppgaver i ulike fagmiljø? De naive karakterbidragene er beregnet på samme møte som i SØF 03/13 [1]. I en lineær regresjon er gjennomsnittskarakteren på masteroppgaven forklart av opptaksgrunnlag for studieprogrammene pluss ett sett av binærvariable, en for hvert studieprogram (figur 8). Koeffisienten foran binærvariablene er pålagt en restriksjon som sørger for at summen av koeffisientene er lik 0. Tolkningen av koeffisientene er avvik i gjennomsnittskarakter fra gjennomsnittet over alle studieprogram. En verdi på 0,5 betyr at gjennomsnittskarakteren i studieprogrammet ligger 0,5 over gjennomsnittet for alle studieprogram. I de toårige masterprogrammene (figur 10) har vi ikke tilgang til opptaksinformasjon. For disse programmene velger vi å kontrollere for gjennomsnittskarakterer på andre masteremner. I vår analyse er opptakskarakteren målt på studieprogramnivå, mens karakterdata er på individnivå. Opptaksgrunnlaget varierer i størst grad mellom studieprogrammene. Dette bidrar til at vi i liten grad klarer å korrigere for forskjeller i opptaksgrunnlag. Binærvariablene fanger ikke bare opp det naive 16

UiT NMBU NTNU karakterbidraget, men også de historiske forskjellene i opptaksgrunnlaget. En tilstrekkelig korreksjon for forskjeller i opptaksgrunnlag får vi ikke før korreksjonen er mulig på individnivå. I figur 9 har vi brukt individdata fra NTNU. I denne analysen kontrollerer vi for inntakskvalitet på individnivå, i tillegg til kjønn og alder ved vurderingstidspunkt. Naive karakterbidrag, etter studieprogram, M5 MTTK MTTEKGEO MTPROD MTPETR MTNANO MTMT MTMART MTKOM MTKJ MTIØT MTING MTFYMA MTENERG MTEL MTDT MTDESIG MTBYGG M-VM M-MPP M-MF M-KB M-IØ M-BA IMAT-INF IMAT-EOM -0,4-0,3-0,2-0,1 0 0,1 0,2 0,3 0,4 0,5 Figur 8: Naive enhetsbidrag (fagmiljøets effekt på masterkarakteren ) for de femårige programmene som inngår i undersøkelsen beregnet på studieprogramnivå. 17

Naivt programbidrag, M5 NTNU MTTK MTTEKGEO MTPROD MTPETR MTNANO MTMT MTMART MTKOM MTKJ MTIØT MTING MTFYMA MTENERG MTEL MTDT MTDESIG MTBYGG -0,5-0,4-0,3-0,2-0,1 0 0,1 0,2 0,3 0,4 0,5 Figur 9: Naive enhetsbidrag på karakterene på masteroppgavene i studieprogrammene til NTNU beregnet fra individdata. 18

HiALS HiT HiG HiN UiS UiA NTNU Naive karakterbidrag, etter studieprogram, M2 MSPROMAN MSN1 MSINDECOL MSG1 MSELPOWER MIUVT MITK MIPROD MIENTRE MIBYGG MASTMEK MASTINDØK MASTIKT MASTENE M-TECHSAFE M-PETENG M-PETBOR M-OFFTEC M-KONMAT M-INDØKG M-ENVTEC M-IN M-IB M-EL MIS 942 941 940 850MD 840MD -0,8-0,6-0,4-0,2 0 0,2 0,4 0,6 0,8 Figur 10: Naive enhetsbidrag på karakterene på masteroppgavene i de toårige studieprogrammene beregnet på studieprogramnivå. 5.3 Utvikling i karakterer på masteroppgaven over tid Et viktig poeng med årets karakterundersøkelse for master i teknologi var å undersøke om karakterbruken har endret seg etter at nye karakterbeskrivelser og sensurveiledninger ble tatt i bruk i. Figur 11 viser utviklingen i karakterfordelingen i perioden -, mens figur 12 viser utviklingen i snittkarakterene for masteroppgavene. Grafikken tyder på at karaktergivningen for 19

mastergradsoppgaver ved universitetene har vært noenlunde konstant i perioden -, med unntak av UiT. Her er det dog viktig å merke seg at UiT hadde bare mellom 10 og 12 masteroppgaver per år i perioden - (jf tabell 7), slik at variasjonen representerer et lite antall oppgaver og kan derfor ha individuelle forklaringer. Karaktersettingen er også konsistent universitetene imellom, med en A-andel på mellom 20% og 30%, svært få karakterer dårligere enn C og en snittkarakter nær 4,0, tilsvarende B. Karaktersettingspraksis ved høgskolene varierer, både over tid og institusjonene imellom. Her må det dog tas hensyn til at HiÅ, HiG, HBV og HiN hadde nokså få mastergradsoppgaver (jf tabell 7), slik at karakterfordelingene her i stor grad kan være preget av individuelle faktorer. Men det er påfallende at karakterpraksisen ved HiN er streng med svært liten andel A, mange C og rundt 30% dårligere enn C. Det samme gjelder HiG fra og i noe mindre grad HiT. Karakterene ved HiÅ viser stor variasjon med ingen A i perioden - og nesten 60% dårligere enn C i, mot over 40% A i. Et sentralt spørsmål for denne undersøkelsen er om de nye reglene for karaktersetting for masteroppgaver i MNT-fag som ble innført med virkning fra har påvirket karaktersettingen av masteroppgaver sensurert i i forhold til tidligere praksis. For universitetene viser figur 11 en betydelig innskjerping av karaktersettingen ved NMBU med en reduksjon av A fra rundt 30% til rundt 10%. For de øvrige universitetene viser grafikken bare mindre endringer. For høgskolene tyder figur 11 på en markant endring ved HiG allerede fra, og ved HiT i, der ikke bare andelen A, men også andelen B er betydelig redusert. For å kunne undersøke om endringene i karaktersettingspraksisen med innføring av de nye karakterreglene er statistisk signifikante, må vi velge en referanse. Grunnet den betydelige variasjonen i resultatene fra år til å ved studiesteder med et lavt antall masteroppgaver, har vi valgt å benytte karakterene fra årene - samlet som referanse og testet om karakterene gitt i skilte seg fra disse. Tabell 8 viser endringene i snittkarakterene gitt for masteroppgavene, mens tabell 9 viser endringene i A-andelen. Analysen viser at HiG, HiT og NMBU har skjerpet sin karaktersettingspraksis betydelig, med en reduksjon i snittkarakter med vel en halv karakter (mellom -0,53 og -0,69) og en andel A som er redusert med 25 prosentpoeng ved HiG, 22 prosentpoent ved NMBU, og 9 prosentpoeng ved HiT. Karaktersetting ved NTNU i var derimot nærmere tidligere praksis, med en reduksjon i snittkarakteren på bare -0,1 og en reduksjon i andel A på 5 prosentpoeng. Siden HiG tilsynelatende strammet inn sin karaktersettingspraksis allerede fom, er det nærliggende å anta at den faktiske innskjerpingen ved HiG er enda tydeligere enn det fremkommer av denne analysen. For HiÅ viser analysen en kraftig oppmykning av karaktersettingspraksis fra - til, med en forbedring i snittkarakteren på en hel karakter og en økning i andel A på hele 38 prosentpoeng. Dette resultatet bygger dog på bare mellom 10 og 16 karakterer per år, så selv om resultatet har høy statistisk signifikans bør den ikke tillegges for stor vekt, siden det kan være individuelle faktorer som forklarer variasjonen. 20

Karakterfordeling etter studenttilhørighet, etter institusjon og år. Teknologiprogram. Masteroppgaver 0 Andeler 20 40 60 80 NMBU NTNU UiA UiS UiT Andel A Andel B Andel C Andel D Andel E Andel F Kilde: FS. Karakterskala: A-F Karakterfordeling etter studenttilhørighet, etter institusjon og år. Teknologiprogram. Masteroppgaver 0 Andeler 20 40 60 80 HBV HiALS HiG HiN HiT Andel A Andel B Andel C Andel D Andel E Andel F Kilde: FS. Karakterskala: A-F Figur11: Fordeling av karakterer på masteroppgaver i perioden - for universitetene (øvre panel) og høgskolene (nedre panel). Det absolutte antallet karakterer som representeres av hver søyle varierer sterkt, fra 10 karakterer (UiT og HiÅ ) til 1426 karakterer (NTNU ). 21

Gjennomsnittskarakter etter studenttilhørighet, etter institusjon og år. Teknologiprogram. Masteroppgaver Andeler 0 1 2 3 4 5 HBV HiALS HiG HiN HiT Kilde: FS. Karakterskala: A-F, A=5 Gjennomsnittskarakter etter studenttilhørighet, etter institusjon og år. Teknologiprogram. Masteroppgaver Andeler 0 1 2 3 4 NMBU NTNU UiA UiS UiT Kilde: FS. Karakterskala: A-F, A=5 Figur 12: Utvikling i gjennomsnittskarakter på masteroppgaven -. 22

Tabell 7: Antall karakterer gitt for mastergradsoppgaver ved institusjonene i snitt i årene - og i. Kilde: FS. NTNU UiS NMBU UiA HiT HiN HiG UiT HiÅ - 1197 129 89 71 49 35 15 15 15 1426 135 116 75 69 42 33 27 14 Tabell 8: Gjennomsnittskarakter. Karaktersetting i sammenliknet med - (1) (3) (4) (5) (6) (7) (8) (9) (10) (11) Alle HiALS HiG HiN HiT NMBU NTNU UiA UiS UiT D -0.14*** 1.03** -0.61** -0.26-0.69*** -0.53*** -0.099*** -0.022-0.080-0.27 (-5.99) (2.64) (-2.56) (-1.20) (-4.59) (-5.26) (-3.70) (-0.18) (-0.89) (-1.09) Tabell 9: Andel A. Karaktersetting i sammenliknet med - Alle HiALS HiG HiN HiT NMBU NTNU UiA UiS UiT D -0.050*** 0.38*** -0.25*** -0.022-0.086* -0.22*** -0.045*** 0.026-0.0039-0.066 (-4.37) (4.23) (-2.77) (-0.44) (-1.89) (-4.87) (-3.27) (0.44) (-0.) (-0.63) 23

5.4 Er det forskjeller mellom studieprogrammene i utviklingen i karaktersetting? For de fleste institusjonene som tilbyr masterutdanning i teknologi ser vi at gjennomsnittskarakteren og andel A er systematisk lavere i sammenliknet med våren. Drives dette resultatet av enkelte studieprogram eller har alle studieprogram i en gitt institusjon denne utviklingen? En måte å teste dette på er ved bruk av interaksjonseffekter i en regresjonsmodell. Vi formulerer en modell som inneholder faste effekter på studieprogramnivå, en indikator for «regimeendring» og ett sett med variabler som er interaksjonen mellom dem. Under et eksempel på en spesifikasjon med 3 studieprogram: Snittkarakter = a + bd + cprog2 + dprog3 + ed*prog2 + fd*prog3 Et studieprogram er utelatt og fungerer som referanse i analysen. Hvis koeffisientene e og f foran interaksjonsleddene er signifikant ulik 0 har vi identifisert et (eller to) studieprogram som skiller seg systematisk fra referanseprogrammet. Merk at de ordinære studieprogramkontrollene fanger opp gjennomsnittlig «karakterpraksis/ -bidrag» i programmene i hele perioden. I tidligere analyser har vi sett på karakterutvikling per semester i forhold til V. I denne analysen forenkler vi og opererer med 2 regimer, før og. Analysene er utført for alle institusjoner vi tidligere har identifisert med signifikant endret gjennomsnittskarakter i sammenlignet med V. Resultatene er oppsummert i tabellen under. Kun ved UiS fant vi signifikante forskjeller mellom programmene. De tre studieprogrammene i kolonnen til høyre hadde signifikant lavere snitt i sammenliknet med de andre studieprogrammene. Mangelen på signifikante forskjeller mellom studieprogrammene betyr ikke at karaktersettingen ikke har endret seg. En forklaring er at - effekten stort sett er signifikant og fanger opp en utvikling som er felles over alle studieprogram. En tolkning av dette er at endringene er innført på institusjonsnivå og implementert tilnærmet likt i alle studieprogram. Tabell 10: Ulikheter mellom studieprogram ved hver institusjon i utvikling i karaktersetting på masteroppgaver Snittkarakter -effekt Referanse Program med avvik HiN Ja M-EL HiT Ja 940 NMBU Ja M-BA UiA Nei MASTENE UiS Ja M-INDØKG M-ENVTEC, M-KONMAT, M-PETENG NTNU M5 Ja MTBYGG NTNU M2 Nei MIBYGG 24

5.5 Er karaktersetting avhengig av antall studenter i emnene? Ved hjelp av datamaterialet vi har samlet kan vi beregne antall sensurer per emne per år. Sannsynligvis konvergerer selve karakterfordelingen mot en normalfordeling når antall sensurer øker, derfor er vi mest interessert i endene av fordelingen. Vi plukket ut alle emner som har flere enn 20 teknologistudenter og formulert 3 ulike utfallsvariabler: gjennomsnittskarakter, andel A og andel F. Forklaringsvariabelen emnestørrelse er log-transformert for å åpne for en avtagende effekt. En lin-log koeffisient er vanskelig å tolke i utgangspunktet, men vi kan beregne en elastisitet basert på estimatet og gjennomsnittverdien til den avhengige variabelen, se tabell 11. En elastisitet gir prosentvis endring i avhengig variabel som funksjon av 1 prosents endring i forklaringsvariabelen. Emnestørrelse er statistisk signifikant i de tre analysene. En økning i antall studenter på 10 prosent gir i gjennomsnitt en reduksjon på 0.6 prosent på gjennomsnittskarakteren. Kvalitativt ser vi samme effekt på andel A. Øker antall studenter med 10 prosent reduseres andel A med 1,2 prosent. Andel stryk øker med emnestørrelsen. Samme økning i antall studenter gir i gjennomsnitt 2,4 prosent større strykandel. Tabell 11: Effekten av emnestørrelse på karaktersetting Snittkarakter Andel A Andel F Emnestørrelse (ln) -0.18*** -0.015*** 0.022** (-2.78) (-3.09) (2.05) Snitt avhengig variabel 2.91 0.13 0.091 Elastisitet -0.06-0.12 0.24 I alle analyser er det kontrollert for institusjon, år, emnenes studienivå, studentenes studieprogram og en indikator for grunnemner i matematikk, fysikk og IKT. Standardavvik korrigert for kluster på emnenivå. 25

5.6 Diskusjon av resultatene 5.6.1 Funn En "big data" tilnærming til analyse av karaktersetting er forholdsvis nytt etter det vi kjenner til. Analysen som er lagt frem her må derfor ses som et først skritt mot et systematisk, kvantitativt arbeid med karakteranalyse på nasjonal skala. Våre observasjoner er stort sett kompatible med naive forventninger, ved at våre korrelasjonsanalyser viser at det er en statistisk signifikant sammenheng mellom inntakskarakterer fra videregående opplæring og eksamensresultatet i første studieår. Videre har vi dokumentert en tydelig korrelasjon i karakterene mellom forskjellige trinn i studiet: karakternivået blir noe bedre i løpet av studiet. Et særlig interessant funn er korrelasjonen mellom inntakskarakter og karakterer videre i studiet på individnivå. Dels forteller dette at karakterbruken i grove trekk er fornuftig mellom emner og utdanningsnivå etter som sterke studenter gjør det konsistent bra og svakere studenter gjør det konsistent dårligere. Effekten av inntakskarakter på karakter på masteroppgaven er så sterk som 0.98. Dette er et funn som bør påvirke hvordan karakterskalaen brukes i våre studieprogram. Det virker rimelig med en mer liberal bruk av karakterene A og B på program hvor studentene har svært høye karakterpoeng fra videregående skole sammenlignet med program hvor inntakskarakterene er gjennomsnittlige. Det er også interessant å merke seg at innsatsen til studentene i studiet er korrelert med hvor gode karakterer de har fra videregående skole. Her kan det nok være mange faktorer som spiller inn slik som studiekulturen ved det enkelte studieprogram, men det er heller ikke unaturlig å tro at de som har med seg gode arbeidsvaner og gode karakterer fra videregående viderefører dette ved universitetsstudier. 5.6.2 Metodiske problemer Med unntak av data fra NTNU, der vi kunne benytte individdata, forelå data fra andre institusjoner bare som avidentifiserte karakterdata som begrenset oss til populasjonsanalyser på studieprogramnivå. Det er tydelig at individdata tillater mye grundigere analyser, samtidig som arbeid med individdata reiser en del problemstillinger ifbm personvern. Her bør UHR gå i dialog med Datatilsynet for å avklare hvordan man best kan gjennomføre gode analyser og ivareta personvernet. Et annet problem, spesielt ved analyser på nasjonalt plan, er at en institusjon (NTNU) er vesentlig større enn alle andre institusjoner som tilbyr 5-årig sivilingeniørutdanning, jf Tabell 7. NTNU dominerer dermed analysene i meget stor grad. Noen av analysene i studien er basert på individdata, dette gir et stort datagrunnlag og sterke korrelasjoner. Tolking av om det er årsak og virkning eller bare samvariasjon er imidlertid fremdeles like vanskelig. For andre av analysene har vi kun data på studieprogramnivå, dette gir mye færre datapunkt og mindre sikre konklusjoner. 26

5.6.3 Usikkerhet i datagrunnlag Dataene for studentenes arbeidsinnsats i studiet er hentet fra Studiebarometeret. Disse dataene har to vesentlige svakheter: relativt lav svarprosent blant studentene og dataene er basert på en subjektiv vurdering av mengde arbeid midlet over året. Disse dataene må derfor kun regnes som indikasjoner på mengde arbeid studentene legger ned. Gjennomstrømningsrate er beregnet som antall studenter uteksaminert i et gitt år delt på antall studenter som ble tatt opp 2 eller 5 år tidligere for henholdsvis 2- og 5-årige program. Dette er et svært grovt estimat som blant annet ikke tar hensyn til overganger mellom program. Slike overganger er årsaken til at enkelte program har en gjennomstrømingsrate på over 1, det vil si at antall overganger til programmet er større en summen av overganger ut pluss frafall. 5.6.4 Vurdering av arbeidsmetoden Arbeidsmetoden med uttrekk av alle karakterdata for alle emner samt koblingen til hvilke emner som tilhører hvilket studieprogram fungerte godt. Det var lett for den enkelte institusjon å ta ut slike data etter oppskrift og anonymisere disse. En viktig forutsetning for at denne arbeidsmetoden skal gi gode resultater er imidlertid at arbeidsgruppen har kompetanse og kapasitet til statistisk analyse av store datasett. Med dette forbeholdet anbefales det at metoden brukes i fremtidige karakterundersøkelser. 27

6 Konklusjon I denne rapporten har vi undersøkt hva som påvirker karakterbruken innen masterutdanningene i teknologi i Norge. Vi ser at det som har størst effekt på karakteren til enkeltstudenter er opptaksgrunnlaget fra videregående skole. Studenter med en karakter bedre opptaksgrunnlag fikk i snitt 1,4 til 1,7 bedre karakterpoeng i grunnleggende emner og 0,7 bedre karakterpoeng på masteroppgaven. Vi så også en tydelig positiv korrelasjon mellom karakterene enkeltstudenter fikk på ulike nivå gjennom studiet. Disse funnene viser at vi er konsistente i bedømmelsen av gode og svake prestasjoner. Funnene viser også at det er rimelig at karakterfordelingen varierer mellom ulike studieprogram i Norge avhengig av hvor godt karaktergrunnlag studentene som starter på studiet har. Imidlertid viser beregningen av naive enhetsbidrag at når man justerer for hvor godt opptaksgrunnlag (5-årige program) eller hvor godt studentene har gjort det i masterdelen av studiet, så er det fremdeles betydelige forskjeller i hvor gode karakterer studentene får på masteroppgaven mellom de ulike studieprogrammene. Med noen få unntak ligger denne effekten innenfor ±0,4 karakterpoeng. Disse avvikene kan enten tolkes som at enkelte fagmiljø er konsistent for snille eller for strenge i sin bedømmelse av masteroppgaver. Det er imidlertid ikke mulig å skille effekten av bedømmelse fra effekten av kvaliteten i oppfølging og veiledning, så dette vil og kunne ha en effekt på naive enhetsbidrag. Fra innføringen av nye karakterbeskrivelser i, så ser vi ulike effekter for ulike institusjoner. HiT, HiG og NMBU har hatt en nedgang i gjennomsnittskarakter på 0,5-0,7 mens NTNU har en liten men signifikant nedgang på 0,1. For andel A ser vi en lignende trend, HiG og NMBU har størst nedgang med 25 og 22 prosentpoeng, HiT reduserte med 9 prosentpoeng og NTNU med 5 prosentpoeng. Vi har noen opplysninger som kan tyde på at måten de nye karakterbeskrivelsene er innført på og spesielt, hva som skal til for å oppnå en A på masteroppgaven skiller de institusjonene som har hatt en markant reduksjon i snittkarakter og de som ikke har det. Vi har funnet at det ikke har noen tydelig effekt på masterkarakteren om en presentasjon av oppgaven inngår som en del av arbeidet eller ikke. Vi kan ikke konkludere på om det har noen betydning om veileder deltar i eksamenskommisjonen for sensur av masteroppgaver eller ikke, etter som det bare er Universitetet i Tromsø som praktiserer dette. Vi vil anbefale institusjonene å følge opp karakterbruken i fagmiljø som har store positive eller negative avvik i naive instituttbidrag for karaktersetting av masteroppgaver. Sensorer og faglærere bør igjen informeres grundig om karakterbeskrivelser og sensurveiledninger før sensuren våren 2016. De institusjonene som ikke har vist noen endring i karakterbuk bør både informere og vurdere andre tiltak. De institusjonene og 28

fagmiljøene som har store positive avvik i naive instituttbidrag på masterkarakteren bør vurdere om en egen sensurgruppe bør gå gjennom masteroppgaver som sensor og faglærer mener skal belønnes med A for å sikre ens karaktersetting og en rimelig andel A. 6.1 Referanser 1 Strøm, B., Falch T., Gunnes T. og Haraldsvik M.,» Karakterbruk i høyere utdanning» SØF-rapport 03/13.. 29

7 Vedlegg 7.1 Vedlegg 1: Studieprogram som inngikk i undersøkelsen og koding av programnavn Institusjon Studieprogramkode Studieprogramnavn HBV 5MNST Master i mikro- og nanosystemteknologi HBV MASEMBSYS Master in Systems Engineering with Embedded Systems HBV MASSE Master i Systems Engineering HiTelemark 942 Master of Science, Energy and Environmental Technology HiTelemark 940 Master of Science, Process Technology HiTelemark 941 Master of Science, Systems and Control Engineering UiT IMAT-EOM Energi, klima og miljø - master (5-årig), sivilingeniør UiT IMAT-MOLBI Molekylær bioteknologi - master (5-årig), sivilingeniør UiT M-TECHSAFE Technology and Safety in the High North - master UiT IMAT-INF Informatikk - master (5-årig), sivilingeniør HiÅlesund 880MVS Master i visualsiering og simulering HiÅlesund 840MD Master of Product and System Design HiÅlesund 850MD Master of Ship Design HiGjøvik MIS Master i informasjonssikkerhet HiGjøvik MIS Master in Information Security HiGjøvik MACS Master in Applied Computer Science NMBU M-IØ Industriell økonomi NMBU M-MPP Maskin, prosess og produktutvikling NMBU M-BA Master i byggeteknikk og arkitektur NMBU M-MF Miljøfysikk og fornybar energi NMBU M-VM Vann- og miljøteknikk NMBU M-KB Kjemi og bioteknologi UiAgder MASTENE Fornybar energi, masterprogram UiAgder MASTINDØK Industriell økonomi og teknologiledelse, masterprogram UiAgder MASTIKT Informasjons- og kommunikasjonsteknologi, masterprogram UiAgder MASTMEK Mekatronikk, masterprogram UiS M-PETBOR Bore- og brønnteknologi: Master i teknologi/sivilingeniør (to-årig) UiS M-ENVTEC Environmental Technology - Master of Science Degree Programme UiS M-INDØKG Industriell økonomi - Master i teknologi/siv.ing. 30

UiS M-KONMAT Konstruksjoner og materialer - Master i teknologi/siv.ing. UiS M-OFFTEC Offshore Technology - Master s Degree Programme UiS M-PETENG Petroleum Engineering - Master of Science Degree Programme Institusjon Studieprogramkode Studieprogramnavn NTNU MIBYGG Bygg- og miljøteknikk - masterstudium (2-årig) NTNU MTBYGG Bygg- og miljøteknikk - masterstudium (5-årig) NTNU MTDT Datateknologi - masterstudium (5-årig) NTNU MTEL Elektronikk - masterstudium (5-årig) NTNU MTENERG Energi og miljø - masterstudium (5-årig) NTNU MTFYMA Fysikk og matematikk - masterstudium (5-årig) NTNU MTGEOP Geofag og petroleumsteknologi - masterstudium (5-årig) NTNU MTDESIG Industriell design - masterstudium (5-årig) NTNU MTKJ Industriell kjemi og bioteknologi - masterstudium (5-årig) NTNU MTIØT Industriell økonomi og teknologiledelse - masterstudium (5-årig) NTNU MTING Ingeniørvitenskap og IKT - masterstudium (5-årig) NTNU MTKOM Kommunikasjonsteknologi - masterstudium (5-årig) NTNU MTMART Marin teknikk - masterstudium (5-årig) NTNU MSN1 Marine Technology (Master s Programme) NTNU MSELPOWER Master of Science in Electric Power Engineering NTNU MSG1 Master of Science in Petroleum Engineering NTNU MSINDECOL Master of Science Programme in Industrial Ecology NTNU MTMT Materialteknologi - masterstudium (5-årig) NTNU MSPROMAN MSc in Project Management NTNU MTNANO Nanoteknologi - masterstudium (5-årig) NTNU MIENTRE NTNUs Entreprenørskole - masterstudium i entreprenørskap (2- årig) NTNU MTPETR Petroleumsfag - masterstudium (5-årig) NTNU MIPROD Produktutvikling og produksjon - masterstudium (2-årig) NTNU MTPROD Produktutvikling og produksjon - masterstudium (5-årig) NTNU MITK Teknisk kybernetikk - masterstudium (2-årig) NTNU MTTK Teknisk kybernetikk - masterstudium (5-årig) NTNU MTTEKGEO Tekniske geofag - masterstudium (5-årig) NTNU MIUVT Undervannsteknologi - masterstudium (2-årig) HiNarvik M-EL Master i teknologi - Elektroteknikk HiNarvik M-IN Master i teknologi - Industriell teknologi HiNarvik M-IB Master i teknologi - Integrert Bygningsteknologi 31

Liste over grunnleggende emner i fysikk, matematikk og IKT Institusjon Fag Emnekode Emnenavn NMBU Fysikk FYS101-1 Mekanikk NMBU IKT INF-1 Prinsipper i informasjonsbehandling NMBU Matematikk MATH111-1 Kalkulus 1 NTNU Fysikk TFY4102-1 Fysikk NTNU Fysikk TFY4104-1 Fysikk NTNU Fysikk TFY4106-1 Fysikk NTNU Fysikk TFY4108-1 Fysikk NTNU Fysikk TFY4115-1 Fysikk NTNU Fysikk TFY4120-1 Fysikk NTNU Fysikk TFY4125-1 Fysikk NTNU Fysikk TFY4125-1 Fysikk NTNU IKT TDT4105-1 Informasjonsteknologi, grunnkurs NTNU Matematikk TMA4-1 Matematikk 1 UiT Fysikk FYS-0-1 Generell fysikk UiT IKT INF-1-2 Innføring i programmering UiT IKT INF-1-2 Innføring i programmering og datamaskiners virkemåte UiT Matematikk MAT-0001-1 Brukerkurs i matematikk UiT Matematikk MAT-1-1 Kalkulus 1 32

7.2 Vedlegg 2: Uttak av karakterdata fra FS Bestilling til institusjonene I dette notatet beskrives en måte å trekke karakterstatistikk ut av FS i et format som gir stor fleksibilitet i analysesammenheng. Datamaterialet er på individnivå så personidentifiserende informasjon må slettes før oversending. To rapporter etterspørres for perioden -: - FS011.004 Eksamen - FS010.002 Emner (Utvidet tabell) Rapportene må tas ut for hvert semester og år. Med begge semester i perioden - betyr at rapportene må tas ut 10 ganger (Det tar ca 1 minutt å ta ut eksamensdata for ett semester ved NTNU). Vi vil koble disse rapportene sammen. Begge rapporter benyttes i rapporteringen til DBH. Eksamensrapporten inneholder informasjon om karakterer, emnekode, enhet og kandidatens studieprogramtilknytning ved eksamenstidspunktet. Ved NTNU registreres det også en tidkode som identifiserer kont-eksamen. Ved hjelp av denne rapporten kan karakterfordelingene i DBH reproduseres (i tillegg til studiepoengproduksjonen). Emnerapporten knytter emnekode til studieprogram. I tillegg inneholder den opplysninger om emnenivå og en indikator for masteroppgaver. 33

Slik tas data ut. Under modulen Semesterregistrering -> Rapporter-> NSD-rapporter ligger begge rapportene. 34

Velg årstall og semester og trykk Hent datagrunnlag Etter at rapporten er kjørt, trykk CTRL+S. Da kommer følgende dialogboks opp. Jeg velger alltid kopi til klippebord slik at jeg enkelt kan lime data inn i Excel etterpå. Denne operasjonen gjøres for hver år og semester. Før oversendelse slettes person-id (variablene fodselsnr fodselsdato etternavn fornavn). 35

Emnedata hentes ut på samme måte, for hvert år og semester. Merk at vi vil ha UTVIDET TABELL for denne rapporten. Det sikrer at vi får med opplysninger om emnets studienivå. 36