Utdanningsutvalget (UU)

Utdanningsutvalget (UU) Orientering i forbindelse Nasjonalt studieadministrativt seminar for realfag og teknologi ved UiB 11.-12.04.2016 Ved leder Arvid Aanstad UiT Norges arktiske universitet

UU - NFmR og NRT UU har historisk sett vært et operativt underutvalg under Nasjonalt Fakultetsmøte for Realfag (NFmR) som er et organ for universiteter og høgskoler som har realfagsutdanning UU møtes 2-4 ggr pr år UU utreder/utaler seg om/følger opp saker som er relevant for både NFmR og NRT NRT - Nasjonalt råd for teknologisk utdanning er et råd for universiteter og høgskoler som har siv.ing.- og ingeniørutdanning. Det har utviklet seg til å være stor overlapp i interesser (og dermed saker) mellom NRT og NFmR. Begge de årlige møtene til NFmR og NRT er nå blitt felles. Det er også felles AU (arbeidsutvalgs)-møter 2

UU - NFmR og NRT - fortsettes Over det ganske land skjer det og vil nok komme til å skje fusjoner og andre endringer NTNU+HiÅ+HiG=NTNU 01.01.2016 HiBV+HiT=HiSørøst-Norge 01.01.2016 HiN+HiH+UiT=UiT 01.01.2016 HiB+HSH+HiSF=H? HiOA => UiOA? HiØ? Alt dette gjør at det er mange uklarheter i forbindelse med organisering av felles organer Alle disse fusjoner gjør at NFmR og NRT har satt i gang en prosess for å utrede muligheten for sammenslåing av de 2 organene. 3

UU - sammensetning Arvid Aanstad (UiT) leder Hanne Sølna (UiO) Eli Neshavn Høie (UiB) Janne Beate Utaker (NMBU) Vegard Rønning (IME, NTNU) Geir Kløkstad (UiA) Lillian Hanssen (NT, NTNU) Gunn Rognstad (HiG, NTNU) Ingeborg Nymoen (UiS) Trine Åsheim Bernhardsen (UiN) XX (studentrepresentant mangler pt) Ane Hammer Bjørsvik(UNIS) Observatør 4

UU - arbeidsoppgaver UU utreder/utaler seg om/følger opp saker som er relevant for både NFmR og NRT Ser på saker av felles interesser for institusjonene Noen saker fra de senere år: UUs mandat, plass og rolle i forhold til NFmR og NRT Implementering av nye karakterbeskrivelser på mastergraden Strukturdebatten (fusjoner o.l.) Opptakskrav MNT-fag. Nye krav fra 2018 R2 + et annet realfag til topps for realfag Hva karakteriserer en siv.ing.utdanning? Internasjonalisering MOOC Digital eksamen MNT-konferansene Karakterundersøkelser 2015 (skal si litt ekstra om det) 5

UU og Studieadministrativt seminar for realfag og teknologi UU er «eier» av seminaret Forespør mulig arrangør og bestemmer hvem som skal arrangere seminaret Gir rammer for innholdet, program, omfang kostnader o.l. «Spiller ball» med arrangørinstitusjonen om programmet etter som det utvikler seg 6

Arrangører av UU 2001: UiO. Svalbard 2002: UiB. Bergen/Lindås 2003: NTNU. Trondheim/Inderøy/Jægtvolden 2004: HiS/UiS. Stavanger 2005:UiT. Tromsø 2006: UMB. Oscarsborg 2007: UiO. Oslo/Soria Moria 2008: UiB. Bergen/Solstrand 2009: NTNU. Trondheim/Røros 2010: UiS. Stavanger 2011: NMBU/UMB. Ås/Son 2012: UiT. Tromsø/Sommarøya 2013 UNIS. Svalbard 2014 UiA. Grimstad 2015 UiO. Oslo 2016 UiB. Solstrand 7

Karakterundersøkelsen 2015: NMT-utdanningene Oppdrag fra UHR til NFmR og NRT

Periodiske karakterundersøkelser Det er KD som står bak disse karakterundersøkelsene, hvor UHR er utfører I karakterrapporten fra UHR for 2010 ble det foreslått at utdanningene grupperes etter fagområder slik at karakterpanelene foretar undersøkelser hvert 5. år. I 2015 var det bl.a. MNT-utdanningen sin tur Frist for rapportering var 1. desember 2015 9

Prosjektorganisasjon Karakterpanel Bachelor i ingeniørfag (3-årig) Master i teknologi (Siv. ing.) Bachelor i realfag Master i realfag Ansvarlig institusjon UiT NTNU UiB UiO

Styringsgruppa inkl panelledere Leder: Morten Hald, UiT - NFmR Panelleder 3-årig ingeniør: Arne Ketil Eidsvik, UiT Panelleder bachelor i realfag: Jarle Berntsen, UiB Panelleder sivilingeniør: Øyvind Gregersen NTNU Panelleder master i realfag: Carl Henrik Gørbitz, UiO Sekretær: Arvid Aanstad, UiT UU UU har vært direkte representert i panelene: Master i teknologi, Bachelor i ingeniørfag og Bachelor i realfag 11

Mandat for karakterpanelene samt tidsplan for arbeidet Et generelt mandatet og bestilling ble sendt ut fra UHR i mai 2015. Lektorutdanning i realfag ble valgt å holdes utenfor. Unngå duplisering av tidligere undersøkelser jfr. SØFrapporten 03/13 «Karakterbruk og kvalitet i høyere utdanning» http://www.sof.ntnu.no/sof-r%2003_13.pdf Bruk primært DBH-tall Karakterpanelene jobbet hele 2015 med saken: det var felles samlinger underveis. Fire delrapporter og hovedrapport ble levert innen fristen i desember. AU NRT-NFmR gav sine kommentarer og oversendte til UHR. UU har i januar møtt UHRs analyse gruppe som skal lage en rapport som skal presenteres på en konferanse høsten 2016

Institusjoner som er med i undersøkelsen Institusjon Forkortelse Bachelor realfag Master realfag Bachelor ingeniør Master teknologi UiT Norges arktiske universitet UiT X X X X Høgskolen i Bergen HiB X Universitet i Nordland UiN X X Universitetet i Agder UiA X X X X Høgskolen i Ålesund HiÅ X X Universitet i Bergen UiB X X Høgskolen i Narvik HiN X X Høgskolen i Gjøvik HiG X X X Høgskolen i Telemark HiT X X Høgskolen i Oslo og Akershus HiOA X Universitetet i Stavanger UiS X X X X Universitetet i Oslo UiO X X Høgskulen i Sogn og Fjordane HiSF X Norges miljø- og biovitenskapelige universitet NMBU X X X Norges teknisk-naturvitenskapelige unveristet NTNU X X X Høgskolen i Sør-Trøndelag HiST X Høgskolen i Buskerud og Vestfold HiBV X X X Høgskolen Stord/Haugesund HSH X Høgskolen Østfold HiØ X 13

Karaktergivning før og nå astridbjonness.wordpress.com

Bachelor i ingeniørfag Tema Opptaks/Inntakskvalitet i forhold til karakternivå på studiet Gjennomsnittskarakterer for alle ingeniøremner samlet pr institusjon Gjennomsnittskarakterer pr institusjon på utvalgte emner Matematikk1 for ingeniører, Ingeniørfaglig innføringsemne, Innføring i programmering, Elektrisitetslære, Mekanikk, Bacheloroppgave Undervisningsmengde arbeidsinnsats Sensureringsordninger Karakterkonvertering: A 5, B 4, C 3, D 2, E 1

Drøfting Ikke entydig sammenheng mellom karakterpoeng ved opptak og resultater, men: Store institusjoner som HiB og HiST er imidlertid like og konsistente: Høye opptakspoeng, høy gjennomsnitts-karakter og lav strykprosent. HiOA avviker noe fra dette. Studentene på institusjonen med høyest gjennomsnittlig karakternivå oppgir også høyest tidsbruk på organisert undervisning

Drøfting forts Bacheloroppgave Gjennomsnittlig karakternivå: 3,8 = (en svak) B Lite endring fra 2013 til 2015 Panelet er noe bekymret over at bruken av ekstern sensurering på et så viktig emne som bacheloroppgaven er klart sprikende, både internt på den enkelte institusjon, og mellom institusjonene. Varierende bruk av ekstern sensurering også på andre emner

Anbefalinger Gjøre karakterbeskrivelsene for bacheloroppgaven enda tydeligere Øke bruken av ekstern sensurering og sikre at en relativt høy andel av eksterne sensorer rekrutteres fra UHsektoren Vurdere sentralgitt eksamen i enkelte basisemner, som f.eks. matematikk 1 for ingeniører

Karakterpoeng ved opptak versus gjennomsnittskarakter for B-ing programmene GJ.SNITT KARAKTER 3,10 ( C=3) 3,40 3,20 3,00 3,10 2,80 2,60 HBV HiB HiG HiN HIOA HiSF HiST HiT HiØ HiÅ HSH UiA UiS UiT GJ.SNITT 12-14 KARAKTERPOENG VED OPPTAK: GJ.SNITT ER 40,3 POENG UTEN TILLEGGSPOENG 43 42 41 40 40,3 39 38 37 36 35 HiBV HiB HiG HiN HiOA HiSF HiST HiT HiØ HiÅ HSH UiA UiS UiT Gj.snitt 2012-2014 19

Bachelor i realfag Emne- og datautvalg Emnene som ble valgt ut var grunnkurs og brukerkurs i matematikk, og tilsvarende fra informatikk/programmering. Alle data/vurderinger baserer seg på 2014 info. Institusjonene ble bedt om å levere: Karakterfordeling i grunnemner i matematikk og informatikk/programmering Karakterfordeling i forhold til eksamensoppgaver, øvingsopplegg og krav til forkunnskap Karakterfordeling i forhold til arbeidsinnsats Eventuell bruk av digital eksamen Eksamensoppgaver i forhold til beskrivelse av mål og læringsutbytte i de utvalgte emner Bruk av sensor og evalueringer

Matematikk grunnkurs - strykeprosent 40 Strykeprosent 35 30 25 20 15 10 5 0

Matematikk grunnkurs - karakterfordeling 40 Karakterfordeling 35 30 25 20 15 10 5 0 A B C D E Universitetet i Bergen, høst Universitetet i Bergen, vår HiBuskerud-Vestfold Universitetet i Agder Universitetet i Tromsø NMBU Universitetet i Oslo NTNU, MA1101-1 NTNU, TMA4100-1 Universitetet i Stavanger Gjennomsnittskarakteren varierer fra 2.65 til 3.19, men er C for alle

Hovedkonklusjoner Solide emner, ingen store forskjeller mellom institusjonene Omfattende øvingsopplegg (obl. oppgaver) - sikrer god oppfølging og god overgang fra videregående skole Pilot for digital slutteksamen i matematikk bør vurderes Piloten som er i gang ved UiB i informatikk bør brukes som erfaringsgrunnlag for de andre institusjonene Etablering av nasjonale møteplasser for undervisere Anbefaler ikke felles eksamen

Master i realfag - Noen resultater Tidsfrister for innlevering av mastergradarbeider praktiseres tilnærmet likt overalt Frafall i løpet av mastergradsstudiet kan være vanskelig å måle, men synes totalt sett å være lavt Mastergradsarbeider vurderes alltid etter skalaen A-F Det er godt samsvar mellom karakterer i bachelorgraden, i teorieksamener i masterstudiet og karakter på mastergradsarbeidet Data for 10 utvalgte studenter ved de ti lærestedene viser ingen systematiske trender Noen går opp, noen går ned 24

Oppnådde resultater for mastereksamen avlagt våren 2014 og 2015 Karakteristiske trekk ved karakterfordelinger: B vanligste karakter A-andel > 10 % 18 % E nesten ikke brukt Biologi, UiB

Fysikk, UiO Fysikk, UiB Panelets kommentarer: «Store forskjeller i karaktersettingspraksisen gjenspeiler høyst sannsynlig ikke ulike prestasjonsnivåer Karaktersetting er et ledelsesansvar De som ikke forvalter ansvaret, må kunne miste det» AU NFmR og NRT sier at slike konklusjoner/anbefalinger er å gå for langt og at de kun står for panelets regning

Ekstern sensor velges fra en nasjonal karakterkommisjon («pool») innenfor fagfeltet Det etableres nasjonale ordninger som sikrer at veileder ikke er del av kommisjonen og ikke har noen rolle i den endelige karakterfastsettingen Institusjoner som over tid ignorerer eller ikke evner å bruke karakterskalaen i samsvar med nasjonale retningslinjer, formulert som et krav om at gjennomsnittskarakteren ikke må være høyere enn B, mister retten til å sette karakterer over en periode på tre år (karantene)

Master i teknologi Noen problemstillinger Sammenhengen mellom karakterer og inntakskarakterer lavere grad Sammenhengen mellom tidsbruk og karakterer Sammenhengen mellom karakterer på masteroppgaven og karakterer tidligere i studiet Utvikling i karaktersetting på masteroppgaver Satt i sammenheng med kvalitative svar fra institusjonene Karaktersetting ift sammensetning av kommisjon og bruk av presentasjoner. Varierer i stor grad mellom institusjoner: vanskelig å identifisere effekter Sammenheng mellom størrelse og karaktersetting Sammenheng mellom bruk av ekstern sensor og karaktersetting Metode: Brukt bl.a. multippel regresjonsanalyse. Jfr SØF-rapport 03/13

Effekten av økt inntakskarakter på Alle grunnemner karakterer på emner i starten av Alle grunnemner uten NTNU studiet Alle grunnemner korrigert for faste effekter Matematikk 1 Fysikk 1 IKT 1 1,6 1,6 1,4 1,7 1,7 1,4 1 karakter bedre snitt fra VGS gir følgende forbedringer i studiet

Konklusjoner Karakterer i videregående skole påvirker prestasjonen ved universitet og høyskoler kraftig. Studenter med en karakter bedre opptaksgrunnlag fikk i snitt 1,4 til 1,7 bedre karakterpoeng i grunnleggende emner og 0,7 bedre karakterpoeng på masteroppgaven. Innføringen av nye karakterbeskrivelser fra 2014 har gitt en signifikant nedgang i snittkarakter på master ved de fleste universitet og høgskoler. Endringen er imidlertid moderat (-0,18) og ujevnt fordelt. => Må følges opp Det er til dels betydelige variasjoner mellom fagmiljø i karakterbruk på masteroppgaver som ikke kan forklares ved at studentene har ulikt opptaksgrunnlag. => Må følges opp

Styringsgruppas leder og sekretær sine vurderinger og anbefalinger Denne karakterrapporten inneholder fire selvstendige delrapporter. Disse delrapportene er forholdsvis ulike bl.a. pga ikke helt entydige bestillinger Det anbefales å harmonisere praksis i forbindelse med sensur. Institusjonenes karakternivå i forhold til inntakskarakter varierer (også forklart som naive institusjonsbidrag i Master i tek. rapporten). Institusjonene anbefales å følge opp karakterbruken i fagmiljø som har store positive eller negative avvik i naive instituttbidrag for karaktersetting av masteroppgaver. Det anbefales nasjonale prøver for eks. i begynnerkurs i matematikk for bachelor ingeniør. Det anbefales å ta i bruk digital eksamen i mye større grad enn dagens praksis. MNT-fagene bør være i front når det gjelder bruken av digital eksamen.

Styringsgruppas leder og sekretær sine vurderinger og anbefalinger forts Det må utvikles en felles forståelse mellom institusjonene vedrørende nivået for bestått når man bruker bestått/ikke-bestått versus nivået for karakteren E ved bruk av bokstavkarakterer. For fremtidige karakteranalyser anbefales å bruke metoder (eks multippel regresjonsanalyser) som gjør det mulig å se tydelige kvantitative sammenhenger og ulikheter i karakterbruken. Det vil være ønskelig om DBH og FS databasene kan utvikles slik at man enkelt og effektiv kan analysere karakterbruken årlig og utvikle tidsserie data som viser utviklingstrender. Det forslås å etablere en fast, årlig møtearena for karakterundersøkelser i MNT-fagene.

Oppsummeringer og anbefalinger fra AU NFmR og NRT Innholdet i delrapportene fra de ulike karakterpanelene, inkludert anbefalinger disse gir, står for hvert enkelt karakterpanels regning. AU vil spesielt trekke fram rapporten fra karakterpanelet Master i Teknologi, som har brukt hensiktsmessige statistiske metoder Denne metodikken, anbefales for fremtidige karakterundersøkelser også for master i realfag og bachelor i ingeniørfag og bachelor i realfag. 33

Oppsummeringer og anbefalinger fra AU NFmR og NRT forts Det anbefales at institusjonene både på bachelor- og masternivå vurderer hvorvidt implementeringen av de nye karakterbeskrivelsene har vært god nok. En ser at det er ulik forståelse av hvorvidt karakterbeskrivelsene skal resultere i resultater som er normalfordelt eller ikke, og samtidig hvordan karakterbeskrivelser og læringsutbyttebeskrivelser henger sammen. Det er dokumentert sterk sammenheng mellom inntakskvalitet og resultater i studiet i rapporten fra master i teknologi. For Bachelor i ingeniørfag finner panelet ikke en entydig sammenheng mellom inntakskvalitet og resultater i studiet. Metodene på disse 2 sistnevnte undersøkelsen er ulike 34

Oppsummeringer og anbefalinger fra AU NFmR og NRT forts For bachelor i ingeniørfag er det aktuelt med nasjonal/sentralgitt eksamen i f.eks. Matematikk 1 For bachelor i realfag mener panelet at vil det være noe mer utfordrende å få til, på tross av at det kun er 2 ulike lærebøker i bruk. AU tenker at det kunne vært mulig, i alle fall for deleksamener/prøver. AU har også kommet frem til noen områder det i tillegg bør ses videre på: Er det variasjon i kravstilling til studentene, eller er det variasjon i læringsmiljø som er årsaken til ulikhetene mellom program og institusjoner? Faglig kvalitet som tilbys - sammenlikning mellom læresteder. Sammenliknbare fag på ulike institusjoner. Submiljøer på institusjoner og innen fag. Individnivåanalyser for områdene. 35

Anbefalinger fra AU NFmR og NRT til UHRs analysegruppe Rapport fra Master i teknologi og metodene brukt i denne bør brukes som grunnlag for å utarbeide en anbefaling av hvordan kommende karakterundersøkelser bør gjennomføres, også for andre fagfelt. Karakterundersøkelser må også ta utgangspunkt i inntakskvalitet. Det bør utarbeides en tydeligere bestilling slik at karakterpaneler starter på et bedre og felles grunnlag, og slik at de enkelte institusjonene lett kan skaffe til veie nødvendig datagrunnlag. ======================================= Det blir spennende å se hva UHRs analysegruppe kommer frem til når de går gjennom alle panelrapportene, hovedrapport og AUs rapport. Det skal legges frem på UHRs karakterkonferanse til høsten. Alle rapportene ligger her: http://www.uhr.no/ressurser/temasider/karaktersystemet_1/karakt erundersokelser 36