Rapport Karakterpanel teknologiske fag Periode: Våren 2005 og høsten 2005 Bakgrunn I rapporten fra karakterpanelet for teknologiske fag for perioden høst 2003, vår 2004, og høst 2004 er det gitt en oversikt over introduksjonen av det nye karaktersystemet i Norge. Deler av denne oversikten gjentas her for å sette rapporteringen for 2005 i en større sammenheng. Det ble innført en ny bokstavkarakterskala basert på ECTS-systemet f.o.m. høsten 2003 i høyere utdanning. Noen utdanninger/institusjoner var enda tidligere ute. Det ble imidlertid snart klart at karakterskalaen ikke ble brukt som forutsatt, og at den ble praktisert ulikt fra utdanning til utdanning og mellom institusjoner. Dette gjorde det nødvendig med særskilte tiltak. Det såkalte rektorbrevet dannet grunnlaget for hvordan lik og riktig praktisering skulle sikres. Det skulle opprettes karakterpaneler, basert på referansepanelene som var etablert for professoropprykksvurderinger. Dette betydde imidlertid at det bare var universitetsfagene som ble berørt i første omgang. Teknologifagene var heller ikke omfattet av dette siden disse ikke hørte under et nasjonalt fakultetsmøte. De nasjonale rådene under Universitets- og høgskolerådet tok imidlertid ansvar og opprettet sine egne karakter-/referansepaneler. Arbeidet som gjennomføres i disse panelene er viktige ut fra behovet om etablering av ens praksis for sektoren. Når det gjelder de teknologiske fagene (ingeniør- og sivilingeniørutdanning) besluttet Nasjonalt råd for teknologisk utdanning (NRT) at arbeidsutvalget (NRT/AU) skulle fungere som karakterpanel. En bestilling på karakterstatistikk for vår 2005 og høst 2005 ble sendt UHR, ut fra samme mal som lå til grunn for bestillingen for høst 2003, vår 2004 og høst 2004. Denne bestillingen omfattet rapporterte karakterer fra institusjonene som tilbyr ingeniør- og sivilingeniørutdanning. Utkast til bestilling for 2003 og 2004 hadde på forhånd blitt drøftet på NRT-møte 2/04 (28. 29.10.04). Utdannings- og forskningsdepartementet (UFD), og senere Kunnskapsdepartementet, har vært forsiktige med å gi detaljerte retningslinjer ved innføringen av ny karakterskala, men etter at det blant annet ble klart at karakterskalaen ikke ble praktisert likt, kom departementet med nye retningslinjer. I sitt brev av 10.05.04 slår derfor daværende Utdannings- og forskningsdepartementet fast at følgende grunnprinsipper skal legges til grunn for bruken av det nasjonale karaktersystemet på alle studienivå: 1 Karaktersettingen skal ta utgangspunkt i den verbale beskrivelse som er gitt av prestasjoner på de enkelte nivåene, der karakteren C skal gi uttrykk for en jevnt god prestasjon som er tilfredsstillende på de fleste områder og karakteren A for en fremragende prestasjon som klart utmerker seg. Den verbale beskrivelsen må forstås med referanse til anerkjente faglige standarder for det aktuelle studiet og de s. 1 av 8
kunnskapsmål som er satt for det enkelte program eller emne. Kravene vil naturlig stige fra lavere til høyere studienivå. Det eksisterer således ingen forhåndsgitt fordeling av karakterer som noe eksamens- eller studiekull skal presses inn i. 2 Skillet mellom bestått karakter og ikke bestått skal beskrives som absolutte krav. Kriterier for bestått karakter skal gjenspeile faglig mestring i emnet, tilpasset det aktuelle studienivå. Kravene til bestått skal ikke gjøres avhengig av endringer i studentenes forutsetninger for å gjennomføre emnet. Grensen mellom bestått og ikke bestått kan settes høyere enn grensen mellom E og F der en kun benytter uttrykkene bestått/ikke bestått og ikke den graderte skalaen. 3 Den enkelte student skal i utgangspunktet vurderes opp mot hele skalaen, uansett nivå (bachelor/master) og seleksjonsprosess, for å skjelne gode fra mindre gode prestasjoner og rangere studentene innbyrdes. Departementet sier også følgende i det samme brevet: Til slutt vil departementet understreke betydningen av arbeidet med nasjonal samordning av bruken av karakterskalaen som er gjort og gjøres av UHR, fakultetsmøtene og de nasjonale referansepanelene. De ovenfor nevnte prinsippene vil ligge til grunn også for deres videre arbeid. Departementet forventer at institusjonene slutter opp om samarbeidet og i fellesskap finner frem til gode løsninger. Det er særlig viktig at referansepanelene arbeider for å motvirke inflasjon i bruken av de beste karakterene. På grunnlag av funnene som ble gjort av karakterpanelet for de teknologiske fag for høst 2003, vår 2004 og høst 2004, ble det igangsatt tiltak som skulle danne grunnlag for forbedring av karakterbruken. Et av disse var endringer i anbefalinger i %-poeng metoden, NRT-sak 24/05. Implementering av disse nye grensene ved institusjonene har ikke vært tidsnok til at effekter av dette kan forventes i karakterbruken som denne rapporten omhandler. Funn Karakterpanelet, NRTs arbeidsutvalg, har lagt karakterstatistikk hentet ut fra Database for høyere utdanning (DBH) til grunn for sin rapportering, bortsett fra karakterer for mastergradsoppgaver ved master i teknologi / sivilingeniør ved NTNU. NTNUs direkte rapport mht disse mastergradsoppgavene til vedkommende som hentet ut data fra DBH ligger til grunn for rapporteringen her. Vedlegg 1 viser bestillingen som ble foretatt for innhenting av datagrunnlag. Vedlegg 2 viser de ulike utdanningene innen bachelor i ingeniørfag. De ulike studietilbudene innen graden master i teknologi; master i teknologi / sivilingeniør som tilbys ved de ulike institusjonene er vist i vedleggene hvor karakterbruken rapporteres. Karakterpanelet hadde møte den 24. august 2006 hvor materialet ble gjennomgått og vurdert. Første del av møtet ble brukt til å gjennomgå den sammenstilte totalstatistikken for teknologifagene ved de enkelte institusjonene. Rapporten ble behandlet ferdig på møtet den 12. september 2006. Man skulle kunne forvente at disse statistikkene ville vise en tilnærmet normalfordeling (med C som den mest forekommende karakteren) siden det er forholdsvis store grupper. Rapporten presenterer karakterene med utgangspunkt i utdanningsområder ut s. 2 av 8
fra lignende utdanning er førende for konkurranse i arbeidsmarkedet. I denne delen av rapporten, har karakterpanelet, med bakgrunn i mandatet, valgt å begrense gjennomgangen innen bachelor i ingeniørfag til utdanningsområdene bygg, data, elektro, kjemi, og maskin slik de er gruppert i vedlegg 2. Bachelor i ingeniørfag Alle karakterer rapportert innen bachelor i ingeniørfag aggregert over alle typer program for alle institusjoner viser for kalenderåret 2005 en fordeling som vist i Tabell 1. Tabell 1. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner, bachelor i ingeniørfag V2005 28075 13 23 22 16 12 14 H2005 21144 12 22 24 16 11 15 Detaljert statistikk følger i vedlegg 3. Denne overordnede fordelingen viser at antall emner som bedømmes til Bog C er omtrent like store, og at A og E også er omlag like store. D forekommer med en relativ hyppighet mellom BC og AE nivåene. Disse trendene resulterer total i: - en skjev fordeling noe forskjøvet til for god middelkarakter mellom B og C i forhold til forventet middels prestasjon - en for flat fordeling innen bestått-karakterene i forhold til hva en kan forvente i henhold grunnlaget for karakterene i Norge, men svakt bedre for H2005 enn V2005. Strykandelen i bachelorutdanningene i ingeniørfag aggregert på institusjonsnivå varierer mellom 5 og 21 %, med et gjennomsnitt veid etter antall avlagte eksamener på 15 %. Fordelingen mellom karakterene på de enkelte institusjonen varierer. Karakterbruken ved noen som ligger nær opp til gjennomsnittet for utdanningene (HiB, HVE), noen som har forskjøvet tyngdepunktet mot de beste karakterene i forhold til gjennomsnittet (HiNT, HiT for V2005; HSF og HSH for høst 2005). Disse variasjonene er ikke gjennomgående mellom semestrene. Master i teknologi / sivilingeniør Alle karakterer rapportert innen sivilingeniørutdanningene (master i teknologi / sivilingeniør) aggregert over alle typer program for alle institusjoner viser for kalenderåret 2005 en fordeling som vist i Tabell 2. Detaljert statistikk følger i vedlegg 3. Tabell 2. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner, master i teknologi / sivilingeniør Tot. antall % % % % % % V2005 21309 17 26 22 14 12 9 Denne fordelingen er karakterisert ved sum av A og B på totalt 43 %, og sum av D og E på 26 %. Middelkarakteren ligger derfor mellom B og C. I grunnlaget for denne fordelingen er s. 3 av 8
NTNU dominerende (17942 av totalt 21309 karakterer). Karakterfordelingene ved de andre institusjonene i forhold til gjennomsnittet for utdanningen er karakterisert ved: HiN og UiS er ikke like mye forskjøvet mot god karakterer som gjennomsnittet, UMB har en fordeling som er nær opp til gjennomsnittsfordelingen. Karakterfordelingen ved HiA og HiT er forskjøvet mot bedre karakterer enn gjennomsnittet. HiG fordeling er basert på et så lite antall karakterer (10) at grunnlaget for en vurdering av fordeling ikke er tilstrekkelig. Bachelor i ingeniørfag fordeling innen hovedutdanningene. Statistikken ble også gjennomgått mht på bruk innen de ulike utdanningene ved de ulike institusjonene. Disse statistikkene er i det følgende presentert med basis i studieprogram. Byggingeniør Tabell 3 viser fordeling av karakterer innen byggingeniørprogrammene, våren 2005, aggregert over alle institusjonene, samt bacheloroppgavene (hovedprosjekt). Tabell 3. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner 2005, byggingeniør, og bacheloroppgaver V2005 4002 12 32 24 13 9 9 H2005 4420 11 25 25 17 11 11 Bacheloroppgaver 389 22 56 20 11 0 0 Detaljert statistikk følger i vedlegg 3. Karaktersettingen innen bygg viser en noe større forekomst av gode karakterer for V2005 enn gjennomsnittet for alle bachelorutdanningene. Generelt er fordelingen karakterisert av for stor forekomst de beste karakterene. For bacheloroppgavene er det et klart tyngdepunkt i fordelingen ved B. Dette kan være en av årsakene til forskyvning av tyngdepunkt mot bedre karakterer i vårsemesteret. For H2005 er karakterfordelingen karakterisert ved noe mindre tyngde på B enn V2005, og gjennomsnittskarakteren er en god C. Dataingeniør Tabell 4 viser fordeling av karakterer innen dataingeniørprogrammene, våren 2005, aggregert over alle institusjonene, samt bacheloroppgavene. Tabell 4. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner V2005, dataingeniør V2005 2743 14 25 27 15 10 10 Detaljert statistikk følger i vedlegg 3. Karaktersettingen innen data viser en fordeling som er nær opp til fordelingen for alle bachelorgradene. Elektroingeniør Tabell 5 viser fordeling av karakterer innen elektroingeniørprogrammene, 2005, aggregert over alle institusjonene, samt bacheloroppgavene s. 4 av 8
Tabell 5. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner 2005, elektroingeniør, og bacheloroppgaver V2005 4367 19 26 21 14 10 10 H2005 6934 14 21 24 17 14 15 Bacheloroppgaver 331 30 44 21 3 2 0 Detaljert statistikk følger i vedlegg 3. Karaktersettingen innen elektro viser en noe større forekomst av gode karakterer for V2005 enn gjennomsnittet for alle bachelorutdanningene. Generelt er fordelingen karakterisert av for stor forekomst de beste karakterene. Karakterbruken knyttet til bedømming av bacheloroppgavene viser et klart tyngdepunkt i fordelingen ved B. Dette kan være en av årsakene til forskyvning av tyngdepunkt mot bedre karakterer i vårsemesteret. Elektronikkingeniør Tabell 6 viser fordeling av karakterer innen elektronikkingeniørprogrammene, våren 2005, aggregert over alle institusjonene. Tabell 6. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner V2005, elektronikkingeniør. V2005 554 21 20 22 13 12 12 Detaljert statistikk følger i vedlegg 3. Tabell 6 viser en fordeling av karakterene som kan karakteriseres ved en trappefunksjon. Karakterene A, B og C brukes i om lag 21 % av besvarelsene. Karakterene D, E og F brukes i 12-13 % av alle karakterene. Tyngdepunktet i fordelingen blant de beståtte ligger på mellom B og C. Maskiningeniør Tabell 7 viser fordeling av karakterer innen maskiningeniørprogrammene, 2005, aggregert over alle institusjonene, samt bacheloroppgavene. Tabell 7. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner 2005, maskingingeniør, og bacheloroppgaver V2005 2652 16 27 23 15 9 11 H2005 2890 12 22 27 14 10 15 Bacheloroppgaver 241 27 45 22 6 1 0 Detaljert statistikk følger i vedlegg 3. Den anvendte karakterfordelingen innen dette fagområdet er ikke vesentlig ulik gjennomsnittet for alle bachelorutdanningene. Det klare tyngdepunktet i fordelingen for bacheloroppgavene ved B kan være en faktor som bidrar til en fordeling karakterisert ved mer bruk av de beste karakterer for vår enn høst. For H2005 er s. 5 av 8
karakterfordelingen karakterisert ved noe mindre tyngde på B enn V2005, og gjennomsnittskarakteren er en god C. Kjemiingeniør Tabell 8 viser fordeling av karakterer innen kjemiingeniørprogrammene, V2005, aggregert over alle institusjonene, samt bacheloroppgavene. Tabell 8. Totalt antall sensureringer (N) og fordeling av karakterer, alle rapporterte emner V2005, kjemiingeniør, og bacheloroppgaver V2005 783 18 23 22 16 10 10 Bacheloroppgaver 90 41 49 9 0 0 0 Detaljert statistikk følger i vedlegg 3. Karakterfordelingen innen dette fagområdet er ikke vesentlig ulik gjennomsnittet for alle bachelorutdanningene. Karakterfordelingen for bacheloroppgavene viser tyngdepunkt på de to beste karakterene, og gjennomsnittet ligger ved en god B. Dette forventes også å bidra til fordelingen av alle karakterene innen kjemi V2005. Master i teknologi / sivilingeniør hovedoppgaver Karakterrapporten for 2003/2004 viser at den klart største utfordringen innen karakterbruken for sivilingeniørutdanningen er knyttet til vurderingen av hovedoppgaven/diplomen og prosjektemner. Tabell 9 viser fordelingen av karakterene for hovedoppgave/diplom fordelt på institusjonene for 2005. Tabell 9. Totalt antall sensureringer (N) og fordeling av karakterer 2005, hovedoppgaver innen sivilingeniørutdanningene ved ulike institusjoner. NTNU 825 27 45 21 6 2 0 UMB 67 22 49 13 15 0 0 UiS 100 33 40 17 7 3 0 HiN 31 16 45 23 13 3 0 HiA 49 22 53 24 0 0 0 HiG 18 0 11 39 33 0 17 HiT 26 19 62 15 4 0 0 Hovedtrenden er en karakterfordeling sentrert rundt B, med noen institusjoner hvor A er mer brukt enn samlet C-F (UiS), A omtrent like mye brukt som C-F (NTNU, HiA, HiT) og A mindre brukt enn C-F (UMB, HiN). Unntatt fra dette er HiG som har tyngdepunkt i fordelingen ved en svak, men samtidig er den institusjonen med færreste hovedoppgaver/ diplomer. s. 6 av 8
Vurderinger og anbefalinger Gjennomgangen av karakterstatistikkene for ingeniør- og sivilingeniørutdanningene viser at det er en del variasjon mellom programmene og også mellom institusjonene. Hovedinntrykket er at mange av de tendensene som ble avdekket ved gjennomgangen av karakterene for høsten 2003 og vår/høst 2004 er videreført til 2005. Generelt gis det fortsatt for mange B. Det er videre åpenbart at det er karaktersettingen på prosjekt- og masteroppgaver og hovedprosjekt som særlig trenger overvåking og justering slik at karakteren C representerer en gjennomsnittlig god (typisk) prestasjon på det aktuelle nivået. Det er ikke sannsynlig at i overkant av 70 % av disse oppgavene er bedre enn gjennomsnittet(!). Selv om dette er en svak bedring fra 75 % ved forrige rapportering, er det fremdeles behov for betydelige korreksjoner. Hvis vi skal lykkes med en noenlunde enhetlig bruk av karaktersystemet på tvers av fag/utdanninger og institusjoner slik intensjonen er, så er det viktig at dette tas alvorlig. Dette betyr at nødvendige tiltak må iverksettes for at karakteren C nettopp skal gi uttrykk for en jevnt god prestasjon som er tilfredsstillende på de fleste områder. Kommunisering av forståelse av karakterene og bruken av dem, både til arbeidsgivere og studentene, er viktig for at dette skal lykkes. Disse funnene gir grunnlag for å gjenta anbefalingen om å etablere sensurkomiteer fremmet av karakterpanelet for teknologiske fag ved forrige rapportering. Sensurkomiteer anbefales etablert ved den enkelte institusjon for prosjekt- og masteroppgaver og hovedprosjekt på ingeniør- og sivilingeniørutdanningene som et ledd i kvalitetssikringen. Institusjonene bør selv vurdere på hvilket nivå (institutt, fakultet, avdeling, fagområde) slike sensurkomiteer bør opprettes. Institusjonene oppfordres videre til å vurdere sin egen karakterbruk i forhold til funnene som er avdekket her (se også vedlegg 3 for ytterligere detaljer). Variasjonene i stryk (F) bør vurderes av den enkelte institusjon i forhold til de opptakskrav som kreves for adgang til studiet. Man kan forvente forholdsvis høye strykprosenter, hvis studiet har lave opptakskrav (opptakspoenggrensen er lav). Det er noe betenkelig, hvis man i en slik situasjon har lave strykprosenter. Dersom situasjonen er motsatt, dvs. høye opptakskrav og høy strykprosent, er sensuren kanskje for streng. I begge tilfeller bør dette vurderes internt ved den berørte institusjon. Karakterpanelet vil i tillegg anbefale en forsøksordning som innebærer samarbeid mellom institusjoner med felles eksamen og sensur på noen av de grunnleggende fagene for å kunne vurdere strykgrenser og karakterbruk på felles grunnlag. Vedlegg Vedlegg 1: Vedlegg 2: Nasjonalt råd for teknologisk utdanning, arbeidsutvalget: Bestilling av karakterstatistikk fra ingeniør- og sivilingeniørutdanningene Oversikt studieprogrammer og -retninger i ingeniørutdanningen s. 7 av 8
Vedlegg 3: Karakterpanel teknologiske fag: Periode: Våren 2005 og høsten 2005. Utfyllende karakterstatistikk s. 8 av 8