Norges teknisknaturvitenskapelige universitet NTNU Institutt for konstruksjonsteknikk notat Gjelder: Om vekttall, eksamen og karakterer Til: Undervisningsutvalget ved Institutt for konstruksjonsteknikk v/leder Øystein Vennesland Undervisningsutvalget ved Fakultet for bygg- og miljøteknikk v/leder Sveinung Løset Kopi til: Faglærerne ved faggruppe for konstruksjonsmekanikk Fra: Kolbein Bell Dato: 14.04.2001 Innledning Egentlig handler dette om kvaliteten på vårt studium. Det snakkes mye om den om dagen, og det spriker etter min oppfatning ganske mye. Jo lenger vekk fra det operative nivå (dvs instituttene og den enkelte faglærer) vi kommer, jo bedre synes kvaliteten å være. Jeg skrev et lengre notat i fjor om disse spørsmålene - den interesserte leser kan finne notatet under valget Debatt på min hjemmeside: http://www.bygg.ntnu.no/~bell. Den beskrivelsen jeg gir der, og som jeg mener har fått støtte i mye av det som er sagt siden av andre faglærere, står i sterk kontrast til det som vår øverste ledelse lar tilflyte offentligheten, og forsåvidt også en del av det som sies offisielt fra vårt eget fakultet (kfr. Byggdagen 2000). Jeg skal ikke innlate meg på noen grundig analyse av tingenes tilstand, det er ikke mitt egentlige ærend med dette notatet, men for meg er det viktig at det er rimelig god overensstemmelse mellom det vi sier og det vi gjør. Mener vi at vi skal gi undervisning på høyt internasjonalt nivå (og det er vel nedfelt i gjeldende strategiplaner?) så må vi gjøre noe med det, og er vi ikke villige eller i stand til å gjøre noe med det, ja så må vi slutte å mase om hvor gode vi er. Vi får ikke høy kvalitet bare ved å snakke om den. For egen regning er jeg ikke i tvil om at vi har rykket ned minst en divisjon i løpet av de siste 6-8 årene, målt etter kvaliteten på gjennomsnittkandidatene våre. Som et bakteppe for det jeg har tenkt å si vil jeg gjerne få referere kort fra en lengre samtale jeg hadde med en av våre studenter for noen måneder siden. Utgangspunktet var en klage i forbindelse med eksamen. Via fakultetskontoret gikk studenten med på å ta en prat med meg før saken gikk til offisiell klage. Det tok oss ikke særlig lenge å bli enige om at det neppe var grunnlag for å gå til klagesak. Vi fortsatte imidlertid praten et par timer, og selv om vi var hjertelig uenige om det meste, var det en meget interessant, og for meg litt skremmende samtale. Jeg skal ikke ha sagt Side 1 av 6
noe om hvor representativ studentens synspunkter er. Selv mente studenten at det var gjengse holdninger og oppfatninger som kom til uttrykk, og jeg hadde et sterkt inntrykk av at vedkommende var oppriktig. Studenten var rimelig klar på at det de var ute etter var å få papir på at de var sivilingeniører, fortrinnsvis med gode karakterer oppnådd med så liten innsats som mulig. Hvor mye de virkelig lærte var av mindre interesse, for som vedkommende sa, vi får jo jobb alle sammen, og da kan vi jo lære det vi trenger når vi kommer ut i praksis. Dette synspunktet mente studenten også at de hadde klar støtte for fra næringen!? Her kan jeg jo også minne om et ganske stort oppslått intervju i Adressa for noen tid tilbake hvor en nybakt kvinnelig sivilingeniør fra Bygg ga uttrykk for tilsvarende synspunkter. Av andre ting som kom fram i samtalen kan nevnes at fagene på Konstruksjon var ansett for å være både større og vanskeligere enn på andre studieretninger, og dessuten var det stor forskjell med hensyn til både vanskelighetsgrad og bedømming av eksamen, også innad på Konstruksjon. Jeg utmerket meg visstnok som en av de strengeste. Med hensyn til arbeidsinnsatsen i løpet av semesteret mente studenten at de undersøkelsene som konkluderte med en gjennomsnittsinnsats i overkant av 30 timer pr uke neppe var langt fra sannheten. I parentes kan jeg legge til at dette også er mitt inntrykk, etter mange samtaler med studenter. Blir det kvalitet på høyt internasjonalt nivå av dette? La meg også referere til en bemerkning fra en arkitekt som er ansatt i et større norsk firma som sysselsetter både arkitekter og ingeniører. I et nylig avholdt ledermøte var det blitt opplyst at på Bygg ved NTNU var det nå fritt opptak og synkende kvalitet på kandidatene, og at det derfor var en høyere prioritert oppgave for firmaet å forsøke å holde på de bygningsingeniørene de hadde enn å rekruttere nye - dette burde jo kanskje også studentene merke seg. Det er mange elementer i dette med kvaliteten på våre ferdige kandidater. Noen, og kanskje de viktigste, bestemmes på nivåer hvor vi har liten innflytelse, som dette med tilgangen på kvalifisert og teknologi-interessert ungdom, antall universiteter, tildeling av ressurser og arbeidsdelingen mellom oss og ingeniørhøgskolene (som er en av mine kjepphester). Andre er lettere å påvirke, om vi vil. Ett område som jeg mener er viktig, og hvor vi burde kunne gjøre noe, har med karakterer og karakterfastsetting å gjøre. Jeg har lenge ment at vi på fakultetet burde hatt en del omforente prinsipper rundt disse spørsmålene, men jeg har aldri lykkes i få satt dette på dagsorden, selv ikke på instituttnivå. Kanskje overgangen til nytt, bokstavbasert karaktersystem kan være en anledning til å gjøre et nytt forsøk? Jeg har blitt fortalt at en av grunnene til at man ikke vil diskutere dette er fordi man ikke er enig i mine synspunkter og ikke vil akseptere disse som norm. Her tror jeg man har misforstått, og utlagt engasjement som egenrådighet. Jeg har aldri lagt skjul på at jeg har sterke synspunkter i disse spørsmålene, og disse vil jeg forfekte med frimodighet og styrke, men om vi, gjennom en skikkelig diskusjon, kommer fram til andre ordninger enn de jeg går inn for, skal jeg selvsagt følge disse lojalt. Jeg tror nemlig vi har mye å hente i vårt kvalitetsarbeid om alle faglærerne praktiserte noen viktige, grunnleggende prinsipper omtrent likedan. Før jeg tar for meg problemer og mulige løsninger knyttet til karakterfastsettingen, vil jeg gjerne si noe om en meget viktig forutsetning som knytter seg til dette med vekttall og vekttallsbelastning i et emne. Side 2 av 6
Hva er et vekttall? Basert på ganske mange uttalelser fra studenter, over lang tid, våger jeg å påstå at det er stor forskjell på hva vi som faglærere legger i et vekttall (Vt), ikke bare på fakultetet, men også innenfor instituttet. I mangel av klare uttalelser om hvordan vekttall/belastningstimer skal forstås (om sådanne finnes har ikke jeg funnet dem), har jeg dannet meg min egen oppfatning av dette, og denne har jeg meddelt mine studenter. Min forståelse av vekttall/belastningstimer er som følger: for et 2,5 Vt kurs, som tilsvarer 12 Bt, bør en gjennomsnittstudent kunne regne med å oppnå en gjennomsnittskarakter (2,5-3,0) i kurset dersom han/hun gir kurset 12 effektive arbeidstimer i uken gjennom hele semesteret (en gjennomsnittstudent har oppnådd gjennomsnittskarakterer så langt i studiet). Av reaksjonen fra studentene synes det klart at dette ikke er gjengs oppfatning. I så godt som alle kurs jeg har hatt faglæreransvar for ved NTH/NTNU har jeg fått høre fra studentene at arbeidsbelastningen er for stor. Når jeg har tatt dette litt grundigere opp med enkeltstudenter eller grupper av studenter har det, uten unntak, vist seg at det er ikke den absolutte belastning i mine kurs som er urimelig, det er i sammenligning med andre kurs med samme offisielle belastning at jeg kommer dårlig ut. Da har jeg alltid hevdet at det er de andre kursene som har et problem, ikke mitt kurs. Dette vil jeg fortsatt hevde, uansett hva studentene måtte mene. La meg som eksempel ta Konstruksjonsmekanikk 2 som jeg var ansvarlig for i 1999 og 2000. Jeg er ganske sikker på at innsatsen fra gjennomsnittstudenten i dette emnet i 1999 ikke var på mer enn 6 timer i uken (snakker vi om effektive timer var den ikke det en gang). Dermed vil jeg hevde at prestasjonene i kurset i 99, hvor snittet var i underkant av 3,9 og strykprosenten ca 40, sto i et rimelig forhold til innsatsen. Et bedre resultat ville, etter min menig, ha betydd at kurset ikke holdt et anstendig internasjonalt nivå. Men det blir, igjen etter min mening, helt galt når de samme studentene kan oppnå særdeles hederlige karakterer med, etter eget utsagn, vesentlig mindre innsats, i kurs med samme vekttall som Kmek 2. Da vil jeg hevde at enten holder ikke vedkommende kurs tilstrekkelig høyt nivå, eller så har det for lite pensum eller også er eksamen for lett eller for forutsigbar. Det er min klare oppfatning at for kurs med samme vekttall bør det kreve omtrent samme innsats fra studentene for å oppnå gjennomsnittskarakter i kursene. Jeg er fullstendig klar over at det kan være stor forskjell på f.eks et teoretisk mekanikk-emne og et mer praktisk dimensjoneringsemne, men dette bør først og fremst gi seg utslag i karakterfordelingen, ikke i gjennomsnittskarakteren. Dersom forskjellen er så stor som studentene gir uttrykk for mener jeg fakultetet har et betydelig problem, med store konsekvenser for studiets kvalitet. Jeg hevder ikke at det jeg gjør er korrekt, men jeg er rimelig trygg på at jeg ikke stiller strengere krav, til hverken pensum eller eksamen, enn det som tilsvarer et anstendig internasjonalt nivå. At jeg ikke oppnår bedre resultater kan selvsagt også henge sammen med mine pedagogiske evner. Det er en side til ved dette som er betenkelig, og det har med studentenes valg å gjøre. Jeg baserer meg igjen på uttalelser fra studenter når jeg hevder at mange velger emner ut fra hvor de tror de kan oppnå gode resultater med moderat innsats, og vi ser en helt klar tendens til at studentene velger seg bort fra emner som de oppfatter som vanskelige. Konstruksjon har fått ord på seg for å være teoretisk, og dermed skygger dagens studenter unna. Det er ganske mange av oss som på fagvalgsmøter har fått høre at nei, nå har jeg fått nok av mekanikk og matte, så Konstruk- Side 3 av 6
sjon er ikke et aktuelt alternativ. Dette sier vel ikke bare noe om Konstruksjon? Jeg er klar over at jeg bygger det meste av mine påstander på inntrykk og utsagn fra enkeltstudenter (selv om vel eksamensstatistikken også kan tas til inntekt for en del av det jeg hevder). Dersom fakultetet ønsker å ta tak i dette burde det være relativt enkelt å foreta en mer systematisk undersøkelse med tanke på å kartlegge omfang (pensum), arbeidsmengde og vanskelighetsgrad (uttrykt gjennom karakterene) i våre kurs. Om dette ikke blir gjort er det vanskelig å se at fakultetet kan unngå at det framsettes sterke ønsker om linjedelt opptak. Evaluering, eksamen og karakterfastsetting Jeg tror vi alle kan enes om at en 4-5 timers eksamen ved slutten av semesteret, ikke alene er noen fullgod måte å måle en students kunnskaper i et emne. For kurs med mange deltakere er det imidlertid vanskelig å se at vi har ressurser til å gjøre dette annerledes, i hvert fall med dagens tungrodde og kostbare sensorordning. Jeg har, med litt suksess, praktisert en frivillig form for tellende mid-term exam, i et emne med mange deltakere. Om ønskelig kan jeg gjøre rede for det opplegg jeg har benyttet. Vi har ekstremt eksamensfikserte studenter (og den holdningen har vi uten tvil vært med på å skape). Hvor mange av oss har opplevd å få negative tilbakemeldinger når vi forsøker å ta opp ting/tema som studentene opplever som lite eksamensrelevante? Og hvor mange har klart å tilfredsstille studentenes ønsker om (eksamensrelevante) eksempler? Jeg opplever at den voldsomme fokuseringen på eksamen blir en stadig mer dominerende (og negativ) premiss for hele læringsprosessen. Kan vi gjøre noe med dette? Jeg tror vi kan gjøre en del, men skal sluttkarakteren bare avhenge av en prøve ved semesterslutt, er det nok begrenset hva vi kan oppnå. Vi kunne jo begynne med å la være å levere ut løsningsforslag til tidligere eksamener? I hvilken grad lager vi eksamen for å teste kunnskap og forståelse heller enn god husk og metodemessige ferdigheter? Hvor lang tid bruker vi på å utarbeide et oppgavesett? Legger vi vekt på å variere spørsmålsstillingen, eller er det et poeng at oppgavene skal dras over mest mulig samme lest fra ett år til det neste? Jeg tror det variere veldig mye her, og selv om jeg har stor forståelse for at det kan være noe helt annet å lage eksamensoppgaver i et mekanikkemne enn i f.eks et mer planleggingorientert emne, så er jeg overbevist om at vi kan og bør legge noen felles føringer for hvordan vi utarbeider eksamensoppgaver. Og så til det dette egentlig skulle handle om, nemlig karakterer og karakterfastsetting! Fra høsten av skal vi gi karakterer etter et nytt, bokstavbasert karaktersystem. Den største forskjellen ligger i at vi nå får atskillig færre trinn å forholde oss til: fem trinn (A, B, C, D og E) for bestått og ett (F) for ikke bestått. Hva vi måtte mene om denne omleggingen er relativt uinteressant all den tid dette nå synes å være avgjort. Atskillig mer interessant og viktig er det hvordan vi skal praktisere det nye systemet. Fra kollegiet følger det en del føringer, blant annet for hvordan gamle tallkarakterer skal konverteres til nye bokstavkarakterer. Det er også utarbeidet noen verbale beskrivelser for hva de enkelte karakterene står for (vist til i det orienteringsmøtet som ble avholdt ved fakultetet 3. april). Fra høyere hold er det også sagt noe om hvordan karakterene over tid (?) bør fordele seg mellom de forskjellige trinnene (det er uklart for meg hvor de tabellene som ble vist på ovennevnte møte kom fra, kollegiet eller studieavdelingen). Dette er et meget sentralt punkt. Det kan nemlig tolkes dithen at vi skal bruke karaktersystemet til å angi hvordan studentene fordeler seg, karaktermessig, i forhold til hverandre, og ikke hvor mye de egentlig Side 4 av 6
kan. Eller sagt på en annen måte: skal karakteren være et mål på absolutt eller relativ kunnskap? Går vi for det siste (som det kan se ut som om de høyere instanser mener at vi skal) vil ikke karakterene si noe som helst om hvordan vi utvikler oss over tid, og de vil ikke være noe egnet kvalitetsmål. Her tror jeg vi må være meget klare (og alle må praktisere dette likt). Jeg tolket stemningen på ovennevnte møte til å gå helt klart i favør av en absolutt karakterfastsettelse, dvs karakteren skal si noe om kandidatens kunnskap i emnet, og ikke bare hvordan hans eller hennes prestasjon er i forhold til de øvrige studentene. La oss anta at vi bestemmer oss for å måle absolutt kunnskap. Hvordan skal vi så gripe dette an, og hvordan kan vi sikre oss at vi holder et rimelig konstant (og anstendig internasjonalt) nivå? Dette er ikke enkelt, men skal vi kunne praktisere noen grunnleggende prinsipper så noenlunde likt bør vi ha en felles modell. For vanlige kurs kan jeg tenke meg å foreslå en modell som er basert på en prosentbasert (eller poengbasert) metode som mange av faglærerne på vårt institutt har benyttet i en eller annen utgave over lang tid, og som er svært vanlig ved amerikanske universiteter: 1. Man utarbeider (i samråd med sensor) et oppgavesett hvor hver oppgave gis et maksimalt antall poeng som det er mulig å score ved helt riktig svar. Summen for samtlige oppgaver er 100 poeng (dermed blir det en smak sak om man vil kalle det poeng eller prosent). Oppgavens vekt, i poeng eller prosent, bør angis i oppgaveteksten. Det forutsettes at en student som har den hele og fulle oversikt skal kunne score 100 poeng innen den tilmålte tid, og her ligger selvsagt den vanskelige og subjektive vurdering av hva som bør kreves for full score (i et internasjonalt perspektiv). Her bør ferske faglærere trekke på de mer erfarne. 2. I forkant av rettingen, og fortrinnsvis i samråd med sensor, utarbeides en mer detaljert poengtabell hvor hvert delspørsmål tildeles poeng. Det kan også være aktuelt å lage en trekktabell, hvor man trekker et visst antall poeng for typiske feil. 3. Dersom mer enn en person foretar rettingen er det viktig at samme person retter samme oppgave(r) for samtlige studenter. Dermed blir det i hvert fall rimelig riktig studentene i mellom. 4. Karakteren fastsettes så på grunnlag av oppnådd poengsum etter en fast skala. Denne kan selvsagt diskueres. Det viktigste er vel å enes om hvor grensen for bestått skal gå. Jeg kan tenke meg å foreslå at den går ved 40%, og da synes følgende tabell å være i rimelig god overensstemmelse med de føringene som kollegiet har lagt (og som gir lang A og E): 100-86 A 85-76 B 75-66 C 65-56 D 55-41 E 40-0 F Side 5 av 6
5. Det skal vel godt gjøres å kunne lage oppgaver med samme vanskelighetsgrad fra den ene eksamen til den neste, og en eller annen metode for å justere (kalibrere) må man nok ha. Dersom middelet av de tre beste poengsummene ligger mellom 90 og 95 poeng ville jeg ikke justere i det hele tatt. Dersom middelet av de tre beste ligger under 90, la oss si 86,4, ville jeg multiplisere samtlige poengsummer med en faktor som er 90/86,4 = 1,04 (men faktoren er begrenset ved at beste besvarelse ikke kan få mer enn 100 poeng!). Dersom middelet av de tre beste besvarelsene er over 95 poeng, f.eks 97,1, ville jeg multiplisere samtlige poengsummer med faktoren 95/97,1 = 0,98. Denne justeringen forutsetter at vi snakker om kurs med et visst antall (>25) deltakere. For små kurs må man anvende andre metoder. 6. Sensuren bør baseres på midling av retters og sensors resultat. Når det vipper bør det vippe sensors vei. Noen kommentarer til disse punktene: Jeg er for min egen del ikke enig i tabellen i punkt 4 - etter min mening burde C en ha dekket det største intervallet - men jeg tror den er i overensstemmelse med de sentrale føringene. Å legge grensen for bestått på 40% tror jeg er lavt i internasjonal sammenheng, men det er omtrent der vi har ligget med mekanikkemnene i lang tid. For egen del har jeg de seneste årene operert med en helt lineær skala som har gitt 1,0 mellom 96 og 100 poeng, 1,5 mellom 86 og 95 poeng, og ned til 4,0 for mellom 36 og 45 poeng. Jeg har altså lagt listen ved 36 poeng, mens jeg her har foreslått å legge den ved 41 (som jeg tror er mer korrekt). Her kunne vært sagt en god del mer, men dette er blitt sørgelig langt allerede, så jeg bør vel se til å runde av. Mitt ærende med dette notatet er å prøve å trekke i gang en, etter min mening, høyst påkrevd diskusjon om nivå og kvalitet på vårt studium og våre produkter. Disse spørsmålene drukner dessverre lett i de langt mindre viktige strategi- og organisasjonsdebatter. Helt på tampen vil jeg si at vi bør arbeide for å avskaffe kontinuasjonseksamen fra og med 2. årskurs. I den grad vi må gi kontinuasjonseksamen bør vi være helt bevisste på at den ikke skal være enklere enn hovedeksamen. (Vi har neppe lov til å si at den skal være vanskeligere, men vi kan garantere at den ikke skal være lettere!). Vi bør også arbeide for å myke opp (leses redusere omfanget av) sensorordningen. Hva med å få inn en setning på vitnemålet til våre sivilingeniører som sier noe om hvor de (med sin hovedkarakter) plasserer seg i kullet? For eksempel: - blant de beste 5% - blant de beste 10% - blant de beste 25% - over gjennomsnittet - under gjennomsnittet Dette tror jeg kan være nyttig informasjon for de som skal vurdere/bruke dette dokumentet (ikke minst i en internasjonal sammenheng). Det betinger imidlertid at vi får tilbake heltidsstudenten som gjennomfører på normert tid. Side 6 av 6