14 /15 Årsrapport Eksamen ved profesjonsstudiet i medisin Det medisinske fakultet, NTNU
Innhold 3 Forord 4 Kvalitetsforbedringstiltak 5 Studentevaluering 7 Fakta om eksamen 8 Psykometri 8 Om psykometri 9 Vanskelighetsgrad 10 Diskriminerende evne 11 Point Biserial Correlation 12 Kognitivt nivå 13 Poengfordeling 15 Læringsmål 16 Eksamenskommisjonene 17 Plan for studieåret 18 Kurs 2015 19 Sjekk dine egne oppgaver
Forord Eksamensdagen anses av studentene som en av årets aller viktigste dager. De arbeider hardt året gjennom for å tilegne seg den kunnskapen som er forventet at de skal lære seg jamfør læringsmålene. På slutten av året er det underviserne sin oppgave å kartlegge om de har lært seg dette. Eksamen skal vise at de mestrer nok til å kunne gå videre til neste studieår. På siste studieår skal eksamen være en siste kvalitetssjekk på at man kan det som trengs for å arbeide som lege under veiledning i sykehus og i allmennpraksis. Det er derfor svært viktig at vi har eksamener av høy kvalitet og at vi med sikkerhet kan vite at de som står er gode nok og at de vi stryker har manglende kunnskaper og ferdigheter. Tobias S. Slørdahl har studert medisin ved NTNU og senere fullført en PhD i molekylærmedisin ved samme universitet. I tillegg til å være eksamenskoordinator for profesjonsstudiet i medisin jobber han som lege i spesialisering ved de medisinske klinikker, St. Olavs Hospital og som postdoktor ved Institutt for kreftforskning og molekylærmedisin. George E. Miller (1919-1998), en av pionerne innen forskning på medisinsk utdanning, har uttalt at assessment drives learning. Dette er også godt kjent blant studenter og universitetslærere. Ved Det medisinske fakultet (DMF) ved NTNU publiseres eksamensoppgavene på universitetets nettsider etter gjennomført eksamen. Disse brukes flittig av studentene før eksamen. Jeg vil påstå at gamle eksamensoppgaver nok er den læreboken studentene leser mest. Det er derfor viktig at man som underviser sørger for å teste det viktigste hyppigst, men samtidig passer på at man tester bredden i faget sitt. Studieåret 2014/2015 har vært et år preget av mange kvalitetsforbedringsprosjekter for eksamen ved vårt fakultet. Eksamen er et puslespill med svært mange brikker. Jeg er imponert over hvor mye arbeid mange undervisere legger ned og ikke minst det enorme arbeidet som utføres av eksamenskommisjonene. Vi har i år utarbeidet en rapport som sier noe om hvilke tiltak som er gjennomført i dette studieåret, vi viser de psykometriske beregningene for årets eksamener og vi viser resultatene av vår digitale studentevaluering av eksamen. Jeg ønsker å takke for et godt samarbeid med undervisere, studenter og administrasjon dette året og ser frem til kommende studieår. Med vennlig hilsen Tobias S. Slørdahl, MD PhD Eksamenskoordinator, CMED 3 Det medisinske fakultet
Kvalitetsforbedringstiltak 2014/2015 Ansettelse av eksamenskoordinator Det medisinske fakultet ansatte i august 2014 Tobias S. Slørdahl i 20 stilling som eksamenskoordinator. Slørdahl jobber i tillegg som Lege i spesialisering ved de medisinske klinikker ved St. Olavs Hospital og som postdoktor ved Institutt for kreftforskning og molekylærmedisin. Eksamenskoordinator ved fakultet skal arbeide for kvalitetssikring av eksamen og eksamensprosessen, samt videreutvikling av nye eksamensmetoder. Koordinator underviser andre undervisere i hvordan de skal lage eksamensoppgaver. Veileder for flervalgsoppgaver Fakultetet ga i oktober 2014 ut en ny veileder for hvordan man lager flervalgsoppgaver til eksamen. Årsaken er en høyst variabel kvalitet på disse oppgavene de senere år. Veilederen gir en kort innføring i hvordan en flervalgsoppgave er bygd opp, hvordan man tester sin egen oppgave, hvordan man kan lage mange spørsmål ut av ett spørsmål, hvordan man legger spørsmålet inn i databasen og hvilke klassiske oppgavefeil man bør unngå. Veilederen er sendt i post til alle ansatte ved fakultetet og kan også lastes ned elektronisk fra http://goo.gl/mck8ho. Kurs for undervisere Det i er i dette studieåret holdt syv kurs i hvordan man skal lage flervalgsoppgaver. Totalt har 107 undervisere deltatt på ett av kursene i år. Studentmedvirkning Eksamenskoordinator har holdt et innlegg på studentenes allmøte den 3. november 2014. Her har studentene fått informasjon om hvilke kvalitetsforbedringstiltak som er igangsatt og hva som er utfordringene ved eksamen i Trondheim. Videre har studentene vært invitert til å komme med innspill til eksamen gjennom hele studieåret og har direkte deltatt i beslutningen om hvordan svararkene til eksamen skal se ut ved en avstemning på nett. Digital evaluering av eksamen Vi innført i år digital evaluering av alle ordinære eksamener i vårsemester 2015. Studentene fikk 1 uke etter skriftlig eksamen og 1 uke etter muntlig-praktisk eksamen tilsendt en lenke til et evalueringsskjema. Totalt ble over 700 eksamener evaluert og du finner resultatene av evalueringen i denne årsrapporten. Økt nasjonalt samarbeid Det er tidskrevende å lage gode flervalgsoppgaver. Fagene som undervises i medisinstudiet er stort sett de samme på tvers av studiestedene og det som eksamineres er således også det samme. Vi har i år delt våre flervalgsoppgaver med undervisere ved Universitetet i Oslo og Universitetet i Tromsø. Vi har fått en del oppgaver i retur fra UiO som er distribuert til de aktuelle fagene. Økt nasjonalt samarbeid kan forhåpentligvis gjøre oppgaven med å lage høykvalitetsoppgaver til eksamen lettere i fremtiden. Systematisk oppgaveanalyse Etter hver eksamen bør det gjennomføres systematiske psykometriske analyser. Dette har vi gjort i år for å se på eksamens reliabilitet og hvordan flervalgsoppgavene scorer. I denne rapporten kan du lese mer om de psykometriske analysene vi har utført. Som oppgaveskriver er det viktig selv å gå inn i flervalgsoppgavedatabasen og se hvordan deres oppgaver har scoret ved årets eksamen. Hvordan du gjør dette kan du også lese om i denne årsrapporten. Debriefingsmøte etter eksamen Etter ordinær eksamen i år ble det avholdt et debriefingsmøte for alle semesterkoordinatorer og studieveiledere involvert i eksamen. Her ble alle feil som ble begått ved årets eksamen diskutert og strategi for hvordan disse feilene kan unngås ved senere år diskutert. Et stort sprik i hvordan de ulike eksamenskommisjonene arbeider ble avdekket og det ble ytret ønske om en felles retningslinje for alle eksamenskommisjonene. Fagfellevurdering av flervalgsoppgaver Vi har utført et pilotprosjekt med fagfellevurdering av flervalgsoppgaver på 3. studieår. Alle flervalgsoppgavene ved ordinær eksamen ble sendt ut til leger i spesialisering med minimum 2 års erfaring som leger. Hensikten har vært å identifisere feil i oppgavene, samt å få fjernet sære spørsmål uten relevans for senere klinisk hverdag. 41 av oppgavene ble foreslått endret eller fjernet. På bakgrunn av tilbakemeldingene ble oppgavene fjernet eller revidert av oppgaveskriver. Oppgaveskriver hadde siste ordet i saken. Prosjektet har gitt økt fokus på hvordan utforme flervalgsoppgaver og har uansett resultat hatt en læringseffekt på undervisere og eksamenskommisjon. De endelige analysene av dette prosjektet vil bli gjort høsten 2015 og publiseres i egen artikkel. Årsrapport eksamen 4
Studentevaluering Om digital evaluering Med en økt satsning på evaluering av eksamen ved medisinstudiet har det vært en ambisjon for oss å få flest mulig studenter til å besvare evalueringsskjemaet. For å oppnå en akseptabel svarprosent la vi vekt på at evalueringsskjema skulle være 1) enkelt å besvare på mobile enheter og 2) raskt å gjennomføre (1-2 minutter). Årets evaluering ble derfor lansert på en platform med responsivt design. Det vil si at evalueringsskjemaet er optimalisert for flere enheter (PC, nettbrett og smarttelefon). Ut i fra oversikten over hvilke enheter studentene har benyttet for å besvare evalueringsskjemaet (figur 1) fikk vi bekreftet vår antakelse om at enhver evaluering bør ta hensyn til den stadig hyppigere bruken av mobile enheter blant studentene. Det tok studentene gjennomsnittelig 3 minutter og 54 sekunder å besvare evalueringsskjemaet. Dette skyldes at 48 av studentene valgte å benytte fritekst-feltet til å gi utfyllende tilbakemeldinger på eksamen. 56 5 Tabell 1 viser hvor stor andel av kandidatene ved hvert kull som evaluerte henholdsvis skriftlig og muntlig-praktisk eksamen. Tabell 1: Svarprosent evaluering av ordinær eksamen 2015. Kandidater Skriftlig Muntlig-praktisk MD4011 114 66,7 62,3 MD4020 114 83,3 - MD4030 94 85,1 70,2 MD4040 111 73,0 62,2 MD4062 111 72,1 67,6 39 Skriftlig eksamen høst 2014 (MD4061), skriftlig engelsk eksamenvår 2015, skriftlig forkserlinjeeksamen vår 2015 og muntlig-praktisk eksamen i lege-pasientkommunikasjon vår 2015 er ikke med i evalueringen. Figur 1: Prosentandel av evalueringen gjort med PC, nettbrett og smarttelefon (N = 704). 5 Det medisinske fakultet
Begrepsavklaring MD4011... Integrert eksamen... 1. semester (IA)... 2. semester (IB) MD4020... Integrert eksamen... 3. semester (IC)... 4. semetser (ID) MD4030... Integrert eksamen... 5. semester (IIA)... 6. semester (IIB) MD4040... Integrert eksamen... 7. semester (IIC)... 8. semester (IID) MD4062... Integrert eksamen... 12. semester (IIID) Kommentarer fra studentene (fritekst) I denne rapporten vil vi ikke belyse de kommentarene studentene kom med i evalueringsskjemaets fritekstfelt. Eksamenskoordinator og semesterkoordinatorer har mottatt disse og vil bruke de i videre kvalitets- og forbedringsarbeid vedrørende sin eksamen. Muntlig-praktisk eksamen I likhet med kommentarene fra studentene vil heller ikke muntlig-praktisk eksamen analyseres like inngående som flervalgsoppgavene. Eksamenskoordinator og semesterkoordinator gjør egne evalueringer og iverksetter spesifikke tiltak på bakgrunn av innsamlede data. Tabell 2: Studentevaluering av skriftlig ordinær eksamen 2015. Snitt MD4011 MD4020 MD4030 MD4040 MD4062 Hva syntes du om organiseringen av skriftlig eksamen? 1 4,21 3,98 4,33 3,87 3,71 5,1 Skriftlig eksamen omfattet sentrale spørsmål? 2 4,11 4,23 3,9 4,05 3,66 4,72 Skriftlig eksamen hadde en rimelig balanse mellom fagene som er undervist 3,84 3,88 3,76 3,37 3,47 4,63 i dette studieåret 2 Hva synes du om essayoppgavene ved årets eksamen? 1 4,17 4,18 3,81 4,06 3,68 5,17 Hva synes du om flervalgsoppgavedelen ved årets eksamen? 1 3,96 4,12 4,64 3,42 3,78 3,66 Hvordan vil du vurdere vanskelighetsgraden ved skriftlig eksamen? 3 3,16 3,42 3,14 3,05 3,03 3,17 1 1 = Svært dårlig, 6 = Svært bra. 2 1 = Helt uenig, 6 = Helt enig. 3 1 = For vanskelig, 6 = For lett. Tabell 3: Studentevaluering av muntlig-praktisk ordinær eksamen 2015. Stasj. Stasj. Stasj. Storfag Småfag Snitt MD4011 MD4030 MD4040 MD4062 MD4062 Hva syntes du om organiseringen av muntlig-praktisk eksamen? 1 5,33 5,47 5,28 5,2 - - Muntlig-praktisk eksamen omfatter sentrale spørsmål og/eller praktiske 4,8 4,77 5,21 4,39 5,4 5,53 oppgaver 2 Jeg fikk vist hva jeg kan til muntlig-praktisk eksamen 2 4,33 4,4 4,62 3,92 4,71 5,13 Jeg fikk god tilbakemelding fra eksaminator og/eller sensor? 2 4,64 4,25 4,8 4,86 4,97 5,22 1 1 = Svært dårlig, 6 = Svært bra. 2 1 = Helt uenig, 6 = Helt enig. 3 1 = For vanskelig, 6 = For lett. (Stasj. = Stasjonseksamen, Storfag = Indremedisin, kirurgi og allmennmedisin, Småfag = fysikalsk medisin og rehabilitering, gynekologi obstetrikk, hud- og veneriske sykdommer, nevrologi, nevrokirurgi, onkologi, ortopedi, pediatri, psykiatri, reumatologi, øre-nese-halssykdommer, øyesykdommer, anestesi og barne- og ungdomspsykiatri) Årsrapport eksamen 6
Fakta om eksamen MD4011 Muntlig Skriftlig Oppmeldt 118 100 118 100 Møtt 114 97 114 97 Bestått 104 91 109 96 Stryk 10 8 5 4 MD4020 Muntlig Skriftlig Oppmeldt - - 114 100 Møtt - - 114 100 Bestått - - 106 93 Stryk - - 8 7 Snittskåre FVO 75,4 Snittskåre Essay 76,2 K20-reliabilitet FVO 0,79 Snittskåre FVO 76,8 Snittskåre Essay 75,1 K20-reliabilitet FVO 0,84 MD4030 MD4040 Muntlig Skriftlig Oppmeldt 99 100 99 100 Møtt 91 92 92 93 Bestått 90 98 82 89 Stryk 2 2 10 11 Muntlig Skriftlig Oppmeldt 112 100 112 100 Møtt 112 100 112 100 Bestått 109 97 110 98 Stryk 3 3 2 2 Snittskåre FVO 75,5 Snittskåre Essay 70,8 K20-reliabilitet FVO 0,74 Snittskåre FVO 77,6 Snittskåre Essay 74,9 K20-reliabilitet FVO 0,72 MD4062 Muntlig Småfag Muntlig Storfag Skriftlig Oppmeldt 111 100 111 100 111 100 Møtt 111 100 111 100 111 100 Bestått 109 98 110 99 109 98 Stryk 2 2 1 1 2 2 Snittskåre FVO 75,9 Snittskåre Essay 81,3 K20-reliabilitet FVO 0,77 7 Det medisinske fakultet 7
Psykometri Om psykometri Kvaliteten på vurderingsformene våre er like viktig som kvaliteten på læringsformene. Det er en kjensgjerning at eksamen styrer læringen og en god kvalitetssikret eksamen er derfor svært viktig. Fagfeltet som omhandler teorien og teknikken for testing av kunnskaper, ferdigheter og holdninger kaller vi psykometri. Man gjør psykometriske beregninger etter hver eksamen for å forsøke å si noe om kvaliteten. Nøkkelbegreper i klassisk testteori er reliabilitet og validitet. Reliabilitet sier noe om testen er konsistent over tid og på tvers av individer og situasjoner. Med andre ord, ville en student få samme poengsum på eksamen hvis vi ga han en ny eksamen for samme studieår dagen etter den første. Validitet sier noe om vi måler det vi faktisk tenker vi skal teste. Med andre ord, tester vi det læringsmålene sier studenten skal kunne og tester vi i løpet av studiet det en norsk lege skal kunne når han uteksamineres? På eksamener ved det medisinske fakultet tilstreber vi høy reliabilitet og validitet. For å kunne si noe om reliabilitet og validitet må man gjøre psykometriske analyser av eksamen. Vi er ute etter reliabilitet og validitet og vi er ute etter å se hvilke oppgaver som fungerte og hvilke som ikke fungerte. Flervalgsoppgaver egner seg svært godt til slike beregninger. På de følgende sidene vil dere se hvordan eksamen på de ulike studieårene gjorde det. Årsrapport eksamen 8
Psykometri Vanskelighetsgrad Andel av kandidatene som svarte riktig på oppgaven. Jo høyere verdi jo lettere oppgave. Vanskelig (<40 svarte riktig) Middels (40-79 svarte riktig) Lett (80-89 svarte riktig) Svært lett (>90 svarte riktig) Figur 2: Vanskelighetsgrad, MD4011 Figur 3: Vanskelighetsgrad, MD4020 Figur 4: Vanskelighetsgrad, MD4030 10 5 9 28 MD4011 30 26 MD4020 36 36 MD4030 37 32 33 18 Figur 5: Vanskelighetsgrad, MD4040 Figur 6: Vanskelighetsgrad, MD4050 5 5 34 MD4040 36 29 MD4062 45 25 21 9 Det medisinske fakultet
Psykometri Diskriminerende evne Diskriminerende evne er differansen mellom andelen av kandidater i den beste gruppen som velger det beste alternativet og andelen av kandidater i den svakeste gruppen som velger det samme alternativet. Analysen gjøres ved å dele inn studentene i tre grupper: best (25 ), middels (50 ) og dårligst (25 ). Dersom 89 av studentene i den beste gruppen og 31 av studentene i den dårligste gruppen svarte det beste alternativet blir diskriminerende evne for dette spørsmålet 0,58. Negativ (<0) Lav (<0,15) Middels (0,15-0,29) Høy (0,30-0,40) Svært høy (>0,40) Figur 7: Diskriminerende evne, MD4011 Figur 8: Diskriminerende evne, MD4020 Figur 9: Diskriminerende evne, MD4030 11 7 15 6 10 7 12 33 MD4011 37 12 MD4020 27 12 26 MD4030 45 40 Figur 10: Diskriminerende evne, MD4040 Figur 11: Diskriminerende evne, MD4062 11 10 10 5 11 MD4040 40 18 MD4062 37 28 30 Årsrapport eksamen 10
Psykometri Point Biserial Correlation Point Biserial Correlation (PBC) viser korrelasjonen mellom poengsummen på ett spørsmål og den totale poengsummen på hele oppgavesettet, og forteller oss noe om oppgavens evne til å diskriminere. Hvis spørsmålene har høy PBC (+1,0) betyr det at studentene som svarte riktig på disse spørsmålene også fikk en høy total poengsum, og at studentene som svarte feil fikk lav total poengsum. Høy PBC forteller oss altså at spørsmålet diskriminerer godt mellom de som fikk høy og lav total poengsom. Negativ PBC (-1,0) forekommer når studentene med høy total poengsum svarte feil, og studentene med lav total total poengsum svarte riktig på et gitt spørsmål. Bra (>0,30) Akseptabelt (0,10-0,29) Ikke akseptabelt (<0,10) Figur 12: Point Biserial Correlation, MD4011 Figur 13: Point Biserial Correlation, MD4020 Figur 14: Point Biserial Correlation, MD4030 21 MD4011 27 16 MD4020 35 22 25 MD4030 52 49 53 Figur 15: Point Biserial Correlation, MD4040 Figur 16: Point Biserial Correlation, MD4062 30 MD4040 21 21 MD4062 27 49 52 11 Det medisinske fakultet
Psykometri Kognitivt nivå Flervalgsoppgavene våre deles inn i to kategorier; gjengivende (K1) og resonnerende (K2). Gjengivende oppgaver er ofte endimensjonale. Det vil si at de tester studentenes evne til å gjengi innlært faktakunnskap. Resonnerende oppgaver krever, som navnet tilsier, mer resonnering. De er flerdimensjonale ved at de tester studentenes evne til å se sammenhenger, til å trekke egne slutninger og å kunne bedømme noe ut fra forskjellige kriterier. Kliniske vurderinger og beslutninger vil stort sett bli tatt basert på ressonerende evne. Det er et mål om at flertallet av oppgavene på eksamen er resonnerende oppgaver. K1 - Gjengivelse K2 - Resonnering Figur 17: Kognitivt nivå, MD4011 Figur 18: Kognitivt nivå, MD4020 Figur 19: Kognitivt nivå, MD4030 32 MD4011 68 48 52 MD4020 66 MD4030 34 Figur 20: Kognitivt nivå, MD4040 Figur 21: Kognitivt nivå, MD4062 24 22 MD4040 MD4062 76 78 Årsrapport eksamen 12
Psykometri Poengfordeling Figur 22: Poengfordeling ordinær skriftlig eksamen MD4011 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,4 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.627). Figur 23: Poengfordeling ordinær skriftlig eksamen MD4020 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 76,8 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.749). Figur 24: Poengfordeling ordinær skriftlig eksamen MD4030 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,5 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.685). 13 Det medisinske fakultet
Psykometri Figur 25: Poengfordeling ordinær skriftlig eksamen MD4040 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 77,6 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.488). Figur 26: Poengfordeling ordinær skriftlig eksamen MD4062 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,9 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.604). Kommentar Enkelte poengsummer kan ha blitt endret før og/eller etter sensur. Figurene kan derfor avvike fra den faktiske poengsummen for hver kandidat. Årsrapport eksamen 14
Psykometri Læringsmål Figurene under viser hvor stor andel av læringsmålene som ble testet for flervlagsoppgavene ved skriftlig eksamen. Andel læringsmål testet Andel læringsmål ikke testet Figur 27: Dekningsgrad læringsmål (IAB) Figur 28: Dekningsgrad læringsmål (ICD) Figur 29: Dekningsgrad læringsmål (IIAB) 30 39 MD4011 51 51 61 MD4020 42 MD4030 58 70 I tillegg ble følgende læringsmål dekket på eksamen: IB (1). Figur 30: Dekningsgrad læringsmål (IICD) Figur 31: Dekningsgrad læringsmål (IIID) 45 51 35 MD4040 65 55 MD4062 45 I tillegg ble følgende læringsmål dekket på eksamen: IC (1), ID (1), IIA (5), IIC (6), IID (1), IIIB (9), IIIC (10). 15 Det medisinske fakultet
Eksamenskommisjonene IAB Bjørn Hilt, Inger Skogen, Helge B. Pettersen, Arne Sandvik, Jostein Halgunset, Camilla Olaisen, Astrid Kamilla Stunes, Øyvind Halaas ICD Ingunn Bakke, Stian Karlsen, Haakon Skogseth, Jostein Halunset, Bjørn Olav Åsvold, Arne Reimers, Ivar Skjåk Nordrum IIAB Heidi Knobel, Anne Vik, Turid Beitland, Dordi Austeng, Mattias Linde, Torbjørn Dahl, Jan Pål Lonnechen IICD Jon Skranes, John Chr. Fløvig, Elin W. Karlsen, Jan Egil Afset, Marit Indredavik, Brita Pukstad, Anna Bofin, Eszter Vanky, Solveig Tingulstad IIID Maria Radtke, Gerd Bromseth, Helge B. Pettersen, Solveig K. Reitan, Guro Aune, Nils Martinsen Årsrapport eksamen 16
Plan for studieåret 2015/2016 Studentforfattere av flervalgsoppgaver Vi ønsker i studieåret 2015/2016 å lære opp noen studenter i å skrive flervalgsoppgaver. Hensikten med prosjektet er å se om dette kan øke andelen høykvalitetsoppgaver i databasen vår raskere. Det ansettes 2 studenter hver ved de tre første studieårene. De vil få grundig opplæring og vil få betalt for hver oppgave de skriver. Stillingene er utlyst per e-post i juni 2015. Veileder for kortsvarsoppgaver Det som tidligere har blitt kalt essayoppgaver døpes om til kortsvarsoppgaver, siden det i praksis har vært det som har vært praktisert de siste 5-10 årene. Det har vært etterlyst egne retningslinjer for hvordan disse skrives og vi vil høsten 2015 gi ut en egen veileder for dette. Det vil også legges ut en egen mal som skal brukes når disse oppgavene skrives med fokus på hvordan sensorveiledningen skal utarbeides. Estimert utgivelse oktober 2015. Kurs Det vil det kommende året også arrangeres kurs i perioden september til oktober. I tillegg til en ny versjon av det klassiske lynkurset i hvordan skrive flervalgsoppgaver vil det avholdes et kurs for undervisningsenhetsledere hvor vi snakker om rammeverket (blueprint) for eksamen, ett kurs med fokus på oppgaveanalyse og ett helt basalt kurs i hvordan man legger spørsmål inn i databasen. For kurstidspunkt og påmelding, se neste side. Storskala fagfellevurdering Vi ønsker å teste pilotprosjektet om fagfellevurdering av flervalgsoppgaver i større skala. Eksamenskoordinator er tildelt midler fra NTNUs toppundervisningssatsning for å gjennomføre dette prosjektet. Målet er å gjennomføre fagfellevurdering på alle eksamener på alle studieår i 2015/2016. Objektiv strukturert klinisk eksamen (OSKE) Fakultet har vedtatt å innføre OSKE eksamen. Vi ønsker derfor i studieåret 2015/2016 å teste ut dette på 3. studieår. Det vil arrangeres en fullskala piloteksamen slik at alle studentene vet hva de går til. Studentene vil forut for piloten også få grundig informasjon og forelesninger om eksamensformen. Dersom piloten er vellykket gjennomføres eksamen for IIAB som OSKE våren 2016. Basert på erfaringene vil OSKE innføres på flere studieår i 2016/2017. Fakultetet har ansatt Marie Thoresen, lege ved Lungeavdelingen, som prosjektleder. Reviderte retningslinjer for eksamen I løpet av høsten vil vi revidere og forbedre retningslinjene for eksamen. Innholdsmessig vil ikke denne revisjonen innebære store endringer, men layout og struktur vil få en markant forbedring som vi håper vil gjøre det enda enklere å bruke retningslinjene for administrasjon, sensorer, eksaminatorer, undervisningsenheter, eksamenskommisjonene og alle andre som på en eller annen måte er involvert i eksamensavviklingen ved profesjonsstudiet i medisin. 17 Det medisinske fakultet
Kurs 2015 8. september 15:00-16:00 LS42 Lynkurs om hvordan lage flervalgsoppgaver På dette kurset vil du få en kjapp innføring i hvordan du skal lage flervalgsoppgaver og hvorfor vi gjør det som vi gjør i Trondheim. Dette kurset er en oppdatert versjon av fjorårets kurs. Har du tatt kurset i fjor trenger du ikke å ta dette på nytt. Kurset holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/n4bbie 14. september 15:00-16:00 KS12 Workshop om eksamensrammeverket På dette kurset vil vi snakke litt om eksamensrammeverkt (blueprinting). Har undervisningsenheten en klar strategi for hva man spør om på eksamen og hvordan profilen på spørsmålene i databasen skal se ut? Lager undervisningsenheten nok spørsmål, dekker man alle læringsmålene, har man en strategi for oppdatering av spørsmål og hvordan gjør spørsmålene det på eksamen. Kurset arrangeres som en kort forelesning og deretter diskusjon om hvordan man får til et best mulig eksamensrammeverk. Kurset holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/osco7i 17. september 15:00-16:00 LS42 Kurs om MCQ-databasen På dette kurset får du en kort intro til hvordan du legger spørsmål inn i databasen, hvordan du kan se hvordan dine oppgaver gjør det på eksamen, og hvordan du endrer og oppdaterer gamle spørsmål. Ta gjerne med egen PC så kan du få svar på ting du lurer på med det samme. Kurset holdes av Rune Standal. Påmelding: http://goo.gl/wwvyeb 5. oktober 15:00-16:00 LS42 Workshop om oppgaveanalyse Har du lurt på hvordan dine flervalgsspørsmål gjør det på eksamen? Her vil du få en rask gjennomgang om hvordan du sjekker dette, med noen eksempler på oppgaver du bør stusse litt over og kanskje vurdere å slette/endre. Det legges opp til at man kan ta med egen laptop og spørre om egne oppgaver. Workshopen holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/iu62lw 7. oktober 15:00-16:00 LS42 Lynkurs om hvordan lage flervalgsoppgaver Påmelding: http://goo.gl/ylkh2l Årsrapport eksamen 18
Sjekk dine egne oppgaver I tillegg til å lage flervalgsoppgaver til eksamen, er det viktig for undervisere og evaluere sine spørsmål i etterkant. Dette kan du lett gjøre i flervalgsoppgavedatabasen: 1 Gå til http://mcq.medisin.ntnu.no og logg deg på som vanlig. 2 I menyen til venstre velger du Kvalitetssikret hvor du finner dine spørsmål som har vært brukt på eksamen. 3 Trykk på spørsmålet du ønsker å se analysene for. Vi gjør oppmerksom på at oppgaveanalyse stort sett gjøres kun på ordinær eksamen, da man ikke har nok studenter til å gjøre analyse på forskerlinje-, kontinuasjons- og engelsk eksamen. Hvis spørsmålet har vært bruk på flere eksamener kan du velge hvilken eksamen du ønsker å se analysen for. 19 Det medisinske fakultet
Dette bør du tenke på når du studerer dine spørsmål: Lager du en jevn fordeling av spørsmål i forhold til vanskelighetsgrad og diskriminerende evne. For eksempel har du kun laget spørsmål som alle svarer riktig på, kan du vurdere å lage noen litt vanskeligere neste år. Har noen av dine spørsmål negativ diskriminerende evne? Som nevnt tidligere betyr det at de svakeste studentene scorer bedre enn de beste studentene på denne oppgaven. Dette er ofte tegn på at noe er uklart i oppgaven eller at flere svaralternativer kan anes som det beste. Dersom du ønsker å endre eller slette en oppgave som er kvalitetsikret. Må man trykke på tryllestaven og deretter velge Trekk tilbake kvalitetssikring og enten og behold en kopi (som du kan endre) eller og slett den for alltid. Du bør også undersøke hva du har laget spørsmål om de siste årene og gjerne lage lignende spørsmål om sentrale tema og passe på at du også dekker bredden i fagfeltet ditt innenfor læringsmålene. Årsrapport eksamen 20
Tekst Tobias S. Slørdahl, NTNU Layout Stian Karlsen, NTNU Foto Geir Mogen https://www.flickr.com/photos/ntnumedicine Trykk Skipnes Kommunikasjon AS
Årsrapport 2014 / 2015