Dato 02.10.15 Referanse 2014/5082 1 av 3 Det medisinske fakultet Møtereferat Utvidet fakultetsledermøte ved DMF Til stede: Forfall: Björn Gustafsson, Hilde Grimstad, Pål Romundstad, Øyvind Ellingsen, Lars Jacob Stovner, Siri Forsmo, Magne Børset, Toril Nagelhus Hernes, Marite Rygh, Odd Sverre Westbye, Arild Skaug Hansen, Surur Taso, Torill Naavik, Hilde Eilertsen Woll, Vegard Sollie, Marita Olaussen, Håvard Tangvik, Jannicke Ankile, Anne Silja Leer, Lars Ødegaard, Knut Arne Kissten, Tore Romundstad, Albert Verhagen, Rannveig Tellemand Storeng, Johanne Nome, Halfdan Alexander Bigseth (FTR1), Magnus Godtfredsen (FTR2), Hanne Stixrud, Ingunn Wasland Pettersen, Janne Hjelde Wold (referent) May-Britt Moser, Kari Håland, Judith Rødsten, Sven Magnus Carlsen, Olav Haraldseth, Terje Espevik, Om: Fakultetsledermøte ved Det medisinske fakultet (DMF) Møtetid: Tirsdag 29.09.2015, kl. 09.00 12.00 Møtested: 30M11, 1930-bygget Sak Tema Ansvarlig 1. Dekanens tid Dekan Bjørn Gustafsson informerte om følgende saker: Møtet åpnet med en kort presentasjon av møtedeltagerne. Researchers night ble avviklet fredag 28. september. Arrangementet gikk knirkefritt og for fullt hus. Dekanen takker for et vellykket arrangement. NTNUs temadag for beredskap ble avviklet 28.09.15 på Dokkhuset. Lokal beredskapsgruppe og ledelsen ved fakultetene og høgskolene var representert. Nyttig gjennomgang og oppdatering på NTNUs beredskapsplan. Deler av fakultetsledelsen er ny, og fakultetets varslingsliste må derfor oppdateres og beredskapsplaner gjennomgås. EU-kontor i Brüssel: Bjørn informerte om åpningen av EU-kontoret i Brüssel, et felles kontor for UiB, Sintef og NTNU. Instituttene oppfordres til å benytte seg av denne ressursen. Det jobbes med tilsetting av NTNU-representant ved kontoret. DMF 40 år Bjørn informerte om programmet, se egen nettside https://www.ntnu.no/dmf/jubileum2015 Fusjon status Invitasjon til innspill om adm.organisering kommer 01.10. og ny runde på faglig organisering kommer 01.11. Postadresse Org.nr. 974 767 880 Besøksadresse Telefon Saksbehandler Medisinsk teknisk E-post: Medisinsk teknisk + 47 72 82 07 00 Judith Rødsten forskningssenter dmf-post@medisin.ntnu.no forskningssenter Telefaks Tlf: 7489 Trondheim http://www.medisin.ntnu.no Olav Kyrres gt 9 + 47 73 59 88 65 + 47 918 97877 All korrespondanse som inngår i saksbehandling skal adresseres til saksbehandlende enhet ved NTNU og ikke direkte til enkeltpersoner. Ved henvendelse vennligst oppgi referanse.
2 Påminnelse om NTNUs interne priser med frist 15. oktober. Referat fra Bjørn og Nils sitt innlegg på NTNUs dekanmøte om integrasjon og sektorsamarbeid, herunder DMFs finansieringsprofil med betydelig andel fra HOD. 2. Studentenes tid Omtrent halvparten av studentrådet er byttet ut. Strategiseminar 2.-4. oktober: Hovedsak vil være planlegging av det kommende studieåret. Hvis fakultetsledelsen har innspill til seminaret, f.eks. vedr. fusjon, studierevisjon etc. tas dette gjerne med til seminaret. Studierevisjon: Studentene planlegger en kartlegging av studentenes holdning til det nye eksamenssystemet OSKE (objektiv strukturert klinisk eksamen), som vil erstatte stasjonseksamen. Evaluering av undervisningen: Spørreskjema er sendt ut. Målet med undersøkelsen er å se sammenhengen mellom forelesningene, hvilke som overlapper hverandre og hva bør endres. Studentene informerte om at det i den siste tiden har vært en del forelesninger hvor forelesere ikke har dukket opp til forelesningene. Dette skal selvfølgelig ikke skje. Fakultetet vil se på om det er gode nok rutiner i tilfeller hvor for eksempel forelesere blir sykemeldt, har permisjon mv. Fakultetet ber om at studentene melder fravær av forelesere til ansvarlig institutt/årsleder. Studentene er meget fornøyde med Tobias Slørdahl som eksamenskoordinator. 3. Informasjon om rekrutteringsprosessen Hanne Stixrud og Ingunn Wasland Pettersen gikk igjennom hvordan en rekrutteringsprosess gjennomføres ved DMF for tekniske-/administrative- /forsker- og utdanningsstillinger og vitenskapelige stillinger. Se vedlagte presentasjon. Kommentarer i møtet: Tilrettelegging for utenlandske tilsatte Tilretteleggingen foregår forskjellig fra institutt til institutt. Burde dette være et fakultetsansvar? Sakkyndig komite: HR-seksjonen oversender habilitetsregler for sakkyndig komite til instituttene. Må det være instituttledere som leder de sakkyndigekomiteene? Kombinerte stillinger: Instituttlederne ønsker en tilsvarende gjennomgang når det gjelder kombinerte stillinger 4. Kommunikasjonsarbeidet ved DMF prioriteringer Johanne Nome gikk igjennom hvilke ressurser som er avsatt til kommunikasjonsarbeid i fakultetsadministrasjonen og ut i fagmiljøene i dag, og hvordan arbeidsoppgaver og ansvar er fordelt. Oppsummert fra diskusjon i møtet: Det er et tydelig behov for tettere dialog mellom kommunikasjon på fakultets- og instituttnivå. Vi må finne gode kanaler for dette. Det må samtidig lages en prioriteringsliste; hva er våre viktigste områder? Kommunikasjon på fakultetsnivå må komme nærmere fagmiljøene. Er det nødvendig med kursing/opplæring i medie- og kommunikasjonshåndtering blant studenter og ansatte?
3 Johanne kontakter kontorsjefene for å invitere seg til ledermøter ved instituttene for å få innspill på fagmiljøenes behov og ønsker mht kommunikasjonsarbeid. På bakgrunn av dette lages det forslag til prioritering og aktivitetsplan for kommunikasjonsarbeidet som legges fram i senere fakultetsledermøte. 5. International Chair kandidater fra DMF Gjennomgang av status i arbeidet ved Pål Romundstad. Fakultetene er bedt om å identifisere noen få navngitte kandidater til følgende virkemidler innen 30. september: 1. International Chair (inkl. norske kandidater) 2. Mellomsjikt mellom International Chair og Onsager Fellowship (inkl. norske kandidater) 3. Professor-II på International Chair nivå. Pål og Rannveig utarbeider forslag til prioritering. 6. Eksamensrapport medisinstudiet Årsrapport er utarbeidet, se vedlegg. Kort gjennomgang av rapporten v/tore Romundstad. 7. Kvalitetsmelding undervisning Se vedlagte presentasjon ved Hilde Grimstad.
HVORDAN EN REKRUTTERINGSPROSESS GJENNOMFØRES VED DMF 1
Hvorfor er vi her? Sikre felles informasjon om rekrutteringsprosessen HR kopler sammen folk, aktiviteter og verktøy ved DMF Kunnskapsdeling mellom institutt og HR kan gi bedre kvalitet og effektivitet, enn om prosessen blir utført av én av partene alene Statlig virksomhet ivareta regelverk Spare tid? 2
3
Behov for ny arbeidskraft Finansiering Ansatte slutter eller lengre sykefravær Skal drøftes med ansatte, ref. Tilpasningsavtalen 4
Hva trenger (ønsker) vi? Behovsspesifikasjon (tau) eller stillingsbeskrivelse (vit) for stillingen utformes: Oppgaver og ansvar i stillingen Fagkompetanse Nivå for stillingen. Hva skjer om en stjernekandidat på lavere nivå søker? Personlige egnethet Stillingsprosent Oppstart gir føringer for tidsløp God erfaring med å møtes for å diskutere dette! 5
Stillingsbeskrivelse Vitenskapelige stillinger: Vedtas i: Faste stillinger - Ansettelsesutvalget (AU) Midlertidige stillinger - Dekan tilsettingsmøte (DT) Tekniske-, administrative-, utdannings- og forskerstillinger: Ingen vedtak Ansettelsesutvalg (AU): Faste vitenskapelige stillinger Tilsettingsråd (TR): Tekniske og administrative stillinger Dekan tilsettingsmøte (DT): Utdannings- og forskerstillinger, midlertidige ekstern finansierte og midlertidige vitenskapelige stillinger over ett år, maks 5 års varighet 6
Utlysningstekst Maler for å sikre lik kommunikasjon Samarbeid mellom leder, fagmiljø og HR i utarbeidelse av utlysningstekst Hvor skal vi lyse ut? Hvem vil vi nå? Henvisningsannonse? Innspill fra fagmiljø LOSAM tre dager. 7
8
Formøte før intervju Formøte med rådgivende gruppe/vurderingskomité Møte hverandre det har en effekt! Utplukk av kandidater Hvilken stilling er vi her for? Fordele roller i intervju Forberede spørsmål/case til kandidatene 9
Intervju Formålet med intervjuet er : Gi informasjon om stillingen og DMF Selge oss inn som arbeidsplass Bli kjent med søkeren Kontrollere opplysninger gitt i søknaden Ledes av prosjektleder eller nærmeste leder, med støtte fra deltakerne i intervjugruppen. Det er viktig at gruppen ikke blir for stor. 10
Referansesjekk Kvalitetssikring av intervjuet Gjennomføres normalt av leder for stillingen Mal for referansesjekk og spissede spørsmål om den aktuelle kandidaten Skal ha to referanser pr. kandidat Notater fra referansesjekken 11
Innstilling Kvalifiserte kandidater etter intervju og referansesjekk, innstilles i prioritert rekkefølge Rådgivende gruppe/vurderingskomité anbefaling innstilling HR utformer anbefaling for innstilling Instituttleder/seksjonssjef/senterleder har innstillende myndighet og godkjenner anbefalingen 12
Tilsettingen vedtas Vitenskapelige stillinger: Faste stillinger: Ansettelsesutvalget (AU) Midlertidige stillinger: Dekan tilsettingsmøte (DT) Møtes én gang pr mnd. Tekniske og administrative stillinger: Faste og midl. over ett år: Tilsettingsråd (TR) Møtes én gang pr. mnd. Utdannings- og forskerstillinger: Dekan tilsettingsmøte (DT) Møtes én gang pr. mnd 13
Kontraktinngåelse Avklare lønnstilbud Tilbud til aktuell kandidat Aksept av tilbud Utenlandske kandidater fra land utenfor EU og EØS, må ha gyldig arbeidstillatelse før oppstart 14
Etterarbeid Starter når kandidaten har takket ja til stillingen HR ivaretar øvrige søkere avslutter tilsettingsprosess aktiverer tilganger Instituttet forbereder mottak av den nyansatte ved utenlandske nyansatte være behjelpelig med å finne bolig og ved behov følge den ansatte til politi, skatt og bank 15
16
Utdanningskvalitet Kvalitetsmelding 2014-2015 Fakultetsledermøtet DMF, 28. september 2015 Prodekan Hilde Grimstad
Kvalitetssikringssystem Beskriver mål for kvalitetssikringsarbeidet og definerer roller, ansvar, oppgaver og oppfølgingsprosesser Målet for systemet er: å utvikle kvaliteten i utdanningen på alle nivå å sikre kvalitet i prosesser og aktiviteter som har betydning for utdanningskvaliteten 2
Kvalitetssystemet en kontinuerlige prosess Evaluere Følge opp med vurdering og endringer Legge planer Forankre det i rette instanser og nivåer Vedta endringer og sørge for evt ressurser Dokumentere Planlegge Vurdere/ endre Utføre Evaluere 3
Kvalitetsmeldingsprosessen, DMF Innførte nye rapporteringsrutiner etter innføring av nytt kvalitetssikringssystem Nytt skjema til instituttene Studieprogramskjemaene inkluderes i instituttrapportene Selvstendige referansegrupperapporter som del av emneevalueringene Ph.d. og EVU inkluderes i den ordinære kvalitetssikringsrutinene og skal inkluderes i instituttrapportene 4
Hva kan instituttene jobbe med nå? Oppfølging av tiltak fra instituttets melding 2013/2014 Oppfølging av instituttets handlingsplan 2013/2014 Emneevalueringer inn i dokumenteringsverktøyet (fristen var 15. feb/ og 15. sep) 5
Noe nytt? Noen nye spørsmål i programevalueringsskjemaet mer som kvalitetsparametrene på instituttets skjema Instituttet kan tilføye spørsmål på programevalueringsskjemaet Eget evalueringsskjema til opptaksrådene i ph.d. medisin for å sikre et godt grunnlaget for programevalueringen Datagrunnlaget kommer fra SA innen 31.10. Det er hovedmateriale (DBH). FS-tall kan forklare evt DBH-tall 6
Dato Frister kvalitetsmeldingsprosessen 03.11.15 Status om kvalitetsprosessen fra instituttene på fakultetsledermøtet 17.11.15 Frist for instituttene for å sende inn kvalitetsmelding 24.11.15 Løypemelding fakultetsledermøte 15.01.16 Frist for fakultetet å sende inn kvalitetsmelding til rektor Feb.16 Tilbakemelding til instituttene 09.03.16 NTNUs styre behandler saken Sommer/ høst 16 Oppfølging av handlingsplaner og tiltak 7
14 /15 Årsrapport Eksamen ved profesjonsstudiet i medisin Det medisinske fakultet, NTNU
Innhold 3 Forord 4 Kvalitetsforbedringstiltak 5 Studentevaluering 7 Fakta om eksamen 8 Psykometri 8 Om psykometri 9 Vanskelighetsgrad 10 Diskriminerende evne 11 Point Biserial Correlation 12 Kognitivt nivå 13 Poengfordeling 15 Læringsmål 16 Eksamenskommisjonene 17 Plan for studieåret 18 Kurs 2015 19 Sjekk dine egne oppgaver
Forord Eksamensdagen anses av studentene som en av årets aller viktigste dager. De arbeider hardt året gjennom for å tilegne seg den kunnskapen som er forventet at de skal lære seg jamfør læringsmålene. På slutten av året er det underviserne sin oppgave å kartlegge om de har lært seg dette. Eksamen skal vise at de mestrer nok til å kunne gå videre til neste studieår. På siste studieår skal eksamen være en siste kvalitetssjekk på at man kan det som trengs for å arbeide som lege under veiledning i sykehus og i allmennpraksis. Det er derfor svært viktig at vi har eksamener av høy kvalitet og at vi med sikkerhet kan vite at de som står er gode nok og at de vi stryker har manglende kunnskaper og ferdigheter. Tobias S. Slørdahl har studert medisin ved NTNU og senere fullført en PhD i molekylærmedisin ved samme universitet. I tillegg til å være eksamenskoordinator for profesjonsstudiet i medisin jobber han som lege i spesialisering ved de medisinske klinikker, St. Olavs Hospital og som postdoktor ved Institutt for kreftforskning og molekylærmedisin. George E. Miller (1919-1998), en av pionerne innen forskning på medisinsk utdanning, har uttalt at assessment drives learning. Dette er også godt kjent blant studenter og universitetslærere. Ved Det medisinske fakultet (DMF) ved NTNU publiseres eksamensoppgavene på universitetets nettsider etter gjennomført eksamen. Disse brukes flittig av studentene før eksamen. Jeg vil påstå at gamle eksamensoppgaver nok er den læreboken studentene leser mest. Det er derfor viktig at man som underviser sørger for å teste det viktigste hyppigst, men samtidig passer på at man tester bredden i faget sitt. Studieåret 2014/2015 har vært et år preget av mange kvalitetsforbedringsprosjekter for eksamen ved vårt fakultet. Eksamen er et puslespill med svært mange brikker. Jeg er imponert over hvor mye arbeid mange undervisere legger ned og ikke minst det enorme arbeidet som utføres av eksamenskommisjonene. Vi har i år utarbeidet en rapport som sier noe om hvilke tiltak som er gjennomført i dette studieåret, vi viser de psykometriske beregningene for årets eksamener og vi viser resultatene av vår digitale studentevaluering av eksamen. Jeg ønsker å takke for et godt samarbeid med undervisere, studenter og administrasjon dette året og ser frem til kommende studieår. Med vennlig hilsen Tobias S. Slørdahl, MD PhD Eksamenskoordinator, CMED 3 Det medisinske fakultet
Kvalitetsforbedringstiltak 2014/2015 Ansettelse av eksamenskoordinator Det medisinske fakultet ansatte i august 2014 Tobias S. Slørdahl i 20 % stilling som eksamenskoordinator. Slørdahl jobber i tillegg som Lege i spesialisering ved de medisinske klinikker ved St. Olavs Hospital og som postdoktor ved Institutt for kreftforskning og molekylærmedisin. Eksamenskoordinator ved fakultet skal arbeide for kvalitetssikring av eksamen og eksamensprosessen, samt videreutvikling av nye eksamensmetoder. Koordinator underviser andre undervisere i hvordan de skal lage eksamensoppgaver. Veileder for flervalgsoppgaver Fakultetet ga i oktober 2014 ut en ny veileder for hvordan man lager flervalgsoppgaver til eksamen. Årsaken er en høyst variabel kvalitet på disse oppgavene de senere år. Veilederen gir en kort innføring i hvordan en flervalgsoppgave er bygd opp, hvordan man tester sin egen oppgave, hvordan man kan lage mange spørsmål ut av ett spørsmål, hvordan man legger spørsmålet inn i databasen og hvilke klassiske oppgavefeil man bør unngå. Veilederen er sendt i post til alle ansatte ved fakultetet og kan også lastes ned elektronisk fra http://goo.gl/mck8ho. Kurs for undervisere Det i er i dette studieåret holdt syv kurs i hvordan man skal lage flervalgsoppgaver. Totalt har 107 undervisere deltatt på ett av kursene i år. Studentmedvirkning Eksamenskoordinator har holdt et innlegg på studentenes allmøte den 3. november 2014. Her har studentene fått informasjon om hvilke kvalitetsforbedringstiltak som er igangsatt og hva som er utfordringene ved eksamen i Trondheim. Videre har studentene vært invitert til å komme med innspill til eksamen gjennom hele studieåret og har direkte deltatt i beslutningen om hvordan svararkene til eksamen skal se ut ved en avstemning på nett. Digital evaluering av eksamen Vi innført i år digital evaluering av alle ordinære eksamener i vårsemester 2015. Studentene fikk 1 uke etter skriftlig eksamen og 1 uke etter muntlig-praktisk eksamen tilsendt en lenke til et evalueringsskjema. Totalt ble over 700 eksamener evaluert og du finner resultatene av evalueringen i denne årsrapporten. Økt nasjonalt samarbeid Det er tidskrevende å lage gode flervalgsoppgaver. Fagene som undervises i medisinstudiet er stort sett de samme på tvers av studiestedene og det som eksamineres er således også det samme. Vi har i år delt våre flervalgsoppgaver med undervisere ved Universitetet i Oslo og Universitetet i Tromsø. Vi har fått en del oppgaver i retur fra UiO som er distribuert til de aktuelle fagene. Økt nasjonalt samarbeid kan forhåpentligvis gjøre oppgaven med å lage høykvalitetsoppgaver til eksamen lettere i fremtiden. Systematisk oppgaveanalyse Etter hver eksamen bør det gjennomføres systematiske psykometriske analyser. Dette har vi gjort i år for å se på eksamens reliabilitet og hvordan flervalgsoppgavene scorer. I denne rapporten kan du lese mer om de psykometriske analysene vi har utført. Som oppgaveskriver er det viktig selv å gå inn i flervalgsoppgavedatabasen og se hvordan deres oppgaver har scoret ved årets eksamen. Hvordan du gjør dette kan du også lese om i denne årsrapporten. Debriefingsmøte etter eksamen Etter ordinær eksamen i år ble det avholdt et debriefingsmøte for alle semesterkoordinatorer og studieveiledere involvert i eksamen. Her ble alle feil som ble begått ved årets eksamen diskutert og strategi for hvordan disse feilene kan unngås ved senere år diskutert. Et stort sprik i hvordan de ulike eksamenskommisjonene arbeider ble avdekket og det ble ytret ønske om en felles retningslinje for alle eksamenskommisjonene. Fagfellevurdering av flervalgsoppgaver Vi har utført et pilotprosjekt med fagfellevurdering av flervalgsoppgaver på 3. studieår. Alle flervalgsoppgavene ved ordinær eksamen ble sendt ut til leger i spesialisering med minimum 2 års erfaring som leger. Hensikten har vært å identifisere feil i oppgavene, samt å få fjernet sære spørsmål uten relevans for senere klinisk hverdag. 41 % av oppgavene ble foreslått endret eller fjernet. På bakgrunn av tilbakemeldingene ble oppgavene fjernet eller revidert av oppgaveskriver. Oppgaveskriver hadde siste ordet i saken. Prosjektet har gitt økt fokus på hvordan utforme flervalgsoppgaver og har uansett resultat hatt en læringseffekt på undervisere og eksamenskommisjon. De endelige analysene av dette prosjektet vil bli gjort høsten 2015 og publiseres i egen artikkel. Årsrapport eksamen 4
Studentevaluering Om digital evaluering Med en økt satsning på evaluering av eksamen ved medisinstudiet har det vært en ambisjon for oss å få flest mulig studenter til å besvare evalueringsskjemaet. For å oppnå en akseptabel svarprosent la vi vekt på at evalueringsskjema skulle være 1) enkelt å besvare på mobile enheter og 2) raskt å gjennomføre (1-2 minutter). Årets evaluering ble derfor lansert på en platform med responsivt design. Det vil si at evalueringsskjemaet er optimalisert for flere enheter (PC, nettbrett og smarttelefon). Ut i fra oversikten over hvilke enheter studentene har benyttet for å besvare evalueringsskjemaet (figur 1) fikk vi bekreftet vår antakelse om at enhver evaluering bør ta hensyn til den stadig hyppigere bruken av mobile enheter blant studentene. Det tok studentene gjennomsnittelig 3 minutter og 54 sekunder å besvare evalueringsskjemaet. Dette skyldes at 48 % av studentene valgte å benytte fritekst-feltet til å gi utfyllende tilbakemeldinger på eksamen. 56% 5% Tabell 1 viser hvor stor andel av kandidatene ved hvert kull som evaluerte henholdsvis skriftlig og muntlig-praktisk eksamen. Tabell 1: Svarprosent evaluering av ordinær eksamen 2015. Kandidater Skriftlig Muntlig-praktisk MD4011 114 66,7 % 62,3 % MD4020 114 83,3 % - MD4030 94 85,1 % 70,2 % MD4040 111 73,0 % 62,2 % MD4062 111 72,1 % 67,6 % 39% Skriftlig eksamen høst 2014 (MD4061), skriftlig engelsk eksamenvår 2015, skriftlig forkserlinjeeksamen vår 2015 og muntlig-praktisk eksamen i lege-pasientkommunikasjon vår 2015 er ikke med i evalueringen. Figur 1: Prosentandel av evalueringen gjort med PC, nettbrett og smarttelefon (N = 704). 5 Det medisinske fakultet
Begrepsavklaring MD4011... Integrert eksamen... 1. semester (IA)... 2. semester (IB) MD4020... Integrert eksamen... 3. semester (IC)... 4. semetser (ID) MD4030... Integrert eksamen... 5. semester (IIA)... 6. semester (IIB) MD4040... Integrert eksamen... 7. semester (IIC)... 8. semester (IID) MD4062... Integrert eksamen... 12. semester (IIID) Kommentarer fra studentene (fritekst) I denne rapporten vil vi ikke belyse de kommentarene studentene kom med i evalueringsskjemaets fritekstfelt. Eksamenskoordinator og semesterkoordinatorer har mottatt disse og vil bruke de i videre kvalitets- og forbedringsarbeid vedrørende sin eksamen. Muntlig-praktisk eksamen I likhet med kommentarene fra studentene vil heller ikke muntlig-praktisk eksamen analyseres like inngående som flervalgsoppgavene. Eksamenskoordinator og semesterkoordinator gjør egne evalueringer og iverksetter spesifikke tiltak på bakgrunn av innsamlede data. Tabell 2: Studentevaluering av skriftlig ordinær eksamen 2015. Snitt MD4011 MD4020 MD4030 MD4040 MD4062 Hva syntes du om organiseringen av skriftlig eksamen? 1 4,21 3,98 4,33 3,87 3,71 5,1 Skriftlig eksamen omfattet sentrale spørsmål? 2 4,11 4,23 3,9 4,05 3,66 4,72 Skriftlig eksamen hadde en rimelig balanse mellom fagene som er undervist 3,84 3,88 3,76 3,37 3,47 4,63 i dette studieåret 2 Hva synes du om essayoppgavene ved årets eksamen? 1 4,17 4,18 3,81 4,06 3,68 5,17 Hva synes du om flervalgsoppgavedelen ved årets eksamen? 1 3,96 4,12 4,64 3,42 3,78 3,66 Hvordan vil du vurdere vanskelighetsgraden ved skriftlig eksamen? 3 3,16 3,42 3,14 3,05 3,03 3,17 1 1 = Svært dårlig, 6 = Svært bra. 2 1 = Helt uenig, 6 = Helt enig. 3 1 = For vanskelig, 6 = For lett. Tabell 3: Studentevaluering av muntlig-praktisk ordinær eksamen 2015. Stasj. Stasj. Stasj. Storfag Småfag Snitt MD4011 MD4030 MD4040 MD4062 MD4062 Hva syntes du om organiseringen av muntlig-praktisk eksamen? 1 5,33 5,47 5,28 5,2 - - Muntlig-praktisk eksamen omfatter sentrale spørsmål og/eller praktiske 4,8 4,77 5,21 4,39 5,4 5,53 oppgaver 2 Jeg fikk vist hva jeg kan til muntlig-praktisk eksamen 2 4,33 4,4 4,62 3,92 4,71 5,13 Jeg fikk god tilbakemelding fra eksaminator og/eller sensor? 2 4,64 4,25 4,8 4,86 4,97 5,22 1 1 = Svært dårlig, 6 = Svært bra. 2 1 = Helt uenig, 6 = Helt enig. 3 1 = For vanskelig, 6 = For lett. (Stasj. = Stasjonseksamen, Storfag = Indremedisin, kirurgi og allmennmedisin, Småfag = fysikalsk medisin og rehabilitering, gynekologi obstetrikk, hud- og veneriske sykdommer, nevrologi, nevrokirurgi, onkologi, ortopedi, pediatri, psykiatri, reumatologi, øre-nese-halssykdommer, øyesykdommer, anestesi og barne- og ungdomspsykiatri) Årsrapport eksamen 6
Fakta om eksamen MD4011 Muntlig % Skriftlig % Oppmeldt 118 100 % 118 100 % Møtt 114 97 % 114 97 % Bestått 104 91 % 109 96 % Stryk 10 8 % 5 4 % MD4020 Muntlig % Skriftlig % Oppmeldt - - 114 100 % Møtt - - 114 100 % Bestått - - 106 93 % Stryk - - 8 7 % Snittskåre FVO 75,4 % Snittskåre Essay 76,2 % K20-reliabilitet FVO 0,79 Snittskåre FVO 76,8 % Snittskåre Essay 75,1 % K20-reliabilitet FVO 0,84 MD4030 MD4040 Muntlig % Skriftlig % Oppmeldt 99 100 % 99 100 % Møtt 91 92 % 92 93 % Bestått 90 98 % 82 89 % Stryk 2 2 % 10 11 % Muntlig % Skriftlig % Oppmeldt 112 100 % 112 100 % Møtt 112 100 % 112 100 % Bestått 109 97 % 110 98 % Stryk 3 3 % 2 2 % Snittskåre FVO 75,5 % Snittskåre Essay 70,8 % K20-reliabilitet FVO 0,74 Snittskåre FVO 77,6 % Snittskåre Essay 74,9 % K20-reliabilitet FVO 0,72 MD4062 Muntlig Småfag % Muntlig Storfag % Skriftlig % Oppmeldt 111 100 % 111 100 % 111 100 % Møtt 111 100 % 111 100 % 111 100 % Bestått 109 98 % 110 99 % 109 98 % Stryk 2 2 % 1 1 % 2 2 % Snittskåre FVO 75,9 % Snittskåre Essay 81,3 % K20-reliabilitet FVO 0,77 7 Det medisinske fakultet 7
Psykometri Om psykometri Kvaliteten på vurderingsformene våre er like viktig som kvaliteten på læringsformene. Det er en kjensgjerning at eksamen styrer læringen og en god kvalitetssikret eksamen er derfor svært viktig. Fagfeltet som omhandler teorien og teknikken for testing av kunnskaper, ferdigheter og holdninger kaller vi psykometri. Man gjør psykometriske beregninger etter hver eksamen for å forsøke å si noe om kvaliteten. Nøkkelbegreper i klassisk testteori er reliabilitet og validitet. Reliabilitet sier noe om testen er konsistent over tid og på tvers av individer og situasjoner. Med andre ord, ville en student få samme poengsum på eksamen hvis vi ga han en ny eksamen for samme studieår dagen etter den første. Validitet sier noe om vi måler det vi faktisk tenker vi skal teste. Med andre ord, tester vi det læringsmålene sier studenten skal kunne og tester vi i løpet av studiet det en norsk lege skal kunne når han uteksamineres? På eksamener ved det medisinske fakultet tilstreber vi høy reliabilitet og validitet. For å kunne si noe om reliabilitet og validitet må man gjøre psykometriske analyser av eksamen. Vi er ute etter reliabilitet og validitet og vi er ute etter å se hvilke oppgaver som fungerte og hvilke som ikke fungerte. Flervalgsoppgaver egner seg svært godt til slike beregninger. På de følgende sidene vil dere se hvordan eksamen på de ulike studieårene gjorde det. Årsrapport eksamen 8
Psykometri Vanskelighetsgrad Andel av kandidatene som svarte riktig på oppgaven. Jo høyere verdi jo lettere oppgave. Vanskelig (<40 % svarte riktig) Middels (40-79 % svarte riktig) Lett (80-89 % svarte riktig) Svært lett (>90 % svarte riktig) Figur 2: Vanskelighetsgrad, MD4011 Figur 3: Vanskelighetsgrad, MD4020 Figur 4: Vanskelighetsgrad, MD4030 10 5 9 28 % MD4011 30 26 % MD4020 36 36 % MD4030 37 32 33 18 Figur 5: Vanskelighetsgrad, MD4040 Figur 6: Vanskelighetsgrad, MD4050 5 5 34 % MD4040 36 29 % MD4062 45 25 21 9 Det medisinske fakultet
Psykometri Diskriminerende evne Diskriminerende evne er differansen mellom andelen av kandidater i den beste gruppen som velger det beste alternativet og andelen av kandidater i den svakeste gruppen som velger det samme alternativet. Analysen gjøres ved å dele inn studentene i tre grupper: best (25 %), middels (50 %) og dårligst (25 %). Dersom 89 % av studentene i den beste gruppen og 31 % av studentene i den dårligste gruppen svarte det beste alternativet blir diskriminerende evne for dette spørsmålet 0,58. Negativ (<0) Lav (<0,15) Middels (0,15-0,29) Høy (0,30-0,40) Svært høy (>0,40) Figur 7: Diskriminerende evne, MD4011 Figur 8: Diskriminerende evne, MD4020 Figur 9: Diskriminerende evne, MD4030 11 7 15 6 10 7 12 33 % MD4011 37 12 % MD4020 27 12 26 % MD4030 45 40 Figur 10: Diskriminerende evne, MD4040 Figur 11: Diskriminerende evne, MD4062 11 10 10 5 11 % MD4040 40 18 % MD4062 37 28 30 Årsrapport eksamen 10
Psykometri Point Biserial Correlation Point Biserial Correlation (PBC) viser korrelasjonen mellom poengsummen på ett spørsmål og den totale poengsummen på hele oppgavesettet, og forteller oss noe om oppgavens evne til å diskriminere. Hvis spørsmålene har høy PBC (+1,0) betyr det at studentene som svarte riktig på disse spørsmålene også fikk en høy total poengsum, og at studentene som svarte feil fikk lav total poengsum. Høy PBC forteller oss altså at spørsmålet diskriminerer godt mellom de som fikk høy og lav total poengsom. Negativ PBC (-1,0) forekommer når studentene med høy total poengsum svarte feil, og studentene med lav total total poengsum svarte riktig på et gitt spørsmål. Bra (>0,30) Akseptabelt (0,10-0,29) Ikke akseptabelt (<0,10) Figur 12: Point Biserial Correlation, MD4011 Figur 13: Point Biserial Correlation, MD4020 Figur 14: Point Biserial Correlation, MD4030 21 % MD4011 27 16 % MD4020 35 22 25 % MD4030 52 49 53 Figur 15: Point Biserial Correlation, MD4040 Figur 16: Point Biserial Correlation, MD4062 30 % MD4040 21 21 % MD4062 27 49 52 11 Det medisinske fakultet
Psykometri Kognitivt nivå Flervalgsoppgavene våre deles inn i to kategorier; gjengivende (K1) og resonnerende (K2). Gjengivende oppgaver er ofte endimensjonale. Det vil si at de tester studentenes evne til å gjengi innlært faktakunnskap. Resonnerende oppgaver krever, som navnet tilsier, mer resonnering. De er flerdimensjonale ved at de tester studentenes evne til å se sammenhenger, til å trekke egne slutninger og å kunne bedømme noe ut fra forskjellige kriterier. Kliniske vurderinger og beslutninger vil stort sett bli tatt basert på ressonerende evne. Det er et mål om at flertallet av oppgavene på eksamen er resonnerende oppgaver. K1 - Gjengivelse K2 - Resonnering Figur 17: Kognitivt nivå, MD4011 Figur 18: Kognitivt nivå, MD4020 Figur 19: Kognitivt nivå, MD4030 32 % MD4011 68 % 48 % 52 MD4020 66 MD4030 34 Figur 20: Kognitivt nivå, MD4040 Figur 21: Kognitivt nivå, MD4062 24 22 % MD4040 % MD4062 76 78 Årsrapport eksamen 12
Psykometri Poengfordeling Figur 22: Poengfordeling ordinær skriftlig eksamen MD4011 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,4 % 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.627). Figur 23: Poengfordeling ordinær skriftlig eksamen MD4020 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 76,8 % 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.749). Figur 24: Poengfordeling ordinær skriftlig eksamen MD4030 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,5 % 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.685). 13 Det medisinske fakultet
Psykometri Figur 25: Poengfordeling ordinær skriftlig eksamen MD4040 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 77,6 % 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.488). Figur 26: Poengfordeling ordinær skriftlig eksamen MD4062 100 Flervalgsoppgaver Essayoppgaver Gjennomsnitt 80 75,9 % 60 40 20 0 Korrelasjon mellom poengsum på flervalgs- og essayoppgaver (r =.604). Kommentar Enkelte poengsummer kan ha blitt endret før og/eller etter sensur. Figurene kan derfor avvike fra den faktiske poengsummen for hver kandidat. Årsrapport eksamen 14
Psykometri Læringsmål Figurene under viser hvor stor andel av læringsmålene som ble testet for flervlagsoppgavene ved skriftlig eksamen. Andel læringsmål testet Andel læringsmål ikke testet Figur 27: Dekningsgrad læringsmål (IAB) Figur 28: Dekningsgrad læringsmål (ICD) Figur 29: Dekningsgrad læringsmål (IIAB) 30 39 % MD4011 51 51 61 % MD4020 42 % MD4030 58 70 I tillegg ble følgende læringsmål dekket på eksamen: IB (1). Figur 30: Dekningsgrad læringsmål (IICD) Figur 31: Dekningsgrad læringsmål (IIID) 45 51 35 % MD4040 65 55 % MD4062 45 I tillegg ble følgende læringsmål dekket på eksamen: IC (1), ID (1), IIA (5), IIC (6), IID (1), IIIB (9), IIIC (10). 15 Det medisinske fakultet
Eksamenskommisjonene IAB Bjørn Hilt, Inger Skogen, Helge B. Pettersen, Arne Sandvik, Jostein Halgunset, Camilla Olaisen, Astrid Kamilla Stunes, Øyvind Halaas ICD Ingunn Bakke, Stian Karlsen, Haakon Skogseth, Jostein Halunset, Bjørn Olav Åsvold, Arne Reimers, Ivar Skjåk Nordrum IIAB Heidi Knobel, Anne Vik, Turid Beitland, Dordi Austeng, Mattias Linde, Torbjørn Dahl, Jan Pål Lonnechen IICD Jon Skranes, John Chr. Fløvig, Elin W. Karlsen, Jan Egil Afset, Marit Indredavik, Brita Pukstad, Anna Bofin, Eszter Vanky, Solveig Tingulstad IIID Maria Radtke, Gerd Bromseth, Helge B. Pettersen, Solveig K. Reitan, Guro Aune, Nils Martinsen Årsrapport eksamen 16
Plan for studieåret 2015/2016 Studentforfattere av flervalgsoppgaver Vi ønsker i studieåret 2015/2016 å lære opp noen studenter i å skrive flervalgsoppgaver. Hensikten med prosjektet er å se om dette kan øke andelen høykvalitetsoppgaver i databasen vår raskere. Det ansettes 2 studenter hver ved de tre første studieårene. De vil få grundig opplæring og vil få betalt for hver oppgave de skriver. Stillingene er utlyst per e-post i juni 2015. Veileder for kortsvarsoppgaver Det som tidligere har blitt kalt essayoppgaver døpes om til kortsvarsoppgaver, siden det i praksis har vært det som har vært praktisert de siste 5-10 årene. Det har vært etterlyst egne retningslinjer for hvordan disse skrives og vi vil høsten 2015 gi ut en egen veileder for dette. Det vil også legges ut en egen mal som skal brukes når disse oppgavene skrives med fokus på hvordan sensorveiledningen skal utarbeides. Estimert utgivelse oktober 2015. Kurs Det vil det kommende året også arrangeres kurs i perioden september til oktober. I tillegg til en ny versjon av det klassiske lynkurset i hvordan skrive flervalgsoppgaver vil det avholdes et kurs for undervisningsenhetsledere hvor vi snakker om rammeverket (blueprint) for eksamen, ett kurs med fokus på oppgaveanalyse og ett helt basalt kurs i hvordan man legger spørsmål inn i databasen. For kurstidspunkt og påmelding, se neste side. Storskala fagfellevurdering Vi ønsker å teste pilotprosjektet om fagfellevurdering av flervalgsoppgaver i større skala. Eksamenskoordinator er tildelt midler fra NTNUs toppundervisningssatsning for å gjennomføre dette prosjektet. Målet er å gjennomføre fagfellevurdering på alle eksamener på alle studieår i 2015/2016. Objektiv strukturert klinisk eksamen (OSKE) Fakultet har vedtatt å innføre OSKE eksamen. Vi ønsker derfor i studieåret 2015/2016 å teste ut dette på 3. studieår. Det vil arrangeres en fullskala piloteksamen slik at alle studentene vet hva de går til. Studentene vil forut for piloten også få grundig informasjon og forelesninger om eksamensformen. Dersom piloten er vellykket gjennomføres eksamen for IIAB som OSKE våren 2016. Basert på erfaringene vil OSKE innføres på flere studieår i 2016/2017. Fakultetet har ansatt Marie Thoresen, lege ved Lungeavdelingen, som prosjektleder. Reviderte retningslinjer for eksamen I løpet av høsten vil vi revidere og forbedre retningslinjene for eksamen. Innholdsmessig vil ikke denne revisjonen innebære store endringer, men layout og struktur vil få en markant forbedring som vi håper vil gjøre det enda enklere å bruke retningslinjene for administrasjon, sensorer, eksaminatorer, undervisningsenheter, eksamenskommisjonene og alle andre som på en eller annen måte er involvert i eksamensavviklingen ved profesjonsstudiet i medisin. 17 Det medisinske fakultet
Kurs 2015 8. september 15:00-16:00 LS42 Lynkurs om hvordan lage flervalgsoppgaver På dette kurset vil du få en kjapp innføring i hvordan du skal lage flervalgsoppgaver og hvorfor vi gjør det som vi gjør i Trondheim. Dette kurset er en oppdatert versjon av fjorårets kurs. Har du tatt kurset i fjor trenger du ikke å ta dette på nytt. Kurset holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/n4bbie 14. september 15:00-16:00 KS12 Workshop om eksamensrammeverket På dette kurset vil vi snakke litt om eksamensrammeverkt (blueprinting). Har undervisningsenheten en klar strategi for hva man spør om på eksamen og hvordan profilen på spørsmålene i databasen skal se ut? Lager undervisningsenheten nok spørsmål, dekker man alle læringsmålene, har man en strategi for oppdatering av spørsmål og hvordan gjør spørsmålene det på eksamen. Kurset arrangeres som en kort forelesning og deretter diskusjon om hvordan man får til et best mulig eksamensrammeverk. Kurset holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/osco7i 17. september 15:00-16:00 LS42 Kurs om MCQ-databasen På dette kurset får du en kort intro til hvordan du legger spørsmål inn i databasen, hvordan du kan se hvordan dine oppgaver gjør det på eksamen, og hvordan du endrer og oppdaterer gamle spørsmål. Ta gjerne med egen PC så kan du få svar på ting du lurer på med det samme. Kurset holdes av Rune Standal. Påmelding: http://goo.gl/wwvyeb 5. oktober 15:00-16:00 LS42 Workshop om oppgaveanalyse Har du lurt på hvordan dine flervalgsspørsmål gjør det på eksamen? Her vil du få en rask gjennomgang om hvordan du sjekker dette, med noen eksempler på oppgaver du bør stusse litt over og kanskje vurdere å slette/endre. Det legges opp til at man kan ta med egen laptop og spørre om egne oppgaver. Workshopen holdes av Tobias S. Slørdahl Påmelding: http://goo.gl/iu62lw 7. oktober 15:00-16:00 LS42 Lynkurs om hvordan lage flervalgsoppgaver Påmelding: http://goo.gl/ylkh2l Årsrapport eksamen 18
Sjekk dine egne oppgaver I tillegg til å lage flervalgsoppgaver til eksamen, er det viktig for undervisere og evaluere sine spørsmål i etterkant. Dette kan du lett gjøre i flervalgsoppgavedatabasen: 1 Gå til http://mcq.medisin.ntnu.no og logg deg på som vanlig. 2 I menyen til venstre velger du Kvalitetssikret hvor du finner dine spørsmål som har vært brukt på eksamen. 3 Trykk på spørsmålet du ønsker å se analysene for. Vi gjør oppmerksom på at oppgaveanalyse stort sett gjøres kun på ordinær eksamen, da man ikke har nok studenter til å gjøre analyse på forskerlinje-, kontinuasjons- og engelsk eksamen. Hvis spørsmålet har vært bruk på flere eksamener kan du velge hvilken eksamen du ønsker å se analysen for. 19 Det medisinske fakultet
Dette bør du tenke på når du studerer dine spørsmål: Lager du en jevn fordeling av spørsmål i forhold til vanskelighetsgrad og diskriminerende evne. For eksempel har du kun laget spørsmål som alle svarer riktig på, kan du vurdere å lage noen litt vanskeligere neste år. Har noen av dine spørsmål negativ diskriminerende evne? Som nevnt tidligere betyr det at de svakeste studentene scorer bedre enn de beste studentene på denne oppgaven. Dette er ofte tegn på at noe er uklart i oppgaven eller at flere svaralternativer kan anes som det beste. Dersom du ønsker å endre eller slette en oppgave som er kvalitetsikret. Må man trykke på tryllestaven og deretter velge Trekk tilbake kvalitetssikring og enten og behold en kopi (som du kan endre) eller og slett den for alltid. Du bør også undersøke hva du har laget spørsmål om de siste årene og gjerne lage lignende spørsmål om sentrale tema og passe på at du også dekker bredden i fagfeltet ditt innenfor læringsmålene. Årsrapport eksamen 20
Tekst Tobias S. Slørdahl, NTNU Layout Stian Karlsen, NTNU Foto Geir Mogen https://www.flickr.com/photos/ntnumedicine Trykk Skipnes Kommunikasjon AS
Årsrapport 2014 / 2015