Det helsevitenskapelige fakultet Arkivref: 2016/53-7 ENI001 Dato: 29.01.2016 MØTEINNKALLING Til: Studieplanutvalget for medisin (SPU) Møtetid: Tirsdag 2.februar 2016 kl 13:15 15:00 Møtested: Rådsrommet, U7.220 Saksliste Saksnr Arkivref. U.off. Tittel/beskrivelse. Orienteringssak Videre arbeid med - de to nasjonale prosjekter: kliniske prosedyrer (godkjent liste) og nasjonal delprøve (rapport). Saker: SPU 7-16 2016/97-4 Ny organisering av legeutdanningens ledelse og administrasjon SPU 8-16 2016/95-3 Anbefaling av emnebeskrivelse for MED-3503 Praksis i sykehus SPU 9-16 2016/95-4 Anbefaling av delemnebeskrivelse for 5.1 Praksis i kirurgi SPU 10-16 2016/95-5 Anbefaling av delemnebeskrivelse for 5.3 Praksis i gynekologi og obstetrikk SPU 11-16 Eventuelt Torsten Risør Leder av SPU / Studieplansjef Eilif J Nilssen Prosjektkoordinator Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no
Arbeidsgruppen for nasjonal delprøve i medisin Nasjonal delprøve i medisinstudiet Rapport til Nasjonalt utdanningsmøte i medisin 2015
Tittel: Nasjonal delprøve i medisinstudiet: Rapport til Nasjonalt utdanningsmøte i medisin. Forfattere: Jan Frich, Hanne-Guro Aabelvik, Tobias S. Slørdahl, Marte Laugen, Anders Bærheim, Eirik Dalheim, Kristin Walter, Elin Holm, Henrik Schirmer, Stine Andersen og Eivind Valestrand. Bergen/Oslo/Tromsø/Trondheim, 2015. 2
Innhold 1. Bakgrunn, mandat og gruppens arbeid... 4 2. Oppsummering av arbeidsgruppens forslag og anbefalinger... 5 3. Læringsutbytte og læringsutbyttebeskrivelser... 7 4. Studentperspektivet på en nasjonal prøve i medisinstudiet... 8 5. Nasjonale prøver i et internasjonalt perspektiv... 10 6. Testing av klinisk resonnement ved en skriftlig prøve... 13 7. Godkjenning, standardsetting og tilbakemelding til studentene... 17 8. Utvikling, kvalitetssikring og vedlikehold av oppgaver... 19 9. Bencharking og kvalitetsutvikling ved det enkelte studiested... 21 10. Administrativ organisering... 21 11. Budsjett, ressursbehov og fremdriftsplan... 25 3
1. Bakgrunn, mandat og gruppens arbeid Det nasjonale utdanningsmøtet i medisin vedtok 10. oktober 2014 å starte arbeidet med en pilot på en nasjonal delprøve i medisin. Forslag til mandat ble forelagt nasjonalt utdanningsmøte 11. mars 2015. Godkjent mandat var klart 7. april, sammen med en oppnevnt arbeidsgruppe. Arbeidsgruppen ble bedt om å levere et løsningsforslag til det Nasjonale utdanningsmøte i medisin i høstsemesteret 2015. Arbeidsgruppen har bestått av Jan Frich (UiO), Hanne-Guro Aabelvik (UiO), Tobias S. Slørdahl (NTNU), Marte Laugen (NTNU), Anders Bærheim (UiB), Eirik Dalheim (UiB), Kristin Walter (UiB), Elin Holm (UiT), Henrik Schirmer (UiT), Stine Andersen (studentrepresentant UiT) og Eivind Valestrand (studentrepresentant, UiB). Studentene representerer både læresteder som har innført gradert karakterskala A-F og læresteder som bruker karakterskalaen bestått/ikke bestått. Arbeidsgruppen har vært ledet av Jan Frich og har hatt sitt sekretariat ved UiO. Mandatet har vært «å utarbeide en skriftlig digital delprøve i klinisk resonnement som bygger på læringsmål som er gjenfinnbare i studieplanen på alle fire læresteder til og med 11. semester. Delprøven gis til 6. års studenter som er inne i sitt 12. semester, tidlig i vårsemesteret. Prøven skal ha et omfang på 2-4 timer og vurderes med godkjent/ikke godkjent». Videre heter det at: «De 4 læresteder må definere piloten av den nasjonale delprøven som et arbeidskrav i det aktuelle 6. års emne. Arbeidskravet er gjennomført pilot nasjonal delprøve. Gruppen kan foreslå løsning for hvordan man får testet vårkullet ved UiO og UiB.» Det er på det rene at delprøven i pilotfasen skal ha status som «obligatorisk arbeidskrav» og ikke skal være en erstatning for regulære eksamener ved de enkelte studiesteder. Arbeidsgruppen mener mandatet har lagt tydelige rammer for arbeidet, og at det legger opp til benchmarking og samordning/standardisering som målsettinger for en nasjonal delprøve. Videre mener vi at resultater fra en slik nasjonal prøve vil kunne brukes av det enkelte studiested for å vurdere egne eksamener og standardsetting. Resultatene fra prøven må tilrettelegges slik at studiestedene kan få tilbakmeldinger og muligheter for å sammenlikne resultater på tvers av studiestedene. Fakultetenes arbeid med å heve kvaliteten og utvikle egen studieplan og undervisning må forankres lokalt gjennom programråd, andre etablerte organer og i dialog med studentene. De vitenskapelige representantene samt studentrepresentantene har undersøkt lærestedenes læringsmål og foreslår at et arbeid med en pilot tar utgangspunkt i klinisk resonnement knyttet opp mot tre fagområder (kardiologi/thoraxkirurgi, gastroenterologi/gastrokirurgi, nefrologi/urologi). De administrative representantene har sett på hvordan en nasjonal delprøve kan gjennomføres, særlig med tanke på at den skal kunne gis digitalt. De har også sett på hvordan den kan knyttes opp mot de aktuelle kursene som et obligatorisk arbeidskrav. Gruppens arbeid har bestått av samlinger 11. juni og 14. oktober samt telefonmøter underveis. Eksterne interessenter som NOKUT, NSO og Legeforeningen har vært involvert, sistnevnte blant annet gjennom dialog med Nmf. Jan Frich, Leder av arbeidsgruppen 4
2. Oppsummering av arbeidsgruppens forslag og anbefalinger Om videre arbeid med nasjonal prøve: Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016. Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling. Arbeidsgruppen foreslår en videre fremdriftsplan for et pilotprosjekt, hvor det tas sikte på å gjennomføre to piloter, en minre pilot høst 2016 og en pilot ved alle studiesteder vår 2017. Om prøveformatet: Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type. Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på å prøve ut inntil 25 % sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i sekvens). Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved å utnytte maks testtid innenfor mandatet, altså 4 timer og ved å benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer o I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at antallet kan vurderes økt på sikt Delprøvens reliabilitet (interne konsistens) bør ligge >0.90 Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon Om godkjenning, standardsetting og tilbakemelding I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et minimumskrav for tilfredsstillende resultat Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert skriftlig tilbakemelding til alle studenter. Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den nasjonale delprøven Alle oppgaver inneholder en fasit med forklaring for senere læring Alle delprøver med fasit er offentlig tilgjengelig Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale flervalgsoppgavedatabasen som kan brukes til læring. Om utvikling, kvalitetssikring og vedlikehold av eksamensspørsmål: Vi anbefaler at det opprettes nasjonale fagkomiteer bestående av representanter fra hvert av de 4 fakultetene som har ansvar for å lage et rammeverk (blueprint) for 5
spørsmål i det enkelte fag. Fagkomiteene må samarbeide med faglig prosjektleder om dette. Vi anbefaler at disse komiteene lager og kvalitetssikrer spørsmål i sine fag. Vi anbefaler at det utføres ekstern og anonym fagfellevurdering av alle eksamensspørsmål. En slik gruppe bør bestå av nyutdannede sykehusleger, en spesialist og allmennleger. Vi anbefaler at det utføres oppgaveanalyse etter hver eksamen og at spørsmål som ikke har fungert, fjernes eller revideres. Det må etableres en sensurkomite som vurderer sensureringen og gjør analyse av oppgavene og kvalitetssikrer tilbakemelding til studentene. Studenter som har tatt prøven bør gis anledning til å komme med sine tilbakemeldinger på enkeltspørsmål, i tillegg til at eksamen som helhet evalueres- Vi anbefaler at alle eksamensspørsmål oppbevares i en nasjonal databank for spørsmål til nasjonal delprøve. Det må utarbeides en kravspesifikasjon som legger grunnlaget for å sjekke ut om det finnes en løsning på markedet Vi anbefaler at det opprettes en stilling som vedlikeholder og oppdateringer eksamensdatabasen. Om benchmarking og kvalitetsutvikling Resultater fra prøven må tilrettelegges slik at studiestedene kan få tilbakmeldinger og muligheter for å sammenlikne resultater på tvers av studiestedene. Om administrativ organisering Vi anbefaler at det prosjektet støttes av en nasjonal administrativ koordinator for delprøven i 50 % stilling. Hvert lærested må sette av ressurser som jobber opp mot den nasjonale koordinatoren Det må utvikles en løsning for prøven i et format som kan eksporteres til de verktøyene som benyttes ved de ulike universitetene. 6
3. Læringsutbytte og læringsutbyttebeskrivelser Arbeidsgruppen har hatt i oppgave å finne læringsmål lærestedene har felles innen klinisk resonnement. Vi har samlet inn læringsutbyttebeskrivelser og læringsmål fra alle studiestedene og disse er blitt vurdert og diskutert. Vi har gjort oss følgende observasjoner og vurderinger: På et overordnet nivå er det god overenstemmelse i utbyttebeskrivelser og mål nasjonalt, men samtidig har de ulike studiestedene ulik grad av detaljnivå i sine beskrivelser. Læringsmålene for 11. og 12. semester ved studiet i Oslo har et omfang på 6-7 sider. De deler som spesifikt kan sies å omhandle klinisk resonnement er relativt generelt formulert: «Forstå kompleksiteten i vanlige sykdomsbilder og lære seg en systematisk fremgangsmåte i klinisk arbeid. Kunne foreslå og begrunne ulike typer terapeutisk intervensjon, spesielt medikamentell og kirurgisk, og opplegg for kontroll og pasientinformasjon under og etter behandling» Vi finner tilsvarende formuleringer i beskrivelsene av forventet læringsutbytte for 6. året ved Universitetet i Tromsø: «Foreslå supplerende undersøkelser som kan bidra til å stille sikrere diagnose; Tolke og vurdere resultater av vanlige klinisk-kjemiske, farmakologiske, hematologiske, mikrobiologiske og immunologiske undersøkelser, ut fra oppgitte referanseverdier; Tolke og vurdere billeddiagnostiske undersøkelser (rtg, CT, MR) utfra oppgitte vanlige og/eller viktige avvik fra det normale; Redegjøre for og diskutere prinsippene for behandling av vanlig forekommende sykdommer; Gjøre rede for og diskutere medikamentvalg og andre behandlingsformer; Gjøre rede for og diskutere prinsipper for palliativ behandling ved langt-kommende sykdom, inkludert alternativ og komplementær medisin». Her er eksempler på formuleringer fra Universitetet i Bergen: «kunne ta opp ein god anamnese og utføre ei klinisk allmennmedisinsk undersøking innan ulike fagområder; «kunne avklare tidlige, ikkje-differensierte stadium av sjukdom og ta avgjørsler om enkle tilstander som kan ferdigbehandlas i allmennpraksis; kunne ta stilling til kva for pasientar som skal visast til spesialisthelsetenesta og med kva hastegrad.» Utbyttebeskrivelser og mål er gjennomgående formulert ved utgangen av 6. året (12. semester), og det må etableres en mekanisme for å avklare med lokale miljøer hva som er undervist frem til første del av 12. semester. Flere studiesteder har pågående revisjon av sine studieplaner, med tilhørende revisjon av læringsmål og læringsutbyttebeskrivelser, slik at mål og beskrivelser er under endring og kommer til å gjennomgå endringer de nærmeste årene. Konsekvensen av dette er at det er vanskelig å tenke seg å forankre en nasjonal prøve eller eksamen i spesifikke læringsmål og beskrivelser. Vi ser for oss at det må etableres nasjonale fagkomiteer for ulike fagområder, med representasjon fra alle studiesteder, og at slike 7
komiteer vil kunne utvikle og vurdere eksamensspørsmål opp mot hva som faktisk blir undervist eller dekket i de ulike studieplaner. Komiteene bør ha representasjon fra de enkelte spesialiteter innen indremedisin og kirurgi, samt fra allmennmedisin. Det bør etableres en ordning med «peer review» i form av at nylig utdannede kandidater vurderer og gir tilbakemelding på spørsmål. Arbeidsgruppens anbefalinger: Arbeidsgruppen er enig om at det er mulig å jobbe frem en prøve på bakgrunn av de eksiterende læringsmålene til tross for at de er ulike i detaljeringsnivå. Utviklingen av konkrete oppgavesett basert på læringsmålene er et større arbeid som krever mer tid enn arbeidsgruppen har til rådighet (med leveranse til 30.10.2015). Vi anbefaler at arbeidsgruppen fortsetter som et prosjekt som viderefører arbeid med en pilot 2016. Vi anbefaler at det videre arbeidet med prøve tar utgangspunkt i et begrenset antall fagområder: kardiologi og thoraxkirurgi, gastroenterologi og gastrokirurgi, samt nefrologi og urologi. Oppgavene bør ha en allmennmedisinsk vinkling. 4. Studentperspektivet på en nasjonal prøve i medisinstudiet Nasjonal eksamen eller prøve har det siste året vært et omdiskutert tema i student-norge. Temaet debatteres i mange ulike fagområder, og medisinstudentene er blant dem som har tatt diskusjonen mest på alvor. Arbeidsgruppen har vært opptatt av en god dialog med studentene og å få frem deres synspunkter. I det følgende vil vi oppsummere de innspillene studentene har fremmet utfra hvordan prosessen ser ut i dag. Norsk medisinstudentforening De lokale studentdemokratiene arrangerte i samarbeid med Norsk medisinstudentforening (Nmf) våren 2015 allmøter om nasjonal prøve ved alle de medisinske studiestedene i Norge. Debattene ble brukt til å sende innspill til hva Nmf skulle vedta som sin offisielle politikk omkring nasjonal prøve på deres landsmøte i mars 2015. Nmf tok noen klare standpunkt, som en kan anta at vil også gjelde for store deler av studentmassen på medisinstudiet 1. Nmf mener en nasjonal prøve for medisinstudiet skal: i hovedsak benyttes til å forbedre utdanningskvaliteten ikke kunne brukes av arbeidsgiver i vurdering av jobbsøknader ta utgangspunkt i nasjonale læringsmål. Nmf har argumentert for nasjonale læringsmål i flere år gi studenter en formativ tilbakemelding, slik at den kan benyttes som et pedagogisk verktøy Norsk studentorganisasjon Der Nmf ikke tok noe standpunkt for eller mot nasjonal prøve, og heller signaliserte studentenes behov i en slik prøve, valgte Norsk studentorganisasjon (NSO) å gå hardt ut mot 1 Fråsegn frå Norsk medisinstudentforening om nasjonal prøve for medisinstudiet. Trondheim: Norsk medisinstudentforening, 2015. http://legeforeningen.no/student/norskmedisinstudentforening/nyheter/2015/frasegn-fra-norsk-medisinstudentforeining-om-nasjonal-prove-formedisinstudiet/ (22.09.2015) 8
nasjonale deleksamener 2. Dette i hovedsak grunnet en oppfatning av at nasjonal deleksamen er et angrep på, og en spiker i kisten for, akademisk frihet. Deres frykt er at nasjonale prøver vil ta fokus bort fra andre fag som ikke testes nasjonalt, og slik kunne bli drepen for faglig integritet og kreativitet hos den enkelte institusjon. Nasjonal standardisering kan være til hinder for lokale tilpasninger. De mener også at karaktergiving på en slik eksamen, som følger studentens vitnemål, vil være uheldig. Særlig er de skeptiske grunnet at de mener dette vil medføre en urettferdig rangering av de ulike institusjonene. Selv om NSO har tatt et sterkt standpunkt mot nasjonale deleksamener, er det tydelig delte meninger om dette i student-norge. Norsk sykepleierforening student (NSFs) har stilt seg positiv til innføring av nasjonal deleksamen på sykepleiestudiet 3. De mener det er viktig å fastsette nasjonale standarder og krav, og samtidig utvikle systemer som kan etterprøve disse. Derfor anser NSFs innføringen av nasjonal deleksamen på sykepleiestudiet som et viktig virkemiddel i arbeidet med kvalitetsutvikling og -sikring av undervisning og studentenes læringsutbytte på sentrale fagfelt. Særlig viktige momenter for studentene Forberedelse til prøven Det er viktig at studentene opplever det som konkret hva som ligger i prøven slik at de vet hva de skal forberede seg til. Det bør derfor foreligge eksempel oppgaver, samt tydelig og god informasjon om rammene for prøven, hva den vil benyttes til og hvilket utbytte studentene vil ha av å gjennomføre prøven. Omfang av prøven Prøven kan ikke være av et slikt omfang at den tar vekk fokus fra ordinært studie. Her vil det også være viktig med god informasjon, slik at studenter ikke gjør mer ut av prøven enn det den er ment å være. Det må ansees som svært viktig at nasjonal prøve ikke blir et stort arbeidskrav som gir mye ekstraarbeid for studentene. Dette vil kunne øke stressnivå og føles som en stor belastning, i en allerede krevende fase av studiet. Tidsbruk I tillegg til selve prøvedagen vil prøven også stjele tid som potensielt kunne vært brukt på utdanningen ved sitt studiested i forberedelse til prøven. Det må unngås at nasjonal prøve blir så tidkrevende at den blir på bekostning av ordinære studier. Tilbakemelding Det er særlig viktig at studentene får en tilbakemelding om hvordan de gjør det på prøven, gjerne i form av en score. Slik kan studentene også oppleve en nytte av å ta prøven, og dermed ha motivasjon til å gjennomføre prøven på en god måte. Det er særlig ønskelig med tilbakemelding som konkretiserer hvordan studenten har gjort det i hver enkelt del av prøven, slik at studenter får informasjon om hva den mestrer og hva den kan utvikle videre. Samtidig oppfatter vi en tydelig holdning om at prøven ikke skal være karaktergivende og kunne føres på vitnemålet. 2 Nasjonale deleksamen - ensretting og overformynderi. Oslo: Norsk studentorganisasjon, 2015. http://student.no/content/uploads/2014/05/resolusjon-nasjonale-deleksamener-ensretting-ogoverformynderi.pdf (22.09.2015) 3 Jensen AB. Karakterkrav splitter sykepleien. Studvest 03.09.2015 http://www.studvest.no/karakterkrav-splittersykepleien/ (22.09.2015) 9
Form Det er helt nødvendig at de ulike studiestedene gir en lik trening i vurderingsformen til nasjonal prøve. Her er det per nå store forskjeller mellom studiestedene, og dette må det tas høyde for ved vurdering av eksamensscore mellom studiesteder. Vi anser dette som et av de viktigste poengene fra studentene. Medisinstudenter i utlandet For norske medisinstudenter i utlandet kan det være viktig at en eventuell nasjonal eksamen etter autorisasjon også åpnes for dem slik at de ikke risikerer å bli diskriminert i mangel på en eventuell prøve. Dette kan også være viktig for å gi dem mulighet til å bevise at de er jevngode med leger utdannet i Norge, samt som en kvalitetssikring på dem som skal inn i det norske helsevesenet. Arbeidsgruppen noterer at: Medisinstudentenes oppfatning er at en nasjonal prøve kan utvikles til å bli et verktøy i arbeid med utdanningskvalitet. Studentene ønsker først og fremst at prøven skal fungere som et pedagogisk verktøy for den enkeltes læring og at prøven må gjennomføres ut i fra like betingelser hva gjelder trening i å besvare oppgavetypene som benyttes. 5. Nasjonale prøver i et internasjonalt perspektiv Dersom en nasjonal prøve skal utvikles i Norge, er det naturlig å undersøke hvordan det arbeides med dette i en internasjonal sammenheng. Nasjonale prøver finnes i mange land, og i de fleste land er dette prøver som må bestås for å få lisens for å praktisere som lege. Arbeidsgruppen har gått gjennom de største og mest kjente prøvene (Tyskland, USA, Canada), samt den yngste nasjonale prøven (Sveits). I tillegg har vi sett på progresjonstesten, som bl.a. benyttes i Nederland, og gis regelmessig underveis i et studieløp for å måle individuell progresjon. Vi oppsummerer her kort hvordan de ulike prøvene gjennomføres. USA National Board of Medical Examiners (NBME) 4 har arrangert nasjonale prøver i USA siden 1922. Prøven heter nå The United States Medical Licensing Examination (USMLE) 5. Det administreres årlig 141.000 prøver. Den totale testiden er 39 timer og prisen for alle prøvene er US$2700. Prøven finansieres, lages og administreres av Educational Commission for Foreign Medical Graduates, Federation of State Medical Boards og National Board of Medical Examiners. Selve eksamensoppgavene oppstår i eksamenskomiteer bestående av medisinske undervisere og klinikere. Komitémedlemmene består av representanter fra lærings-, praksis- og lisenseringsmiljøene i hele landet. Alle som vil praktisere i USA, fra nasjonale og internasjonale universiteter, må bestå disse eksamenene. Av amerikanske studenter er det >95 % som består på første forsøk. USMLE består i dag av 4 separate eksamener: Step 1: Tester anvendt kunnskap i basalfag. Prøven går over 1 dag på 8 timer og består av 308 flervalgsoppgaver. Step 2 «Clinical Skills CS»: Tester kommunikasjon, somatisk undersøkelse og tolkning av kliniske data. Arrangeres i siste studieår og gjennomføres som en OSKE. 4 http://www.nbme.org/ 5 http://www.usmle.org/ 10
Step 2 «Clinical Knowledge CK»: Tester kunnskap i klinisk medisin. Arrangeres på siste studieår, 1 dag 9 timer og 350 flervalgsoppgaver. Step 3: Tester applikasjon av klinisk kunnskap og pasienthåndtering. Eksamen går over 2 dager hvor 1. dag på 7 timer består av 256 flervalgsoppgaver og inkluderer også en legemiddelreklame og et vitenskapelig abstrakt, mens 2. dag på 9 timer består av 198 flervalgsoppgaver og 13 kasussimuleringer. Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type (se kapittel 6 for forklaring). De har også sekvensielle oppgaver i sett. Canada Eksamen arrangeres av Medical Council of Canada (MCC) og heter MCCs qualifying examinations. De administrerer årlig 10.000 tester, den totale testtiden er 10.5 timer og prisen for alle prøvene er US$2150. Internasjonale studenter må ta en fortest. Prøven lages av bredt sammensatte testkomiteer. Den kanadiske prøven er en lisenseringsprøve som består av to deler 6 : Part 1: Etter fullført studium og tester legens kunnskaper, kliniske ferdigheter og holdninger. Prøven går over 1 dag hvor 3,5 timer er satt av til 196 flervalgsoppgaver og 4 timer er satt av til en klinisk beslutningslære komponent hvor de bruker meny og kortsvarsspørsmål. Del 2: Tester de samme ferdighetene som i part 1, men arrangeres som en OSKE. Spørsmålsformatet på er ett-beste-svar-flervalgsoppgaver. Tyskland Institut für medizinische og pharmazeutische Prüfungsfragen (IMPP) lager eksamen, forbereder testen og bestemmer poenggivningen, mens det er Landesprüfungsämtern (LPÄ) som gjennomfører eksamen og informerer studentene om resultatet. Læringsmål er kjent gjennom IMPP sin Gegenstandkatalog. Den tyske prøven er en lisenseringsprøve bestående av 3 deler 7 : Erster Abschnitt: Også kalt Das Physikum, hvor basalfagene testes. Kan tidligst gjennomføres etter 4. Semester. Har en muntlig-praktisk del i anatomi, biokjemi, fysiologi og psykologi/sosiologi) og en skriftlig del over 2 dager á 4 timer som består av totalt 320 flervalgsoppgaver. Zweiter Abschnitt: Skriftlig prøve før studentenes Praktisches Jahr altså før 5. studieår. Går over 3 dager á 5 timer og består av 320 flervalgsoppgaver. Dritter Abschnitt: Muntlig-praktisk prøve etter Praktisches Jahr og består av 2 dager, 4 x 45-60 minutter og man testes i indremedisin, kirurgi og et valgt fag. Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver av A-type og R-type. De har også sekvensielle oppgaver i sett. 6 http://mcc.ca/examinations/ 7 Chenot, J.F. Undergraduate medical education in Germany. GMS German Medical Science 2009;Vol.7, 1612-3174 11
Sveits Swiss federal licencing examination (FLE) er den yngste av de store nasjonale eksamenene og ble gjennomført for første gang i 2011. Eksamen utvikles sentralt, men administreres lokalt. Spørsmålene ble skrevet av erfarne klinikere fra alle de fem sveitsiske fakultetene og disse ble igjen kvalitetssikret av interfakultet og interdisiplinære grupper av sykehusleger og allmennleger. Den sveitsiske prøven er en lisenseringsprøve bestående av 2 deler 8 : MCQ: Tester klinisk resonnering. Oppgaver med pasientvignett. Prøven går over 2 dager á 4,5 timer med totalt 300 flervalgsoppgaver. CS (clinical skills): OSKE med standardiserte pasienter. Består av 12 stasjoner på 3 timer og 45 minutter. Spørsmålsformatet er ett-beste-svar-flervalgsoppgaver og multiple true/falseflervalgsoppgaver. Interuniversity Progress Test Medicine - Progresjonstesten Progresjonstesten er en standardisert test bestående av 200 flervalgsoppgaver fra hele medisinstudiet. Testen benyttes i mange land, men stammer opprinnelig fra Maastricht University i Nederland og University of Missouri-Kansas City School of Medicine i USA9. Nederland benytter testen og har ikke en avsluttende prøve knyttet til lisensering. Testen utvikles og vedlikeholdes i et samarbeid mellom de deltagende institusjonene mens selve prøveadministrasjonen administreres lokalt. Hver tredje måned får alle medisinstudenter ved de medisinske fakultetene samme test, uavhengig av hvor langt de har kommet i studiet. Spørsmålene hentes fra en database med over 60 000 spørsmål på originalspråket og over 10 000 spørsmål på engelsk. Benyttede spørsmål får en karantenetid på tre år før de kan anvendes på nytt. Studentene kan følge sin egen utvikling gjennom studiet ved å følge egne resultater i et studieadministrativt system 10. Ved å analyse gruppescore på testen, har en internasjonalt (Nederland, Tyskland og Italia) sammenlignet hvordan ulike studiesteder gjør det på ulike fagområder 11. Oppsummert Felles for alle de store nasjonale prøvene er at de i stor grad er lisenseringsprøver som utvikles av egne institusjoner i det landet de gis. Administrasjon av prøvene er sentralt (USA, Canada) eller lokalt (Tyskland, Sveits). Dette er prøver med store konsekvenser for studentene hvis stryk, noe som stiller høye krav til reliabilitet og validitet. Fellesnevneren for alle prøvene er at alle benytter seg av flervalgsoppgaver av A-type pluss ett eller flere andre formater, som er noe ulikt fra land til land. 8 Guttormsen S et al. The new licencing examination for human medicine: from concept to implementation. Swiss licensing examination for human medicine. Swiss Medical Weekly. 2013;143:w13897 9 Van der Vleuten CPM, Verwijnen GM, Wijnen WHFW, et al. Fifteen years of experience with progress testing in a problem-based learning curriculum. Medical Teacher 1996;18:103-110. 10 Bærheim A, Høvding G, Wiker H, et al. Rapport fra Arbeidsgruppe 3: Utredning om lærings- og vurderingsformer i ny studieplan i medisin - Gi oss ansvar!. Universitetet i Bergen, 2013 http://www.uib.no/filearchive/rapport-fra-arbeidsgruppe-3-for-ny-studieplan-2-.pdf 11 Albano MG, Cavallo F, Hoogenboom R, et al. An international comparison of knowledge levels of medical students: the Maastrich Progress Test. Medical Education 1996;30:239-245 12
Progresjonstesten er eksempel på en formativ test som ikke er knyttet opp mot lisensering. Arbeidsgruppen mener en kan se på muligheten for å kjøpe innsikt i den engelskspråklige databasen, for å hente inspirasjon til spørsmål som hjelp til nasjonale fagkomiteer. Ved å benytte den engelske versjonen av progresjonstest kan en og se på muligheten for å utvikle seg mot internasjonalt samarbeid over tid og slik kunne gi større utviklingspotensial til andre typer nasjonale prøver for medisinstudiet. 6. Testing av klinisk resonnement ved en skriftlig prøve Hva er klinisk resonnement? Klinisk resonnement kan beskrives og kanskje defineres som de vurderinger en lege foretar i samspill med pasienten og basert på tre sett kliniske data. Legens vurderinger kan lede til kliniske handlinger og beslutninger. En novise vil ofte følge læreboka i sitt kliniske resonnement, mens en erfaren kollega med et erfarent blikk og noen få kontrollspørsmål kan komme til sin konklusjon. Deler av klinisk resonnement kan ha narrativ karakter. Flere kunnskapssett møtes i et klinisk resonnement. Det første settet kunnskaper innehar legen ved sin kliniske kompetanse (kunnskaper, ferdigheter og diverse andre profesjonelle egenskaper). Denne profesjonelle kompetansen er operasjonell i klinisk arbeid, men er også høylig situert idet dens operasjonelle uttrykk vil variere med klinisk kontekst, avhengig av interaksjon med pasienten, tidligere erfaringsgrunnlag og den sosiokulturelle settingen den kliniske interaksjonen foregår i. Den andre delen av de tre kunnskapsbasene som klinisk resonnement forutsetter er data fra pasienten. En har oftest tilgang til bakgrunnsdata og ikke minst kunnskap en får gjennom å snakke med pasienten, pluss ved å benytte de fleste andre sansene, inklusive lukt og berøring. Sykehistorien er imidlertid ofte underkodet, det vil si at dataene ikke er tilstrekkelige nok til å kunne ta beslutninger eller gjøre konkrete eksplisitte resonnementer. Det tredje datasettet en benytter kommer fra det sosiokulturelle landskapet som konsultasjonen foregår i. En leges kunnskap er ujevnt fordelt over dette store kontinuumet av kunnskaper, innsikter og kanskje visdom. Kunnskapsutviklingen i konsultasjonen og de kliniske resonnementene vil variere med for eksempel legens kommunikative innsikt i en platearbeiders arbeidsdag (eks. kvinne med vond rygg) eller i en ung abortsøkendes livssituasjon. Tørrhoste vil eksempelvis vurderes forskjellig avhengig av pasientens alder og bakgrunn. Ofte er imidlertid pasientens bakgrunn og livssituasjon mye mer kompleks, og det bildet en får er sterkt avhengig av hvordan en kommuniserer med pasienten. Det kliniske resonnementet kan bevege seg frem og tilbake mellom disse tre kunnskapskildene avhengig av hvilke prosesser som aktiveres. Taus kunnskap vil spille inn på måter en vanskelig kan få oversikt over. Man kan argumentere for at testing av klinisk resonnement best gjøres i faktiske kliniske situasjoner der kandidaten møter en reell pasient. Som vist ovenfor er prøver knyttet til lisensering internasjonalt gjerne av en blanding av skriftlig testing og muntlige og praktiske tester. Det samme er tilfellet for medisinstudiene i Norge, hvor studentene gjennom et studieløp møter både skriftlige, muntlige og praktiske vurderingsformer. 13
Prøveformatet oppgavetyper og oppgavesett Mandatet gir en bestilling om en skriftlig prøve. I det følgende vil vi derfor diskutere hvilke muligheter man har når man skal lage en skriftlig nasjonal delprøve i klinisk resonnement. Det finnes to hovedoppgavetyper av skriftlige oppgaver; konstruerte svar (constructedresponse)-oppgaver og valgte svar (selected-response)-oppgaver. Etter at man har tatt stilling til hvilken oppgavetype(r) man skal ha kan man i det videre ta stilling til hvorvidt man skal ha sett bestående av enkeltoppgaver, multiple oppgaver i sett eller sekvensielle oppgaver. Konstruerte svar-oppgaver Konstruerte svar-oppgaver benyttes av alle de medisinske fakultetene i Norge i dag og er oppgavetyper hvor studenten selv må formulere et svar på et spørsmål. Eksempel på slike oppgaver er essay- og kortsvarsoppgaver. Fordelene med konstruerte-svar oppgaver er at disse tillater at man tester studentens evne til å formulere seg, deres skriveferdigheter, evne til å drøfte, evne til å organisere logiske tanker osv. Disse oppgavene har også muligheten for sensor å gi en gradert poengsum basert på en skjønnsmessig vurdering, fremfor en alt-ellerintet poengsum som man har i valgte svar-oppgaver. Disse fordelene oppveier dog ikke ulempene med slike oppgavetyper. Disse oppgaveformatene er vanskelig å skåre nøyaktige og reliabelt. Sensurering av slike oppgavetyper utfordres av mange bias hos den menneskelige sensor. Det tar også lang tid å sensurere eksamensbesvarelser med konstruerte svar og det er lite kostnadseffektivt. Validitet er en annen hovedutfordring med konstruerte svar-oppgaver. Dette gjelder spesielt når store fagfelt skal testes. Det tar lengre tid å besvare konstruerte svar-oppgaver og dermed får man testet en relativt liten del av eksamenspensum på en prøve på 4 timer. Eksamensvaliditeten blir derfor lav 12. Ingen av de kjente store nasjonale prøvene benytter seg av konstruerte svar-oppgaver, med unntak av i Canada 13, 14, 15. Anvendelse av denne typen oppgaver vil også medføre noe større ressursbehov i gjennomføringen i form av sensorer som retter manuelt (selv i et digitalt system). Ved denne oppgavetypen er det derfor vanlig å gjøre analyser for å kalibrere de ulike sensorenes vurderinger for å sikre like betingelser for kandidatene. Valgte svar-oppgaver Valgte svar-oppgaver, med flervalgsoppgaven (FVO) som vanligste format, er det mest brukte og standardiserte eksamensformatet man har. Som nevnt tidligere bruker de store nasjonale prøvene dette eksamensformatet, noe som sikrer høy reliabilitet og validitet. I Norge benyttes flervalgsoppgaver som eksamensformat både ved UiO og NTNU. NTNU har lengst erfaring mer formatet og hvor det i dag utgjør 60 % av alle skriftlige eksamener. UiO har i dag digital eksamen med flervalgsoppgaver ved 6 av 9 skriftlige eksamener innenfor medisinstudiet og antallet vil være økt til 8-10 når ny studieplan er innført i 2017 16. UiB har begynt å ta i bruk slike oppgavetyper i forbindelse med innføring av digitale eksamener ved medisinstudiet, og UiT har flervalgsoppgaver som i noen av sine eksamener og underveistester. 12 Downing SM. Written Tests - Contructed-Response and Selected-Response Formats. In: S.M. D, R. Y, editors. Assessment in Helath Professions Education. New York: Routledge, 2009: 149-84. 13 Chenot JF. Undergraduate medical education in Germany. Ger Med Sci 2009; 7: Doc02 14 Guttormsen S, Beyeler C, Bonvin R, et al. The new licencing examination for human medicine: from concept to implementation. Swiss Med Wkly 2013; 143: w13897. 15 Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination (USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 16 P.g.a. arbeid med ny studieplan er vurderingsform ikke avklart i to av de nye modulene og eksakt antall kan dermed ikke anslås pt. 14
De som trolig har lengst erfaring med bruk av flervalgsoppgaver på store medisinske eksamener internasjonalt er The National Board of Medical Examiners (NBME) i USA. I 1951 gjorde de en studie hvor de sammenlignet flervalgsoppgaver med essayformatet og basert på denne gikk de etter hvert over til rene flervalgsoppgave-eksamener 17. Flervalgsoppgaver kan deles inn i to hovedgrupper, sant/usant-oppgaver (true/false) og de som ber kandidaten angi et beste alternativ (one-best-answer). Sant/usant formatet ber studenten angi alle svar som er sanne. Dette er ikke uproblematisk i medisinske fag da mange ting er sjeldent 100 % sant eller 100 % usant. Studenten må derfor gjøre vurderingen som ikke nødvendigvis er knyttet til klinisk erfaring eller kunnskap, som for eksempel å tenke seg til hva oppgaveskriver tenkte på da han laget oppgaven 18. Gjennom årenes løp har NBME testet ut mange ulike flervalgsoppgaveformater innenfor disse gruppene og disse oppsummeres i vedlegg 1, sammen med en kort kommentar til hver 19. Et format som brukes av alle de store nasjonale prøvene og som har vist seg å være svært anvendelig i medisinske fag er formatet ett-beste-svar-oppgave, A-type. Slike oppgaver består av en vignett (for eksempel en sykehistorie), et klart formulert spørsmål med ett riktig svar og et varierende antall distraktorer. Det riktige svaret skal være det beste, men de øvrige svaralternativene trenger ikke å være direkte feil, men skal være klart mindre bra. Denne typen benyttes av både UiO og NTNU. Eksempel ett-beste-svar-oppgave, A-type: Kona til en 73 år gammel tidligere stort sett frisk mann ringer deg fortvilet på legevakt da hennes mann akkurat har blitt skjev i ansiktet, mistet kaffekoppen i gulvet og bare snakker tull. De bor 20 minutter unna legevakten og 45 minutter unna nærmeste lokalsykehus. Hva gjør du som legevaktslege? A. Du kontakter AMK og ber de sende en drosje til pasienten som kan ta han med til legevakten for nærmere undersøkelse og administrering av acetylsalisylsyre 300 mg. B- Du kontakter AMK for umiddelbar transport til lokalsykehuset for CT caput og eventuell trombolyse. C. Du kontakter AMK og ber de umiddelbart sende en ambulanse til pasienten for prehospital trombolyse. D. Du kontakter AMK og ber de sette opp en time hos fastlegen neste dag for nevrologisk undersøkelse og eventuell henvisning til nevrologisk poliklinikk med EEG. Basert på de erfaringer man har hatt over mange år på store medisinske eksamener i utlandet, vil det være hensiktsmessig å velge et oppgaveformat på en norsk nasjonal prøve som er 17 Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination (USMLE): enhancing assessment of practice-related competencies. JAMA 2013; 310: 2245-6. 18 Ibid. 19 Ibid. 15
internasjonalt anerkjent. A-type eller R-type spørsmål vil derfor være å foretrekke 20, hvor førstnevnte er mest brukt og velkjent for de fleste undervisere og studenter i Norge. Enkeltoppgaver, multiple eller sekvensielle oppgavesett Enkeltoppgaver i sett er relativt selvforklarende. Multiple oppgaver i sett består av en felles vignett på flere spørsmål, mens sekvensielle oppgaver i sett består av en vignett, ett spørsmål, supplerende vignett og nytt spørsmål osv. Sekvensielle oppgaver i sett, hvor man følger en sykehistorie og får nye spørsmål underveis, er et attraktivt format når man tester medisinske kasus. Det er likevel en del momenter man må være klar over når man lager slike oppgaver: Når man skal gjøre psykometriske beregninger på oppgaven så må man gjøre det for hele oppgaven som helhet (inklusive alle delspørsmål). Dette vil som regel gjøre den psykometriske beregningen etter en prøve eller eksamen mer kompleks. Den andre utfordringen med sekvensielle oppgaver er at man kan få forholdsmessig mange spørsmål knyttet til en del av fagområdet (for eksempel én sykdom) som gjør at man risikerer å senke validiteten på eksamen ved å introdusere construct underrepresentation. På en prøve på kun 4 timer (for eksempel ca. 120 flervalgsoppgaver) kan derfor sekvensielle oppgaver føre til reduksjon i bredden av det som testes. Ved etableringen av en nasjonal delprøve bør man legge opp til enkle og robuste løsninger. Samtidig vil det være interessant å teste ut to ulike format på oppgavesettene selv om dette vil øke kompleksiteten. Utvalgets anbefaling om prøveformatet: Vi anbefaler at nasjonal delprøve i medisin består av én enkelt oppgavetype og da fortrinnsvis ett-beste-svar-flervalgsoppgaver av A-type. Vi anbefaler at hovedvekten av spørsmålene er enkeltstående men at man tar sikte på å prøve ut inntil 25% sekvensielle oppgaver i prøven (maksimalt 3 spørsmål i sekvens). Vi anbefaler at man etter hvert som man tilegner seg erfaring med prøveformatet vurderer å utvide nasjonal delprøve med maksimalt ett spørsmålsformat Reliabilitet og validitet Reliabilitet og validitet har en sentral rolle i vurderingsformer innen utdanning. Reliabilitet og validitet henger nøye sammen. Reliabilitet handler om en tests pålitelighet, altså dens evne til å kunne bli reprodusert og administrert med samme testresultat under like betingelser. En test har høy reliabilitet dersom to studenter som har den samme kunnskapen får det samme resultatet på samme prøve, og at de oppnår samme resultat hvis de tar en tilsvarende prøve som er ment å eksaminere det samme. Det finnes flere måter å beregne en tests reliabilitet på, men det vanligste er å måle testens interne konsistens. En mye brukt metode for å beregne intern konsistens er koeffisient alfa, ofte kalt Cronbachs alfa 21. En annen metode som brukes, blant annet ved NTNU, er Kuder-Richardson 20 22. I medisinsk utdanningslitteratur er det anbefalt at man i summative tester som av høy viktighet (som for eksempel nasjonale prøver) har en Cronbachs alfa på mellom 0.90 og 1.00 23. 20 Case SM, Swanson DB. Constructing Written Test Questions For the Basic and Clinical Sciences, Third Edition ed. Philadelphia: National Board of Medical Examiners; 2002. 21 Cronbach LJ. Coefficient Alpha and the Internal Structure of Tests. Psychometrika 1951; 16: 297-334. 22 Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika 1937; 2: 151 60 23 Axelson RD, Kreiter CD. Reliability. In: S.M. D, R. Y, editors. Assessment in Health Professions Education. New York: Routledge, 2009: 57-73. 16
Validitet handler om prøvens evne til å måle det den er ment å måle. Ved en nasjonal prøve i klinisk resonnement vil det i praksis si at man tester det man mener en nyutdannet norsk lege skal kunne innenfor de fagene som testes. Når man skal lage en prøve med høy validitet er det viktig å være klar over to kilder som utfordrer testens validitet; construct underrepresentation (CU) og construct-irrelevant variance (CIV). CU handler om at enkelte fagfelt er underrepresentert eller at det er bias i oppgaveutvelgelsen. For eksempel hvis man lager en prøve i indremedisin og ikke stiller noen spørsmål om nefrologi og kardiologi, eller at den som velger ut spørsmålene i kardiologi bare interesserer seg for sære kardiomyopatier og velger ikke å spørre om akutte koronarsyndromer og atrieflimmer. Er man klar over denne utfordringen er den lett å unngå. Har man nok oppgaver og et klart rammeverk for hva man skal spørre om, unngår man CU. Dette er nok forklaringen på at nasjonale prøver ofte består av lang testtid og mange spørsmål. For eksempel består den amerikanske lisenseringsprøven USMLE av 3 eksamener på mellom 300 og 450 flervalgsoppgaver 24. CIV handler om systematiske feil i prøven som påvirker validiteten. Dette kan være feil i oppgaveformatene, oppgavene er for lett/vanskelig, for lav/høy diskriminerende evne osv. CIV kan unngås ved god opplæring og klare retningslinjer for hvordan eksamen og de enkelte oppgavene skal utformes 25. Forskning gjort på eksamener viser at det er to forhold som er svært viktig når det gjelder å øke en tests reliabilitet og validitet; prøvens testtid og antall oppgaver i en prøve. Øker man testtid og antall oppgaver øker man testens reliabilitet og validitet. Videre øker en fremtidens testers reliabilitet ved at man gjør oppgaveanalyser i etterkant og fjerner, reviderer eller erstatter oppgaver som ikke fungerer bra. Det er derfor viktig å gjøre gode psykometriske beregninger etter hver testadministrasjon. Utvalgets anbefaling: Man bør tilstrebe å lage en delprøve med så høy reliabilitet og validitet som mulig. Dette kan oppnås ved o å utnytte maks testtid innenfor mandatet, altså 4 timer o å benytte et prøveformat som tillater så mange oppgaver som mulig på 4 timer I en pilot anbefaler vi å starte med 120 spørsmål (2 minutter per oppgave) og at antallet kan vurderes økt på sikt Delprøvens reliabilitet (interne konsistens) bør ligge >0.90 Registrering av prøvedata må være slik at man lett kan beregne psykometri etter prøveadministrasjon 7. Godkjenning, standardsetting og tilbakemelding til studentene I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at godkjenningskravet vil være «gjennomført prøve», slik mandatet legger opp til. Med tanke på å utvikle en prøve som holder internasjonal standard og som oppfattes som relevant blant studentene bør allikevel kriterier for tilfredsstillende resultat diskuteres helt fra starten av utviklingsprosessen. Standardsetting refererer til prosessen med å lage grenser for karakterer og for skillet mellom bestått/ikke-bestått ved en eksamen. En standard bestemmer om en gitt skår er god nok for et 24 United States Medical Licensing Examination: http://www.usmle.org (01.06.15). 25 Downing SM, Haladyna TM. Validity and Its Threats. In: S.M. D, R. Y, editors. Assessment in Helath Professions Education. New York: Routledge, 2009: 21-55. 17
formål. Det finnes ingen gullstandard for standardsetting av eksamener 26,27,28. Man må derfor søke en balanse mellom ikke å være for streng, samtidig som man er sikker på at studentene har nok kunnskap til å passere. Standardsettingsmetoder kategoriseres som enten relative (norm-baserte) eller absolutte (kriterie-baserte). Relative metoder tar utgangspunkt i prestasjonene til en definert gruppe og setter en grensepoengsum basert på denne gruppen. Ved absolutte metoder setter man en grense før eksamen administreres. De norske fakultetene bruker i dag stort sett en absolutt metode, i form av en pre-fiksert grensepoengsum for å bestå eksamen. Ved en slik tilnærming til standardsetting er det i liten grad mulig å korrigere for eksamenens vanskelighetsgrad. Man bør ved en nasjonal prøve forsøke å tilstrebe og benytte seg av en internasjonalt anerkjent og validert metode. Absolutte metoder som Ebel og Angoff brukes mye, og benytter seg av ekspertpaneler som vurderer hvert enkelt spørsmål og deretter setter en grense for bestått på den enkelte eksamen 29. Dette er ressurskrevende. En ny og relativ metode er Cohens metode, som tar utgangspunkt i studentene på 90-95 %-percentilen og lar disse være referanse for hva som blir grenseverdien for bestått på eksamen (for eksempel 70 % av poengsummen til studenten på 95 % percentilen. Dette har vist seg å være en metode som gir mindre varians i strykrate enn absolutte pre-fikserte grenser og er lite ressurskrevende 30,31. Det gjøres i dag en forskningsstudie ved NTNU på historiske eksamensdata for å se om Cohens metode er bedre egnet enn dagens metode. Resultater vil være klare i løpet av 2016. Prøven som læringsarena Testing driver læring. En nasjonal delprøve i medisin vil være en svært viktig læringsarena for medisinstudenter i Norge. Det er derfor viktig med en god tilbakemelding til studentene. Av praktiske hensyn bør denne tilbakemeldingen gis skriftlig og bli generert på en automatisert måte fra et digitalt testverktøy. Videre er det viktig at alle flervalgsoppgaver i en nasjonal prøve har en god begrunnelse for hvorfor det riktige svaret er riktig. En slik fasit bør gjøres tilgjengelig for kandidatene straks etter gjennomført prøve. Dette fremmer læring. Spørsmål som har vært brukt i en nasjonal prøve bør være offentlig tilgjengelig. Dette er viktig for at kommende kandidater kan trene seg på eksamensformatet frem mot sin delprøve. Videre er dette svært viktig da en høy andel av norske leger utdannes i utlandet og vil ikke være berammet av en nasjonal delprøve. De bør ha tilgang til å se hvilke krav som stilles av norske universiteter ved utdanningen av medisinske kandidater, slik at de er best mulig forberedt når de senere skal jobbe i Norge. For at tidligere eksamensoppgaver skal fungere som et godt læringsverktøy bør det kjøpes, evt utvikles, et studentbrukergrensesnitt til den nasjonale flervalgsoppgavedatabasen, hvor studentene til enhver tid kan genere prøver innenfor de fagene/temaene man ønsker å teste seg selv i. Dette brukergrensesnittet må kunne appliseres som en applikasjon på mobiltelefoner og nettbrett. 26 Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point of reference: practical and affordable. Med Teach 2010; 32: 154-60. 27 Norcini JJ. Setting standards on educational tests. Med Educ 2003; 37: 464-9. 28 Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82. 29 Yudkosky R, Downing SM. Standard Setting. In: S.M. D, R. Y, editors. Assessment in Helath Professions Education. New York: Routledge, 2009: 119-48. 30 Cohen-Schotanus J, van der Vleuten CP. A standard setting method with the best performing students as point of reference: practical and affordable. Med Teach 2010; 32: 154-60. 31 Taylor CA. Development of a modified Cohen method of standard setting. Med Teach 2011; 33: e678-82. 18
Utvalgets anbefaling om godkjenning, standardsetting og tilbakemelding I pilotfasen legger vi til grunn at nasjonal prøve vil være et obligatorisk arbeidskrav og at godkjenningskravet vil være «gjennomført prøve». På sikt bør det etableres et minimumskrav for tilfredsstillende resultat Det gis ikke graderte karakterer på den nasjonale prøven, men det bør gis en automatisert skriftlig tilbakemelding til alle studenter. Det skal brukes en internasjonalt anerkjent og validert metode for standardsetting på den nasjonale delprøven Alle oppgaver inneholder en fasit med forklaring for senere læring Alle delprøver med fasit er offentlig tilgjengelig Vi anbefaler at det kjøpes inn, evt. utvikles, et studentbrukergrensesnitt til en nasjonale flervalgsoppgavedatabasen som kan brukes til læring. 8. Utvikling, kvalitetssikring og vedlikehold av oppgaver Når man skal lage en nasjonal prøve og bygge opp en nasjonal databank av flervalgsoppgaver er det essensielt at arbeidet er grundig planlagt før oppstart, at kvalitetssikring av oppgaver er god, både før prøveadministrering og etter, og at oppgavebanken vedlikeholdes regelmessig. I dette avsnittet diskuterer vi hvilke momenter man bør tenke på i den faglige utviklingen av en nasjonal delprøve. Databank med spørsmål En felles databank med spørsmål er viktig av flere hensyn. Sikkerhet er et viktig hensyn. En slik databank må være på trygg server og godt sikret mot datainnbrudd. Det må være et sted hvor alle som lager spørsmål til en nasjonal prøve, uavhengig av arbeidssted, kan logge seg på og legge inn sine spørsmål. Dette reduserer det administrative arbeidet rundt en prøve. Videre sikrer en databank at man har alle opplysninger knyttet til det enkelte spørsmålet og den enkelte eksamen samlet på ett sted. Dette vil være informasjon om fagfellevurderingen, om hvordan spørsmålene har gjort det på eksamen og hvordan eksamen har gjort det som helhet i psykometriske beregninger. Man vil etter hvert bygge opp mye informasjon om spørsmålene. Dette gjør det også lettere å revidere og vedlikeholde en databank av spørsmål, som igjen vil gjøre det lettere å administrere prøver i fremtiden. I dette avsnittet diskuterer vi hvilke momenter man bør tenke på i den faglige utviklingen av en nasjonal delprøve. Rammeverk for utarbeidelse av innhold etablering av fagkomiteer Alle kandidater til en nasjonal delprøve bør stille med like betingelser. Det betyr at det må være nasjonal konsensus om hva en norsk lege bør kunne innen klinisk resonnement innenfor fagene som skal testes. Det er også viktig at de som skal lage oppgaver har god kjennskap til hva som undervises på det enkelte studiested. De som skal lage oppgaver til nasjonal delprøve bør derfor sitte i en felles fagkomite bestående av representanter fra hvert fakultet. Arbeidsgruppen foreslår at det med tanke på å kjøre pilot på en nasjonal prøve opprettes fagkomiteer innenfor tre temaområder. Disse bør samarbeide med en faglig prosjektleder fra arbeidsgruppen. Den første oppgaven en slik fagkomite bør ta stilling til er hva man mener en norsk lege skal kunne innenfor sitt fag. Det betyr også at man må ta stilling til hvordan en databank av spørsmål for fagfeltet bør se ut. Det bør da konstrueres et rammeverk (blueprint) som sier noen om eksamenens innhold. På den enkelte eksamen vil det enkelte fag kun være representert med få spørsmål, noe som betyr at rammeverket bør tenke lenger enn en enkelt 19