Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin

Transkript

1 Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin Den 11/1-13 vedtok programstyret i medisin å utnevne en arbeidsgruppe som skulle vurdere gjennomføringen av eksamen i medisin. Programstyret ønsket innen utgangen av 2014 en helhetlig plan for vurdering av studenter gjennom profesjons-studiet. Dette er en rapport fra gruppens arbeid, inkludert et utkast til en helhetlig plan. Disposisjon for rapporten er som følger: 1. Beskrivelse av mandatet. 2. Beskrivelse av medlemmer. 3. Beskrivelse av aktivitet: a. Møtevirksomhet b. Kompetansebygging: i. Hvem har vært på kurs/etterutdanning ii. Seminarer/kurs avholdt i Tromsø c. Implementering av nye formater/rutiner i praksis 4. Om veivalg og bakgrunn for en helhetlig plan. 5. Helhetlig plan: Beskrivelse av veien videre. 6. Kommentarer fra de enkelte utvalgsmedlemmer. Med hensyn til veien videre: Vi oppfatter vårt mandat avgrenset til å si noe om summativ og formativ testing av studentene. Vi ønsker å peke på forhold som kan gjøre at våre tester i større grad tester det vi mener studentene må kunne (validitet), og at vi kan stole på testene (reliabilitet eller pålitelighet). Vi ønsker også å peke på forhold som kan bidra til at studentene i større grad får tilbakemelding om hvordan de kan bli bedre (formative tester). Vi vil også si noe om implementering.

2 Beskrivelse av mandatet Vedtak i Sak for programstyret i medisin har gitt følgende mandat til grupppen: Delta på kompetansehevende tiltak innen assesment in medical education nasjonalt og internasjonalt innen utgangen av Utarbeide forslag til helhetlig plan for vurdering for profesjonsstudiet medisin innen utgangen av Planen skal også inneholde forslag til implementering og forslag til kontinuerlig kvalitetssikring av eksamen. Bistå i planlegging og gjennomføring av kompetansetiltak innen eksamen for lærere innen medisin. Beskrivelse av medlemmer Over tid har det vært noe endring i sammensetningen av gruppens medlemmer; Yngve Figenschau (daværende leder for 2.års kommisjon) og studentrepresentanter Helge Haarr og Rune Skogheim har gått ut av gruppen. Henrik Schirmer (leder for 6.års kommisjon) har permisjon høst 2014/2015. Medlemmer ved innleveringstidspunkt; Leder Ragnar M. Joakimsen, Gaute M. Hansen, Valeria Morton, Tove Skjelbakken, Kristoffer Lassen, Claus Klingenberg, May-Lill Johansen, Knut Fredriksen, Signe Olsborg (student) og Terje Jørgensen (sekretær). I tillegg har Knut Tore Lappegård og Magnhild Gangsøy Kristiansen fra IKM/Bodø vært tilknyttet gruppen ved at de har fått tilsendt referat for å komme med innspill. Beskrivelse av aktivitet Møtevirksomhet Møte Møte Møte ; kort lunsjmøte med tema stasjonseksamener Framlegg om standardsetting med Henrik Schirmer og Ragnhild Sandvoll (UiT, RESULT). Møte av

3 Seminar og (Fundamentals of assessment course, med Kathy Boursicot, Trudy Roberts og Richard Fuller. Trudy Roberts er president i AMEE, Kathy Boursicot er arranger av kurs om assessment in medical education i London, og Richard Fuller er en av de faste foredragsholderne på kursene i London. Vi har en evaluering av dette seminaret, som kan skaffes på forespørsel, men kortversjonen er at 16 av totalt 40 deltagere svarte på en questback etter kurset, og de 16 var svært fornøyd med et lærerikt kurs. De 16 som svarte oppfattet at kurset hadde vært veldig nyttig for å lære seg om å skrive bedre eksamensspørsmål, lære standardsetting, og å lære om eksamensformer. Møte Presentasjon av assessment plan fra University of Washington School of Medicine ved prof. Jan Carline, samt rapport fra Simon Davis og Ragnar Joakimsen om OSCE-pilot Møte Møte Møte Vi viser også til nettside vi har opprettet, med referat og aktuell litteratur: Kompetansebygging: i. Hvem har vært på kurs/etterutdanning Det viktigste kompetansehevende tiltaket i perioden har vært seminaret med eksterne kursledere. Utover det, så har flere deltatt på kurs i London (Tove Skjelbakken, Henrik Schirmer, Simon Davis, Ragnar M Joakimsen), Tordis høifødt har vært i Toronto for å lære om bruk av OSCE i legeutdanningen. I tillegg er Ragnar Joakimsen medlem i en internasjonal gruppe som samler verktøy for testing av kommunikasjon i helseprofesjoner (teach). ii. Seminarer/kurs avholdt i Tromsø Se over. I tillegg til seminaret nevnt over, ble det arrangert et to-dagers seminar om undervisning av kommunikasjon i desember. De eksterne foredragsholderne (bl. A. Jonathan Silverman) er også en kapasitet mhp. eksamen, og avholder årlige kurs i Cambridge om testing. Vi benyttet sjansen til å innhente råd om OSCE under seminaret (spesielt om bruk og opplæring av simulerte pasienter).

4 Om veivalg og bakgrunn for helhetlig plan Historie Legeutdanningen i Tromsø hadde opprinnelig en eksamen etter 1 år, en etter 4 år og en avsluttende eksamen etter 6 år. Forutsetningen for dette systemet skulle i utgangspunktet være en kontinuerlig vurdering av hver student i en egen mappe,( ikke ulikt prestisje-institusjoner som Medical school i Cleveland). På 70-tallet gjorde studentene opprør mot dette, og den kontinuerlige vurderingen tok slutt uten noen erstatning. Konsekvensen har vært at studenter ved legeutdanningen i Tromsø fått lite systematisert tilbakemelding på egne kunnskaper, ferdigheter og holdninger sammenliknet med mange legeutdanninger i verden. Bakgrunn Legeutdanning i Norge og Skandinavia står i en særstilling med hensyn til vurdering av legestudenter, fordi vi ikke har nasjonale prøver for autorisasjon. Dvs. at det er opptil den enkelte institusjon å formulere læringsmål, og å teste at studentene om studentene har nådd disse målene. Det er ingen formelle tester på om studenter ved ulike læresteder i Skandinavia lærer omtrent det samme, i motsetning til i land som Storbritannia, Sveits, Nederland, Tyskland, Frankrike, Australia, USA etc. I land med nasjonale prøver kan hver enkelt læreinstitusjon lene seg litt tilbake med hensyn til kvaliteten på tester gjennom studiet, fordi testene som kreves for autorisasjon gjennomgår kvalitetstesting utover det hver enkelt institusjon har ambisjoner om. Dette har flere sider som vi som undervisere og medisinske pedagoger i Skandinavia må ta hensyn til i utformingen og planlegging av en helhetlig vurdering av våre legestudenter: 1. High stake vs low stake : En eller flere av våre tester gjennom studiet bør være av så høy kvalitet at det kan forsvares at de brukes som grunnlag for sertifisering. Internasjonalt skilles mellom tester som er viktige for sertifisering ( high-stakes exam ) og tester med mindre konsekvenser (low-stake). De siste er det flest av. De har formativ tilbakemelding som en viktig hensikt, og måten dette gjennomføres på varierer mye mellom institusjoner. Testene som ligger til grunn for sertifisering er imidlertid mer ensartete mhp. gjennomføring. De nasjonale prøvene i Tyskland, Storbritannia, USA og Frankrike er alle basert på MCQ (multiple choice, flervalgs-spørsmål) eller MEQ format (multiple extended question, en variant av flervalgs-spørsmål). Oftest er formatet SBA (single best alternative, velg beste svar) for å teste kunnskap. Og varianter av OSCE (Observed Structured Clinical Exam, oftest oversatt til stasjonseksamen), brukes i stor utrekning for å teste ferdigheter. 2. Test etter et kurs vs test for å bli lege: Testene som ligger til grunn for sertifisering i andre land er oftest omfattende, oftest nasjonale, og de favner over basalfag og kliniske fag, og de fleste disipliner. De lokale testene er oftest en test av stoff studentene lært nylig, gjennom det siste kurset, eller det siste året.

5 Studierevisjonen En viktig kontekst for en ny helhetlig plan for legeutdanningen i Tromsø er en studierevisjon som har pågått siden en ekstern evaluering i Det vises til dokumenter knyttet til revisjonen. Men punktvis kan momenter som i stor grad påvirker testing være: 1. Stort fokus på utforming av læringsmål 2. Stort fokus på samsvar mellom læringsmål og test ( constructive alignment ) 3. Stort fokus på case-basert undervisning som undervisningsmetode 4. Innføring av langsgående temaer: Vitenskapelig kompetanse og profesjonell kompetanse Hva skal studentene kunne? Domener for læringsmål. Kvalitetsreformen, kvalifikasjonsrammeverket og nye trender i høyere utdanning krever at vi som pedagoger fokuserer på hva studentene skal kunne, til forskjell fra å fokusere på hva vi skal lære bort. Videre må vi teste om studentene kan det vi mener de skal kunne. Dermed blir beskrivelsen av læringsmål helt sentral, og samtidig bør det spesifiseres hvor, når og hvordan vi planlegger å vurdere om studentene har oppnådd de enkelte læringsmål. Og det kan gjøres helt ned på detaljnivå. Læringsmål kan deles inn i ulike domener, som i prinsippet testes på ulike vis. Tradisjonelt har det vært vanlig å dele inn i kunnskaper, ferdigheter og holdninger (profesjonalitet). Men organisasjoner med ansvar for legeutdanning har etter hvert delt inn i flere domener: ACGME (Accreditation Council for Graduate Medical Education, amerikansk organisasjon for etterutdanning) har sine 6 domener som gjennomsyrer all deres utdannelse, og som er på vei inn i grunnutdannelsen. Ganske nylig har de innført et begrep om milepæler (milestones) innenfor de 6 ulike domenene. CANMED (tilsvarende organisasjon i Canada) har sine inndelinger i legens ulike roller, mens GMC (General Medical Council i UK) i tomorrow`s doctor har en mer pragmatisk tilnærming til ulike spesifiserte læringsmål. Arbeidsgruppen har ikke klart å starte noen omfattende diskusjon om dette emnet. Grunnforutsetningene i de fleste diskusjoner har vært å skille læringsmål inn i domene: Kunnskap, ferdigheter og holdninger/profesjonalitet, og i vår helhetlige plan vil vi holde oss til denne inndelingen. Innføringen av de langsgående temaene kan også oppfattes som en domeneinndeling av læringsmål, og må tas høyde for i en helhetlig plan. Hvordan skal vi teste at de kan det? Testformater og testformer Det finnes mange testformater og testformer, og de ulike formater og former har sterke og svake sider. Det er en utfordring å velge rett testformat og form avhengig av læringsmål, studentens nivå, formål (summativ eller formativ), ressurser, kontekst og kultur i institusjonen. I det følgende oppsummeres kort de vanligste testformater og former med korte kommentarer til relevans for legeutdannelsen i Tromsø: Personer som samarbeider med en student (andre studenter, leger, sykepleiere, lærere,

6 pasienter) svarer på et spørreskjema om studentens innsats. For å bli rimelig reliabel kreves 8-10 vurderere. Og studenten må ha hatt en meningsfull relasjon til dem alle. Dette krever oftest en litt lengre utplasseringsperiode. Dette kan være aktuelt for 5. års utplassering, men krever nokså omfattende analysekapasitet ved fakultetet. Pålitelighet er et norsk ord som kanskje kan dekke ordet reliabel. 2. Intervju basert på behandlete pasienter (Chart stimulated recall oral exam). En form som er vanskelig å standardisere, men som er valid, fordi den tester hva som er gjort i praksis. Mest brukt i etterutdanning, og da mest formativt. Kunne vært mulig som formativ test i 5. års utplassering. Praktisk veiledning likner vel mye på dette, uten at vurderingen blir loggført. 3. Prodedyreliste/Checklist (dele opp ferdigheter/aktivitetet i enkeltelementer som blir vurdert). Prosedyrelister er noe vi kjenner godt til i legeutdanningen i Tromsø. Imidlertid brukes oftest kun en signatur for gjennomført. Prosedyrelister har større potensial for læring om det samtidig gis en vurdering av om ferdighet/aktivitet som er observert graderes (dårlige enn forventet/som forventet/bedre enn forventet). 4. Global rating (for eksempel helheltinntrykk etter en utplassering). Dette er motsatsen til prosedyrelister: Gi en kandidat en helhetsvurdering etter en utplasseringsperiode, eller som en vurdering av en innsats. En helhetsvurdering er selvfølgelig svært avhengig av skjønn, og derfor også må mange gi sin vurdering (8-10 vurderere) før dette blir reliabelt. 5. OSCE Observed Structured Clinical Exam Dette er en standardisert test av ferdigheter, hvor veldefinerte ferdigheter testes ved hjelp av simulerte pasienter. Første gang OSCE ble brukt var i Dundee i Skottland (Harden og Gleeson) i Det ble første gang beskrevet i 1975, men etter at det ble innført på tallet, så har de fleste legeutdanninger adaptert dette formatet. Hovedsaklig fordi det er mulig å gjennomføre reliable tester av kliniske ferdigheter, selv om formatet er ressurskrevende. Formatet er en stor utfordring mhp. ressurser og logistikk, og krever kompetanse og innsats. I regi av arbeidsutvalget har det blitt gjennomført en pilot-osce i Tromsø, og det planlegges en full skala OSCE i april-mai Det vises vedlagte rapport om det. 6. Log Et studium kan bestå av arbeidskrav. En mulig vurderingsform er da kun en loggføring av gjennomførte arbeidskrav. Vår 5. års utplassering (og mye av vår spesialist-utdanning) bærer noe preg av en slik vurdering. Styrken med dette formatet er gjennomførbarhet. Svakheten er åpenbar: Læringspotensialet blir mindre om det kun registreres hva som er gjort uten faktisk tilbakemelding på hvordan det er utført. 7. Måle pasienttilfredshet En vurdering av studenters evner og kvaliteter som fremtidige leger kan ses fra ulike perspektiver. Et viktig perspektiv er sett fra en pasients ståsted. Systematisert tilbakemelding fra pasienter kan være en viktig formativ tilbakemelding, både for leger og studenter. Som del av 360, så brukes dette i noen legeutdanninger, men det er ikke så vanlig med separat vurdering av pasienttilfredshet knyttet til studenter. 8. Portfolioer Dette formatet kan ses på som en utvidet logg, som inkluderer selvrefleksjons-notater, og

7 som også inkluderer fortløpende vurderinger av innsats fra lærerkrefter. Formatet oppleves som krevende for studentene (et eksempel er Dundee i Skottland), og krever nokså stor innsats fra mange lærerkrefter. Hovedargumentet for portfolie er vel at formatet oppfattes som veldig valid (måler det som er viktig å måle). Og formatet stimulerer til selvrefleksjon og aktiv læring. 9. Gjennomgang av journaler (uten intervju). Dette kan gjøres på ulike nivåer. I nåværende studieplan, så starter studentene med journalopptak med tilbakemelding i 3. år. I litteratur om dette som test, så beskrives det hovedsakelig i forbindelse med etterutdanning, og da som en gjennomgang og testing av kvalitet på spesialistkandidatens daglige arbeid. 10. Simulering og modeller Kan brukes som ledd i stasjons-eksamen/osce. 11. Standardisert muntlig eksamen (med 5-10 minutter per case, og cases). I forsøk på å gjøre muntlig eksamen mer reliabel eller pålitelig, så er det noen som gjennomfører mange korte, muntlige eksamener fortløpende, og hvor eksaminatorene har en standardisert mal for spørsmål som skal stilles. 12. Standardisert pasient eksamen, long case Long-case, formatet som i alle år har vært til avsluttende eksamen i Tromsø, har kommet i vanry. Bakgrunnen er først og fremst vansker med reliabilitet: Vurderingen er for mye avhengig av faktorer som ikke har med studenten å gjøre (pasientvalg, eksaminator, sensor, emne). Studier som søker å beskrive ulike testers reliabilitet angir at long-case formatet krever 8-10 timers testing, og 5-10 cases for å oppnå samme reliabilitet som en 2-3 timers OSCE med 12 stasjoner. I tillegg er det vanskelig å skille hva som testes: Kunnskap kan testes mye mer effektivt i et skriftlig format, og hvor mye ferdighetstesten påvirker sluttresultatet av vurderingen i en long-case er vanskelig å avgjøre. Samtidig kan det innvendes at overgangen fra muntlig eksaminasjon til OSCE er en mote, og at om muntlig eksamen organiseres godt (flere eksaminatorer, flere sensorer, flere pasienter, og en samlet vurdering), så blir reliabiliteten faktisk ganske god. Denne diskusjon er viktig og for oss i Tromsø, så er det nok er fordel om vi klarer å faktisk måle reliabiliteten i våre tester. 13. MCQ, MEQ, SBA Kunnskapstester var tradisjonelt utformet enten som fri tekst svar på spørsmål (essay, freetext, short essay ), eller muntlig eksaminasjon med utgangspunkt i en pasient, et emne eller en problemstilling. Dette har vært oppfattet som en valid test, men det er to hovedproblemer: Får en testet bredt nok? Hva med reliabilitet? Det er ulike tradisjoner for hvordan dette har vært løst: I USA innførte man for de nasjonale prøvene MCQ-formatet allerede i 1953, og der har man svært lang erfaring med å utforme slike spørsmål. Etter prøving og feiling med ulike versjoner av MCQ har man nokså nylig landet på kun å benytte SBA, dvs. best alternativ av 5. Alternativer som en har gått bort ifra i nasjonale prøver i USA inkluderer sann/usann (som er noe annet enn å velge best av flere), flere mulige riktige svar og MEQ. Generelt er MCQ-formatet svært mye brukt for testing av kunnskap også i andre land (UK, Tyskland, Sveits, Frankrike, Nederland,.). Skandinavia har tradisjonelt brukt dette formatet lite. Men bruken er økende, for eksempel ved legeutdanningen i Trondheim. Fordeler med MCQ: Reliabel test. Enkelt å teste bredt, slik at hele pensum blir dekket. Enkel å rette. Når man har en database vil man ha en post hoc vurdering av vanskelighetsgrad og kan spore nivå over tid og mellom eksamener. Det er også en stor fordel å kunne bruke tid på

8 utforming i stedet for sensur. Det er lettere å sikre god blueprinting av fag, organer, tema, kunnskapsområder mm. Ulemper: Tester i MCQ-format krever kompetanse for å kunne teste anvendelse av kunnskap, og ikke bare gjengivelse av kunnskap. Formatet tester ikke evne til syntetisering og evne til å produsere tekst, slik at det må dekkes av andre arbeidskrav/vurderinger. Testformatet krever også ekstra kompetanse for standard-setting (utover magefølelse og at en sensur-komite sitter sammen etter eksamen og sensurerer). 14. Mini-CEX, Mini Clinical Examination En student gjennomfører en praktisk prosedyre mens han/hun er i utplassering, og blir vurdert ved hjelp av en standardisert sjekkliste av en veileder. Flere slike mini-cex kan være del av en logg eller portfolio, men innebærer både formativ tilbakemelding og en fortløpende vurdering av en kandidat. En enkel mini-cex er ikke reliabel. Om en serie av mini-cex-er kan gjøre en samlet vurdering reliabel er litt uklart, men det er sannsynlig. Metoden oppfattes som valid. Mini-CEX er vanlig i etterutdannelse i mange land. Hvordan gjør de det andre steder? Det er i ferd med å bli standard for nasjonale tester med en kombinasjon av kunnskapstester på et MCQ-format (USA, Canada, Sveits, Tyskland, i praksis UK, Nederland, Frankrike) og ferdighetstester i form av OSCE-eksamener. Standard for vurdering gjennom studiet varierer svært mye mellom læringsinstitusjoner, også innen ulike land og kulturer. Eksempler kan være Dundee i Skottland, som har basert sin vurdering på portfolio. Karolinanska sjukehuset i Stockholm har utallige små tester underveis, de fleste på et MCQformat, og studentene får tilbakemelding om skår. Men de store sertifiserende testene er kun bestått/ikke-bestått. Mange institusjoner har små OSCE-tester underveis gjennom sine programmer, men i land med nasjonale tester er det ikke så vanlig å kjøre store OSCE-tester (med mange stasjoner) utenom de nasjonale testene. I Storbritannia har de ikke en formell nasjonal test (men så å si alle gjennomgår en nasjonal test et år etter endt studium for å bli medlem av legeforeningen, noe som i praksis innebærer en slags sertifisering). Vi har nylig vært i kontakt med Keele Medical school, som har en 12 stasjoners OSCE 3. år, en 16 stasjoners OSCE 4. år, og en 14 stasjoners OSCE til avsluttende eksamen. I Norge har både Oslo og Trondheim i mange år brukt OSCE-formatet, mens Bergen har tradisjonelle muntlige eksamener. Skillet mellom kunnskapstesting og ferdighetstesting har ikke vært skarpt i Norge. Hva er en god test? Før gruppen anbefaler en helhetlig plan for vurdering av legestudenter i Tromsø, så må vi ta stilling til hva som karakteriserer en god test. Teorier om emnet er omfattende, men sentrale nøkkelord er: Generaliserbarhet, reliabilitet, validitet, psykometri, reproduserbarhet, pris, praktisk gjennomførbarhet, dokumenterbarhet.

9 Noen av disse testegenskapene er målbare, slik som reliabilitet, pris og dokumenterbarhet. Andre egenskaper er vanskeligere å måle, og derfor også mer omdiskuterte, som validitet og generaliserbarhet. Mange vil være redd for å miste validitet, dyp læring og klinisk resonnement i jakten på en reliabel test. Gruppen deler disse bekymringene, og er opptatt av at systematisk formativ tilbakemelding uten krav til reliabilitet må være en del av vurderingsplanen. Delemneprøvene bør være sentrale i så møte, og det er bekymringsfullt at de i praksis har fungert bare måtelig godt. Enda mer bekymringsfullt er det at delemneprøvene nå ikke lenger er obligatorisk som arbeidskrav. Karakterer Studiet i Tromsø var forut for sin tid, blant annet med å innføre bestått/ikke bestått som eneste karakter. Mange har fulgt etter, både i Norge og internasjonalt er det like vanlig med kun bestått/ikke bestått som å få en karakter ved en sertifiserende eksamen. Men ved de fleste institusjoner får hver enkelt student samtidig kunnskap om hvordan de er vurdert; sterke og svake sider, og sterke og svake fagområder. Dette er et politisk spørsmål, som nokså nylig har vært diskutert både nasjonalt i Norge og lokalt i Tromsø mhp. legeutdanninger. Gruppen anser det ikke som innenfor sitt mandat å ta stilling til dette, og har som grunnforutsetning av Tromsø-studenter i sitt vitnemål kun har karakteren bestått. Gruppen mener imidlertid at studentene gjennom studiet må få formativ tilbakemelding for å oppnå god læring. Alle tester underveis i studiet har potensial til å være formative (også de summative), dvs. studentene kan få tilbakemelding om skår, og om sterke og svake sider, selv om det ikke gis karakterer. Gruppen mener at dette potensialet bør utnyttes. Formativ og summativ testing Hensikten med summativ testing er først og fremst for fakultetet og samfunnet å sikre at nyutdannede leger kan det de skal kunne. Om den summative testingen omfatter karakterer, så vil et ytterligere formål være å gi studenten en mulighet til å bedre sin konkurranseevne i et presset arbeidsmarked. Hensikten med formativ tilbakemelding vil være å fremme god læring og øke studentenes utbytte av studiet. Satt på spissen, kan det være tilstrekkelig med en avsluttende summativ test for å oppnå hensikten bak summative tester (og slik blir det gjennomført noen steder). Formative tester/tilbakemeldinger bør det være flere av. Faktisk krever for eksempel LCME i USA (institusjonen som akkrediterer

10 legeutdanninger i USA) at studentene får en tilbakemelding om hvor de står midtveis i alle kurs. Og det gjelder alle kurs, og er sammenliknbart med våre kurs i omfang og lengde. Legeutdanningen i Tromsø har tradisjonelt hatt lite formativ testing, for lite fra et pedagogisk synspunkt. Muligheter her vil være å styrke delemneprøvene, å gi tilbakemelding fra de årlige testene, og å innføre vurderinger i forbindelse med sjekklister. Hvem skal vi stryke? Standardsetting Tradisjonelt har man bestemt grensen for stryk/bestå i tilknytning til sensurmøte etter eksamen. Mange institusjoner har (litt vilkårlig) satt grensen ved for eksempel 60 % riktig, evt. 70 % riktig. Dette tar ikke høyde for om akkurat årets eksamen var vanskelig. Terminologien vil være at standarden er normbasert, istedenfor kriteriebasert. En annen problemstilling er om styrke innenfor ett område skal kunne veie opp for svakheter innenfor et annet område. Utvidet eksamenskommisjon ved avsluttende eksamen i Tromsø har praktisert en mellomløsning for dette: En student som stryker på en deleksamen har strøket, men blir en klassifisert som tvilsom (borderline) på en delseksamen, så kan god innsats på andre deleksamener trekke opp og gjennomgående tvilsom innsats trekke ned. Internasjonalt er det en slags gullstandard for hvordan dette gjøres i forbindelse med high-stakes eksamener. Kunnskapstester vurderes av fageksperter før eksamen avholdes, for å vurdere om eksamenssettet er vanskelig eller lett, og deretter beregnes en grense for stryk (Angoff eller Ebel metode) etter at åpenbart dårlige spørsmål er luket ut. Dette kan finjusteres i etterkant hvis det viser seg at noen spørsmål ikke har fungert som forventet. Fordelen med en slik standardsetting, er at den er transparent og etterprøvbar og ikke påvirkes av andel stryk. Dvs. at den forenkler klagesaker. Ved avsluttende eksamen I Tromsø har standardsetting med Ebel metode vært gjennomført de siste 3 år og oppleves som en sikring av opprettholdelse av samme nivå over tid. I tillegg er det laget to sett med likt nivå hvert år, et for hoved eksamen og et for utsatt for å unngå bias med lettere eksamen for utsatt eksamen som har vært tidligere. Ferdighetstester (dvs. OSCE-tester) standardsettes oftest gjennom borderline regresjon, en metode som tar utgangspunkt i en kombinasjon av helhetsinntrykk og sjekklisten ved en enkelstasjon (hvor høy skår på sjekklisten har de som ifølge helhetsinntrykk har bestått versus de som har strøket?). I tillegg må en avgjøre hvor mange enkeltstasjoner som må bestås for å bestå hele testen. Må vi endre vår standardsetting?

11 Klagesaker er en utfordring: Med hvilket grunnlag kan vi fastslå at en kandidat ikke er god nok? Vår avsluttende eksamen med utvidet kommisjon har i praksis fungert godt. Den endelige vurde ringen er en felles beslutning tatt av mer enn 10 sensorer/eksaminatorer. Det sikrer en rettferdig behandling (unntatt der en enkelteksamen er gitt stryk-karakter). Mhp. kunnskapstester tidligere i studiet har strykprosenten variert mye fra år til år, noe som kan reflektere ulik vanskelighetsgrad og sensurpraksis, og ikke bare variasjon i studentprestasjoner. Etter hvert som flere institusjoner innfører mer transparente og etterprøvbare metoder for standardsetting vil det kunne bli et juridisk problem ( tillegg til at det allerede er et praktisk problem) for universitetet i Tromsø. Utvalgets råd vil være å gå inn for en standardsetting som er kriteriebasert (Angoff eller Ebel). Disse metodene kan benyttes uavhengig av om formatet på kunnskapstesten er fri tekst eller MCQ, men er enklere å bruke med MCQ. Hvordan skal vi sjekke om testene våre er gode? Rutiner for etterarbeid Kvalitetssikring av tester innebærer godt forarbeid, men kan bli enda bedre med godt etterarbeid. Det finnes omfattende litteratur om psykometri som fagområde, og high-stakes eksamener har blitt gjenstand for mange studier for å kunne avgjøre hvilke typer eksamensspørsmål som er gode. Et godt eksamensspørsmål særpreges med 1) det oppfattes som viktig (validitet), 2) det har en vanskelighetsgrad, og 3)de flinkeste studentene oftere svarer riktig på spørsmålet enn de svake studentene (spørsmålet differensierer godt). I forkant av eksamen kan fageksperter sammen vurdere alle enkeltspørsmål med hensyn til vanskelighetsgrad og viktighetsgrad, og ut fra det sette standard (Ebel-metode). Erfaringen så langt i Tromsø er at spesialister (både i allmenn medisin og sykehus fag) vanskelig for å vurdere hva som er vanskelig. De er derimot bedre til å vurdere hva som er viktig. I etterkant av eksamen kan det genereres en rapport som viser hvordan spørsmålene har fungert ifølge vanskelighetsgrad og evne til å differensiere. Hele eksamenssettet kan også karakteriseres med hensyn til reliabilitet. Med bruk av MCQ kan man etter en første eksamen i det videre evaluere vanskelighetsnivået på det enkelte settet fra år til år og om endringer i undervisningsopplegg fører til økning i kompetanse nivå (fordi spørsmål kan og bør gjenbrukes, og en kan analysere hvordan det samme spørsmålet fungerte for ulike kull). Til dette formål finnes rapportgeneratorer, og utvalget mener at vi ved helsefakultetet i Tromsø bør forsøke å formalisere slikt etterarbeid. Dette vil kreve ressurser I form av personell som kan sikre tilgang til resultater over tid både på student og eksamensnivå. Vekting av læringsmål i testene

12 I prinsippet bør et resultat fra en eksamenstest gi et representativt mål på grad av kunnskap og/eller ferdigheter fra alle læringsmål definert for pensum som skal testes. For å oppnå det, så må utvalge t av spørsmål være representativt for pensum. For å oppnå det, så må eksamen vektes ( blueprinting ). Vektingen kan skje etter mange akser: Akser for vekting, - vekting mellom basalfag/klinikk (dette er nokså gammeldags; de fleste søker å lage integrerte spørsmål som krever kunnskap om begge deler) mellom disipliner (nasjonale tester søker gjerne å lage spørsmål som også krysser displiner. Men vi må altså velge; kursprøver kan for eksempel være smale, mens sertifiserende prøver kan krysse disipliner). Basert på taksonomi: En andel av spørmålene er kunnskapsreproduksjon, mens en andel krever at du anvender kunnskap for å komme frem til riktig svar. Tidlig i innlæringen av det fagfelt er det rimelig med et lavt taksonomisk nivå, mens senere i innlæringen vil en søke å ha en stor andel av spørsmål på et høyt taksonomisk nivå. Alvorlighet (hyperkalemi er så alvorlig at det alltid må være et spm om det?) Hyppighet (Diabetes er så vanlig, at 30 % av spm i endokurset må handle om det?) Vanskelighetsgrad Formulerte læringsmål. Kjønn, alder og etnisitet på pasienter som er med i spørsmål I store nasjonale prøver vektes eksamener oftest etter flere akser. Et eksempel kan være de nylig (2011) innførte nasjonale prøvene i Sveits, som vekter etter to hoveddime nsjoner (Klinisk problemstilling, legens rolle (ifølge CANMEDs rammeverk), og 4 underdimensjoner (Klinisk situasjon primærmedisin/sykehus, type omsorg forebyggene/akutt/kronisk/palliativ, alder og kjønn). Utvalgets råd vil være å formalisere vektingen innenfor hvert eksamenssett, først og fremst etter formulerte læringsmål. Hva kan gjennomføres i Tromsø? Skandinavia har ikke en omfattende tradisjon med hensyn til medisinsk pedagogikk, og slike tradisjoner er veldig ulikt fordelt der ute i verden. Et 20-talls institusjoner tilbyr master-grader i medisinsk pedagogikk, for eksempel Dundee (hvor Ronald Harden, en pioner innenfor medisinsk pedagogikk kommer fra), Calgary (som er berømte for sin vinkling mot kliniske presentasjoner, og som utdanner leger på 3 år) og Bristol (hvor vår kollega Simon Davis tok sin mastergrad). Det er miljøer knyttet til de nasjonale testene der det finnes, og de store organisasjonene AMEE (Association of Medical Education in Europe) og AAMC (American Association of Medical Colleges) med sine tidsskrifter (The Medical Teacher og Academic Medicine) og konferanser er arenaer som viser mangfoldet og forskningsfrontene. I Tromsø har vi til dels hentet inspirasjon fra enkeltinstitusjoner: McMaster i starten, senere Calgary, Hamilton, Sheffield, Wollongong, for å nevne noen. Når en leser om nasjonale tester er avstanden stor til det vi kan få til i Tromsø. Og selv når en leser om opplegg fra enkeltinstitusjoner, så kan mye

13 synes vanskelig. Andre kan kanskje ha ansatte som tar hånd om pasientrekruttering, opplæring av standardiserte pasienter, statistiske analyser etter tester og organisering av 360-undersøkelser for utplasserte studenter. I vår helhetsplan, så mener vi å ha tatt høyde for hva som er gjennomførbart i Tromsø. Kompetanseheving blant undervisere Vi oppfatter at et viktig element av utvalgets mandat har vært egen kompetanseheving. Seminarer, deltagelse på kurs og utarbeiding av rapporten er viktige kompetansehevende tiltak. Utvalget mener at videre satsing på seminarer, og praktisk tilrettelegging av kompetansehevende tiltak (som administrativ hjelp til seminarer og hjelp til å gjøre prosessen med utarbeiding og standardsetting av eksamenssett kompetansehevende i seg selv) er viktig. Testingen hører selvfølgelig sammen med kvalitet og omfang på undervisningselementer, og styrking av pedagogisk etterutdannelse generelt vil sannsynligvis bidra til også bedre tester. Permanent eksamensutvalg Permanent eksamensutvalg har hatt, og har en viktig rolle i kvalitetssikringen av eksamener i Tromsø. Kontinuitet og forutsigbarhet er to viktige elementer i tester: Studenter skal vite hva de skal testes i, og omtrent hvor vanskelig de kan forvente at testen skal være. Det er ulike måter å oppnå det på, men på et eller annet vis må nye tester sammenliknes med eldre tester. I praksis sikres det med at flere av ekspertene som er med på utarbeidelse og standardsetting av eksamenssett har erfaring med tidligere eksamenssett. Om man bruker metoder som Angoff eller Ebel, så må det fremdeles sikres at ekspertene som vurderer hvor vanskelig og viktige spørsmål er, har en ide om hvordan dette har blitt vurdert før. Medlemmer i permanent eksamensutvalg kan ikke ha detaljkunnskap om de enkelte fagområder, men de bidrar til å sikre at eksamenssett i Tromsø holder en viss standard. På grunn av utvalgets betydning, så er det viktig at utvalgets medlemmer i tillegg til erfaring også har høy kompetanse innenfor fagområdet pedagogikk og ulike vurderingsformer. Om veien videre/helhetlig plan Testing av kunnskap: 1. Form: Utvalget ser for seg at ordningen med årlige skriftlige tester de 3 første år, halvårlige tester 4. år og en avsluttende test 6. år skal fortsette. Det er forbedringspotensiale: a. Vekting: Det bør sikres mer systematisk at alle læringsmål blir testet (blueprinting). Det finnes maler for slik vekting. Eksempler finnes fra nylig innførte nasjonale prøver i Sveits, de litt eldre beskrivelsene fra Nederland. Utarbeidelse, valg av, og

14 gjennomføring av slik vekting er et stort arbeid, og krever nye utvalg. I utgangspunktet bør en som et minimum vekte på grunnlag av formulerte læringsmål. b. Format på spørsmål: En bør i større grad gå over til flervalgsspørsmål på formatet det (ene) beste svar av flere mulige eventuelt extended matching som blir en utvidelse av det SBA-formatet. Et slikt format er kostnadsbesparende, gir god og bred testing av læringsmål unntatt evne til syntese/utarbeidelse av tekst, og gjør standardsetting mer etterprøvbar. Det krever imidlertid kontinuerlig kompetansebygging av de som utarbeider eksamenssett. Evne til syntese/utarbeidelse av tekst bør inngå i studieplanen. Det kan være som obligatoriske arbeidskrav i form av innleverte journaler, henvisninger, epikriser, eller som oppgaver, f.eks. master 5. året, refleksjons essays etter utplassering og rapporter etter fordypning, eller som egne deler av eksamenssett. c. Standardsetting: Vi bør innarbeide en etterprøvbar og validert kriteriebasert standardsetting. Det vil i praksis si å bruke metoder som beskrevet av Angoff eller Ebel. Dette har allerede vært introdusert, men må inkorporeres i regelverket som et krav ved innlevering av endelige eksamenssett. d. High-stakes vs. Low stakes: En bør diskutere om avsluttende eksamen skal kunne teste bredere enn kun fra siste års pensum. I praksis gjør nok dagens muntlige eksamener det. Men en mer formalisert stadfesting av dette kan være nyttig. For eksempel i form av vekting/blueprinting mot alle de 105 kliniske presentasjonene som studieplanen baserer seg på. Hvis det på sikt blir en nasjonal eksamen i Norge, så blir dette punktet mindre aktuelt. Testing av ferdigheter Ferdigheter har i nokså liten grad blitt testet i Tromsø-modellen. Ved avgangseksamen blir studenter vurdert samtidig med hensyn til ferdigheter og kunnskaper ved bruk av virkelige pasienter i såkalte long-cases. Selv med 4 long-cases, så er dette test-formatet sårbart. Det er utfordrende å lære opp mange eksaminatorer og sensorer i forhold til hva som vurderes, det er mye variasjon som knytter seg til pasienten, og det er vanskelig å avgjøre hvor mye kunnskap skal vektes i vurderingen versus ferdigheter. Internasjonalt har stasjonseksamen med simulerte pasienter blitt standard når ferdigheter skal testes, særlig ved summativ testing. Utvalget tilråder testing av ferdigheter nokså tidlig i studiet i form av stasjonseksamener. Hovedhensikten med disse er å motivere studenter til å trene, og å gi dem tilbakemelding om hva de må trene på. Dermed er det ikke veldig viktig med et stort antall (minst 12) stasjoner, som det vil være ved summativ testing. Det er desto viktigere med systematisk tilbakemelding i forbindelse med eksamen. Tidspunktet for disse eksamenene har ikke utvalget konkrete råd om. Men de bør ikke kollidere med andre eksamener. Et alternativ kan være en 6 ukers OSCE-periode i april/mai, hvor 3. året har to uker, 4. året har to uker og 6. året har de siste to ukene. Med hensyn til den avsluttende og sertifiserende eksamen, så er utvalget mer usikker. En mulighet er å ha en stasjonseksamen ved avsluttende eksamen som har minst 12 stasjoner (kreves for å oppnå

15 god reliabilitet) for å teste ferdigheter summativt. En annen mulighet er å holde på, og styrke vår ordning med long-cases med virkelige pasienter. Hovedargumentene for å holde på gammel ordning er validitet og at man slipper omkostninger med endring. Hovedargumentene med å innføre stasjonseksamen også ved avsluttende eksamen vil være at det øker fokus på ferdighetstrening og gir mulighet til bedre å teste kommunikasjonsferdigheter (en kan ha standardiserte simulerte pasienter med problemstillinger som i praksis ikke er mulig med virkelige pasienter). Etter utvalgets mening, så vil det være en god strategi å for fakultetet å bli kjent med OSCE-formatet gjennom tester tidlig i studieprogrammet, og på et senere tidspunkt ta stilling til hvordan ferdigheter skal testes ved avsluttende eksamen på sikt. Stasjonseksamen er et ressurskrevende format, men ikke nødvendigvis mer ressurskrevende enn dagens avsluttende eksamen. Testing av profesjonalitet Å vurdere profesjonalitet er utfordrende og vanskelig, spesielt om det er ment som en summativ vurdering. I praksis er dette en vurdering av skikkethet, som allerede har en etablert formell saksgang som utvalget ikke ønsker å endre. Imidlertid anses det som viktig og riktig å innføre mer formativ vurdering av profesjonalitet. Utvalget hadde i utgangspunktet planlagt å utdype mulighet for dette nærmere (om 360, peer-review, work-placebased assessment etc.), men har funnet oppgaven for omfattende til å inkludere det i denne rapporten. Utvalget ser imidlertid at det vil være naturlig at PROFKOM-mentorer og utplassering både i allmennpraksis og i sykehus blir arenaer for noe av denne vurderingen og tilbakemeldingen.