Dato: 24.02.2015 MØTEINNKALLING Utvalg: Programstyret for medisin Møtested: MH L6.201, Tromsø Møtedato: 26.02.2015 Tidspunkt: 13:15 Eventuelt forfall må meldes snarest e-post elin.holm@uit.no. Vararepresentanter møter etter nærmere beskjed. Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side1
Saksliste Saksnr Tittel/beskrivelse U.off. Arkivref. PS 6/15 PS 7/15 OS 7/15 Rapportering av utdanningskvalitet 2014 for Profesjonsstudiet medisin Revidering av Utfyllende bestemmelser for MED-3950 Masteroppgave Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin OS 8/15 Orientering om prosess for ferdigstillelse av 5. og 6. studieår OS 9/15 OS 10/15 OS 11/15 Orientering om arbeid med pilot for praksis i psykiatri på 5. studieår 2015/2016 Orientering om situasjonen for laveregrads praksis i allmennmedisin Orientering om ny runde av sommerskole i ledelse i Kroatia august 2015 2015/1183 2010/6164 2015/1267 Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side2
Det helsevitenskapelige fakultet Arkivref: 2015/1183/ELI103 Dato: 18.02.2015 SAKSFRAMLEGG Til: Møtedato: Sak: Programstyret for medisin 26.02.2015 6/15 Rapportering av utdanningskvalitet 2014 for Profesjonsstudiet medisin Innstilling til vedtak: Programstyret medisin godkjenner vedlagte «Rapportering av utdanningskvalitet for studieåret 2014- Profesjonsstudiet medisin» med de endringer som fremkom i møtet. Begrunnelse: Som del av virksomhetsstyringen ved Helsefak skal alle institutt rapportere om utdanningskvalitet til fakultetets egen utdanningsmelding. Vedlagt følger rapport utarbeidet av Seksjon for utdanningstjenester i samarbeid med IMB, IKM og ISM. Inger Njølstad Prodekan utdanning medisin og odontologi inger.njolstad@uit.no 77 64 53 51 Elin Holm rådgiver elin.holm@uit.no 77 64 54 87 Dokumentet er elektronisk godkjent og krever ikke signatur Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side3
Det helsevitenskapelige fakultet Arkivref.: 2014/5819 Dato: 18.02.2015 Til Programstyret for medisin, Helsefak Rapportering av utdanningskvalitet for studieåret 2014 Profesjonsstudiet medisin 1. Rekruttering, gjennomføring og frafall a) Instituttene/studieprogrammene bes om å gi tilbakemelding på hvordan det systematisk arbeides for å øke gjennomstrømmingen og å forhindre frafall fra studiene, herunder å peke på konkrete tiltak som planlegges eller er gjennomført. Alle studenter som stryker får tilbud om tilbakemelding/faglig veiledning. De følges også opp i forhold til 3 x regelen og studierett. Det er innført en ordning hvor hver student har en mentor (lege) som følger dem gjennom studieløpet. Avgangsstudenter får økt tilgang til ekstraordinær eksamen dersom de ønsker det. Dette kan redusere tidsbruken for studenter som har hatt permisjon da de slipper å vente på neste ordinære eksamen. Instituttene/studieprogrammene bes også om å omtale hvordan og i hvilken grad vurderinger av programdesign og ledelse er tatt inn i arbeidet med frafalls- og gjennomføringsproblematikk, samt å gi innspill til hvordan dette bør arbeides videre med ved UiT. Studieplanen er nyrevidert og i implementering av siste halvdel av planen jobbes det for fleksibilisering/desentralisering til Finnmark. Vi har i den forbindelse fått en økning på 6 studieplasser. Ved den eksisterende desentralisering til Nordland (Bodø) har studentene høy gjennomføringsgrad. I 2012 foretok vi en deling av 4.studieår fra ett 60 stp emne til to 30 stp emner. Dette for å tilrettelegge for studentutveksling. Isolert sett har denne endringen en negativ effekt på gjennomstrømning, da en student som stryker på høstemnet, ikke får ta våremnet, men må vente til neste høst for å komme videre i studiet. Målet om økt internasjonalisering hang likevel så høyt at denne løsningen ble valgt. Programstyret har parallelt med revidering av studieplanen, jobbet aktivt med organisering av programledelse på alle nivåer fra prodekan til den enkelte faglærer. Det er utviklet «Håndbok for ledere i medisinerutdanningen» som beskriver de ulike lederoppgaver, ansvarsområder og beslutningsnivåer. Håndboken skal bidra til at kvalitetssikringsarbeidet gjennomføres i alle ledd og at vi derigjennom får den gode utdanningen vi ønsker. Godt omdømme - god rekruttering, god gjennomstrømning og lite frafall. Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side4
b) Hvilke typer frafallsproblematikk opplevde studieprogrammene for studieåret 2014? (sett kryss) Studieprogram Frafall mellom Frafall/ikke møtt Frafall mellom Frafall i løpet av Frafall i resten av søknadsfrist og til studiestart studiestart og første studieår studieløpet omprioriteringsfri registreringsfristen (etter st (15.april 1.september) 1.juli) Profesjons studiet medisin 13 studenter trakk seg før studiestart 1 student sluttet 20.8 grunnet suppleringsoppta k ved UiO 6 studenter registrert sluttet i perioden 4.9 17.12. 2 studenter har meldt fra at de med stor sannsynlighet slutter jan15. c) Hvilke tiltak gjennomførte studieprogrammene for å hindre frafall både før opptak og underveis i studiet for studieåret 2014? Noe frafall ved studiestart må påregnes da mange studenter står på venteliste ved læresteder lengre sør i landet. Vi overbooker for å ta høyde for dette. Utsending av brev til førsteprioritet søkere samt brev til de som fikk opptak på programmet. Rikelig med informasjon ved studiestart. Tilgjengelighet i administrasjonen for spørsmål og veiledning. Betydelig behov for veiledning på det personlige plan for studenter tidlig i studiet. d) Beskriv egne rekrutteringstiltak, erfaringer og resultater for studieåret 2014? Kull-14 har hatt større frafall fra studiestart og ut i det første semestret enn de foregående kull-12 og 13. Noen flere har takket ja til UiO og opptak medisin der. Dette rettes opp ved opptaket høst 15 gjennom tilfang av studenter fra odontologi som vi vet kommer. e) Er det spesielle studieprogram som vil trenge spesiell oppfølging forhold til rekrutterings - og frafallsproblematikk i 2015? NEI 2. Evaluering Universitetet skal tilby god faglig og pedagogisk kvalitet i utdanningen på et nivå som tilfredsstiller NOKUTs krav og internasjonale standarder. I strategien for UiT 2020 er det konkretisert mål om å utvikle gode og nye virkemidler for å skape fremragende utdannings- og undervisningskvalitet, samt å utvikle studieporteføljen og utdanningskvalitet i dialog med studentene og arbeidslivet (Strategi for UiT 2020). Evaluering inngår i det systematiske arbeidet med å utvikle god utdanningskvalitet, og det er et krav at det jevnlig gjennomføres interne og eksterne evalueringer av alle utdanninger ved UiT. Interne evalueringer skal bidra til å gi studentene en aktiv rolle i arbeidet med utdanningskvalitet UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 2 Side5
og føre til et større fokus på kvalitetssikring av studentenes læringsutbytte og studentenes totale læringsmiljø. Evaluering blir på denne måten en del av studentenes læringsprosess og fagmiljøenes selvevaluering. Eksterne evalueringer er også avgjørende for den faglige kvalitetssikringen og for å gi verdifull informasjon om nivå og innhold i utdanningene tilfredsstiller nasjonale og internasjonale krav og standarder. NOKUT er i en prosess der tilsynsordningen er under vurdering, og det er forespeilet at de i tiden fremover vil evaluere institusjonenes systematiske kvalitetsarbeid fremfor selve systemet. I evalueringene vil det legges vekt på institusjonens studienære kvalitetsarbeid og sikringen av studentenes læringsutbytte, og kvalitetsarbeidet for ivaretakelse av egne faglige fullmakter og forvaltning av studieporteføljen.med evaluering og oppfølgning av disse er godt forankret blant universitetets ansatte. Instituttene bes om å gi en vurdering av følgende: a) Hvordan det systematisk arbeides med både interne og eksterne evalueringer av studieprogram og emner. Evaluering av delemner/emner skjer av studentene enten gjennom QuestBack, evaluering i plenum i auditorium, fokusgruppe eller cafédialog. Emner/delemneevaluering legges systematisk frem for Studieplanutvalget (SPU) og programstyret etter oppsatt kalender. b) Hvordan kvalitetsarbeidet har innretning mot studentenes læringsutbytte c) Hvordan resultater og igangsatte tiltak systematisk følges opp Medisinstudiet har stor kompleksitet med 3 innoverte institutt, stort innslag av undervisning gitt av UNN og mange involverte praksislærere. For å sikre at funn fra evalueringer følges opp, er evalueringsrutiner og nøye beskrevet i «Håndbok for ledere ved legeutdanningen i Tromsø». Vi har imidlertid et stykke igjen før rutinebeskrivelsene følges fullt ut. d) Hvordan det sikres studentinvolvering og tilbakemelding til studentene i evalueringsarbeidet Når evalueringer er gjort i Programstyret legges resultatet av evalueringen ut til både kullet som evaluerte, samt kullet som skal ta emnet/delemnet neste studieår. Studentinvolvering sikres meget godt ved at vi har studentrepresentanter med i alle ledd; programstyret, SPU, emnekomiteer og delemnekomiteer. e) Hvordan instituttene/studieprogrammene bruker resultater fra studiebarometeret i det systematiske kvalitetsarbeidet Vi ser at vi får viktige evaluerende tilbakemeldinger gjennom studiebarometeret og vil bruke dette internt. Vi får også gode argumenter fra denne undersøkelsen som vi vil bruke i rekruttering. Vi skårer over snittet for medisin i Norge på alle hoved indikatorer unntagen læringsmål. Vi skårer høyest innen hoved indikatorene medvirkning, undervisning og eksamen. UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 3 Side6
3. Karakterbruk og - fordeling I UiTs Utdanningsmeldinger de siste årene er det skrevet mye om karakterbruk og karakterundersøkelser. Det er lagt vekt på at overvåking og analyse av karakterbruk er viktig i det systematiske kvalitetsarbeidet, og fra og med 2011 ble fakultetene selv tillagt ansvaret for å føre tilsyn med karakterbruk angjeldende eget fakultet. Avdeling for utdanning har siden dette hvert år oversendt informasjon til fakultetene om de nasjonale karakterundersøkelsene, og bedt om at disse blir fulgt opp. På institusjonsnivå har vi imidlertid lite kunnskap om hvordan dette arbeidet faktisk utføres ved fakultetene. Siste gjennomgang av status, som ble presentert i Utdanningsmelding 2011/2012, viste at flere av fakultetene fortsatt ikke hadde på plass rutiner og prosedyrebeskrivelser for dette arbeidet og de ble følgelig bedt om å prioritere dette. Det er nå klare forventninger fra departement, NOKUT og UHR om at institusjonene må behandle og følge opp resultater, funn og tiltak fra både egne og nasjonale karakterundersøkelser. Videre er det grunn til å tro at institusjonene fremover vil bli bedt om å intensivere dette arbeidet. For UiTs del er det nå i første omgang viktig å få kartlagt hvordan dette arbeidet følges opp i dag, både på institusjons- og fakultetsnivå. Dernest bør det gjøres en grundig vurdering av hvorvidt dette er tilstrekkelig og hensiktsmessig i forhold til de forventningene som er i sektoren. Instituttene bes på denne bakgrunn om å beskrive konkret hvordan de overvåker og analyserer karakterbruk ved egne studier. Instituttene bes også gi en beskrivelse av hvordan de har fulgt opp de årlige karakterundersøkelsene fra UHR, samt SØF-rapporten Karakterbruk og kvalitet i høyere utdanning (Senter for økonomisk forskning, august 2013). Det er også ønskelig med informasjon om hvorvidt det er faglig- og/eller administrativ personale/ledelse som koordinerer karakterarbeidet ved fakultetet. Profesjonsstudiet medisin bruker karakterskalaen bestått/ikke bestått på alle sine emner. Dette ble vedtatt videreført da ny studieplan ble godkjent i Fakultetsstyret i 2012. Sammenlignet med de andre medisinstudiene i Norge har UiT høyest strykprosent i 2014, med 9,5 %. Til sammenligning har UiO 7,8 %, NTNU 7,5 % og UiB 1,5 %. UiBs lave strykprosent skyldes at det brukes karakterskalaen A-F i stedet for bestått/ikke bestått. Alle eksamenskommisjonene leverte inn rapport om gjennomføringen av eksamen i 2014 til Programstyret. Rapportene belyser de utfordringer som den enkelte eksamenskommisjonsleder finner. Instituttene inviteres til å fremme konkret innspill og forslag vedrørende arbeidet med overvåking og analyse av karakterbruk samt oppfølging av nasjonale undersøkelser både på institusjons-, fakultets-, og underliggende faglige nivå. Programstyret nedsatte høsten 2013 en arbeidsgruppe som fikk i oppgave å gjennomgå alle vurderingsordninger ved studieprogrammet og foreslå endringer og nødvendige tiltak for å få til disse endringene. Arbeidsgruppen leverte sin rapport i desember 2014 og de foreslåtte tiltak blir vurdert nå våren 2015. UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 4 Side7
Gjennom UHRs Dekanmøte i medisin, har de 4 medisinske fakultetene nedsatt en arbeidsgruppe som skal utarbeide en pilot for Nasjonal deleksamen/delprøve i medisin. Man har som mål å gi denne nasjonale delprøven til avgangsstudentene høsten 2016. Tematisk skal prøven teste klinisk resonnement hos studentene. Den skal være digital og den enkeltes resultat på piloten vil ikke vises på vitnemålet. 4. Internasjonalisering Er studieprogrammene fornøyd med antall inn/ut studenter for kalenderåret 2014? Ja. Antall innreisende utvekslingsstudenter var 56 og antall utreisende var 41. Målet om at 40 % av studentene skal på utveksling ansees som nådd. Hvilke tiltak kan gjøres for å øke antall studenter (både INN/UT) i fremtiden? God informasjon på nettsider både til INN og UT- studenter Være tilgjengelig for spørsmål på e-post/telefon Inngå utvekslingsavtaler med universiteter som kan tilby et godt undervisningsopplegg tilsvarende vårt eget. Blir de innreisende studentene integrert i et kull/læringsmiljø nå de kommer hit på utveksling/praksis? Ca. 2/3 av de innreisende studentene deltar på MED-2520 International semester. De resterende studentene er i praksis på UNN og er ikke del av et kull. Hva kan eventuelt gjøres for å øke graden av integrering av internasjonale studenter? Få flere studenter inn på internasjonalt semester i stedet for kun praksis på UNN. Fadderordning for internasjonale studenter. Vi ber om tilbakemelding på hvordan instituttene sikrer attraktive og aktive avtaler som er forankret både i fagmiljøet og på ledelsesnivå, og som er relevant i henhold til læringsutbyttet for studieprogrammene. Ved inngåelse av nye utvekslingsavtaler for medisin gjøres det alltid en faglig vurdering av hvorvidt det tilbys kurs tilsvarende MED-2520 International semester. Hvordan tilrettelegges det for internasjonal mobilitet på instituttnivå og hvordan kvalitetssikre utvekslingsoppholdene? MED-2520 International semester går på engelsk og er semesteret våre studenter kan reise ut og hvor vi kan ta imot utvekslingsstudenter. Alle studenter som reiser ut må levere en rapport etter endt utvekslingsopphold. Rapportene gjennomgås av administrasjonen for å fange opp forhold som må følges opp. UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 5 Side8
5. Programstyrets egne tilbakemeldinger og suksesshistorier Medisin i Tromsø helhetlige sett: Programmet har god rekruttering og god gjennomstrømning. Vi har innført langt mer studentaktiviserende læringsformer og praksis og får god tilbakemelding på det. Vi har stabil strykprosent på våre eksamener og vi skårer over gjennomsnittet i medisin på Studiebarometeret. Vi har strukturert utdanningsledelse og jobbet frem rutiner for kvalitetssikring som skal bidra til godt samarbeid mellom aktører på instituttene og mellom institutter og programledelsen. Overordnede utfordringer: For å nå de ambisjoner vi har med ny studieplan i medisin, må vi ha «alle mann om bord». Hver enkelt lærer må kjenne prinsippene i kvalifikasjonsrammeverket, alle delemneledere og emneledere må være kjent med sin rolle og ha tid til å utføre sine oppgaver. Eksamenskommisjonene må være kjent med prinsippene i «constructive alignment». Rutiner og prinsipper for evaluering og utdanningsplanlegging må være kjent og følges opp. Det er en stor utfordring at deler av fagmiljøet ikke har tilgjengelig tid innenfor ordinær arbeidstid (når møter og undervisning normalt skjer) til at de får gjennomført nødvendige oppgaver. Per i dag er vi ikke i mål. Det har negativ effekt i forhold til - oppfølging av enkelte evalueringer - kvaliteten på enkelte eksamens sett - gjennomgående sikring av studentenes spirallæring - gjennomgående integrering mellom biomedisin, klinisk medisin og samfunnsmedisin Det er videre en overordnet og nasjonal utfordring at det mangler finansiering av primærhelsetjenestenes viktige bidrag i utdanningen. Dette fører til at vi har vesentlige utfordringer med å få til ønsket volum av praksis i primærhelsetjenesten. Suksesshistorier: Innføring av PROFKOM; langsgående kommunikasjonsundervisning i basisgrupper med mentor. Strukturering av utdanning innen vitenskapelig kompetanse, VITKOM, med sterkere innramming av valgfriperioder og masteroppgave. Rekruttering av professor/leder i 100% stillinger for hhv VITKOM og PROFKOM Innføring av praksis i primærhelsetjenesten også 2. og 3.studieår Desentralisering av 5. og 6. studier til Bodø/Nordland Undervisningslegekontor (Legevakta - pilotprosjekt høst 2014). Videreutvikles og videreføres 2015 6. Andre spørsmål 6.1 TPS Hvilke aktiviteter for tverrprofesjonell samarbeidslæring inngår i studieprogrammet nå? Hel0700 er integrert i MED-1501 Medisin år 1 Det prøves ut interprofesjonell praksis for studenter på 5.studieår Det gjennomføres i disse dager pilot for interprofesjonell simulering for noen utvalgte studenter på avgangskullet. Det gjennomføres pilot på interprofesjonell smerteundervisning UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 6 Side9
Hvilke planer har man for utvikling av, eller deltakelse i tverprofesjonell samarbeidslæring på studieprogrammet? Programstyret har som mål at interpraks og intersim skal bli en fast del av undervisningen for alle studenter. I forarbeidet til pilot for intersim har vi erfart at vi har store utfordringer med å rekruttere tilstrekkelig med lærerressurser. Utfordringen blir tidoblet dersom det skal gjennomføres intersim for hele avgangskullet. Vi har per i dag ingen løsning for dette. 6.2 AR2 Fakultetet har behov for en innsikt i bruken, kunnskapen om- og opplevd nytteverdi av programvaren for aktivitetsregistrering AR2. Bakgrunnen for spørsmålene er at det over de siste årene er lagt ned nokså betydelige ressurser i systemet, samtidig som vi mangler innsikt om programvaren brukes i en utstrekning, og til formål som forsvarer videre drift, vedlikehold og utvikling. a) Beskriv over ca. en A4 side, eksempelvis om og evt. hvordan instituttet nyttiggjør seg av programvaren for aktivitetsregistrering AR2? Finner instituttet programvaren nyttig som et verktøy for å holde oversikt over undervisningsressurser? Brukes for eksempel systemet aktivt i fordelingen av veileder- eller undervisningsrelaterte oppgaver blant de vitenskapelig ansatte? Annen informasjon som vil være nyttig for fakultetet å få innsikt i er eventuelle behov for opplæring, forslag til endringer el. IMB: Vi bruker AR2 når de vitenskapelige skal ut i forskningstermin for å finne ut hvilken undervisning som skal erstattes. Vi bruker data for å argumentere for nye stillinger. Vi bruker data for å fordele undervisningsoppgaver mellom de ansatte innenfor en fagenhet. Vi bruker data for å fordele nye arbeidsoppgaver (for eksempel det å være veileder på HEL-0700). Vi bruker også data fra AR2 til å finne ut hvor mye undervisning vi på instituttet har på emner som tilhører andre institutt (unntatt medisin), for så å kunne få betaling for denne undervisningen (vi syns det er viktig at vi har stabile fagenheter som gir undervisning innenfor et fag uansett til hvilket studieprogram, det tror vi gir god kvalitet på undervisningen innenfor faget). Vi vil gjerne være med å gjøre AR2 enda bedre. Nå mangler kvalitetsarbeid (revisjon, arbeid med case, rekruttering osv) i AR2, og dette vil vi gjerne være med å få lagt inn på en god måte. IKM: IKM har fram til nå i liten grad benyttet seg av AR2, men ønsker nå å opparbeide seg god nok kunnskap og rutiner for å benytte verktøyet fremover. Vi ser at AR2 kan være nyttig å bruke som verktøy, men all den tid alt ikke kommer inn automatisk er det viktig at en ser til at slike aktiviteter registreres manuelt. På denne måten kan man benytte rapporter og oversikter fra AR2 i større grad enn hva som gjøres i dag. Vi jobber nå med å få inn grunnlagsdataene på riktig måte, samt at studiekonsulentene samspiller og bruker lik koding og vekting. UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 7 Side10
ISM: ISM benytter seg i stor grad av AR2, og opplever dette som et nyttig verktøy for å holde oversikt over undervisningsressursene. Systemet gir oss bedre oversikt over: - Hvordan undervisningsoppgavene fordeler seg blant de ansatte. Dette for å sikre en jevnere fordeling av disse (de som har mye undervisning må sikres forskningstid, og de som har lite bør trekkes mer inn i undervisningsoppgavene). En jevnere fordeling av undervisningsoppgavene har også effekt på arbeidsmiljø og trivsel. - Hvordan undervisningsbelastningen er fordelt på de ulike fagenheter. Er det noen fagenheter som har for få ressurser til undervisningsoppgavene som ligger til denne? Hvilke fremtidige prioriteringen skal instituttet ta f.eks i forbindelse med nyansettelser? - Hvordan de ulike lærerressursene er fordelt på de ulike emnene. Hvorfor bruker noen emner langt færre eller mer ressurser enn andre emner med samme studiepoengsomfang og undervisningsmetodikk? Kan man få frem oversikter som gjør at man kunne lage veiledende undervisningsrammer for de ulike emnetypene («leseemner» vs «profesjonsemner/praksisemner» (lab, praksis, klinikk osv). ISM synes å ha fått til en smidigere og mer effektiv faglig- og administrativ oppfølging og tilrettelegging av undervisningen og fått bedre styring med instituttets totale ressurser. Systemet benyttes til å fordele veilednings- og undervisningsoppgaver, og til å planlegge for fremtidig undervisning. Systemet benyttes også i stor grad til å planlegge ved kortvarig- og langvarig sykdom og permisjoner (svangerskap, forsknings- og utdanningsterminer) og ved akutt sykdomsforfall (der man trenger å hente inn vikarer på kort tid). Det er ønskelig å videreutvikle systemet - bl.a. er det behov for å jobbe videre med rutiner og arbeidsdeling administrativt (institutt- og fakultetsnivå), luke vekk de tekniske problemene ved AR2, videreutvikle rapportene som kan tas ut av systemet og timenormeringene for de ulike aktivitetene. Erfaringene fra ISM kan kort oppsummeres slik: - Implementering av nye systemer (AR2) på instituttnivå tar tid, og det må prioriteres av og forankres i ledelsen - Fortsatt fokus på å kvalitetssikre datainput (studieadministrativ koding i FS, syllabus som ikke er særlig endret fra de kodene som allerede eksisterte i FS/Syllabus), men kravet til nøyaktighet har økt. - Forbedre rutiner for oppdatering av den enkeltes undervisningstid i systemet, selv om det meste er kommet på plass i 2014. Ved for eksempel lengre sykmeldinger og permisjoner må undervisningstiden endres. - Hvis man skal kunne SAMMENLIGNE emner og program (også på tvers av instituttene), må timenormeringene på de ulike aktivitetene være like. Fakultetet bør fortsatt være koordinerende instans her. - Være lydhør for innspill på timenormeringene fra de vitenskapelig ansatte. For eksempel bør timenormering for utviklingsoppgaver inn (revisjoner av program og emner). Arbeidet med hvilke aktiviteter som skal timenormeres og omfanget timer bør koordineres av fakultetet slik at det blir likt for alle institutt. - Systemet skal først og fremst vise hvordan de «rene» undervisningsoppgavene er fordelt. Pga. at det er så vanskelig å få med alt som gjøres i undervisningen (alle administrative gjøremål, utvalgsarbeid, utviklingsoppgaver osv) er det kanskje viktig å ikke forvente 100% pliktoppfyllelse, men at for eksempel 80-90% undervisningsoppfyllelse er godt nok. Denne «slacken» må for øvrig ses i sammenheng med punktet ovenfor (kategoriene bør ikke bli for mange). Videre - noen UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 8 Side11
har undervisningstunge vårsemestre og mindre tunge høstsemestre, og vice versa. Undervisningsoppgavene må derfor ses på over tid (flere semestre). - Luke vekk de tekniske problemene knyttet til AR2. Fra ISMs side er dette hovedårsaken til «mangler/feil» i systemet. b) Hvordan har instituttet jobbet med kvalitetssikring av inn-data i AR2 (grunnlagsdata, manuell innlegging og gjennom timeplanlegging)? IMB: Vi kvalitetssikrer data ved å prøve å lage så gode timeplaner som mulig, rette opp navn når vi finner ut at noen andre holder timer. Vi gjør det også slik at det er administrasjon som legger inn data i AR2, FS og syllabus slik at våre ansatte bruker minst mulig tid på dette. Når adm har registrert det vi skal så får alle våre ansatte en e-post der de bes om å kontrollere sin registrering. På denne måten vet vi at alle får registrert de samme sakene på lik måte (for eksempel revisjonsarbeid). IKM: Studiekonsulentene prøver å få så mye detaljer som mulig inn i timeplanen i Syllabus, slik at AR2 skal kunne være så oppdatert som mulig. Noe av utfordringen ligger i mangelfull info i form av hvem som skal lede aktivitetene, og at enkelte bytter undervisning uten at studiekonsulentene får beskjed om dette. Ergo rekker ikke studiekonsulentene å få inn rett informasjon i FS på bakgrunn av dette, slik at enkelte ting som da ikke kan gjøres i Syllabus faller bort/blir feil. I Brukerveiledning I for Aktivitetsregnskap utdanning, AR2 står det nedfelt at instituttenes superbrukere bør ha korte møter i AR2 per måned med kontorsjefer og studieledere. Her har vi et potensiale, og kanskje hadde det vært en ide at de ulike superbrukerne møttes til et mini-forum et par ganger i løpet av hvert semester. Her kunne gode råd og erfaringer utveksles, slik at vi sammen gjorde bruken av AR2 bedre. ISM: Kvalitetssikringer skjer på flere måter: 1) Manuell kontroll og ilegging hvert semester av studieadministrasjonen: a) av det som er importert automatisk fra FS, syllabus og PAGA særlig fordi det har vært en del tekniske feil i AR2. De studieadministrative sjekker ad timeplaner og veiledning, og superbruker sjekker personaldata og plikttimer i tett dialog med personalkonsulent og kontorsjef. b) Manuell ilegging av sensoroppdrag og studieledelsesoppgaver. Ingen av de vitenskapelig ansatte får legge inn manuelt dette for å unngå store forskjeller i undervisningsuttelling og dermed vanskeligheter med å sammenligne. 2) Den siste sjekken gjør den ansatte selv, som, på oppfordring fra administrasjonen på slutten av hvert semester, får anledning til å melde inn eventuelle feil og mangler. Innmeldte feil følges så opp administrativt. Ved større feil (spesielt tekniske) tas kontakt med superbruker på fakultetet. Helsefak 18.februar 2015 UiT / Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no 9 Side12
Det helsevitenskapelige fakultet Arkivref: 2010/6164/ELI103 Dato: 23.02.2015 SAKSFRAMLEGG Til: Møtedato: Sak: Programstyret for medisin 26.02.2015 7/15 Revidering av Utfyllende bestemmelser for MED-3950 Masteroppgave Innstilling til vedtak: Programstyret medisin godkjenner vedlagte «Utfyllende bestemmelser for MED-3950 Masteroppgave». Begrunnelse: VITKOM- komitéen har utarbeidet nye «Utfyllende bestemmelser for MED-3950 Masteroppgave». Disse bestemmelsene skal gjelde for medisinkull på 2012- studieplanen. Inger Njølstad prodekan utdanning medisin og odontologi inger.njølstad@uit.no 77 64 53 51 Elin Holm rådgiver elin.holm@uit.no 77 64 54 87 Dokumentet er elektronisk godkjent og krever ikke signatur Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side13
1 Side14
2 Side15
3 Side16
4 Side17
5 Side18
6 Side19
7 Side20
Vedlegg 1: VEILEDNINGSKONTRAKT FOR MASTEROPPGAVE MEDISIN VED DET HELSEVITENSKAPELIGE FAKULTET Kontrakten leveres Seksjon for utdanningstjenester, Det helsevitenskapelige fakultet. 1 STUDENTENS PERSONALIA Etternavn:... Fornavn:... Fødselsnummer (11 siffer):... Studieadresse:... Postnummer/-sted:... Telefon:... 2 AVTALEPERIODE Avtalen gjelder fra..til 3 VEILEDNING Angi hovedveileder og biveileder(e). En av veilederne må være fast vitenskapelig ansatt ved Det helsevitenskapelige fakultet. Hvis veileder planlegger å ha forskningstermin i kontraktsperioden, skal studenten informeres om dette når prosjektbeskrivelsen utarbeides. Veileder er i samarbeid med enheten ansvarlig for å sikre studenten veiledning i hele kontraktsperioden. Veileders navn og kontoradresse:... Biveileders navn og kontoradresse:... Biveileders navn og kontoradresse:... Veileder skal ha forskningstermin i perioden:... Veilederen skal: gi råd om formulering og avgrensing av tema og problemstilling drøfte og vurdere hypoteser og metoder gi hjelp til orientering i faglitteratur og datagrunnlag (bibliotek, arkiv, etc.) 8 Side21
drøfte opplegg og gjennomføring av fremstillingen (disposisjon, språklig form, dokumentasjon etc.) holde seg orientert om progresjonen i masterstudentens arbeid, og vurdere den i forhold til prosjektplanen, drøfte resultater og tolkningen av disse gi studenten veiledning i forskningsetiske spørsmål knyttet til forskningsprosjektet Studenten forplikter seg til å legge fram rapporter eller utkast til deler av oppgaven for veileder, samt i sitt arbeid å etterleve forskningsetiske prinsipper som gjelder for fagområdet. Begge parter har krav på jevnlig kontakt og orientering under arbeidets gang. 4 MASTEROPPGAVEN Tittel:... 5 RESSURSBRUK Enhet prosjektet skal utføres ved:... Samarbeidspartnere av teknisk eller vitenskapelig art:...... 6 ENDRINGER/BRUDD PÅ KONTRAKTEN Alle endringer i veiledningskontrakten underveis i studiet (endring av prosjekt, veileder, forlengelse av kontraktsperiode og lignende) skal informeres om til Seksjon for forskningstjenester ved Det helsevitenskapelige fakultet. Brudd på kontrakten skal behandles av Konfliktrådet ved det Helsevitenskapelige fakultet. 7 UNDERSKRIFTER 9 Side22
Det helsevitenskapelige fakultet Arkivref: 2015/1267/ELI103 Dato: 23.02.2015 ORIENTERINGSSAK Til: Møtedato: Sak: Programstyret for medisin 26.02.2015 7/15 Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin Vedlagt følger følgende dokumenter: 1) Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin 2) Innspill, erfaringer, synspunkter og kommentarer fra de enkelte medlemmene i arbeidsgruppa. Elin Holm rådgiver elin.holm@uit.no 77 64 54 87 Dokumentet er elektronisk godkjent og krever ikke signatur Postboks 6050 Langnes, N-9037 Tromsø / 77 64 40 00 / postmottak@uit.no / uit.no Side23
Rapport fra arbeidsgruppe i medisin: Gjennomgang av eksamen i medisin Den 11/1-13 vedtok programstyret i medisin å utnevne en arbeidsgruppe som skulle vurdere gjennomføringen av eksamen i medisin. Programstyret ønsket innen utgangen av 2014 en helhetlig plan for vurdering av studenter gjennom profesjons-studiet. Dette er en rapport fra gruppens arbeid, inkludert et utkast til en helhetlig plan. Disposisjon for rapporten er som følger: 1. Beskrivelse av mandatet. 2. Beskrivelse av medlemmer. 3. Beskrivelse av aktivitet: a. Møtevirksomhet b. Kompetansebygging: i. Hvem har vært på kurs/etterutdanning ii. Seminarer/kurs avholdt i Tromsø c. Implementering av nye formater/rutiner i praksis 4. Om veivalg og bakgrunn for en helhetlig plan. 5. Helhetlig plan: Beskrivelse av veien videre. 6. Kommentarer fra de enkelte utvalgsmedlemmer. Med hensyn til veien videre: Vi oppfatter vårt mandat avgrenset til å si noe om summativ og formativ testing av studentene. Vi ønsker å peke på forhold som kan gjøre at våre tester i større grad tester det vi mener studentene må kunne (validitet), og at vi kan stole på testene (reliabilitet eller pålitelighet). Vi ønsker også å peke på forhold som kan bidra til at studentene i større grad får tilbakemelding om hvordan de kan bli bedre (formative tester). Vi vil også si noe om implementering. Side24
Beskrivelse av mandatet Vedtak i Sak 2-2013 for programstyret i medisin har gitt følgende mandat til grupppen: Delta på kompetansehevende tiltak innen assesment in medical education nasjonalt og internasjonalt innen utgangen av 2013. Utarbeide forslag til helhetlig plan for vurdering for profesjonsstudiet medisin innen utgangen av 2014. Planen skal også inneholde forslag til implementering og forslag til kontinuerlig kvalitetssikring av eksamen. Bistå i planlegging og gjennomføring av kompetansetiltak innen eksamen for lærere innen medisin. Beskrivelse av medlemmer Over tid har det vært noe endring i sammensetningen av gruppens medlemmer; Yngve Figenschau (daværende leder for 2.års kommisjon) og studentrepresentanter Helge Haarr og Rune Skogheim har gått ut av gruppen. Henrik Schirmer (leder for 6.års kommisjon) har permisjon høst 2014/2015. Medlemmer ved innleveringstidspunkt; Leder Ragnar M. Joakimsen, Gaute M. Hansen, Valeria Morton, Tove Skjelbakken, Kristoffer Lassen, Claus Klingenberg, May-Lill Johansen, Knut Fredriksen, Signe Olsborg (student) og Terje Jørgensen (sekretær). I tillegg har Knut Tore Lappegård og Magnhild Gangsøy Kristiansen fra IKM/Bodø vært tilknyttet gruppen ved at de har fått tilsendt referat for å komme med innspill. Beskrivelse av aktivitet Møtevirksomhet Møte 14.3.2013 Møte 25.4.2013 Møte 23.5.2013; kort lunsjmøte med tema stasjonseksamener Framlegg 12.06.2013 om standardsetting med Henrik Schirmer og Ragnhild Sandvoll (UiT, RESULT). Møte av 20.09.2013 Side25
Seminar 24.03.2014 og 25.03.2014 (Fundamentals of assessment course, http://www.sgul.ac.uk/course/fac), med Kathy Boursicot, Trudy Roberts og Richard Fuller. Trudy Roberts er president i AMEE, Kathy Boursicot er arranger av kurs om assessment in medical education i London, og Richard Fuller er en av de faste foredragsholderne på kursene i London. Vi har en evaluering av dette seminaret, som kan skaffes på forespørsel, men kortversjonen er at 16 av totalt 40 deltagere svarte på en questback etter kurset, og de 16 var svært fornøyd med et lærerikt kurs. De 16 som svarte oppfattet at kurset hadde vært veldig nyttig for å lære seg om å skrive bedre eksamensspørsmål, lære standardsetting, og å lære om eksamensformer. Møte 6.05.14 Presentasjon av assessment plan fra University of Washington School of Medicine ved prof. Jan Carline, samt rapport fra Simon Davis og Ragnar Joakimsen om OSCE-pilot Møte 10.09.2014 Møte 24.10.2014 Møte 5.12.14 Vi viser også til nettside vi har opprettet, med referat og aktuell litteratur: http://uit.no/om/enhet/artikkel?p_document_id=333560&p_dimension_id=88126&men=42374 Kompetansebygging: i. Hvem har vært på kurs/etterutdanning Det viktigste kompetansehevende tiltaket i perioden har vært seminaret med eksterne kursledere. Utover det, så har flere deltatt på kurs i London (Tove Skjelbakken, Henrik Schirmer, Simon Davis, Ragnar M Joakimsen), Tordis høifødt har vært i Toronto for å lære om bruk av OSCE i legeutdanningen. I tillegg er Ragnar Joakimsen medlem i en internasjonal gruppe som samler verktøy for testing av kommunikasjon i helseprofesjoner (teach). ii. Seminarer/kurs avholdt i Tromsø Se over. I tillegg til seminaret nevnt over, ble det arrangert et to-dagers seminar om undervisning av kommunikasjon i desember. De eksterne foredragsholderne (bl. A. Jonathan Silverman) er også en kapasitet mhp. eksamen, og avholder årlige kurs i Cambridge om testing. Vi benyttet sjansen til å innhente råd om OSCE under seminaret (spesielt om bruk og opplæring av simulerte pasienter). Side26
Om veivalg og bakgrunn for helhetlig plan Historie Legeutdanningen i Tromsø hadde opprinnelig en eksamen etter 1 år, en etter 4 år og en avsluttende eksamen etter 6 år. Forutsetningen for dette systemet skulle i utgangspunktet være en kontinuerlig vurdering av hver student i en egen mappe,( ikke ulikt prestisje-institusjoner som Medical school i Cleveland). På 70-tallet gjorde studentene opprør mot dette, og den kontinuerlige vurderingen tok slutt uten noen erstatning. Konsekvensen har vært at studenter ved legeutdanningen i Tromsø fått lite systematisert tilbakemelding på egne kunnskaper, ferdigheter og holdninger sammenliknet med mange legeutdanninger i verden. Bakgrunn Legeutdanning i Norge og Skandinavia står i en særstilling med hensyn til vurdering av legestudenter, fordi vi ikke har nasjonale prøver for autorisasjon. Dvs. at det er opptil den enkelte institusjon å formulere læringsmål, og å teste at studentene om studentene har nådd disse målene. Det er ingen formelle tester på om studenter ved ulike læresteder i Skandinavia lærer omtrent det samme, i motsetning til i land som Storbritannia, Sveits, Nederland, Tyskland, Frankrike, Australia, USA etc. I land med nasjonale prøver kan hver enkelt læreinstitusjon lene seg litt tilbake med hensyn til kvaliteten på tester gjennom studiet, fordi testene som kreves for autorisasjon gjennomgår kvalitetstesting utover det hver enkelt institusjon har ambisjoner om. Dette har flere sider som vi som undervisere og medisinske pedagoger i Skandinavia må ta hensyn til i utformingen og planlegging av en helhetlig vurdering av våre legestudenter: 1. High stake vs low stake : En eller flere av våre tester gjennom studiet bør være av så høy kvalitet at det kan forsvares at de brukes som grunnlag for sertifisering. Internasjonalt skilles mellom tester som er viktige for sertifisering ( high-stakes exam ) og tester med mindre konsekvenser (low-stake). De siste er det flest av. De har formativ tilbakemelding som en viktig hensikt, og måten dette gjennomføres på varierer mye mellom institusjoner. Testene som ligger til grunn for sertifisering er imidlertid mer ensartete mhp. gjennomføring. De nasjonale prøvene i Tyskland, Storbritannia, USA og Frankrike er alle basert på MCQ (multiple choice, flervalgs-spørsmål) eller MEQ format (multiple extended question, en variant av flervalgs-spørsmål). Oftest er formatet SBA (single best alternative, velg beste svar) for å teste kunnskap. Og varianter av OSCE (Observed Structured Clinical Exam, oftest oversatt til stasjonseksamen), brukes i stor utrekning for å teste ferdigheter. 2. Test etter et kurs vs test for å bli lege: Testene som ligger til grunn for sertifisering i andre land er oftest omfattende, oftest nasjonale, og de favner over basalfag og kliniske fag, og de fleste disipliner. De lokale testene er oftest en test av stoff studentene lært nylig, gjennom det siste kurset, eller det siste året. Side27
Studierevisjonen En viktig kontekst for en ny helhetlig plan for legeutdanningen i Tromsø er en studierevisjon som har pågått siden en ekstern evaluering i 2006. Det vises til dokumenter knyttet til revisjonen. Men punktvis kan momenter som i stor grad påvirker testing være: 1. Stort fokus på utforming av læringsmål 2. Stort fokus på samsvar mellom læringsmål og test ( constructive alignment ) 3. Stort fokus på case-basert undervisning som undervisningsmetode 4. Innføring av langsgående temaer: Vitenskapelig kompetanse og profesjonell kompetanse Hva skal studentene kunne? Domener for læringsmål. Kvalitetsreformen, kvalifikasjonsrammeverket og nye trender i høyere utdanning krever at vi som pedagoger fokuserer på hva studentene skal kunne, til forskjell fra å fokusere på hva vi skal lære bort. Videre må vi teste om studentene kan det vi mener de skal kunne. Dermed blir beskrivelsen av læringsmål helt sentral, og samtidig bør det spesifiseres hvor, når og hvordan vi planlegger å vurdere om studentene har oppnådd de enkelte læringsmål. Og det kan gjøres helt ned på detaljnivå. Læringsmål kan deles inn i ulike domener, som i prinsippet testes på ulike vis. Tradisjonelt har det vært vanlig å dele inn i kunnskaper, ferdigheter og holdninger (profesjonalitet). Men organisasjoner med ansvar for legeutdanning har etter hvert delt inn i flere domener: ACGME (Accreditation Council for Graduate Medical Education, amerikansk organisasjon for etterutdanning) har sine 6 domener som gjennomsyrer all deres utdannelse, og som er på vei inn i grunnutdannelsen. Ganske nylig har de innført et begrep om milepæler (milestones) innenfor de 6 ulike domenene. CANMED (tilsvarende organisasjon i Canada) har sine inndelinger i legens ulike roller, mens GMC (General Medical Council i UK) i tomorrow`s doctor har en mer pragmatisk tilnærming til ulike spesifiserte læringsmål. Arbeidsgruppen har ikke klart å starte noen omfattende diskusjon om dette emnet. Grunnforutsetningene i de fleste diskusjoner har vært å skille læringsmål inn i domene: Kunnskap, ferdigheter og holdninger/profesjonalitet, og i vår helhetlige plan vil vi holde oss til denne inndelingen. Innføringen av de langsgående temaene kan også oppfattes som en domeneinndeling av læringsmål, og må tas høyde for i en helhetlig plan. Hvordan skal vi teste at de kan det? Testformater og testformer Det finnes mange testformater og testformer, og de ulike formater og former har sterke og svake sider. Det er en utfordring å velge rett testformat og form avhengig av læringsmål, studentens nivå, formål (summativ eller formativ), ressurser, kontekst og kultur i institusjonen. I det følgende oppsummeres kort de vanligste testformater og former med korte kommentarer til relevans for legeutdannelsen i Tromsø: 1. 360 Personer som samarbeider med en student (andre studenter, leger, sykepleiere, lærere, Side28
pasienter) svarer på et spørreskjema om studentens innsats. For å bli rimelig reliabel kreves 8-10 vurderere. Og studenten må ha hatt en meningsfull relasjon til dem alle. Dette krever oftest en litt lengre utplasseringsperiode. Dette kan være aktuelt for 5. års utplassering, men krever nokså omfattende analysekapasitet ved fakultetet. Pålitelighet er et norsk ord som kanskje kan dekke ordet reliabel. 2. Intervju basert på behandlete pasienter (Chart stimulated recall oral exam). En form som er vanskelig å standardisere, men som er valid, fordi den tester hva som er gjort i praksis. Mest brukt i etterutdanning, og da mest formativt. Kunne vært mulig som formativ test i 5. års utplassering. Praktisk veiledning likner vel mye på dette, uten at vurderingen blir loggført. 3. Prodedyreliste/Checklist (dele opp ferdigheter/aktivitetet i enkeltelementer som blir vurdert). Prosedyrelister er noe vi kjenner godt til i legeutdanningen i Tromsø. Imidlertid brukes oftest kun en signatur for gjennomført. Prosedyrelister har større potensial for læring om det samtidig gis en vurdering av om ferdighet/aktivitet som er observert graderes (dårlige enn forventet/som forventet/bedre enn forventet). 4. Global rating (for eksempel helheltinntrykk etter en utplassering). Dette er motsatsen til prosedyrelister: Gi en kandidat en helhetsvurdering etter en utplasseringsperiode, eller som en vurdering av en innsats. En helhetsvurdering er selvfølgelig svært avhengig av skjønn, og derfor også må mange gi sin vurdering (8-10 vurderere) før dette blir reliabelt. 5. OSCE Observed Structured Clinical Exam Dette er en standardisert test av ferdigheter, hvor veldefinerte ferdigheter testes ved hjelp av simulerte pasienter. Første gang OSCE ble brukt var i Dundee i Skottland (Harden og Gleeson) i 1972. Det ble første gang beskrevet i 1975, men etter at det ble innført på 1990- tallet, så har de fleste legeutdanninger adaptert dette formatet. Hovedsaklig fordi det er mulig å gjennomføre reliable tester av kliniske ferdigheter, selv om formatet er ressurskrevende. Formatet er en stor utfordring mhp. ressurser og logistikk, og krever kompetanse og innsats. I regi av arbeidsutvalget har det blitt gjennomført en pilot-osce i Tromsø, og det planlegges en full skala OSCE i april-mai 2015. Det vises vedlagte rapport om det. 6. Log Et studium kan bestå av arbeidskrav. En mulig vurderingsform er da kun en loggføring av gjennomførte arbeidskrav. Vår 5. års utplassering (og mye av vår spesialist-utdanning) bærer noe preg av en slik vurdering. Styrken med dette formatet er gjennomførbarhet. Svakheten er åpenbar: Læringspotensialet blir mindre om det kun registreres hva som er gjort uten faktisk tilbakemelding på hvordan det er utført. 7. Måle pasienttilfredshet En vurdering av studenters evner og kvaliteter som fremtidige leger kan ses fra ulike perspektiver. Et viktig perspektiv er sett fra en pasients ståsted. Systematisert tilbakemelding fra pasienter kan være en viktig formativ tilbakemelding, både for leger og studenter. Som del av 360, så brukes dette i noen legeutdanninger, men det er ikke så vanlig med separat vurdering av pasienttilfredshet knyttet til studenter. 8. Portfolioer Dette formatet kan ses på som en utvidet logg, som inkluderer selvrefleksjons-notater, og Side29
som også inkluderer fortløpende vurderinger av innsats fra lærerkrefter. Formatet oppleves som krevende for studentene (et eksempel er Dundee i Skottland), og krever nokså stor innsats fra mange lærerkrefter. Hovedargumentet for portfolie er vel at formatet oppfattes som veldig valid (måler det som er viktig å måle). Og formatet stimulerer til selvrefleksjon og aktiv læring. 9. Gjennomgang av journaler (uten intervju). Dette kan gjøres på ulike nivåer. I nåværende studieplan, så starter studentene med journalopptak med tilbakemelding i 3. år. I litteratur om dette som test, så beskrives det hovedsakelig i forbindelse med etterutdanning, og da som en gjennomgang og testing av kvalitet på spesialistkandidatens daglige arbeid. 10. Simulering og modeller Kan brukes som ledd i stasjons-eksamen/osce. 11. Standardisert muntlig eksamen (med 5-10 minutter per case, og 18-60 cases). I forsøk på å gjøre muntlig eksamen mer reliabel eller pålitelig, så er det noen som gjennomfører mange korte, muntlige eksamener fortløpende, og hvor eksaminatorene har en standardisert mal for spørsmål som skal stilles. 12. Standardisert pasient eksamen, long case Long-case, formatet som i alle år har vært til avsluttende eksamen i Tromsø, har kommet i vanry. Bakgrunnen er først og fremst vansker med reliabilitet: Vurderingen er for mye avhengig av faktorer som ikke har med studenten å gjøre (pasientvalg, eksaminator, sensor, emne). Studier som søker å beskrive ulike testers reliabilitet angir at long-case formatet krever 8-10 timers testing, og 5-10 cases for å oppnå samme reliabilitet som en 2-3 timers OSCE med 12 stasjoner. I tillegg er det vanskelig å skille hva som testes: Kunnskap kan testes mye mer effektivt i et skriftlig format, og hvor mye ferdighetstesten påvirker sluttresultatet av vurderingen i en long-case er vanskelig å avgjøre. Samtidig kan det innvendes at overgangen fra muntlig eksaminasjon til OSCE er en mote, og at om muntlig eksamen organiseres godt (flere eksaminatorer, flere sensorer, flere pasienter, og en samlet vurdering), så blir reliabiliteten faktisk ganske god. Denne diskusjon er viktig og for oss i Tromsø, så er det nok er fordel om vi klarer å faktisk måle reliabiliteten i våre tester. 13. MCQ, MEQ, SBA Kunnskapstester var tradisjonelt utformet enten som fri tekst svar på spørsmål (essay, freetext, short essay ), eller muntlig eksaminasjon med utgangspunkt i en pasient, et emne eller en problemstilling. Dette har vært oppfattet som en valid test, men det er to hovedproblemer: Får en testet bredt nok? Hva med reliabilitet? Det er ulike tradisjoner for hvordan dette har vært løst: I USA innførte man for de nasjonale prøvene MCQ-formatet allerede i 1953, og der har man svært lang erfaring med å utforme slike spørsmål. Etter prøving og feiling med ulike versjoner av MCQ har man nokså nylig landet på kun å benytte SBA, dvs. best alternativ av 5. Alternativer som en har gått bort ifra i nasjonale prøver i USA inkluderer sann/usann (som er noe annet enn å velge best av flere), flere mulige riktige svar og MEQ. Generelt er MCQ-formatet svært mye brukt for testing av kunnskap også i andre land (UK, Tyskland, Sveits, Frankrike, Nederland,.). Skandinavia har tradisjonelt brukt dette formatet lite. Men bruken er økende, for eksempel ved legeutdanningen i Trondheim. Fordeler med MCQ: Reliabel test. Enkelt å teste bredt, slik at hele pensum blir dekket. Enkel å rette. Når man har en database vil man ha en post hoc vurdering av vanskelighetsgrad og kan spore nivå over tid og mellom eksamener. Det er også en stor fordel å kunne bruke tid på Side30
utforming i stedet for sensur. Det er lettere å sikre god blueprinting av fag, organer, tema, kunnskapsområder mm. Ulemper: Tester i MCQ-format krever kompetanse for å kunne teste anvendelse av kunnskap, og ikke bare gjengivelse av kunnskap. Formatet tester ikke evne til syntetisering og evne til å produsere tekst, slik at det må dekkes av andre arbeidskrav/vurderinger. Testformatet krever også ekstra kompetanse for standard-setting (utover magefølelse og at en sensur-komite sitter sammen etter eksamen og sensurerer). 14. Mini-CEX, Mini Clinical Examination En student gjennomfører en praktisk prosedyre mens han/hun er i utplassering, og blir vurdert ved hjelp av en standardisert sjekkliste av en veileder. Flere slike mini -CEX kan være del av en logg eller portfolio, men innebærer både formativ tilbakemelding og en fortløpende vurdering av en kandidat. En enkel mini-cex er ikke reliabel. Om en serie av mini-cex-er kan gjøre en samlet vurdering reliabel er litt uklart, men det er sannsynlig. Metoden oppfattes som valid. Mini-CEX er vanlig i etterutdannelse i mange land. Hvordan gjør de det andre steder? Det er i ferd med å bli standard for nasjonale tester med en kombinasjon av kunnskapstester på et MCQ-format (USA, Canada, Sveits, Tyskland, i praksis UK, Nederland, Frankrike) og ferdighetstester i form av OSCE-eksamener. Standard for vurdering gjennom studiet varierer svært mye mellom læringsinstitusjoner, også innen ulike land og kulturer. Eksempler kan være Dundee i Skottland, som har basert sin vurdering på portfolio. Karolinanska sjukehuset i Stockholm har utallige små tester underveis, de fleste på et MCQformat, og studentene får tilbakemelding om skår. Men de store sertifiserende testene er kun bestått/ikke-bestått. Mange institusjoner har små OSCE-tester underveis gjennom sine programmer, men i land med nasjonale tester er det ikke så vanlig å kjøre store OSCE-tester (med mange stasjoner) utenom de nasjonale testene. I Storbritannia har de ikke en formell nasjonal test (men så å si alle gjennomgår en nasjonal test et år etter endt studium for å bli medlem av legeforeningen, noe som i praksis innebærer en slags sertifisering). Vi har nylig vært i kontakt med Keele Medical school, som har en 12 stasjoners OSCE 3. år, en 16 stasjoners OSCE 4. år, og en 14 stasjoners OSCE til avsluttende eksamen. I Norge har både Oslo og Trondheim i mange år brukt OSCE-formatet, mens Bergen har tradisjonelle muntlige eksamener. Skillet mellom kunnskapstesting og ferdighetstesting har ikke vært skarpt i Norge. Hva er en god test? Før gruppen anbefaler en helhetlig plan for vurdering av legestudenter i Tromsø, så må vi ta stilling til hva som karakteriserer en god test. Teorier om emnet er omfattende, men sentrale nøkkelord er: Generaliserbarhet, reliabilitet, validitet, psykometri, reproduserbarhet, pris, praktisk gjennomførbarhet, dokumenterbarhet. Side31