Hvorfor har vi eksamen?

Transkript

1 Eksamen på medisin Tobias S. Slørdahl, MD PhD Allmøte for studentene. oktober Hva mener dere er den største utfordringen med eksamen? Eksamensformene Hvorfor har vi eksamen? kortsvarsoppgaver 6 flervalgsoppgaver (FVO) /ikkebestått 6 minstekrav Kontinuasjonseksamen praktisk Studieår, 3 og 4: 3 stasjoner Alle må bestås med 6 riktig Studieår : Kommunikasjon og undersøkelse Studieår 6: Storfag og småfag Eksamensutfordring I Eksamensutfordring Eksamensutfordring II II Dette er utfordringen med god margin Grenseland Klar stryk Ikkebestått Antall stryk IAB

2 Vanlige studentmisforståelser Eksamensutfordring III Eksamensspørsmål kan bare omhandle tema som er forelest. som har flere riktige svar er dårlige og bør gi uttelling på flere alternativer FEIL FEIL RIKTIG Eksamen lages med utgangspunkt i læringsmålene. RIKTIG På gode flervalgsoppgaver kan alle svaralternativene være riktige, men kun ett er det BESTE og gir uttelling All undervisning inngår: forelesning, PBL, seminar, uketjeneste, allmennpraksis, egenstudier osv. Hva skjer? Hvordan blir eksamen? Undervisningsveileder 7 undervisere tok lynkurs i hvordan lage flervalgsoppg aver i 4/ Kurs Flervalgsoppg ave r Kortsvarsoppgave r OSKE Kurs om hvordan lage flervalgsoppg aver Kurs i flervalgsoppg ave databasen Nasjonal delprøve Kurs i hvordan lage eksamensrammev erk Undervisning sve il ed er Kurs i oppgaveana lys e Oppfølging av stryk

3 Om digital evaluering Med en økt satsning på evaluering av eksamen ved medisinstudiet har det vært en ambisjon for oss å få flest mulig studenter til å besvare evalueringsskjemaet. For å oppnå en akseptabel svarprosent la vi vekt på at evalueringsskjema skulle være ) enkelt å besvare på mobile enheter og ) raskt å gjennomføre ( minutter). Årets evaluering ble derfor lansert på en platform med responsivt design. Det vil si at evalueringsskjemaet er optimalisert for flere enheter (PC, nettbrett og smarttelefon). Ut i fra oversikten over hvilke enheter studentene har benyttet for å besvare evalueringsskjemaet (figur ) fikk vi bekreftet vår antakelse om at enhver evaluering bør ta hensyn til den stadig hyppigere bruken av mobile enheter blant studentene. 6 Det tok studentene gjennomsnittelig 3 minutter og 4 sekunder å besvare evalueringsskjemaet. Dette skyldes at 48 av studentene valgte å benytte fritekstfeltet til å gi utfyllende tilbakemeldinger på eksamen. Fakta om eksamen Begrepsavklaring Tabell viser hvor stor andel av kandidatene ved hvert kull Årsrapport med evaluering som evaluerte henholdsvis skriftlig og muntligpraktisk... Integrert eksamen semester (IC) semetser (ID)... Integrert eksamen.... semester (IIA) semester (IIB)... Integrert eksamen.... semester (IIID) Tabell : Svarprosent evaluering av ordinær eksamen. Kandidater Kommentarer fra studentene (fritekst) praktisk 66,7 I denne rapporten vil vi ikke belyse de kommentarene kom med i evalueringsskjemaets 83,3 fritekststudentene felt. Eksamenskoordinator og semesterkoordinatorer har 94 8, mottatt disse og vil bruke de i videre kvalitets og forbed vedrørende sin eksamen. 73, ringsarbeid 4 / Årsrapport Eksamen ved profesjonsstudiet i medisin, NTNU 7, Kognitivt 8 8 nivå eksamen hadde en rimelig balanse mellom fagene som er undervist i dette studieåret 3,84 3,88 Hva synes du om essayoppgavene ved årets eksamen? 4,7 4,8 39 Hva synes du om flervalgsoppgavedelen ved årets eksamen? Hvordan vil du vurdere vanskelighetsgraden ved skriftlig eksamen? 3 3,76 3, 3,47 4, gjort med PC,nettbrett og 7: 3:Diskriminerende evne, smarttelefon (N = 74). 3,4 : 3, 3,3 3,7 68 7, 7,8 Stasj.,33 4,8,47 Stasj.,8 4,77, Jeg fikk vist hva jeg kan til muntligpraktisk eksamen 4,33 4,4 4,6 Jeg fikk god tilbakemelding fra eksaminator og/eller sensor? 4,64 4, Stasj., 4, ,8 7, 3 76, , ,7 Storfag 8 8,3 3,9 4,7,3 4,8 : 4,86 4,97, ,8 6 4 Gjennomsnitt : Diskriminerende evne, = Svært dårlig, 6 = Svært bra. = Helt uenig, 6 = Helt enig. 3 = For vanskelig, 6 = For lett. 7,9 Korrelasjon mellom poengsum på flervalgs og essayoppgaver (r =.749). 8,3 (Stasj. = Stasjonseksamen, Storfag = Indremedisin, kirurgi og allmennmedisin, Småfag = fysikalsk medisin og rehabilitering, gynekologi obstetrikk, 34 hud og veneriske sykdommer, nevrologi, nevrokirurgi, onkologi, ortopedi, pediatri, psykiatri, reumatologi, ørenesehalssykdommer, øyesykdommer, anestesi og barne og ungdomspsykiatri) 9,77 9 Kreliabilitet FVO 4: Poengfordeling ordinær skriftlig eksamen Essayoppgaver Gjennomsnitt 7, 6 3 Årsrapport eksamen Hva er nytt i /6? Endring i tilbakemelding etter eksamen Korrelasjon mellom poengsum på flervalgs og essayoppgaver (r =.68). 3 Fagfellevurderi ng av alle flervalgsoppg av er norske unge og uavhengige leger rekrutteres til å lese gjennom alle flervalgsoppgavene i sitt fag Spørsmål som ikke får bestått må revideres før de kan gis på eksamen Ansatte studentforfattere 6 studenter er/blir ansatt for å lage flervalgsoppgaver hver Skal bidra til øke størrelsen på flervalgsoppgavedatabasen raskere Endring i tilbakemeldin ge n Forskning på om 6 prefiksert grense er en god nok metode 7 Årsrapport eksamen 9 Ble innført som en kvalitetssikringsm etod e når FVO ble innført, slik at man kunne sikre seg erfaring Standardisert mal for tilbakemeldin ge r Minst av kullet må være enig i at oppgaven inneholder feil eller mangler på eksamen Ny grense for bestått? Årsrapport eksamen Kullet har muligheten til å gi en samlet tilbakemeldin g innen uke etter eksamen. 6 7 Kortsvarsoppgaver Undervisningsveileder På forskningsstadiet enda hovedoppga vest ud ent er går gjennom tidligere eksamensresultat er for å se om Cohens metode er bedre egnet. Resultater i løpet av 6. Ingen endring uansett i inneværende studieår. Ingen reell endring for studentene, kun en omdøping av navn. Strengere krav til underviserne om hvordan utforme oppgaven, modellsvar og sensurveiledn in g. Kortsvarsoppgaver Versjon. Mindre å skrive for studentene. Lettere å sensurere Mer objektiv sensur Mindre rom for trynefaktor Undervisning sve il ed er Essayoppgaver 4 3: Poengfordeling ordinær skriftlig eksamen : Diskriminerende evne, Kreliabilitet FVO 8 Korrelasjon mellom poengsum på flervalgs og essayoppgaver (r =.67). :6:Diskriminerende evne, MD 9: Diskriminerende evne, 77, ,4 8: 4: Diskriminerende evne, Lav (<,) 6:: Diskriminerende evne, MD Middels (,,9) Gjennomsnitt Essayoppgaver Negativ (<) , Svært høy (>,) 66 Kreliabilitet FVO Høy (,3,) 7,74 Småfag :8: Diskriminerende evne, 3 Kreliabilitet FVO 6 4 Storfag Småfag : Poengfordeling ordinær skriftlig eksamen : Kognitivt nivå, : Kognitivt nivå, 48 3,4 Tabell 3: Studentevaluering av muntligpraktisk ordinær eksamen. praktisk eksamen omfatter sentrale spørsmål og/eller praktiske oppgaver 9 3,6 4,6 8 Hva syntes du om organiseringen av muntligpraktisk eksamen? 9 3,96 3,8 = Svært dårlig, 6 = Svært bra. = Helt uenig, 6 = Helt enig. 3 = For vanskelig, 6 = For lett. Snitt 3 K Gjengivelse K Resonnering 7: Kognitivt nivå, Diskriminerende 8: Kognitivt 9: Kognitivt nivå, i den beste ernivå, differansen mellom andelen av kandidater Vanskelig (< svarte riktig) Andel av kandidatene som svarte riktig på oppgaven. Joevne høyere verdi jo lettere gruppen som velger det beste alternativet og andelen av kandidater i den svakeste oppgave. Middels (79 svarte riktig) gruppen som velger det samme alternativet. Analysen gjøres ved å dele inn studen : Lett (889 svarte riktig) tene i tre grupper: best ( ), middels ( ) og dårligst ( ). Dersom 89 4,33 3,87 3,7, Poengfordeling Svært lett svarte riktig) 3 av studentene i den beste gruppen og 3 av studentene i den (>9 dårligste gruppen 34 3,9 4, 3,66 4, svarte det beste alternativet blir diskriminerende evne for dette spørsmålet,8. 3,68,7 av evalueringen 4, 4,64: Prosentandel 3,4 3,78 3,66 8 Vanskelighetsgrad oppgavene på eksamen er resonnerende oppgaver. 67,6 3:7: Diskriminerende evne, 9gjengivende 9 96 I likhet med kommentarene fra studentene vil heller ikkevåre deles inn i 4 Flervalgsoppgavene to kategorier; (K) og resonnerofte endimensjonale. Det vil muntligpraktisk eksamen analyseres like ende inngående som oppgaver er (K). Gjengivende 8 si at de 4tester evne til å gjengi innlært faktakunnskap. Resonnerende oppgaver flervalgsoppgavene. Eksamenskoordinatorstudentenes og semester7, krever, som navnet tilsier, mer resonnering. De er flerdimensjonale ved at de tester koordinator gjør egne evalueringer og iverksetter spesistudentenes evne til å se sammenhenger, til å trekke egne slutninger og å kunne Snittskåre Snittskåre Kreliabilitet FVO bedømme noe utfvo fra forskjellige kriterier. Essay Kliniske vurderinger og beslutninger på bakgrunn av innsamlede data. fikke6, tiltak vil stort 7,4 sett bli tatt basert på ressonerende mål om at flertallet av 76, evne. Det er et evne,79 Diskriminerende Tabell : Studentevaluering skriftlig4 ordinær(md6), eksamen. skriftlig engelsk eksamen avhøst Snitt og eksamenvår, skriftlig forkserlinjeeksamen vår Hva syntes du om organiseringen av skriftlig eksamen? 4, 3,98 muntligpraktisk eksamen i legepasientkommunikasjon eksamen omfattet sentrale spørsmål? 4, 4,3 vår er ikke med i evalueringen. Diskriminerende evne : praktisk eksamen 6,3 Vanskelighetsgrad Vanskelig (< svarte riktig) Andel av kandidatene som svarte riktig pådiskriminerende oppgaven. Jo høyere verdi jo letteremellom andelen evne er differansen av kandidater i den beste oppgave. (79 svarte gruppen som velger det beste alternativet og andelenmiddels av kandidater i den riktig) svakeste gruppen som velger det samme alternativet. Analysen gjøres ved å dele innriktig) studenlett (889 svarte tene i tre grupper: best ( ), middels ( ) og dårligst ( ). Dersom 89 Svært lett (>9 svarte riktig) av studentene i den beste gruppen og 3 av studentene i den dårligste gruppen svarte det beste alternativet blir diskriminerende evne for dette spørsmålet,8. og oppgaveanalyse... Integrert eksamen.... semester (IA).... semester (IB)... Integrert eksamen semester (IIC) semester (IID) eksamen.

4 Eksempeloppgaven HUSK! Et beskrivende Informasjon om oppgaven navn Oppgavenavn: Legg til alle Kvinne (83) Dyspnè Utredning og behandling relevante Undervisningsenhet(er): læringsmål for oppgaven Lungemedisin, medisinsk mikrobiologi, farmakologi Oppgaveansvarlig: Tobias Schmidt Slørdahl, Oppgaven er laget for (stadium/semester): Stadium II, semester A/B Læringsmål:. Ved sykelige tilstander i hjerte og blodkar, lunger og luftveger, fordøyelsesorganene, samt i lymfoid og hematopoie vev skal studenten kunne:.. definere og beskrive de viktigste presenterende og ledsagende symptomer og kliniske funn..4 gjøre rede for terapeutisk siktemål og den plass ulike behandlingsformer (omlegging av livsstil, opptrening/fysioterapi, psykoterapi og støttetiltak, medikamenter, intervensjonsradiologi og kirurgi) har ved vanlige tilstander i disse organene.. forklare virkemåten til de viktigste medikamenter som brukes til å behandle sykelige tilstander i disse organene..6 ta opp målrettet og detaljert sykehistorie og derigjennom skaffe til veie relevante opplysninger for vurdering av pasientens problem..7 tolke verdier av de vanligste kliniskkjemiske, hematologiske, immunologiske og mikrobiologiske prøver og kliniskfysiologiske spesialundersøkelser ved sammenligning med oppgitte referanseverdier.. gjøre rede for de viktigste/ vanligste mikroorganismer som gir sykdom i disse organsystemene inklusive forhold knyttet til prøvetaking, identifikasjon, tolkning av funn, resistens mot antimikrobielle midler og smittevern 4. Studenten skal kunne: 4.. ut fra sykehistorie og klinisk undersøkelse stille tentativ diagnose, foreslå videre utredning og behandlingstiltak ved tung pust, respirasjonsrelaterte smerter, hoste og oppspytt HUSK! Oppgaven begynner med en Oppgave N ( poeng) vignett En 83 år gammel kvinne blir lagt inn på et lokalsykehus hvor du jobber som turnuslegevikar. Bortsett fra mild hypertensjon, som behandles med en ACEhemmer, er hun tidligere frisk. Forrige uke gikk hun på fjelltur, slik hun ofte gjør, og følte seg sprek. Hun røyker ikke. De siste dagene har hun ikke vært helt i form og har hatt vansker med å få i seg mat og drikke. Hun innlegges nå akutt da hun i løpet av formiddagen har utviklet tungpust. Hun ankommer akuttmottaket klokken 6. OSKE Objektiv strukturert klinisk eksamen Piloteksamen fullskala for IIAB. desember Hvis vellykket: Ordinær eksamen IIAB våren 6 og for IAB, IIAB, IICD våren 7. Marie Thoresen er prosjektleder Det aktuelle studieåret undervises i OSKE fordelt på 3 forelesninger Eksempelvideoer blir tilgjengelige på internett Hvorfor: For å gjøre eksamen mer objektiv, rettferdig og med høyere reliabilitet. Bedre tilbakemelding til studentene Hvordan foregår det? Hele kullet () eksamineres samme dag 3 parallelle sløyfer stasjoner á 8 minutter, hvorav OSKE stasjonsbeskrivelse hvilestasjoner minutter til forfyltning Stasjon x Anamneseopptak: Hoste og tungpust Oppgavefakta Testtid 64 minutter Forfatter Navn Institutt Undervisningsenhet Epost Telefon Marie Thoresen ISB Lunge Eksaminatorer Navn Institutt Undervisningsenhet Epost Telefon Eksaminator Eksaminator Eksaminator 3 Eksempel på oppgave OSKE stasjonsbeskrivelse Stasjon x Anamneseopptak: Hoste og tungpust Oppgavefakta Forfatter Navn Institutt Undervisningsenhet Epost Telefon Marie Thoresen ISB Lunge Eksaminatorer Navn Institutt Undervisningsenhet Epost Telefon Eksaminator Eksaminator Eksaminator 3 Pasienter Navn Adresse Telefon Epost Pasient Pasient Pasient 3 Pasient 4 Pasient Pasient 6 Læringsmål Semester IIB 4.: Studenten skal kunne gjennomføre en systematisk og fullstendig klinisk undersøkelse av brystkassen, lungene og luftveiene. Tidsbruk: Stasjon Varselklokke etter Forflytning/Sensur Totalt 8 minutter 7 minutter minutter minutter Oppgavetekst (instruksjon til student) Hans Hansen er en 6 år gammel mann. Du er fastlegen hans og han kommer til deg og klager over plagsom hoste som har vart de siste 4 månedene. Han har også lagt merke til at han blir mer tungpust ved daglige gjøremål over lengre tid, og at han kan ha pipende pust. Pasienter Navn Adresse Telefon Epost Pasient Pasient Pasient 3 Pasient 4 Pasient Pasient 6 Læringsmål Semester IIB 4.: Studenten skal kunne gjennomføre en systematisk og fullstendig klinisk undersøkelse av brystkassen, lungene og luftveiene. Oppgavetekst Tidsbruk: Stasjon (instruksjon Varselklokke etter Forflytning/Sensur til student) Totalt 8 minutter 7 minutter minutter minutter Oppgavetekst (instruksjon til student) Hans Hansen er en 6 år gammel mann. Du er fastlegen hans og han kommer til deg og klager over plagsom hoste som har vart de siste 4 månedene. Han har også lagt merke til at han blir mer tungpust ved daglige gjøremål over lengre tid, og at han kan ha pipende pust. Gå inn og ta opp en målrettet anamnese, når varselklokken ringer når det er minutt igjen spør eksaminator deg om å foreslå videre tiltak. Vent på gangen til klokken ringer. Gå inn og ta opp en målrettet anamnese, når varselklokken ringer når det er minutt igjen spør eksaminator deg om å foreslå videre tiltak. Vent på gangen til klokken ringer. Instruks til eksaminator Instruks til eksaminator: Oppgaven er ment å teste studentens evne til å ta opp en målrettet sykehistorie hos en pasient med kronisk hoste og dypsné. Diagnosen KOLS er mest sannsynlig. Du må forsikre deg om at studentnavn stemmer med det du har på skjermen. Studenten er instruert til å hilse på deg og vise ID. Som eksaminator skal du ikke gi noen hint, kun krysse av på poengberegningsskjema. Når klokken ringer når ved ett minutt igjen, skal du stoppe studenten og be han komme med forslag til videre tiltak. Når endelig signal lyder etter 8 minutter, skal du be studenten forlate rommet og gå videre til neste stasjon.

5 Instruks til standardisert pasient Instruks til standardisert pasient Generelt: Du er en 6 år gammel mann og du heter Hans Hansen. Du kommer til fastlegen din i dag på grunn av hoste du har hatt i ca. 4 måneder. Kona di har fått deg til å gå til legen. I tillegg har du hatt økende tungpust omtrent over samme periode. Du har ikke vært til lege med dette før. Du er engstelig for at du kan ha KOLS. Beskrivelse av din hoste: Du har hatt slimhoste, det har blitt gradvis verre. Du hoster nå mange ganger per dag og det kommer opp slim hver gang. Du beregner at det kommer opp ca. kopp slip per dag. Slimet er gulgrønt i farge og seigt i konsistens. Du har ikke hostet opp blod. Hosten er noe verre om morgenen. Beskrivelse av din tungpust: Du har blitt gradvis mer tungpust ca. Siste 4 måneder. Du har ikke tungpust i hvile, men du får symptomer på tungpust ved lett aktivitet. Slik som å gå opp den korte bakken foran huset eller etasje med trapp. Du får tungpusthet ved aktiviteter du tidligere gjorde lett som å spille golf. Du får ikke økt tungpust når du ligger flatt og du sover godt om natten. Du bruker ikke ekstra puter i senga. Det som gjør det bedre er å ta pauser. Du kan ha pipende pust når du er i aktivitet. Beskrivelse av andre symptomer: Du har ikke hatt brystsmerter, feber, nattesvette eller vekttap. Du har ingen hevelser i kroppen. Tidligere sykdommer/sosialt: Du har ingen tidligere sykdommer og du bruker ingen faste medisiner. Du har ingen allergi. Det er ingen med lungesykdom i familien. Du har ikke hatt tuberkulose selv eller vært i kontakt med noen som har hatt dette. Du jobber og har jobbet hele livet som revisor. Tungpusthet og hoste hindrer deg ikke i jobben. Røykehistorikk: Du startet å røyke når du var 9 år gammel og dro i militæret. Du har røyket pakke () hver dag siden da. Du har tenkt på å slutte, men har ikke gjort noe med det enda. OSKE poengberegningsskjema Poengberegningsskjema Stasjon x Anamneseopptak: Hoste og tungpust side I Utfører Innledning Viser ID til eksaminator Spriter hendene Hilser på pasienten og introduserer seg selv Åpner med åpent spørsmål Hoste Varighet, karakter og hyppighet Ekspektorat utseende og mengde Hemoptyse Dyspné Varighet og debut (akutt el gradvis innsettende) Situasjoner Forverrende/lindrende faktorer Ortopné Episoder med pipende pust Assosierte symptomer Vekttap Nattesvette Feber Brystsmerter Ødemer Bakgrunn (tidligere sykdommer, hereditet og yrkesanamnese) Spør om tidligere sykdommer (evt tidl lungesykdommer) Hereditet Yrkesanamnese Allergier Røyking (nok informasjon til å regne pakkeår) Varighet Mengde Medikamenter Hvilke medikamenter (doser ikke nødvendig) Ikke utført el. utført utilfredsstillende Poengberegningsskjema side II NÅR VARSELKLOKKEN LYDER (7 MIN) HOPPER MAN DIREKTE HIT Hvilke videre tiltak vil du gjennomføre Klinisk undersøkelse Spirometri Henvise til rtg thorax Orienterende lab Global skår Utmerket Vel bestått Grenseland Hva må dere tenke på? Som alle andre eksamensformer, krever OSKE trening Gå på forelesningene Se eksempelvideoene Kjøp dere OSKE lærebøker Delta på piloten Kommentar til student Nasjonal delprøve i medisin Prosedyre for de som stryker på eksamen Kanskje våren 7? Tettere oppfølging ved gjentatt stryk

6 Eksamenskoordinator Når kontaktes jeg? Kvalitetssikring Sikre at du består hvis du kan nok Ideer og tanker om kvalitetsforbedring av eksamen Bekymringer knyttet til eksamens evne til å sikre at man kan nok Hvis du ønsker å bidra til kvalitetsforbedring f.eks. hovedoppgave om FVO/OSKE etc? Studentens hjelper Sikre at du stryker hvis du ikke kan nok Ikke klager på enkelte spørsmål/eksamener, dette er eksamenskommisjonen for det aktuelle året som skal ha, men send gjerne kopi av klagebrev til undertegnede Praktiske spørsmål rettes til studieseksjonen