Hvordan kan vi lage gode eksamener?

Transkript

1 Hvordan kan vi lage gode eksamener? Stefan Schauber Centre for Educational Measurement (CEMO) & Helsevitenskapelig utdanningssenter 1 / 33

2 «Nøyaktighet og presisjon» 2 / 33

3 Presisjon «Presisjon, i vitenskapen betegnelse for i hvilken grad en serie gjentatte målinger av det samme forholdet samler seg rundt samme verdi. Målingen har stor presisjon når man gang etter gang treffer samme verdi. Det er viktig å merke seg at dette ikke betyr at man treffer den sanne verdien.» ( 3 / 33

4 Nøyaktighet «Nøyaktighet, i hvilken grad en måling eller en serie målinger gir uttrykk for den egentlig sanne verdien av det fenomenet man ønsker å vite noe om. Målingen har stor nøyaktighet når man er i stand til å treffe nær den sanne verdien» ( 4 / 33

5 Presisjon uten nøyaktighet 5 / 33

6 Nøyaktig, ikke presis 6 / 33

7 Presis og nøyaktig 7 / 33

8 Måling av overvekt/fedme, midjemål Relativ risiko for diabetes type 2, høyt blodtrykk og hjerte- og karsykdom i forhold til måling av KMI og livvidde: KMI midjemål < 102 midjemål 102 Undervekt 18,5 Ikke økt Ikke økt Normalvekt 18,5-24,9 Ikke økt Noe økt Overvekt 25,0-29,9 Noe økt Høyt Fedme grad I 30,0-34,9 Høyt Veldig høyt Fedme grad II 35,0-39,9 Veldig høyt Ekstremt høyt Fedme grad III 40 Ekstremt høyt Ekstremt høyt (Siteret fra Måling i en medisinske kontekst. 8 / 33

9 Eksempel: KMI 24,9 og midjemål 101,9 cm Relativ risiko for diabetes type 2, høyt blodtrykk og hjerte- og karsykdom i forhold til måling av KMI og livvidde: KMI midjemål < 102 midjemål 102 Undervekt 18,5 Ikke økt Ikke økt Normalvekt 18,5-24,9 Ikke økt Noe økt Overvekt 25,0-29,9 Noe økt Høyt Fedme grad I 30,0-34,9 Høyt Veldig høyt Fedme grad II 35,0-39,9 Veldig høyt Ekstremt høyt Fedme grad III 40 Ekstremt høyt Ekstremt høyt (Siteret fra Måling i en medisinske kontekst. 9 / 33

10 Eksempel: KMI 25,1 og midjemål 102,1 cm Relativ risiko for diabetes type 2, høyt blodtrykk og hjerte- og karsykdom i forhold til måling av KMI og livvidde: KMI midjemål < 102 midjemål 102 Undervekt 18,5 Ikke økt Ikke økt Normalvekt 18,5-24,9 Ikke økt Noe økt Overvekt 25,0-29,9 Noe økt Høyt Fedme grad I 30,0-34,9 Høyt Veldig høyt Fedme grad II 35,0-39,9 Veldig høyt Ekstremt høyt Fedme grad III 40 Ekstremt høyt Ekstremt høyt (Siteret fra Måling i en medisinske kontekst. 10 / 33

11 Høyt KMI: 28; Midjemål: 110 Relativ Risiko Ikke økt KMI: 20; Midjemål: 90 KMI: 24,9 Midjemål: 101 KMI: 25 Midjemål: 102 KMI * midjemål Måling i en medisinske kontekst. 11 / 33

12 Høyt KMI: 28; Midjemål: 110 Relativ Risiko Ikke økt KMI: 20; Midjemål: 90 KMI: 24,9 Midjemål: 101 KMI: 25 Midjemål: 102 KMI * midjemål Måling i en medisinske kontekst. 12 / 33

13 Presisjon av en eksamen: Hvor sikker er pass/fail avgjørelser? Presisjon eller «Reliabilitet» 13 / 33

14 Fire resultater, pass score er 65% PASS clear pass pass score (65%) clear fail FAIL 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentage Correct Score Presisjon eller «Reliabilitet» 14 / 33

15 Hvor sikker er vi at de strøk/bestod virkelig? PASS pass? pass score (65%) FAIL fail? 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentage Correct Score Presisjon eller «Reliabilitet» 15 / 33

16 Usikkerheten ved «pass score» PASS pass? fail? FAIL 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentage Correct Score Presisjon eller «Reliabilitet» 16 / 33

17 Hvor stor er (u)sikkerheten? En simulasjon med 50 spørsmål 0 % Confidence for Dichotomous Decision 80 % 20% correct; 100% confidence 62% correct; 25% confidence 68% correct; 47% confidence 98% correct; 100% confidence 90 % 95 % Percentage Correct Score Presisjon eller «Reliabilitet» 17 / 33

18 Eksempel: MED4400 EKSAMEN Confidence for Dichotomous Decision 0 % 80 % hele eksamen 60.2% 70.1% (90 % sikkerhet) 90 % 95 % Percentage Correct Score Presisjon eller «Reliabilitet» 18 / 33

19 Eksempel: MED4400 EKSAMEN Confidence for Dichotomous Decision 0 % 80 % hele eksamen 'Benefit of the doubt': Alle består, som stryker ikke med en 90% sikkerhet 90 % 95 % Percentage Correct Score Presisjon eller «Reliabilitet» 19 / 33

20 Eksempel: MED4400 EKSAMEN Confidence for Dichotomous Decision 0 % 80 % hele eksamen 'Patient safety first': Alle stryker som består ikke med en 90% sikkerhet 90 % 95 % Percentage Correct Score Presisjon eller «Reliabilitet» 20 / 33

21 Eksempel: MED4400 EKSAMEN Confidence for Dichotomous Decision 0 % 80 % hele eksamen 'Kontinuasjon': Vi trenger mer informasjon om disse studentene 90 % 95 % Percentage Correct Score Presisjon eller «Reliabilitet» 21 / 33

22 Presisjon og «indre skranker» Confidence for Dichotomous Decision 0 % 80 % 90 % 95 % hele eksamen 60.2% 70.1% (90 % sikkerhet) nevrologi 55.2% 75% (90 % sikkerhet) ønh 54.6% 77.8% (90 % sikkerhet) øye 56.9% 74.1% (90 % sikkerhet) Percentage Correct Score Presisjon eller «Reliabilitet» 22 / 33

23 Presisjon og «indre skranker» Confidence for Dichotomous Decision 0 % 80 % 90 % 95 % hele eksamen nevrologi ønh øye Percentage Correct Score Klarte hele eksamen men stryker i (minst) et delfag Presisjon eller «Reliabilitet» 23 / 33

24 Presisjon og «indre skranker» Confidence for Dichotomous Decision 0 % 80 % 90 % 95 % hele eksamen 90.7% correct 100% confidence nevrologi 83.3% correct 100% confidence ønh 64.8% correct 11% confidence øye 94.3% correct 100% confidence Percentage Correct Score Beste som klarte hele eksamen og stryker i (minst) et delfag Presisjon eller «Reliabilitet» 24 / 33

25 Presisjon og «indre skranker» Confidence for Dichotomous Decision 0 % 80 % 90 % 95 % hele eksamen 70.4% correct 93% confidence nevrologi 90.6% correct 100% confidence ønh 56.5% correct 83% confidence øye 75.9% correct 95% confidence Percentage Correct Score Lavest score i et delfag Presisjon eller «Reliabilitet» 25 / 33

26 Nøyaktighet og presisjon av en gradert karakterskala Nøyaktighet 26 / 33

27 Presisjon: Samme problemet som før, men fem ganger... 0 % Confidence for Dichotomous Decision 80 % Indifferensområde (50 spørsmål) 90 % 95 % Percentage Correct Score Nøyaktighet 27 / 33

28 Jo flere spørsmål, jo høyre presisjon 0 % Confidence for Dichotomous Decision 80 % Indifferensområde (100 spørsmål) 90 % 95 % Percentage Correct Score Nøyaktighet 28 / 33

29 Jo flere spørsmål, desto høyre presisjon 0 % Confidence for Dichotomous Decision 80 % Indifferensområde (500 spørsmål) 90 % 95 % Percentage Correct Score Nøyaktighet 29 / 33

30 Nøyaktigheit: «Blueprint» for (3 * 4 * 3 =) 36 spørsmål n=3 n=3 Sykdom n=3 Dia Nød Ter Års n=3 A B «Kompetanse» C Nøyaktighet 30 / 33

31 Informasjon fra forskjellige nivåer (F. eks. basiskunnskap - viderekommende - fremragende) Nivå Sykdom Bas Dia Nød Ter Års B C Vid Fre «Kompetanse» Nøyaktighet 31 / 33

32 Sammendrag Presisjon: Hvordan skal man omgå med usikkerhet? Nøyaktighet: Tilsvarer informasjoner man få til følgene man trekker av målinger? Nøyaktighet 32 / 33

33 «Takk for oppmerksomheten» Nøyaktighet 33 / 33