Nye muligheter med digital eksamen? Per Grøttum Seksjon for medisinsk informatikk

Transkript

1 Nye muligheter med digital eksamen? Per Grøttum Seksjon for medisinsk informatikk

2 Nye muligheter med digital eksamen? Per Grøttum Seksjon for medisinsk informatikk

3 IT arbeidshest og sekretær: Big data Automagi IT interaktivitet og kunstig intelligens: Resonneringsrekker uten følgefeil Adaptive tester IT regnekraft: Beregningsorientert eksamen IT - multimedialt: Lyd Video

4 Kognitiv dybde Big data Skape Evaluere Analysere Læringsmål Faglig bredde Anvende Forstå Huske

5 Kognitiv dybde Big data Tradisjonelle, store essays Skape Evaluere Analysere Anvende Forstå Faglig bredde Huske

6 Kognitiv dybde Big data = økt validitet og reliabilitet Tett samplede, fokuserte spørsmål Skape Evaluere Analysere Anvende Forstå Faglig bredde Huske

7 Individuell automa(t/g)isk tilbakemelding Omid Mirmotahari Studielaben Institutt for informatikk Studenter ønsker tilbakemeldinger etter eksamen med spesifikke, konkrete råd som hjelper de videre - formidlet i en personlig form. Bedømmelsen av en eksamensoppgave bygger på et stabilt og begrenset sett av kriterier fagspesifikke og generelle. Løsning: utvikle en kodebok for de viktigste kriteriene under sensuren kode alle besvarelser i henhold til kodeboken kompilere maskinelt en individuell, detaljert tilbakemelding basert på kodingen

8 Individuell automa(t/g)isk tilbakemelding Eksempel: Tilbakemelding om generelle evner med betydning for framtidige studier og eksamener. Kategorier Nivå Ryddighet Skrift og språk Forståelse Kritisk evne... Bra Ok - --

9 Individuell automa(t/g)isk tilbakemelding -- - Det å levere fra seg en god besvarelse betyr også at strukturen på oppgavene kommer i rekkefølge og besvarelsen er ryddig og oversiktlig. I din besvarelse er dette veldig svakt og du har mye å jobbe med på dette området. Jeg vil anbefale deg... Enkelte av oppgavene i årets eksamen har vært utformet slik du må ta noen kritiske vurderinger av svarene dine. Det er lagt opp til at du på eget initiativ skal være kritisk og dele refleksjonen med sensor. På dette punktet har du delvis vist kritiske evner, men har forbedringspotensiale...

10 Resonneringsrekker uten følgefeil kasuistikker En 45 år gammel man klager over... Hva er din tentative diagnose? Hvilke u.s. vil du gjøre? Hvilke u.s. vil du gjøre? Hvilke u.s. vil du gjøre? Følgefeil! Følgefeil!

11 Resonneringsrekker uten følgefeil kasuistikker En 45 år gammel man klager over... Hva er din tentative diagnose? Fasit Fasit Hvilke u.s. vil du gjøre? Fasit

12 Sannsynlighet for riktig svar Adaptive tester Mål: mer presise karakterer Studentens evner/dyktighet

13 Sannsynlighet for riktig svar Adaptive tester Mål: mer presise karakterer Dårlig diskriminering Dårlig diskriminering Studentens evner/dyktighet Skiller mellomgode studenter godt

14 Adaptive tester Første spørsmål er tilpasset gjennomsnittsstudenten

15 Adaptive tester Riktig svar: Neste spørsmål skal skille studenter på et høyere evnenivå.

16 Adaptive tester Feil svar: Neste spørsmål skal skille studenter på et lavere evnenivå.

17 Adaptive tester Muirne Paap Stefan Schauber

18 Beregningsorientert eksamen Eksamenssystemet utstyres med beregningsmaskineri og et høynivå grensesnitt optimalisert for oppgavene, eksempelvis etter modell av Jupyter Notebook

19 Beregningsorientert eksamen - eksempel Tallene nedenfor viser antall timer ekstra søvn hos pasienter behandlet med en konvensjonell (A) og en ny type sovemedisin (B). Formuler en nullhypotese om den konvensjonelle medisinens virkning, test hypotesen og konkluder: A B

20 Beregningsorientert eksamen - eksempel Tallene nedenfor viser antall timer ekstra søvn hos pasienter behandlet med en konvensjonell (A) og en ny type sovemedisin (B). Formuler en nullhypotese om den konvensjonelle medisinens virkning, test hypotesen og konkluder: A B

21 Beregningsorientert eksamen - eksempel Tallene nedenfor viser antall timer ekstra søvn hos pasienter behandlet med en konvensjonell (A) og en ny type sovemedisin (B). Formuler en nullhypotese om den konvensjonelle medisinens virkning, test hypotesen og konkluder: A B Test gruppe: A Hypotetisk gjennomsnitt: 0.000

22 Beregningsorientert eksamen - eksempel Tallene nedenfor viser antall timer ekstra søvn hos pasienter behandlet med en konvensjonell (A) og en ny type sovemedisin (B). Formuler en nullhypotese om den konvensjonelle medisinens virkning, test hypotesen og konkluder: A B Test gruppe: A Hypotetisk gjennomsnitt: Analysesvar: Målt gjennomsnitt = % konfidens interval fra til1.989 t = df = 9 standard error of difference = p (to-halet) =

23 Lyd Hans Zeiner-Henriksen Institutt for musikkvitenskap

24 Video

25 Formativ evaluering: same s... new wrapping

26 En høyere enhet? Formativ evaluering Evaluering Summativ evaluering

27 Det er mest et spørsmål om entusiasme og kreativitet Tiden er inne!