Dato: 27.06.17 Deres ref.: HEK Vår ref.: Gjennomføring av digital eksamen H17 Det matematiske-naturvitenskapelige fakultet har våren 2017 gjennomført digital eksamen i 27 emner, med ca. 4000 kandidater meldt opp før eksamenstart. Besvarelsene er fordelt i ulike antall kommisjoner: ITLED4041: 14 kandidater. 1 kommisjon. MAT1012 midtveis: 120 kandidater. 1 kommisjon. STK1100 midtveis:270 kandidater. 1 kommisjon. KJM1110 midtveis: 235 kandidater. 1 kommisjon. MAT1110 midtveis dag 1: 320 kandidater. 1 kommisjon. FYS1000 midtveis: 290 kandidater. 1 kommisjon. MAT1110 midtveis dag 2: 225 kandidater. 1 kommisjon. INF3121 avsluttende eksamen: 162 kandidater. 1 kommisjon. INF4121 avsluttende eksamen. 43 kandidater. 1 kommisjon. INF4350 avsluttende eksamen. 32 kandidater. 1kommisjon. INF2270 avsluttende eksamen. 160 kandidater. 1 kommisjon. INF2080 avsluttende eksamen. 43 kandidater. 1 kommisjon. INF3280 avsluttende eksamen. 35 kandidater. 1 kommisjon. INF2810 avsluttende eksamen. 240 kandidater. 9 kommisjoner. INF1820 avsluttende eksamen. 74 kandidater. 1 kommisjon. INF3100 avsluttende eksamen. 62 kandidater. 1 kommisjon. INF3510 avsluttende eksamen. 150 kandidater. 1 kommisjon STK1100 avsluttende eksamen. 231 kandidater. 7 kommisjoner. KJM1110 avsluttende eksamen. 200 kandidater. 6 kommisjoner. INF1050 avsluttende eksamen. 350 kandidater. 1 kommisjon. INF1055 avsluttende eksamen. 43 kandidater. 1 kommisjon. KJM3700 avsluttende eksamen. 37 kandidater. 1 kommisjon. INF3380 avsluttende eksamen. 50 kandidater. 1 kommisjon. INF3580 avsluttende eksamen. 17 kandidater. 1 kommisjon. INF4580 avsluttende eksamen. 30 kandidater. 1 kommisjon. INF1010 avsluttende eksamen. 580 kandidater. 1 kommisjon. KJM3900 avsluttende eksamen. 19 kandidater. 1 kommisjon.
Evaluering av eksamensperioden Gradering av avvik nevnt i rapporten Store avvik består av hendelser som fikk direkte og til dels stor konsekvens for kandidaten(e)s eksamensgjennomføring. Mindre avvik består av hendelser som ikke har gitt kandidatene betydelig ulempe under eksamensgjennomføringen, men som er hendelser som man må regne med i en overgangsfase. Generelle bemerkninger Emner blir ikke ført inn hvis det ikke oppsto noen komplikasjoner under eksamensgjennomføringen Tilbakemelding om funksjonsfeil/endringer MNs prosjektgruppe for digital eksamen har gjennom hele semesteret notert og meldt inn både funksjonsfeil og ønsker om funksjonsendring i Inspera-systemet. Ved slutten av vårsemesteret vil fakultetet melde inn user-stories til UiO sentralt.
09. juni INF3510 Avvik: mindre avvik Beskrivelse av problem: Deloppgave 3 i oppgave 21 (Fyll inn tall «Hypervisor has privilege level») sluttet å virke. Melding fra AF kl. 10.15: «Flere kandidater har meldt at de får rød ramme rundt den nederste tekstboksen i oppgave 21 når de skriver inn et negativt tall, og hvis de hopper til en annen oppgave og tilbake er innholdet i tekstboksen slettet. Greit å få sjekket opp dette, godt mulig at det gjelder alle kandidatene uten at de har lagt merke til det (eller ikke har skrevet et negativt tall i den boksen).» Emneansvarlig tok ikke telefonen, selv etter flere forsøk. Han fikk tekstmelding om å ringe tilbake. Emneansvarlig fikk e-post fra instituttet dagen i forveien med særskilt beskjed om å være tilgjengelig på mobiltelefon under hele eksamen. IFI ble kontaktet for å forsøke å tak i ham. Til slutt ble denne meldingen sendt til studentene i systemet, samt lest opp over høyttaleren (avgjørelse tatt av fakultetskoordinator) 10:45: "Vi opplever tekniske problemer med tredje del-spørsmål i oppgave 21 på eksamen i INF3510 ("Hypervisor has privilege level"). Studenter blir bedt om å IKKE svare på denne deloppgaven. Den vil ikke bli hensynstatt i sensuren. Dere skal fortsatt besvare de 2 delspørsmålene over i oppgave 21. Hilsen MNfakultetet"
09. juni KJM1110 Avvik: større avvik Beskrivelse av problem: I noen enkeltoppgaver i oppgavesettet til KJM1110 opplever kandidatene at bildefilene ikke er riktig skalert. Dette er ikke et problem i visningmodus i Inspera, men dukker opp som et problem i SEB spesifikt. Problemet gjelder oppgave 5,8,9 og 12. Hovedsakelig er det oppgave 9 hvor dette er et større problem. Faglærer er informert. Skal gå trøsterunde rundt 16:30. Kan dette være et problem pga. Chem Draw og skalering av importerte bilder fra dette? Løsning: Beskjed sendt til alle kandidater samt lest opp av OI på Sal: «Viktig beskjed til alle kandidater på KJM1110 Det er et teknisk problem med skalering av bildefiler i noen enkeltoppgaver i oppgavesettet til KJM1110. Hvis du har behov for å zoome i oppgavesettet bruk: CTRL + musehjul.» Inspera har meldt ifra om de jobber med en løsning for automatisk skalering av bildefiler.
16. juni INF1010 Avvik: Mindre avvik 14:59 (ett minutt før eksamensslutt): Kandidat 15133 viste frem feilmelding på oppgave 5 «Internal server error». Eksamen ble avsluttet mens IT-vakt ble presentert for problemet. Fakultetskoordinator åpnet opp for sen levering og ba IT-vakt gå inn og ut av SEB og si til kandidaten at han fikk 5 nye minutter å svare på. Kandidat mente han trengte lenger tid og valgte å avslå tilbudet og gå.
Scantron STK1100 1700 ark. 36 feil ved skanning. 6 feil ved opplastning. Fikset uten problemer. 8 av de 1700 arkene havnet hos feil kandidat. Disse feilene krevde en fullstendig gjennomgang av alle innskannende ark. MN-fakultetet brukte 8 arbeidstimer på denne sjekken. Feilen oppstå utelukkende på grunn av feilskravering av kandidat (eksempelvis «0» istedenfor «1»). Denne feilen oppstår fordi de unike kodene til kandidatene generes i stigende rekkefølge internt på hvert emne. Koden blir generert i det øyeblikket kandidaten klikker på «klikk her». En liten feilskravering kan da gjøre at et ark havner i en annen besvarelse. Dette gjør systemet svært sårbart. De unike kodene må randomiseres. Dette bør gjøres ut ifra en «sumsjekk». KJM1110 1607 ark. 57 feil ved skanning. 1 feil ved opplastning. Alle skisseark ble ikke overlevert av eksamensgruppa. Vi trenger et strengt regime for hvordan Scantron-besvarelser overleveres og hvordan de lagres. Dette gjelder både ved MN og UiO. Vi hadde tilsvarende arbeid med fullstendig gjennomgang av alle innskannende ark på KJM1110 som på STK1100. Arbeidet tok fakultetet 6 arbeidstimer.
INF1050/INF1055 En besvarelse fra INF1055 lå blandet sammen med besvarelser fra INF1050. Dette ble oppdaget ved opplastning til aktuell prøve. Viktig at ark fra hvert emne skilles tydelig ut i egne konvolutter. IFI generelt Ark har, i likhet med STK1100 og KJM1110, havnet hos feil kandidat. Problemet er ikke like omfattende som på overnevnte emner. Dette antar vi er grunnet mindre omfang av Scantron-oppgaver per prøve. Fakultetet har i tillegg fått tilbakemelding om enkelte problemer med skisseark som ikke «følger med» i generering av PDF-filer av besvarelser til kandidater. Konklusjon MN kan ikke bruke Scantron frem til randomiseringsløsningen er på plass. Scantron er derfor satt på karantenelisten til fakultetet frem til dette er utbedret av Inspera. Ny løsning skal testes før Scantron blir «friskmeldt». Rutiner for Scantron må utarbeides ytterligere. Konteeksamen fra vårens eksamener kan gjennomføres med Scantron, hvis ønskelig fra faglærer side. Dette krever en tett oppfølgning av aktuelle skisseark fra fakultetets side.
Sophus Bugge (INF1010 og KJM3900) 16.06.17 MN inspiserte eksamenslokalene i Sophus Bugge den 15.06. Det ble her oppdaget at alle PC-plasser hadde blitt telt med som eksamensplasser. Dette var ikke MN informert om. Det reelle antallet eksamensplasser antas å være ca. halvparten av antall plasser som ble brukt til eksamen 16.06 (ca. 130 ble brukt). MN doblet vaktkorpset og snudde PC-skjermer slik at kandidatene ikke naturlig skulle se på hverandres PC-skjermer. I tillegg ble det utarbeidet informasjon om dette i OI-talen. Løsningen fungerte OK, men UiO bør vurdere å kun bruke halvparten av PC-plassen for eksamensgjennomføring i fremtiden. Arbeidet med klargjøring av Sophus Bugge var naturligvis tidkrevende. 10 arbeidstimer gikk med til å gjennomføre fysiske endringer i lokalene, skaffe ekstra vaktkorps, gjør klar før eksamenstart o.l. På PC-stue i underetasje dukket hverken overinspektør eller assistent opp til oppsatt vakt. MN fikk ikke informasjon om at dette kunne skje. Fakultetet måtte da flytte en assistent fra en sal i 2. et. til PC-stuen. S2 må utarbeide bedre rutiner for kontroll av oppmøte for OI og assistenter. Mangel på OI og assistent er særlig sårbart med campus-eksamen og emner som krever en del ressurser (Scantron).