UNIVERSITETET I OSLO. Gjennomføring av digital eksamen V16. Dato: Vår ref.:

Transkript

1 Dato: Deres ref.: HEK Vår ref.: Gjennomføring av digital eksamen V16 Ved Det matematiske-naturvitenskapelige fakultet har det våren 2016 blitt gjennomført digital eksamen i 7 emner, med totalt 415 kandidater som har levert besvarelser. Besvarelsene er fordelt slik: FRM1040: 60 besvarelser. 1 kommisjon. ITLED4041: 14 besvarelser. 1 kommisjon. FRM5820: 12 besvarelser. 1 kommisjon. FRM9820: 2 besvarelser. 1 kommisjon. INF2270: 146 besvarelser. 1 kommisjon. KJM3900: 7 besvarelser. 1 kommisjon. INF3510: 140 besvarelser. 1 kommisjon. KJM3700: 34 besvarelser. 1 kommisjon. FRM1040: 12 besvarelser. 1 kommisjon (konteeksamen ).

2 Evaluering av eksamensperioden Gradering av avvik nevnt i rapporten Store avvik består av hendelser som fikk direkte og til dels stor konsekvens for kandidaten(e)s eksamensgjennomføring. består av hendelser som ikke har gitt kandidatene betydelig ulempe under eksamensgjennomføringen, men som er hendelser som man må regne med i en overgangsfase. Generelle bemerkninger Rollebytte i kontrollrom For å styrke fakultetets kompetanse i å utføre de ulike rollene/arbeidsoppgavene som følger med avvikling av digital eksamen, har vi bevisst valgt å la enkeltpersoner bytte roller i kontrollrommet under eksamenavviklingen. På sikt vil det faktum at flere ansatte behersker ulike roller, gjøre fakultetet mindre sårbart for driftsstans i situasjoner med sykdom/fravær o.l. IT-vakter utenfor eksamenslokalet under eksamen På emnene INF2270, KJM3900, INF3510 og KJM3700 ble det gjennomført en ny rutine der IT-vaktene ble plassert utenfor eksamenslokalet. Ved IT-henvendelser under eksamen hentet en eksamensvakt IT-vakt inn i lokalet. IT-vaktene var inne i eksamenslokalet ved oppstart og under innlevering (siste time), men satt ellers i et annet rom. I de situasjonene der mange av kandidatene leverte på et tidlig tidspunkt, ble IT-vakter hentet inn som innleveringsvakter tidligere. MN har hatt 1 IT-vakt per 30 kandidater, og vi har alltid rundet oppover. Vi har hatt 2 IT-vakter som minste bemanning. Tilbakemelding om funksjonsfeil/endringer MNs prosjektgruppe for digital eksamen har gjennom hele semesteret notert og meldt inn både funksjonsfeil og ønsker om funksjonsendring i Inspera-systemet. Prosessen har ført til at vi midlertidig må stoppe bruken av 3 oppgavetyper til systemfeil er er utbedret hos leverandøren. Innmeldingen skjer gjennom en rt-kø til Avdeling for fagstøtte ved UiO (se vedlegg 1 for detaljer). Generelt kan det kommenteres at svarene vi har fått fra Inspera tyder på at de ikke alltid forstår problemstillingene vi legger frem fullt ut. Vi etterlyser rutiner/fora der fakultet/uio/leverandør kan gjennomgå slik problematikk på en mer grundig måte.

3 14. april FRM1040 Ingen avvik. Med. Fak. var med som observatører. 20. april ITLED4041 Hendelse: Ca gikk lyset i deler av lokalet og var borte i ca. 10 minutter. Da sikring ble byttet startet to stasjonære PCer på nytt. Problem: Sikring hadde gått. EA ved OJD IFI ble varslet. Konsekvens: Kandidater ble ikke hindret fra å besvare eksamensoppgaven da lyset gikk. Ved omstart av 2 maskiner måtte hendelsespassord brukes og kandidatene fikk 10 minutter tilleggstid. 04. mai FRM5820 / FRM9820 Stort avvik Hendelse: Feil i dra- og slippoppgave for 2 kandidater. Kandidatenes svaralternativer ble borte på skjermen (detaljer i vedlegg 1). Problem: Systemfeil hos Inspera. Problemet er meldt og står per dags dato uløst. Konsekvens/løsning: Faglærer trykket opp den aktuelle oppgaven på papir og lot kandidatene svare på oppgaven et annet sted i det digitale oppgavesettet. Alle studenter ble informert verbalt i plenum. Én kandidat hadde levert før problemet ble oppdaget, men faglærer kontrollerte at gjeldende kandidat hadde fått svart tilfredsstillende, Stort avvik Hendelse: Faglærer ga kontrollrom beskjed om at person på enerom hadde fått samme informasjon som de andre kandidatene om feilen over (dra/slipp-oppgave). Dette har ikke blitt. Problem/løsning: Beskjed som blir gitt muntlig skal også bli gitt til alle kandidater gjennom beskjedsystemet i monitorvinduet til Inspera. Konsekvens: Besvarelse hos kandidat på enerom ser ut til å ha gått OK.

4 01. juni - INF2270 Hendelse: Enkelte kandidater hadde problem med at tastaturspråk endret seg under eksamen. Problem: Systemfeil enten forårsaket av SEB eller Insperas system. Ikke mulig å avdekke utfra logg. Konsekvens/løsning: Kandidat måtte tilkalle IT-vakt for å gå ut av SEB og logge seg inn igjen. Hendelse: Oppgavetekst trengte presisering etter studenttilbakemelding Problem: Oppgaveteksten var ikke tydelig nok og kunne misforståes. Konsekvens/løsning: Kandidater fikk opplest presisering av tekst over høyttaleranlegg i tillegg til at de fikk skriftlig beskjed gjennom meldingssystemet i Inspera. 08. juni - INF3510 UiO-sommerskole observerte ved oppstart. Hendelse: 5-6 kandidater fikk ikke avsluttet SEB. Bildet frøs. Løsning: IT-vakt gjorde tvungen avslutning og sørget så for at SEB ble avsluttet på riktig måte. Dette sikrer at vi unngår eventuell registry-problematikk. Hendelse: Kandidat ønsket å vise utregning i en oppgave. Problem: Faglærer har satt strenge tekniske restriksjoner på hvor mye kandidaten kan svare. kalkulator under oppsyn. ble kontaktet og fant den løsningen han mente var mest

5 hensiktsmessig. Fakultetskoordinator stilte også spørsmål ved om dette kunne sees som urettferdig for andre kandidater. Faglærer mente dette ikke var noe problem. Løsning: Faglærer ble kontaktet og valgte å tilby kandidat tilgang på kalkulator under oppsyn av IT-vakt. Hendelse: Mistanke om fusk Problem: Kandidat hadde et så spesielt tastatur at IT-vakt ikke fikk tastet hendelsespassord ved offline-problemer. IT-vakt ga kandidat hendelsespassord. Kandidat ble informert om at han ble observert og ikke kunne bruke passord uten oppsyn. IT-koordinator mener han har sett at kandidat har vært ute av SEB uten oppsyn. Dette synes ikke i logg. Løsning: Sensorer har fått beskjed og er oppmerksom ved sensuring av denne kandidaten. Ved mistanke om juks melder sensor tilbake til eksamensgruppen ved fakultetet. 08. juni - KJM3900 Ingen avvik. UiO-sommerskole observerte ved oppstart. 13. juni - KJM3700 Hendelse: En kandidat ønsket å svare blankt på oppgave der dette ikke er mulig. Løsning: Felles beskjed sendt ut via Insperasystemet. Kandidater blir bedt om å presisere hva de ev. ønsker å nulle ut. Beskjed om hvor presiseringen skal skrives. Faglærer ønsket ikke at det skulle gis plenumsbeskjed muntlig. Store avvik Hendelse: Kandidat fikk ikke nynorsk versjon av eksamenssettet selv om søknad var sendt. Problem: Ikke mulig å generere ny språkfane i Inspera. Samme problem H15 (se tidligere rapport) Løsning: Kandidat fikk bokmålsversjon. Feil meldt til UiO/Inspera.

6 10. august FRM1040 (konteeksamen) Ingen avvik.

7 Vedlegg 1 UNIVERSITETET Sendt inn i RT-kø (4/5 2016) Kort beskrivelse: Kandidat har plassert alle dradeler inn i ulike slippområder. Dog har ikke «Abatacept» og «Ustekinumat» blitt plassert ordentlig inne i et draområde. Dette gjør at kandidaten ikke har fått minuspoeng for eventuelt feil svar, eller plusspoeng for eventuelt riktig svar. «Abatacept» skal for riktig svar plasseres i CTLA4 (området som «Abatacept» tilnærmet ligger oppå). Oppgaven er satt opp med «snap-områder» og draområdene skal derfor «klikke inn» i hvert målmolekyl når man drar legemiddelet over. Dette har tydeligvis ikke blitt gjort på «Abatacept» og «Ustekinumat». «Ustekinumat» skal for øvrig ved korrekt svar plasseres i «IL-12», noe den er i nærheten av. Dog er «Ustekinumat» nærmere «Il-6» som er feil svar. Bildet under viser viser problem med tekst som forsvinner i en av «dratekstene».

8 Sendt inn i RT-kø (4/5 2016) - Problemer med drag and drop-oppgave: 2 kandidater meldte at de hadde problemer med oppgave 16 (drag and drop-oppgave). Problemet besto i at dra-boksene forsvant når kandidatene skulle dra dem opp i slipp-boksene. Det var til sammen 12 svaralternativ som skulle fordeles på 8 slipp-bokser. Løsning: Faglærer (Tor Gjøen og Rigmor Solberg) ønsket å løse problemet ved å la kandidatene svare på oppgave 16 nederst inne i langsvarsoppgave 15. Faglærer printet raskt opp en instruksjon på papir om dette (oppgave 16) som hun delte ut til alle. Alle fikk 10 minutter tilleggstid. Én av kandidatene hadde på dette tidspunktet levert, men det var på forhånd dobbeltsjekket at akkurat denne kandidaten hadde fått oppgave 16 til å fungere tilfredsstillende. Én kandidat leverte mens beskjeden ble gitt, men vedkommende leverte oppgave 16 på papir i tillegg. Papiret er merket og overlevert rette person på Farmasøytisk institutt. Kontrollrommet/prosjektgruppa var enig i faglærernes løsning. I og med at svaralternativ forsvinner, vil det ikke være mulig å vite om kandidatene faktisk har hatt tilgang på alle de dra-boksene de skal ha hatt tilgang på. Derfor tryggest å ha dobbelløsning for akkurat denne oppgaven. - Problemer med visning av insident ekstratid: Vi ga 10 minutter tilleggstid til kandidat 3 og 8 klokka Da vi skulle gi ALLE kandidater 10 minutter tilleggstid klokka (som følge av hendelsen over), var opprinnelig insident tilleggstid hos kandidat 3 og 8 forsvunnet., og de stod med insident tilleggstid = 0. Vi ga kandidat 3 og 8 10 nye minutter i tillegg til enda 10 minutter slik at de stod på 20 minutter totalt. Men det er altså teoretisk mulig at de har fått 30 minutter tilleggstid. Sendt inn i RT-kø (9/5 2016) - Om du deaktiverer en prøve, blir terskelverdiene nullstilt (uansett om du endrer noe eller ikke før du igjen aktiverer prøven). Dette er for så vidt logisk (om man endrer poengsum i en oppgave), men det bør uansett komme opp melding om at det skjer. - Det er ikke mulig å sortere skikkelig etter kandidat i monitoreringsvinduet. Så vidt jeg forstår, sorterer vinduet kandidnummerne alfabetisk, ikke numerisk. - For ansatte med både admin.- og studentkonto i Inspera blir det kluss ved innlogging i prod.-basen. Brukerprofilen (f.eks. admin-brukeren) ligger igjen i cachen i browseren slik at det står «Ikke tilgang» når du logger inn som student. Dette begynner å bli et ganske stort problem når man er avhengig av å komme inn i systemet med ulike konti fra ulike maskiner. - Insperas prod-base klarer ikke å skille mellom prøver satt opp i FS-prod og FS-demo. Ikke mulig å sette opp en FS-prøve i Insperas prod-base om prøven er satt opp i demo. Det står «Already synced» - Oppgavetype «Sammensatt oppgave»: Man kan få minuspoeng selv om man setter 0 som minste mulige sum. Test selv i oppgaven "Flervalg sammensatt" i «Testsett»:

9 4083/lang-no_no Velg feil på alle tre (eks. «Alternativ 2», «5», «x») og du får -2 poeng. Denne feilen er Allerede meldt direkte til Inspera av Carl Henrik Gørbitz. Det er rett og slett en ganske alvorlig feil som i verste fall kan gi en kandidat feil karakter. - Alle UiOs lånemaskiner bør få fjernet SEB-ikonet fra skiverbordet så ikke studentene blir fristet til å åpne SEB den veien. - Det bør være informasjon på alle demo-/testeksamener at man må levere for å komme ut av SEB. Om ikke, risikerer vi at studentene slår av maskinene sine med SEB åpen og får følgefeil Sendt inn til RT-kø 10/ Hei igjen Med tanke på drag and drop-problematikken vi har opplevd i det siste: Minner om rapport fra Carl Henrik om KJM1100 H15 som jeg sendte inn tidligere i år. Det viste seg at det hadde skjedd feil i automatrettingen i oppgave 16 og 17 for flere av kandidatene (vedlegg). Carl Henrik oppdaget dette under sensur og overstyrte. Både oppgave 16 og 17 fra KJM1100 er drag and drop: Det er jo interessant å se Carl Henriks rapporten igjen i lys av problematikken fra FRM5820/9820 onsdag forrige uke. Nå har vi oppdaget så mye feil med oppgavetypen at vi nok ikke tør å bruke den igjen før det er gjort endringer. Bør/kan vi foreslå at drag and drop-oppgavetypen tas ut av playeren til den er fikset hos Inspera? Kanskje ikke nå midt i semesteret, men før H16? Sendt inn til RT-kø (14/5 2016) - Hvis en person går inn i oppgavebanken og redigerer en oppgave som er lagt inn i oppgavesettet vil da oppgaven i oppgavesettet automatisk redigeres slik at den lik "originalen" som ligger i oppgavebanken? Jeg regner med at det er slik det fungerer, men etter tilbakemelding fra en faglærer må jeg neste forsikre meg. Videre er det slik at når en person går inn i oppgavesettet kan man få denne beskjeden (Se vedlagt bilde). Hva skjer hvis man i oppgavesettet velger å "redigere nåværende" når faglærer har vært inne og korrigert oppgaven fra oppgavebanken? Lages det et duplikat av oppgaven ett sted i Inspera? Vil den "nye" oppgaven da ikke bli lagt inn i oppgavesettet siden man har valgt å trykke på "redigere nåværende"? - Hvis en person er inne i et gitt oppgavesett får andre personer som dette settet er delt med beskjed om at det ikke kan redigeres fordi person "XXX" er inne i det. Hva skjer hvis en annen person enn den som er inne i oppgavesettet går inn i oppgavene som ligger i oppgavesettet via oppgavebanken? Har man anledning til å redigere oppgavene fra oppgavebanken selv om noen er inne i oppgavesettet? Hvis dette er

10 mulig; hva skjer hvis to personer da er inne i samme oppgave (gjennom oppgavesett og oppgavebank) og gjør endringer samtidig? - En del faglærere lager oppgaver med inndeling av typen 9A, 9B osv. Dette er i seg selv ikke noe problem, men på oversikten over antall oppgaver i et oppgavesett tas det ikke høyde det for denne typen inndelinger. Et oppgavesett som inneholder 9A og 9B + 11A og 11B (med totalt 12 oppgaver) vil i praksis ha 14 oppgaver i oversiktene som studentene kan bla i. Dette vil, under en eksamen, kunne virke forvirrende for studentene. Dette er i tillegg potensielt forvirrende for sensor som ser at det i resultatlisten er flere oppgaver enn det ved første øyekast er i selve oppgavesettet. Per nå per vi derfor faglærer om å ikke lage A-B-C-oppgaver, men at de heller legger oppgaver som "hører sammen" etter hverandre. Ønsket funksjonalitet vil da være: Mulighet for å kunne dele en oppgave inn i "underoppgaver" med inndeling "A" B" "C". Gjerne at dette er en funksjonalitet gjennom en drop-down meny i oppgaven. Dette vil da kreve at linjen med alle oppgavene i settet også viser oppgaver som er delt som 9A, 9B, 10, 11A, 11B osv. Sendt til RT-kø (15/6 2016) - Meldinger til alle-funksjonen: Disse meldingene spretter opp på skjermen hos studentene rett etter utsending og lagrer seg i «Innboksen» til studentene. Studentene har altså en innboks inne i SEB. Denne innboksen finner studentene ved å trykke på bjella øverst i høyre hjørne. Problemet er at om studenter er ute av SEB mens denne meldingen blir sendt, får de ikke meldingen. Innboksen er tom når de kommer inn igjen (etter at IT-vakt har tatt dem inn via hendelsespassord). Midlertid får de se meldingen(e) som er sendt i løpet av de 2-3 trinnene det tar å logge inn i SEB igjen (altså når de logger inn i SEB igjen sammen med IT-vakt). Når de er inne, er ikke meldingene der lenger. Problemet gjelder også for studenter som kommer for sent, og dette skaper enda et potensielt problem: Om studenten logger på utenfor lokalet, vil vedkommende kunne få tilgang på faglig informasjon sendt ut via fellesmeldingsystemet. - om man i monitor-vinduet skal gi tilleggstid til kandidat som allerede HAR tilleggstid, må man selv regne ut totalen og gi den. Ellers ender kandidat opp med kun siste gitte tilleggstid. - Flere av faglærerne ønsker et loddrett grensesnitt i Inspera heller enn et vannrett. De ønsker også mulighet for å undertrykke/utvide seksjoner. P denne måten får studenten mer oversikt, og det blir enklere å dele inn eksamen etter temaer/fagområder.

11 - Sammensatt oppgave: Om man setter inn «Flervalg ett svar» (nedtrekk) sammen med andre oppgavetyper i denne kombo-løsningen, registrerer ikke nedtrekksdelen poeng. JF oppgave 3-4 i oppgavesettet til KJM3900: Se forøvrig tidligere innmeldte feilmelding om «Sammensatt oppgave». - Om en kandidat er offline, vil ikke kontrollrom eller logg fange opp at kandidaten går ut av SEB (f.eks. gjennom svenskeknappen). Systemet er avhengig av at kandidaten er online for å notere seg og varsle om dette. Et sikkerhetshull. - SEB/Inspera endrer tastaturoppsett fra norsk til engelsk eller omvendt. Ikke mulig å identifisere eksakt hvilken instans som gjør dette. - Vi trenger tilgang til formelpalett også i oppgavetypen dokument. - Vi opplever feil ved oversetting til nynorsk. Vi måtte droppe oversetting også for oppgavesettet til KJM3700. Ikke mulig å legge til Språkfane for nynorsk. Jf. rapport om BIO2150 innsendt på e-post til PG, deriblant Johanne Smestad, 2/