Universitetet i Oslo Avdeling for studieadministrasjon. Rapport for pilot på klagesensur i Inspera Assessment

Transkript

1 Universitetet i Oslo Avdeling for studieadministrasjon Notat Rapport for pilot på klagesensur i Inspera Assessment Siste endret: 2. mai 2019 Utarbeidet av: Petter Bogen Sydhagen Emner i piloten: ENG1506 (7 klager), IN2090 (13 klager), IN1050 (12 klager), SVMET1010 (3 klager), JUS4122 (10 klager), JUS5134 (11 klager) Oppsummering Totalt sett var brukerne fornøyd med løsningen, og ønsket å ta den i bruk. Til tross for dette, anbefales det å vente med implementering av løsningen. Løsningen, slik den er i dag, har flere mangler og feil. Løsningen anses som spesielt sårbar inntil følgende feil er rettet: - Ordinær kommisjon har ikke tilgang til kandidater i klagekommisjon (planlagt løst 12. april, UTSATT) - Feil ved bruk av delt poenggiving i ordinær vurdering (planlagt løst 5. juli) Som avvik 1. avdekket (beskrevet nedenfor), er også integrasjonen mellom FS og Inspera sårbar når det kommer til klagebehandling. Selv om det er sannsynlig at omfanget reduseres ved aktivering av automatisk synkronisering av prøver etter fullført ordinær vurdering (se nærmere beskrivelse i vedlegg 1), er det grunn til å tro at dette vil bli en gjengående feil. I slike situasjoner kreves det innsikt i hvordan integrasjonen fungerer for å forstå årsaken til problemet, noe som ikke kan forventes av sluttbrukerne. Det bør derfor inngås dialog med leverandør av integrasjonen (Unit) angående potensielle forbedringer. Forutsatt at de to overnevnte feilene løses, vurderes det dit hen at løsningen vil være klar til implementering høsten Beskrivelse av piloten Inspera Assessment lanserte 2. november 2018 første versjon av en ny løsning for behandling av klagesensur. Løsningen henter informasjon om klager og klagekommisjoner registrert i FS og lar sensor vurdere klagen direkte i Inspera. Hensikten med piloten var å teste den nye løsningen for klagesensur i Inspera Assessment. Seks utvalgte emner brukte Inspera Assessment til behandling av mottatte klager på sensur høsten 2018.

2 2 Vi ønsket å: teste informasjonsflyten mellom FS og Inspera avdekke eventuelle feil kartlegge eventuelle sårbarheter og utviklingsbehov finne ut av hvordan arbeidsflyten oppleves for brukerne Gjennomføring Deltakerne (studie-/eksamenskonsulent på institutt/fakultet) fikk opplæring av Studieavdelingen 4. januar. Da selve klagesensuren i Inspera er lik som ved ordinær sensur, var det ikke nødvendig å arrangere egen opplæring for sensorer. Klagesensuren ble gjennomført mellom januar og mars. Studieavdelingen tilbød løpende brukerstøtte når brukerne opplevde utfordringer. Etter gjennomføringen ble det sendt ut en evaluering til deltakerne. Deltakernes vurdering Etter gjennomføringen ble det sendt ut en evaluering til deltakerne (totalt fem svar). Figuren under viser svar fordelt på prosent på avkrysningsspørsmål. I tillegg inneholdt skjemaet spørsmål med fritekstsvar.* Dette fungerte godt: Samtlige av deltakerne svarer at de er fornøyd med løsningen. Det påpekes av flere at det at man slipper å laste ned klagebesvarelsene manuelt fra Inspera og formidle de utenfor systemet forenkler prosessen betraktelig og er tidsbesparende. Det påpekes at løsningen reduserer sannsynligheten for at det gjøres feil.

3 3 Det generelle inntrykket er at løsningen fungerte godt for sensor. Hva fungerte mindre godt? Det påpekes at når man velger individuell godkjenning av kandidatene som arbeidsflyt, er det vanskelig å finne de individuelle resultatene, da de havner i samme kolonne som opprinnelig karakter. Det kunne vært ønskelig med et varsel når individuelle kandidater er godkjent. Tilbakeføring av klagekarakter er savnet. (Dette kom på plass etter piloten var gjennomført.) To stykker svarer at de ikke har noen spesielt å påpeke her. *Se vedlegg 2 for full evaluering. Utfordringer Gjennomføringen var i hovedsak vellykket. Det oppstod imidlertid tre typer avvik:* 1. Klagesak ikke overført: På tre emner opplevde deltakerne at kandidatene med klagesak i FS ikke ble overført til klagekommisjon i Inspera. Løst ved registrere en endring i klagebildet i FS. 2. Ordinær kommisjon mistet tilgang til private notater: På to emner var det en utfordring at ordinær kommisjon mistet tilgang til sine private notater knyttet til klagekandidatene. Løst ved å avbryte klagebehandlingen i Inspera. 3. Struktur i FS ikke kompatibel med klagebehandling i Inspera: Ett emne hadde en struktur i FS som ikke er kompatibel med klagebehandling i Inspera. Klagene måtte derfor behandles utenfor systemet. *Se vedlegg 1 for nærmere beskrivelse av avvikene. Kjente mangler og feil Løsningen for klagesensur i Inspera er fortsatt under utvikling. Oversikten nedenfor viser mangler og feil fra pilotperioden. Sak Beskrivelse Status Tilbakeføring av klagekarakter til FS Når resultatet for klagesensuren er godkjent i Inspera, skal klagesensuren kunne tilbakeføres til FS LØST (mars 2019)

4 4 Ordinær kommisjon har ikke tilgang til kandidater i klagekommisjon Per nå flyttes kandidater som ber om klagesensur fra ordinær- til klagekommisjon. Dette innebærer at ordinær sensor ikke lenger har tilgang til kandidaten - verken begrunnelse, private notater eller kommentarer på kandidaten. Planlagt løst 12. april, UTSATT E-postvarsling til sensor Sensor i klagekommisjon får ikke e-postvarsel når nye kandidater legges i kommisjonen. Planlagt løst 5. juli Begrunnelser for klagesensur Det er foreløpig ikke mulig for sensor å skrive begrunnelse ved klagesensur. Planlagt løst 5. juli Feil ved bruk av delt poenggiving i ordinær vurdering Kommentarer i besvarelsen (annoteringer) for klagesensur Ved bruk av delt poenggiving i ordinær vurdering vil poeng og karakterer gitt av ordinær vurdering være tilgjengelig for sensor i klagekommisjon. For å unngå dette må sensors arbeidsflyt i klagekommisjonen(e) settes til individuell poenggiving. Det er foreløpig ikke mulig for sensor å kommentere (annotere) i besvarelsen ved klagesensur. Planlagt løst 5. juli Kommer i nytt sensurverktøy (Gradin 2.0) Håndtering av ny vurdering ved vesentlig karakteravvik Per dags dato er det ikke støtte for håndtering av ny vurdering ved vesentlig karakteravvik. Dersom det oppstår karakteravvik på to karakterer eller mer, må derfor den nye vurderingen foregå utenfor Inspera, på vanlig måte. Uavklart (må bestilles som endringsordre) Individuell klagebehandling på gruppeoppgaver Dersom en kandidat klager på en gruppeeksamen er dette en individuell klage, og påvirker ikke andre medlemmer av gruppen. Inspera har ikke tatt høyde for dette. Uavklart

5 5 Vedlegg 1: Nærmere beskrivelse av avvikene Nedenfor er en beskrivelse av utfordringene som dukket opp i piloten. 1. Klagesak ikke overført På tre emner opplevde deltakerne at kandidatene med klagesak i FS ikke ble overført til klagekommisjon i Inspera. Årsak: Når en klagesak opprettes i FS, trigges det et varsel til Inspera om at kandidaten skal overføres til klagekommisjon. For at en kandidat skal kunne overføres til klagekommisjonen i Inspera, må klagekommisjonen først være overført. I disse tilfellene fantes det på tidspunktet klagesakene ble opprettet i FS, ingen klagekommisjon i Inspera å overføre kandidatene til. Varselet om klagesaken gjentas i 24 timer etter at klagesaken er opprettet. Dersom det ikke finnes en klagekommisjon i Inspera etter 24 timer, vil ikke kandidaten komme over, selv om klagekommisjonen overføres. Løsning: Løsningen var å gjøre en (vilkårlig) endring i klagesakene i FS etter at klagekommisjonen var overført til Inspera. Endringen trigger et nytt varsel til Inspera om at kandidatene skal overføres. Når klage i Inspera eventuelt implementeres for alle, vil det aktiveres automatisk synkronisering av prøver også etter ordinær vurdering er fullført, som vil sørge for at klagekommisjonene automatisk overføres hvert 30 minutt. Synkroniseringen vil sannsynligvis forhindre at dette problemet oppstår i stort omfang. Integrasjonen har imidlertid forbedringspotensial når det kommer til overføring av klagesaker. 2. Ordinær kommisjon mistet tilgang til private notater Sensor har et felt for private notater for hver kandidat i Inspera. På to emner var det en utfordring at ordinær kommisjon mistet tilgang til sine private notater knyttet til klagekandidatene. I disse tilfellene viste klagesensurene vesentlig karakteravvik, som fører til ny vurdering av en kontrollkommisjon hvor all dokumentasjon skal legges frem. Årsak: Det er en kjent feil at ordinær kommisjon mister tilgang til klagekandidatene (inkl. sin egen vurdering, private notater og begrunnelse) når de overføres til klagekommisjonen. Løsning: For at ordinær kommisjon skulle får tilgang til kandidatene, måtte klagevurderingen avbrytes i Inspera. Når en klage avbrytes, blir kandidaten overført tilbake til ordinær kommisjon, og ordinær vurdering, inkludert private notater, blir tilgjengelig.

6 6 Inspera hadde planlagt en løsning for denne feilen 12. april. Løsningen ble imidlertid utsatt. 3. Struktur i FS ikke kompatibel med klagebehandling i Inspera På ett emne var strukturen i FS ikke kompatibel med klagebehandling i Inspera. Årsak: I FS bestod vurderingskombinasjonen av et toppnivå og en underliggende vurderingsenhet. Det var den underliggende vurderingsenheten som var synkronisert med prøven i Inspera. Etter prøven var gjennomført, var imidlertid kandidatene slettet fra den underliggende vurderingsenheten, og resultatene manuelt registrert på toppnivået i FS. Klagene måtte derfor også registreres på toppnivået i FS, men siden toppnivået ikke hadde noen kobling til Inspera, var det ikke mulig å overføre disse klagene. Løsning: Denne strukturen i FS er ikke kompatibel med klagebehandling i Inspera. Klagene måtte derfor behandles utenfor systemet. Å bruke Inspera til klagebehandling forutsetter at resultatene på en prøve registreres på vurderingsenheten i FS som er koblet til den aktuelle prøven. På eksamener hvor resultatene registreres på et annet nivå enn det som er koblet til prøven i Inspera, vil ikke Inspera kunne benyttes til klagebehandling.

7 Vedlegg 2: Deltakernes vurdering av piloten «Evaluering av pilot på klagesensur i Inspera» Innhentede svar pr. 2. mai :23 Leverte svar: 5 Påbegynte svar: 0 Antall invitasjoner sendt: 6 Med fritekstsvar Svar fordelt på antall Ja Til en viss grad Verken eller I liten grad Nei Forarbeid: Var det enkelt å registrere klager og klagekommisjoner i FS? * Forarbeid: Var det enkelt å få overført klagesakene fra FS til Inspera? * Forarbeid: Var det enkelt å forstå hvordan integrasjonen mellom FS og Inspera fungerte? * Gjennomføring: Som hovedansvarlig, var det enkelt å forstå hvordan klage i Inspera fungerte? * Gjennomføring: Som hovedansvarlig, var det mer komplisert å bruke Inspera til klage enn til ordinær sensur? * Etterarbeid: Var det enkelt å registrere klageresultater i FS? * Generelt: Vil du si at løsningen totalt sett fungerte godt? * Generelt: Vil du si at klagesensur i Inspera gjør klagebehandling enklere enn ved vanlig saksgang? * Svar fordelt på prosent Ja Til en viss grad Verken eller I liten grad Nei Forarbeid: Var det enkelt å registrere klager og klagekommisjoner i FS? * 60 % 20 % 20 % 0 % 0 % Forarbeid: Var det enkelt å få overført klagesakene fra FS til Inspera? * 100 % 0 % 0 % 0 % 0 % Forarbeid: Var det enkelt å forstå hvordan integrasjonen mellom FS og Inspera fungerte? * 40 % 60 % 0 % 0 % 0 % Gjennomføring: Som hovedansvarlig, var det enkelt å forstå hvordan klage i Inspera fungerte? * Gjennomføring: Som hovedansvarlig, var det mer komplisert å bruke Inspera til klage enn til ordinær sensur? * 60 % 40 % 0 % 0 % 0 % 20 % 40 % 0 % 0 % 40 % Etterarbeid: Var det enkelt å registrere klageresultater i FS? * 40 % 20 % 40 % 0 % 0 % Generelt: Vil du si at løsningen totalt sett fungerte godt? * 80 % 20 % 0 % 0 % 0 % Generelt: Vil du si at klagesensur i Inspera gjør klagebehandling enklere enn ved vanlig saksgang? * 80 % 0 % 20 % 0 % 0 % Hva fungerte godt? * Vi hadde 2 emner med I testpiloten, kun IN2090 fungerte I kombinasjonen FS/Inspera. Det gikk mye raskere enn vanlig å få sendt eksamensbesvarelsene som skulle sensureres på nytt til ny sensor. Vanligvis må vi laste ned en og en besvarelse fra Inspera og det tar tid. Samtidig er det jo større sjanse for at man gjør en feil når man må laste ned oppgavene manuelt. - Sparer mye tid ved å slippe å hente ut besvarelser fra Inspera manuelt. - Stort sett en intuitiv løsning som fungerer godt om man allerede er kjent med vanlig sensurarbeid i Inspera det var smidig, ingen problemer Synes hele prosessen gikk greit. Forenkler klagerunden betraktelig. Hva fungerte mindre godt? * In1050 fungerte ikke I det hele tatt. Alt gikk I lås. Ingen av våre emner I testpiloten var sensurert I Inspera på ordinær eksamen. Det gjorde til at vi matte avslutte sensuren på en overodnet mate, det fungerte I IN2090 men ikke I IN1050 Jeg hadde behov for at en klagesak måtte behandles raskere enn resten av klagesakene på emnet som var med i piloten. Jeg fikk beskjed av sensor når de var ferdige med denne saken, men jeg fikk ikke noen ny protokoll. Endringen ble ført i den opprinnelige protokollen. Det gjorde det litt vanskelig å sjekke resultatet. Jeg skulle ønske jeg hadde fått beskjed fra Inspera når resultatene er klare dersom man velger at sensoren kan sensurere en og en oppgave av gangen. Vi hadde i tillegg en del problemer som følge av at flere besvarelsen måtte sensureres en tredje gang på grunn av stort avvik mellom opprinnelig og ny karakter. Jeg tror dette problemet er rettet opp i nå, men jeg nevner det likevel. Ved tredje klagesensur må opprinnelig sensor involveres igjen. Problemet var da at opprinnelig sensor hadde mistet tilgang til besvarelsen og notatene i Inspera, fordi besvarelsen hadde blitt tatt ut av den opprinnelige kommisjonen og flyttet til klagekommisjonen. - Savnet tilbakeføring av karakterer - Noen problemer ved overføring av klagekommisjoner fra FS - Ordinær kommisjon mistet tilgang til sine notater om kandidaten. Skapte utfordring ved 3. rundes sensur. det var ingen problemer Ikke noe som jeg kan peke på. Hva er ditt inntrykk av sensors opplevelse? 1/2

8 Evaluering av pilot på klagesensur i Inspera Rapport - Nettskjema Mottok du noen tilbakemeldinger/henvendelser fra sensor i sammenheng med klagesensuren? Sensorene I IN2090 kom med mange positive tilbakemeldinger, de mente det var lettere å se hele oppgavesett med besvaresle enn på pdf.fil. De synes det var enkelt å sette poeng og lignende. Jeg har ikke fått noen negative kommentarer fra klagekommisjonen. Mitt inntrykk er at sensuren har gått bra og at det ikke har vært noen problemer. Det oppstod først problemer for opprinnelig sensor da vi skulle begynne med tredje sensurrunde. Mitt inntrykk er at de opprinnelige sensorene har vært veldig frustrert over Inspera fordi de mistet tilgang til sine notater. - Stort sett inntrykk av at det meste gikk greit. Sensorene mottok samme informasjon om Inspera som ved ordinær sensur, og meldte ikke tilbake om noen problemer. - Hadde en klagesensor som sensurerte i Inspera for første gang. Han hadde heller ingen problemer. - En sensor slet med å åpne besvarelsene, men det var kun en brukerfeil. Mottok ingen tilbakemeldinger fra sensorer. Ingen tilbakemeldinger, men det var ikke noe trøbbel så jeg regner med at det gikk fint for dem. Oppstod det noen konkrete utfordringer i sammenheng med klagebehandlingen? * Hvis ja, beskriv ufrordringene og hvordan dette påvirket prosessen. Det oppstod I IN1050 hvor det ikke gikk å avslutte sensurene på ordinær eksamen. I og med at sensuren var gått utenfor systemet (og det gjøres på de fleste av våre emner) viste det seg å være vanskelig å få til klagesensur I Inspera. Dette kan dermed bli et problem for oss siden Selv klagesaksbehandlingen gikk veldig greit. Som jeg har nevnt tidligere oppstod utfordringene først i tredje sensurrunde. Vi hadde problemer med å få på plass klagesensorer. Det skapte en del forsinkelser, men er altså ikke knyttet til bruken av klageløsningen i Inspera. nei Ingen. Hva er din totalvurdering av løsningen? * Beskriv hvordan du totalt sett opplevde klagebehandling i Inspera sammenlignet med ordinær saksgang. Jeg håper det finnes en løsning på de problemer våre sensorer har I Inspera ved ordinær sensur slik at vi kan ha alle klagesaker I Inspera Jeg opplevde det som en stor forbedring som gjør at vi sparer mye tid. Det krever fortsatt litt forarbeid å registrere klagesakene på den enkelte student og klagekommisjonen i FS, men sammenlignet med den tiden det tok tidligere å laste ned besvarelsene en og en også sende dem til sensor, så sparer vi mye tid. Det føles også som en sikrere løsning der det er mindre rom for at det kan skje feil. Jeg fikk ikke testet tilbakeføring av resultatene til FS, men det er også et stort fremskritt. Totalt sett godt fornøyd. Særlig sparer vi mye tid på å slippe å hente fram og oversende besvarelser manuelt. I tillegg en fordel at all sensuren gjøres likt, uavhengig av om det er snakk om klager eller ordinær sensur. Jeg synes klagebehandlingen fungerte godt, men samtidig hadde jeg kun 2 klager og sensorene var veldig erfarne. Vanskelig å vite om det går like smidig neste gang, men krysser fingrene for det. Veldig bra og effektiv! Håper å få dette på plass for samtlige emner snarest. Har du forslag til forbedringer? * Ser du noen begrensninger utover de som er listet opp som kjente mangler/feil? Det må kunne gå an at klagesensuren kan foregå I Inspera selv om ikke ordinær sensur foregikk I Inspera. Det burde kunne åpnes for at klagekommisjonen likevel kan sensurere I Inspera Jeg har stort sett vært fornøyd med funksjonaliteten. Jeg savner at man får en varsling om at det har kommet nye resultater når man har lagt inn innstillingen som tillater at sensorene godkjenner en og en karakter. Det blir for vanskelig å skulle sjekke den opprinnelige protokollen for å se om noen karakterer har blitt endret. Det siste punktet har ikke noe med Inspera å gjøre, men hvis funksjonaliteten kunne bli slik at vi slipper å sende ut vedtaksbrev i ephorte, så ville vi kunne spart oss enda mer tid. Ønsker at kommisjonene for klagesensuren kan overføres raskere fra FS til Inspera. Nå måtte jeg vente en stund fra kommisjonene ble opprettet til de kom over til Inspera, noe som skaper et unødvendig brudd i arbeidet. nei - Er du fornøyd med informasjonen og opplæringen du har fått i sammenheng med piloten? * Er det eventuelt noe som kunne blitt gjort bedre? Jeg er fornøyd med den opplæringen og den oppfølgingen jeg har fått ved mine henvendelser Ja, jeg er fornøyd med opplæringen. Synes informasjonen var god nok. Løsningen ligger tett opp til ordinær sensurløsning, og terskelen for å ta det i bruk er derfor lav. ja Veldig fornøyd! Annet Har du andre tilbakemeldinger? Jeg kommer til å sende en mer utfyllende rapport med hva som har skjedd I de forskjellige emnene. Når dere er ferdige med klagesakene, så kanskje dere kan jobbe med muligheten for å be om begrunnelse i Inspera? Å administrere spørsmål om begrunnelse tar ofte mye tid og er uoversiktlig. Dette er indirekte viktig for klagesakene, fordi det er datoen studentene mottar begrunnelsen som bestemmer klagefristen. Slik det er i dag vet vi ofte ikke om studentene har bedt om begrunnelse (hvis de sender epost direkte til sensor) eller om de har mottatt begrunnelse. Jeg administrerte noen begrunnelse gjennom Inspera og det var til stor hjelp, for da kunne jeg se om sensor hadde skrevet begrunnelse og når denne ble sendt. Men dette har jeg kun gjort på store emner med flere kommisjoner og der studentene har måtte sende henvendelse om begrunnelse til meg fordi de ikke vet hvem som har vært sensor. Da må jeg gjøre en del arbeid med å registrere alle som har bedt om begrunnelse og legge dette inn i Inspera. Hvis studentene kunne bedt om begrunnelse direkte i Inspera ville det ha vært mye enklere. Studentene bør også få et varsel om når de har mottatt en begrunnelse. - Se nylige endringer i Nettskjema (v614_0rc1) 2/2