GRADING 2.0. Brukerhistorier og behov i sektoren

Transkript

1 GRADING 2.0 Brukerhistorier og behov i sektoren

2 1 VERSJONSHISTORIKK Versjon Dato Hva Hvem Første utkast til gjennomgang med NABO / UNIT. Aleksander Lorentzen (UiO) Justert avsnitt 1.3 etter tilbakemelding fra NABO / UNIT. Aleksander Lorentzen (UiO)

3 2 Innholdsfortegnelse 1. Introduksjon Hensikt Målgruppe for dokumentet Målsetting og visjon Innhentede tilbakemeldinger Prioriteringer av brukerhistorier Felles Studentsystem (FS) Arbeidsflyt Forberedelser Vurdering Brukerhistorier Forberedelser Vurdering #2.5 Prøven åpnes for vurdering #2.7 Fordele sensorer manuelt på kandidater eller besvarelser #2.8 Sensorene får tilgang og vurdering starter #2.9 Navigasjon #2.10 Vurdering #2.11 Begrunnelse #2. Godkjenne vurdering #2.13 Tilbakeføring av sensur til FS #2.16 Utsendelse av begrunnelse... 33

4 3 1. Introduksjon 1.1. Hensikt Hensikten med dette dokumentet er å beskrive behovet sektoren har i forbindelse med sensurverktøy / Grading 2.0. Behovene 1.2. Målgruppe for dokumentet Målgruppene for dette dokumentet er Inspera AS og UH-institusjonene i Norge Målsetting og visjon NABO ønsker å gjøre eksamen papirløs for studenter, faglærere, sensorer og eksamensadministratorer ved å digitalisere arbeidsflyten knyttet til prosesser og aktiviteter før, under og etter eksamen. Det er mange perspektiver som skal ivaretas i en eksamenstjeneste. Visjonen må være at undervisning og læring er det sentrale, samtidig som det må legges opp til en hensiktsmessig bruk av administrative ressurser. En eksamenstjeneste må derfor være både fleksibel og standardisert. Fleksibel i den forstand at læring og pedagogikk driver utviklingen. Standardisert i den forstand at det legges til rette for effektive administrative rutiner 1.4. Innhentede tilbakemeldinger I utarbeidelsen av dette dokumentet er det innhentet tilbakemeldinger og brukerhistorier fra NTNU, UiA, UiB og UiO i tillegg til UNIT og de institusjonene de koordinerer. Disse brukerhistoriene er deretter prioritert og gruppert inn under tilhørende aktivitet i en felles arbeidsflyt Prioriteringer av brukerhistorier Prioriteringen av brukerhistorier følger en skala fra 1 til, hvor er den høyeste prioriteringen Felles Studentsystem (FS) Felles Studentsystem (FS) er et nasjonalt system for studieadministrative data, og sektorens kildesystem for informasjon om studier og studenter. Informasjon om eksamen, eksamenskandidater, kommisjoner og sensorer skal derfor hentes fra FS. Sensur skal kunne tilbakeføres til FS. FS er den autorative kilden til informasjon.

5 4 2. Arbeidsflyt Arbeidsflyten er delt inn i to faser; forberedelser og vurdering. Nedenfor er en oversikt over aktivitetene knyttet til de fasene. Forberedelsesfasen består av 15 steg: 1. Lag ny oppgave 2. Skal det være sensorveiledning på oppgaven? 3. Legg inn sensorveiledning på oppgavenivå 4. Skal det være kriterier for vurdering på oppgaven? 5. Kriterier for vurdering 6. Opprett Ny Prøve fra FS 7. Importer Oppgavesett 8. Etter innlevering 9. Arbeidsflyt for sensorer 10. Skal det settes begrunnelse for karakter? 11. Alternativer. Sett design 13. Sett karakterskala 14. Skal det være sensorveiledning på prøven? 15. Last opp sensorveiledning 16. Aktiver prøven Vurderingsfasen består av 16 steg: 1. Registrere oppmøte 2. Opprette kommisjoner 3. Fordele sensorer på kommisjoner 4. Fordele kandidater på kommisjoner 5. Prøven åpnes for vurdering 6. Er alle sensorene fordelt på kommisjoner? 7. Fordele sensorer manuelt på kandidater eller besvarelser 8. Sensorene får tilgang og vurderingen starter 9. Navigasjon 10. Vurdering 11. Begrunnelse. Godkjenne vurdering 13. Tilbakeføring av sensur til FS 14. Protokollføring av karakter 15. Publisere karakter i StudentWeb 16. Utsendelse av begrunnelse

6 2.1. Forberedelser 5

7 2.2. Vurdering 6

8 7 3. Brukerhistorier Brukerhistoriene er plassert inn under tilhørende aktivitet i arbeidsflyten Forberedelser ARBEIDSFLYT FOR SENSURVERKTØY (GRADING 2.0) PRI REF SYSTEM 1. Forberedelser 1.1 Lag ny oppgave 1.2 Skal det være sensorveiledning på oppgaven? 1.3 Legg inn sensorveiledning på oppgavenivå 1.4 Skal det være kriterier for vurdering på oppgaven? 1.5 Kriterier for vurdering 1.6 Opprett Ny Prøve fra FS 1.7 Importer Oppgavesett 1.8 Etter innlevering 1.9 Arbeidsflyt for sensorer 1.10 Skal det settes begrunnelse for karakter? 1.11 Alternativer 1. Sett design 1.13 Sett karakterskala 1.14 Skal det være sensorveiledning på prøven? 1.15 Last opp sensorveiledning 1.16 Aktiver prøven

9 3.2. Vurdering 8 ARBEIDSFLYT FOR SENSURVERKTØY (GRADING 2.0) PRI REF. SYSTEM 2. Vurdering 2.1 Registrere oppmøte FS 2.2 Opprette kommisjoner FS 2.3 Fordele sensorer på kommisjoner FS 2.4 Fordele kandidater på kommisjoner FS 2.5 Prøven åpnes for vurdering Inspera Som hovedansvarlig ønsker jeg konkret informasjon om hvorfor en prøve ikke er åpen for vurdering (blockers) Som sensor vil jeg ha beskjed dersom en prøve ikke er avsluttet, ellers ingen info om blockers eller notifications på en prøve, kun beskjed om å kontakte hovedansvarlig Som hovedansvarlig ønsker jeg å se e-postadressen til sensor i vurderingsmodulen, slik at jeg vet hvilken adresse e-post fra Inspera sendes til. GV5 DESK-5741 GV5 DESK-5741 GV Er alle sensorene fordelt på kommisjoner? 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Inspera Som hovedansvarlig ønsker jeg å kunne tildele sensorer ulike roller Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Hovedsensor for prøve" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Hovedsensor for kommisjon" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Tilsynssensor for prøve" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Tilsynssensor for kommisjon" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Sensor" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Medsensor for prøve" Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Medsensor for kommisjon" 10? GV2, GV3 og GV11 9? GV2 og GV11 9? GV2 og GV11 9 GV3 9 GV GV11, GV2 10 GV11, GV2 2.8 Sensorene får tilgang og vurderingen starter Som sensor ønsker jeg at kandidater som har utsatt frist (individuell utsatt frist, insident ekstratid, eller 9 GV

10 9 annen form for utsettelse) skal være tydelig markert, og den nye fristen skal være tilgjengelig for sensor. 2.9 Navigasjon Inspera Som sensor ønsker jeg meg rask navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater Som sensor ønsker jeg å kunne automatisk navigere til neste kandidat når jeg setter en karakter / poengsum på en kandidat Som sensor ønsker jeg å kunne automatisk navigere til neste oppgave når jeg setter en karakter / poengsum på en oppgave Som sensor ønsker jeg å kunne taste karakter eller poeng på tastaturet, og automatisk gå videre, i stedet for å velge karakter / poeng fra rullegardinmenyen Som sensor ønsker jeg å kunne bla mellom ulike kandidaters besvarelser ut fra ulike sorteringer i listen over besvarelser. For eksempel for å sammenligne besvarelser med samme poengsum/karakter. GV29 GV29 GV29 GV29 11 GV Vurdering Inspera Som sensor ønsker jeg god oversikt over alle besvarelsene jeg skal sensurere, samt mange muligheter for sortering og filtrering av kandidater og besvarelser Som sensor ønsker jeg mulighet til å sette karakter i første oversiktsbilde for en prøve Som sensor ønsker jeg muligheten til å enkelt kunne flagge sensuren på en kandidat slik at jeg jeg enkelt kan komme tilbake til kandidaten for å sette endelig sensur Som sensor ønsker jeg muligheten til å enkelt kunne flagge sensuren på en oppgave slik at jeg jeg enkelt kan komme tilbake til oppgaven for å sette endelig sensur Som sensor ønsker jeg at "Informasjonsdokumentet" på prøven er tilgjengelig når jeg sensurerer Som sensor ønsker jeg at oppgavetypen "Dokument" er tilgjengelig når jeg sensurerer Som sensor ønsker jeg at oppgavetypen "Skjema" er tilgjengelig når jeg sensurerer Som hovedansvarlig ønsker jeg å kunne endre poengsummen for en eller flere oppgaver med automatisk poenggivning etter at en prøve er GV24 GV24 GV28 GV28 GV17 DESK-3297 GV17 DESK-3297 GV17 DESK-3297 GV10 DESK-5674, DESK3322

11 10 avsluttet, og så få en ny beregning av poengsum for hele prøven Som sensor ønsker jeg å kunne endre poengsummen for en eller flere oppgaver med automatisk poenggivning etter at en prøve er avsluttet, og så få en ny beregning av poengsum for hele prøven Som sensor (hvis flere sensorer: hovedsensor) ønsker jeg ett oversiktsbilde i vurderingsmodulen hvor jeg kan justerer terskelverdier på alle seksjoner og oppgaver for en prøve, slik at jeg enkelt kan justere vektingen av sensuren Som sensor ønsker jeg å kunne godkjenne vurdering for kandidater / kommisjoner før alle kandidatene på prøven har levert sin besvarelse Alle oppgaver som har en håndtegning knyttet til seg, får automatisk status Besvart Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på Fyll inn tekst-oppgaver, slik at jeg sensurerer svarene som er identiske /ligner i stedet for de individuelle besvarelsene Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på Fyll inn tall-oppgaver, slik at jeg sensurerer svarene som er identiske /ligner i stedet for de individuelle besvarelsene Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på Tekstfelt-oppgaver, slik at jeg sensurerer svarene som er identiske /ligner i stedet for de individuelle besvarelsene Når jeg som sensor laster opp karakterer til Inspera som CSV-fil ønsker jeg at karakter registreres kun på de kandidatene som har status Levert Når jeg som sensor laster opp karakterer til Inspera som CSV-fil så ønsker jeg at det kommer varsel hvis det er noen kandidater som ikke har status Levert i Inspera Som sensor ønsker jeg å kunne se flere kandidaters besvarelser på samme spørsmål samtidig Som hovedansvarlig og sensor ønsker jeg at det i i vurderingsmodulen kommer tydelig frem hvilke kandidater som har et vedlegg til sin besvarelse. GV10 DESK-5674, DESK3322 GV10 DESK-5674, DESK3322 GV7 GV8 DESK GV21 6 GV21 6 GV21 8 GV15 DESK GV15 DESK GV Begrunnelse Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en tekstfil Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en lydfil. 11 GV22 11 GV22

12 Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en videofil Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve i et rikt dataformat Som sensor ønsker jeg å kunne laste opp begrunnelser for flere kandidater på en gang i form av en strukturert fil med kandidater og begrunnelser som tekst Som sensor ønsker jeg å kunne dele mine private notater med andre medlemmer av samme kommisjon. 11 GV22 11 GV22 11 GV22 11 GV26 2. Godkjenne vurdering 2..1 Som sensor ønsker jeg en advarsel når jeg forsøker å godkjenne sensur uten at alle kandidatene har fått en karakter Som hovedansvarlig ønsker jeg å kunne gjenåpne individuell vurdering for en kommisjon eller sensor Som hovedansvarlig med utvidede rettigheter ønsker jeg å konfigurere at det ikke er mulig for hovedansvarlig å godkjenne sensur på vegne av sensor eller kommisjon for min markedsplass. 11 DESK GV4? GV Tilbakeføring av sensur til FS Inspera Som hovedansvarlig ønsker jeg et varsel om kandidater som ikke har møtt til eksamen når jeg overfører karakter til FS Som hovedansvarlig ønsker jeg varsel om kandidater som allerede har et resultat i FS ved overføring av karakter til FS Som hovedansvarlig ønsker jeg å kunne overføre sensur fra Inspera til FS per ferdig vurderte kommisjon Som hovedansvarlig ønsker jeg å kunne overføre sensur fra Inspera til FS for ferdig vurderte enkeltkandidater Som hovedansvarlig ønsker jeg at alle prøver som er overført til FS får status "Overført" i fanen vurdering. GV1 DESK-5800, DESK- 5651, DESK-4670 GV1 DESK-5800, DESK- 5651, DESK-4670 GV7 GV7 10 GV9 DESK Protokollføring av karakter FS 2.15 Publisere karakter i StudentWeb FS 2.16 Utsendelse av begrunnelse INSPERA Som kandidat ønsker jeg å kunne skrive ut min besvarelse med tilbakemeldinger fra sensor Som kandidat ønsker jeg å kunne laste ned min besvarelse med tilbakemeldinger fra sensor. 5 GV14 5 GV14

13 #2.5 Prøven åpnes for vurdering Prosess 2.5 Prøven åpnes for vurdering Pri Brukerhistorie Som hovedansvarlig ønsker jeg konkret informasjon om hvorfor en prøve ikke er åpen for vurdering (blockers). I Marking 2.0 & Results Determination v1.2 s. 16 skilles det mellom: 1. Blockers: hindrer åpning av vurdering 2. Notifications: beskjeder knyttet til sensur, men som ikke stenger vurdering Alle blockers skal inneholde konkret informasjon om hvorfor prøven ikke er åpen for vurdering. Eksempler på Blockers: Test not ended. Markers have not been assigned to a committee (when the test uses committees) Learners who have delivered do not have an assigned marker Learners have redelivery open Sensor mangler. Eksempler på Notifications: Some Learners started the test but did not deliver One or more Markers in a committee does not have any Learners assigned for marking Noen kommisjoner skal ikke vurdere noen kandidater OK Gjelder IA-prøver. Ønsker navn på sensor(er) som ikke er lagt i kommisjon) Ønsker kandidatnummer på kandidat(er) som ikke er fordelt. Ønsker kandidatnummer på kandidat(er) som er åpnet for ny innlevering. Finnes i dag. Med mulighet for å se hvem det gjelder. Med mulighet til å se hvem det gjelder. Med mulighet til å se navn på kommisjon. Relaterte endringer DESK Annet GV5 Utledet av GV5 "Som sensor og hovedansvarlig ønsker jeg meg god og tydelig informasjon om hvorfor en prøve ikke er klar for sensur."

14 13 Prosess 2.5 Prøven åpnes for vurdering Pri Brukerhistorie Som sensor vil jeg ha beskjed dersom en prøve ikke er avsluttet, ellers ingen info om blockers eller notifications på en prøve, kun beskjed om å kontakte hovedansvarlig dersom en prøve ikke er åpnet for vurdering. Eksempler på Blockers: Prøven er fremdeles åpen. Stenger kl. XX:XX. Prøven er ikke åpnet for vurdering; kontakt hovedansvarlig. Relaterte endringer DESK Annet GV5 Utledet av GV5 "Som sensor og hovedansvarlig ønsker jeg meg god og tydelig informasjon om hvorfor en prøve ikke er klar for sensur." Prosess 2.5 Prøven åpnes for vurdering Pri Brukerhistorie Som hovedansvarlig ønsker jeg å se e-postadressen til sensor i vurderingsmodulen, slik at jeg vet hvilken adresse e-post fra Inspera sendes til. Eksempel: «Sensor Navn Navnesen (1) Sist logget inn Send invitasjon til: n.navnesen@hotmail.com (lenke)» Relaterte endringer Annet GV16 Utledet av GV16 "Som hovedansvarlig ønsker jeg å kunne se e-postadressen for sensor slik at jeg vet hvilken adresse e-post sendes til."

15 #2.7 Fordele sensorer manuelt på kandidater eller besvarelser Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer ulike roller (og det må være mulig å gi mer enn én rolle per pers): 9? Mulighet for å tildele/redigere sensorroller i Inspera etter overføring av sensorer fra FS. Annet GV3, GV11, GV2 Utledet av GV3, GV11 og GV2 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Hovedsensor for prøve" 9? "Hovedsensor for prøve" har tilgang til samtlige besvarelser for hele prøven. Kan gi andre sensorer lese- eller sensurtilgang til kandidater/oppgaver på prøven. Kan redigere kommisjoner: Hvilke sensorer skal være med i hvilken kommisjon, og hvilken sensorrolle ("sensor" eller "medsensor"). Løst i Grading 2.0? Annet GV11, GV2 Utledet av GV2 og GV11 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Hovedsensor for kommisjon" 9? "Hovedsensor for kommisjon" har tilgang til samtlige besvarelser for en kommisjon. Kan gi andre sensorer lese- eller sensurtilgang til kandidater/oppgaver i kommisjonen. Kan tildele andre sensorer i samme kommisjon rollen "sensor" eller "medsensor". Løst i Grading 2.0? Annet GV11, GV2 Utledet av GV2 og GV11

16 15 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Tilsynssensor for prøve" 9 "Tilsynssensor for prøve" har lesetilgang til hele prøven: oversikt over sensorer, poeng/karakterer (og hvem som har satt dem), terskelverdier, begrunnelser, annoteringer, sensorveiledninger etc. Skal ikke sette poeng/karakter eller godkjenne sensur. Annet GV3 Utledet av GV3 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Tilsynssensor for kommisjon" 9 "Tilsynssensor for kommisjon" har lesetilgang til en kommisjon: oversikt over sensorer, poeng/karakterer (og hvem som har satt dem), terskelverdier, begrunnelser, annoteringer, sensorveiledninger etc. Skal ikke sette poeng/karakter eller godkjenne sensur. Annet GV3 Utledet av GV3 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "sensor" 0 "Sensor" har sensurtilgang til alle besvarelser i en prøve eller kommisjon. Finnes allerede, tar dette bare med så vi har en oversikt over alle sensorroller her. Annet Finnes allerede

17 16 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Medsensor for prøve" 10 "Medsensor for prøve" har kun lese- eller sensurtilgang for kandidater/oppgaver man blir tildelt av hovedansvarlig eller hovedsensor. Annet GV11, GV2 Utledet av GV2 og GV11 Prosess 2.7 Fordele sensorer manuelt på kandidater eller besvarelser Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne tildele sensorer rollen "Medsensor for kommisjon" 10 "Medsensor for kommisjon" har kun lese- eller sensurtilgang for kandidater/oppgaver man blir tildelt av hovedansvarlig eller hovedsensor. Annet GV11, GV2 Utledet av GV2 og GV #2.8 Sensorene får tilgang og vurdering starter Prosess 2.8 Vurdering Pri Brukerhistorie Som sensor ønsker jeg at kandidater som har utsatt frist (individuell utsatt frist, insident ekstratid, eller annen form for utsettelse) skal være tydelig markert, og den nye fristen skal være tilgjengelig for sensor DESK-5321 Annet GV kandidater som har fått innvilget innleveringsfrist på oppgaveinnlevering bør markeres med klokkeikon e.l., og aller helst med info om ny innleveringsfrist. Pr. dags dato må det sendes ut egne beskjeder til sensor

18 #2.9 Navigasjon Prosess 2.9 Navigasjon Pri Brukerhistorie Som sensor ønsker jeg meg rask navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater. Løses med Quick mode i Grading 2.0. = ALT + venstre / høyre for å navigere mellom oppgave. ALT + opp / ned for å navigere mellom kandidater. Annet GV29 Utledet av GV29 "Som sensor ønsker jeg meg vesentlig raskere navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater slik at sensureringen går raskere, spesielt for korte oppgaver med mange studenter." Prosess 2.9 Navigasjon Pri Brukerhistorie Som sensor ønsker jeg å kunne automatisk navigere til neste kandidat når jeg setter en karakter / poengsum på en kandidat. Autopilot i Grading 2.0: Velger mellom automatisk navigering mellom Marks eller Grades. Går automatisk videre når poeng / karakter er satt. Ønsket forbedring fra Autopilot: Mulighet for å taste bokstavkarakter eller poeng på tastaturet, og automatisk gå videre, i stedet for å velge karakter / poeng fra rullegardin i Inspera. Annet GV29 Utledet av GV29 "Som sensor ønsker jeg meg vesentlig raskere navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater slik at sensureringen går raskere, spesielt for korte oppgaver med mange studenter."

19 18 Prosess 2.9 Navigasjon Pri Brukerhistorie Som sensor ønsker jeg å kunne automatisk navigere til neste oppgave når jeg setter en karakter / poengsum på en oppgave. Autopilot i Grading 2.0: Velger mellom automatisk navigering mellom Marks eller Grades. Går automatisk videre når poeng / karakter er satt. Annet GV29 Utledet av GV29 "Som sensor ønsker jeg meg vesentlig raskere navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater slik at sensureringen går raskere, spesielt for korte oppgaver med mange studenter." Prosess 2.9 Navigasjon Pri Brukerhistorie Som sensor ønsker jeg å kunne taste karakter eller poeng på tastaturet, og automatisk gå videre, i stedet for å velge karakter / poeng fra rullegardinmenyen. Annet GV29 Utledet av GV29 "Som sensor ønsker jeg meg vesentlig raskere navigering mellom besvarelser på ulike spørsmål og mellom ulike kandidater slik at sensureringen går raskere, spesielt for korte oppgaver med mange studenter." Prosess 2.9 Navigasjon Pri Brukerhistorie Som sensor ønsker jeg å kunne bla mellom ulike kandidaters besvarelser ut fra ulike sorteringer i listen over besvarelser. For eksempel for å sammenligne to besvarelser med samme poengsum/karakter. 11 Annet GV23 Utledet av GV23 "Som sensor ønsker jeg å bla mellom ulike studenters besvarelser ut i fra sortering i listen over besvarelser, for eksempel, for å sammenligne to besvarelser med tilsvarende poengsum/karakter." Henger sammen med brukerhistorie GV25

20 #2.10 Vurdering Brukerhistorie Som sensor ønsker jeg god oversikt over alle besvarelsene jeg skal sensurere, samt mange muligheter for sortering og filtrering av kandidater og besvarelser. Fra Marking 2.0 & Results Determination 2.4 Flexible and efficient navigation (s. 6): It is possible for the Marker to: Mark by question (Learner by learner for the same question) All To mark Flagged Custom filtered list(s) Mark by Learner (Question by question for the same Learner) All To mark Flagged Custom filtered list(s) If the marker combines this with predefined filters, which can show nearly any subset of Learners and questions, they can as an example jump to the next, non-marked questions assigned to them, using the next button. It is also possible to combine this with a quick mode, which automatically navigate (auto-advance) to the next Learner or question in the active filter, after an action in the tool, typically after setting a mark on a question. This reduces the number of required clicks in the Marking Tool to a minimum Annet GV24 Utledet av GV24 "Som sensor ønsker jeg god oversikt over alle besvarelsene jeg skal sensurere, mulighet for sortering og filtrering samt direkte karaktersetting i første oversiktsbilde for et emne/en prøve. Dette for å kunne gjøre sensur på en effektiv måte." Henger sammen med brukerhistorier for 2.9 Navigasjon.

21 20 Brukerhistorie Som sensor ønsker jeg mulighet til å sette karakter i første oversiktsbilde for en prøve. Annet GV24 Utledet av GV24 "Som sensor ønsker jeg god oversikt over alle besvarelsene jeg skal sensurere, mulighet for sortering og filtrering samt direkte karaktersetting i første oversiktsbilde for et emne/en prøve. Dette for å kunne gjøre sensur på en effektiv måte." Brukerhistorie Som sensor ønsker jeg muligheten til å enkelt kunne flagge sensuren på en kandidat slik at jeg jeg enkelt kan komme tilbake til kandidaten for å sette endelig sensur. Løst i Grading 2.0 Annet GV28 Utledet av GV28 "Som sensor ønsker jeg muligheten for å sette en midlertidig karakter/markere en sensur på en enkel måte slik at jeg kan komme tilbake til besvarelsen og sette en endelig sensur/poengsum." Brukerhistorie Som sensor ønsker jeg muligheten til å enkelt kunne flagge sensuren på en oppgave slik at jeg jeg enkelt kan komme tilbake til oppgaven for å sette endelig sensur. Løst i Grading 2.0? Annet GV28 Utledet av GV28 "Som sensor ønsker jeg muligheten for å sette en midlertidig karakter/markere en sensur på en enkel måte slik at jeg kan komme tilbake til besvarelsen og sette en endelig sensur/poengsum."

22 21 Brukerhistorie Som sensor ønsker jeg at "Informasjonsdokumentet" på prøven er tilgjengelig når jeg sensurerer. Sensor trenger tilgang til «Informasjonsdokument» på prøven og oppgavetype «Dokument» for hele prøven, ikke per kandidat (fører bare til ekstra trykking). «Skjema» må tilgjengelig per kandidat, på samme måte som en vanlig oppgave. DESK-3297 Annet GV17 Utledet av GV17 "Som sensor ønsker jeg å se alle elementer i prøven, inkludert informasjonselementer slik at jeg kan ha innsyn i all informasjon som studentene har fått." Brukerhistorie Som sensor ønsker jeg at oppgavetypen "Dokument" er tilgjengelig når jeg sensurerer. Sensor trenger tilgang til «Informasjonsdokument» på prøven og oppgavetype «Dokument» for hele prøven, ikke per kandidat (fører bare til ekstra trykking). «Skjema» må tilgjengelig per kandidat, på samme måte som en vanlig oppgave. DESK-3297 Annet GV17 Utledet av GV17 "Som sensor ønsker jeg å se alle elementer i prøven, inkludert informasjonselementer slik at jeg kan ha innsyn i all informasjon som studentene har fått." Brukerhistorie Som sensor ønsker jeg at oppgavetypen "Skjema" er tilgjengelig når jeg sensurerer. Sensor trenger tilgang til «Informasjonsdokument» på prøven og oppgavetype «Dokument» for hele prøven, ikke per kandidat (fører bare til ekstra trykking). «Skjema» må tilgjengelig per kandidat, på samme måte som en vanlig oppgave. DESK-3297 Annet GV17 Utledet av GV17 "Som sensor ønsker jeg å se alle elementer i prøven, inkludert informasjonselementer slik at jeg kan ha innsyn i all informasjon som studentene har fått."

23 22 Brukerhistorie Som hovedansvarlig ønsker jeg å kunne endre poengsummen for en eller flere oppgaver med automatisk poenggivning etter at en prøve er avsluttet, og så få en ny beregning av poengsum for hele prøven. Hensikt: Korrigere feil poeng på oppgave/ikke gi uttelling til oppgaver som har feil i seg (sette 0 poeng). DESK-5674, DESK3322 Annet GV10 Utledet av GV10 "Som person med riktige rettigheter vil jeg kunne redigere grunnlaget/fasit for automatisk poenggivning etter en prøve er startet (i praksis gjennomført) og la systemet evaluere besvarelser og beregne poeng på nytt. " Brukerhistorie Som sensor ønsker jeg å kunne endre poengsummen for en eller flere oppgaver med automatisk poenggivning etter at en prøve er avsluttet, og så få en ny beregning av poengsum for hele prøven. Hensikt: Korrigere feil poeng på oppgave/ikke gi uttelling til oppgaver som har feil i seg (sette 0 poeng). DESK-5674, DESK3322 Annet GV10 Utledet av GV10 "Som person med riktige rettigheter vil jeg kunne redigere grunnlaget/fasit for automatisk poenggivning etter en prøve er startet (i praksis gjennomført) og la systemet evaluere besvarelser og beregne poeng på nytt. "

24 23 Brukerhistorie Som sensor (hvis flere sensoren: hovedsensor) ønsker jeg ett oversiktsbilde i vurderingsmodulen hvor jeg kan justerer terskelverdier på alle seksjoner og oppgaver for en prøve, slik at jeg enkelt kan justere vektingen av sensuren. Hensikt: Korrigere feil poeng på oppgave/ikke gi uttelling til oppgaver som har feil i seg (sette 0 poeng). DESK-5674, DESK3322 Annet GV10 Utledet av GV10 "Som sensor ønsker jeg å ha et oversiktsbilde hvor jeg justerer vekt på alle seksjoner og oppgaver i samme bilde slik at jeg enkelt kan justere på vektingen for sensuren. Dette skal kunne gjøres både før, under og etter at sensuren er ferdig. Dette inkluderer å slette (sette vekt til 0) oppgaver som viser seg å være feilaktige, for eksempel, multiple choice oppgaver som har feil i spørsmål eller svar." Brukerhistorie Som sensor ønsker jeg å kunne godkjenne vurdering for kandidater / kommisjoner før alle kandidatene på prøven har levert sin besvarelse. Går inn under MA&BA epicen (individuell frist) Annet GV7 Utledet av GV7 "Som sensor ønsker jeg å kunne godkjenne kandidater / kommisjoner før alle kandidatene i emnet har levert sin besvarelse." Brukerhistorie Alle oppgaver som har en håndtegning knyttet til seg, får automatisk status "Besvart. DESK-5877 Annet GV8 Utledet av GV8 "Som sensor vil jeg at en oppgave med oppgavetype muntlig/papir får status besvart når håndtegninger er knyttet til oppgaven. (Gjelder alle oppgavetyper med Scantron)"

25 24 Brukerhistorie Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på Fyll inn tekst-oppgaver, slik at jeg sensurerer svarene som er identiske /ligner i stedet for de individuelle besvarelsene. 6 Per i dag må ALLE riktige svaralternativ for denne type oppgaver angis på forhånd. Men det er umulig å forutse hva/hvordan kandidatene vil svare. For eksempel kan "x*y", "X *y", "x * y", "x* y", "X*y", "X* y" osv. være akkurat samme svar og like riktig. Forslag til løsning: Heller enn å prøve å forutse alle riktige svar på forhånd vil det være en bedre løsning å bli presentert med en liste som grupperer like/liknende svarene som er gitt, og så angi hvilke av disse som skal gi poeng eller ikke. Da kan man gi poeng (eventuelt angi som korrekt svar) per svar, heller enn å manuelt overstyre automatisk sensur for en og en kandidat. Annet GV21 Utledet av GV21 "Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på oppgaver med tekstinput, tallinput og kortsvar slik at jeg sensurerer svarene, ikke kandidatene." Brukerhistorie Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på oppgaver med tallinput slik at jeg sensurerer svarene og ikke kandidatene. 6 Se Ønsker samme løsning, bare for tall. Annet GV21 Utledet av GV21 "Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på oppgaver med tekstinput, tallinput og kortsvar slik at jeg sensurerer svarene, ikke kandidatene."

26 25 Brukerhistorie Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på oppgaver med kortsvar slik at jeg sensurerer svarene og ikke kandidatene. 6 Se Ønsker samme løsning, for å spare tid med å lese alle besvarelser. Annet GV21 Utledet av GV21 "Som sensor ønsker jeg å kunne gruppere identiske og / eller lignende svar på oppgaver med tekstinput, tallinput og kortsvar slik at jeg sensurerer svarene, ikke kandidatene." Brukerhistorie Når jeg som sensor laster opp karakterer til Inspera som CSV-fil ønsker jeg at karakter registreres kun på de kandidatene som har status Levert. 8 DESK-6081 Annet GV15 Utledet av GV15 "Som sensor ønsker jeg ikke å kunne laste ned eller opp karakterer fra Excel på kandidater som ikke har levert noe i Inspera Assessment når det finnes andre kandidater som har levert noe. Dette for å forhindre at det settes karakter på feil kandidat." Brukerhistorie Når jeg som sensor laster opp karakterer til Inspera som CSV-fil så ønsker jeg at det kommer varsel hvis det er noen kandidater som ikke har status Levert i Inspera. 8 DESK-6081 Annet GV15 Utledet av GV15 "Som sensor ønsker jeg ikke å kunne laste ned eller opp karakterer fra Excel på kandidater som ikke har levert noe i Inspera Assessment når det finnes andre kandidater som har levert noe. Dette for å forhindre at det settes karakter på feil kandidat."

27 26 Brukerhistorie Som sensor ønsker jeg å kunne se flere kandidaters besvarelser på samme spørsmål samtidig. 7 Ønsker å kunne åpne flere kandidaters besvarelse av samme spørsmål samtidig og side om side, for å enkelt kunne sammenlikne. I grading 2.0 skal det være mulig å sortere "Learner by learner for the same question". Uklart om dette også innebærer en mulighet for å vise mer enn én besvarelse samtidig. Annet GV25 Utledet av GV25 "Som sensor ønsker jeg ut fra en sortert liste over besvarelser å sammenligne flere kandidaters besvarelse på ett spørsmål. Bevarelsene må vises side ved side/til samme tid.." Henger også sammen med 2.9 Navigasjon og GV Brukerhistorie Som hovedansvarlig og sensor ønsker jeg at det i i vurderingsmodulen kommer tydelig frem hvilke kandidater som har et vedlegg til sin besvarelse. 9 Både i oversiktsbilder/lister over kandidater/oppgaver og på oppgavenivå må det være tydelig hvilke kandidater som har et vedlegg. F.eks. ved å bruke bindersikon, på samme måte som i prøvemodulen i dag. DESK-5695 Annet GV13 Utledet av GV13 "Kandidater som har vedlegg til besvarelsen bør markeres, f.eks. med et bindersikon på samme måte som de fremkommer i prøven" Henger også litt sammen med 2.9 Navigasjon

28 #2.11 Begrunnelse Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en tekstfil. 11 Annet GV22 Utledet av GV22 "Som sensor ønsker jeg å laste opp begrunnelse på en prøve som en fil. Dette kan være: (1) Tekst, lyd, video eller et annet rikt dataformat for å gi en fyldig begrunnelse. (2) En strukturert fil med kandidater og kommentarer som tekst for å raskt kunne lese inn begrunnelse for mange kandidater fra et eksternt system." Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en lydfil. 11 Annet GV22 Utledet av GV22 "Som sensor ønsker jeg å laste opp begrunnelse på en prøve som en fil. Dette kan være: (1) Tekst, lyd, video eller et annet rikt dataformat for å gi en fyldig begrunnelse. (2) En strukturert fil med kandidater og kommentarer som tekst for å raskt kunne lese inn begrunnelse for mange kandidater fra et eksternt system." Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve som en videofil. 11 Annet GV22 Utledet av GV22 "Som sensor ønsker jeg å laste opp begrunnelse på en prøve som en fil. Dette kan være: (1) Tekst, lyd, video eller et annet rikt dataformat for å gi en fyldig begrunnelse. (2) En strukturert fil med kandidater og kommentarer som tekst for å raskt kunne lese inn begrunnelse for mange kandidater fra et eksternt system."

29 28 Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne laste opp en begrunnelse på en prøve i et rikt dataformat. 11 Annet GV22 Utledet av GV22 "Som sensor ønsker jeg å laste opp begrunnelse på en prøve som en fil. Dette kan være: (1) Tekst, lyd, video eller et annet rikt dataformat for å gi en fyldig begrunnelse. (2) En strukturert fil med kandidater og kommentarer som tekst for å raskt kunne lese inn begrunnelse for mange kandidater fra et eksternt system." Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne laste opp begrunnelser for flere kandidater på en gang, i form av en strukturert fil med kandidater og begrunnelser som tekst. 11 Annet GV22 Utledet av GV22 "Som sensor ønsker jeg å laste opp begrunnelse på en prøve som en fil. Dette kan være: (1) Tekst, lyd, video eller et annet rikt dataformat for å gi en fyldig begrunnelse. (2) En strukturert fil med kandidater og kommentarer som tekst for å raskt kunne lese inn begrunnelse for mange kandidater fra et eksternt system."

30 29 Prosess 2.11 Begrunnelse Pri Brukerhistorie Som sensor ønsker jeg å kunne dele mine private notater med andre medlemmer av samme kommisjon. 11 Kommentar: 1. Så vidt vi kan se er private notater ikke lengre med i CSV-eksport fra Inspera. 3. Så lenge det er mulig å dele begrunnelser og annoteringer med kandidater, ser vi ingen grunn til å også kunne dele kommentarer. 4. Samme her. Dersom noe skal deles med kandidater, tenker vi at dette ikke er stedet å dele denne type info. Da ønsker vi heller en bedre løsning for å dele sensurveiledning / fasit. Skal disse kommentarene stå her? Er ikke dette fra intern diskusjon i NABO? HJJ Annet GV26 Utledet av GV26 "Som sensor ønsker jeg å ha notater som tydelig: 1. Er private. 2. Deles med andre medlemmer av samme kommisjon. 3. Deles med en student. 4. Deles med alle studentene"

31 #2. Godkjenne vurdering Prosess 2. Godkjenne vurdering Pri Brukerhistorie 2..1 Som sensor ønsker jeg en advarsel når jeg forsøker å godkjenne sensur uten at alle kandidatene har fått en karakter. Forslag til løsning: «(antall) kandidater er ikke vurdert. Detaljer (åpner liste over kandidater som ikke er vurdert)» DESK-4413 Annet GV6 Utledet av GV6 "Som sensor ønsker jeg en advarsel når jeg forsøker å godkjenne sensur uten at alle kandidatene har fått en karakter." Prosess 2. Vurdering Pri Brukerhistorie 2..2 Som hovedansvarlig ønsker jeg å kunne gjenåpne individuell vurdering for en kommisjon eller sensor. 9 Ønsker å kunne gjenåpne individuell vurdering uten å måtte godkjenne individuell eller felles vurdering på vegne av kommisjon eller sensor. Muligheten for å gjenåpne individuell vurdering må kunne konfigureres per markedsplass. Annet GV4 Utledet av GV4 "Som hovedansvarlig ønsker jeg å gjenåpne en prøve vurdering etter at en sensor har trykket på godkjenn sensur litt for raskt. Dette skal være mulig uten at jeg kan godkjenne sensur på vegne av sensor." Prosess 2. Vurdering Pri Brukerhistorie 2..3 Som hovedansvarlig med utvidede rettigheter ønsker jeg å konfigurere at det ikke er mulig for hovedansvarlig å godkjenne sensur på vegne av sensor eller kommisjon for min markedsplass. Uklart Trenger ikke mulighet for å konfigurere dette selv i Inspera, kun mulighet til å be om å få funksjonaliteten slått av. Annet GV4 Utledet av GV4 "Som hovedansvarlig ønsker jeg å gjenåpne en prøve vurdering etter at en sensor har trykket på godkjenn sensur litt for raskt. Dette skal være mulig uten at jeg kan godkjenne sensur på vegne av sensor. Må kunne konfigureres pr. markedsplass."

32 #2.13 Tilbakeføring av sensur til FS Prosess 2.13 Tilbakeføring av sensur til FS Pri Brukerhistorie Som hovedansvarlig ønsker jeg et varsel om kandidater som ikke har møtt til eksamen når jeg overfører karakter til FS. I dag får man beskjeden "Feil. Noen kandidater ble ikke overført. Vis detaljer [liste over kandidatene det gjelder". Mulig løsning: "Noen kandidater ble ikke overført fordi de ikke møtte til / leverte eksamen [antall]. Detaljer [liste over kandidatene det gjelder]" Relaterte endringer DESK-5800, DESK-5651, DESK Annet GV1 Utledet av GV1 "Som hovedansvarlig ønsker jeg at feilmeldingene ved overføring av karakter til FS grupperes på minimum (1) ikke leverte besvarelser og (2) kandidater som allerede har en resultatstatus i FS. Så mye forståelig informasjon om overføringsfeilen som mulig bør presenteres brukeren." Prosess 2.13 Tilbakeføring av sensur til FS Pri Brukerhistorie Som hovedansvarlig ønsker jeg varsel om kandidater som allerede har et resultat i FS ved overføring av karakter til FS. Relaterte endringer Mulig løsning: "Noen kandidater ble ikke overført fordi de allerede har et resultat i [antall]. Detaljer [liste over kandidatene det gjelder]. DESK-5800, DESK-5651, DESK Annet GV1 Utledet av GV1 "Som hovedansvarlig ønsker jeg at feilmeldingene ved overføring av karakter til FS grupperes på minimum (1) ikke leverte besvarelser og (2) kandidater som allerede har en resultatstatus i FS. Så mye forståelig informasjon om overføringsfeilen som mulig bør presenteres brukeren."

33 32 Prosess 2.13 Tilbakeføring av sensur til FS Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne overføre sensur fra Inspera til FS per ferdig vurderte kommisjon. Relaterte endringer Løses med individuell sensurfrist Annet GV7 Utledet av GV7 "Som sensor ønsker jeg å kunne godkjenne kandidater / kommisjoner før alle kandidatene i emnet har levert sin besvarelse. Som hovedansvarlig ønsker jeg å kunne overføre denne sensuren til FS for godkjente kandidater / kommisjoner. Dette er primært relevant for innleveringsoppgaver med ulik innleveringsfrist." Prosess 2.13 Tilbakeføring av sensur til FS Pri Brukerhistorie Som hovedansvarlig ønsker jeg å kunne overføre sensur fra Inspera til FS for ferdig vurderte enkeltkandidater. Relaterte endringer Løses med individuell sensurfrist Annet GV7 Utledet av GV7 "Som sensor ønsker jeg å kunne godkjenne kandidater / kommisjoner før alle kandidatene i emnet har levert sin besvarelse. Som hovedansvarlig ønsker jeg å kunne overføre denne sensuren til FS for godkjente kandidater / kommisjoner. Dette er primært relevant for innleveringsoppgaver med ulik innleveringsfrist." Prosess 2.13 Tilbakeføring av sensur til FS Pri Brukerhistorie Som hovedansvarlig ønsker jeg at alle prøver som er overført til FS får status "Overført" i fanen vurdering. 10 Annet GV9 Utledet av GV9 "Status Overført på alle prøver i fanen Vurdering som er overført til FS slik at vi slipper å åpne prøven for å sjekke om sensuren faktisk er overført"

34 #2.16 Utsendelse av begrunnelse Prosess 2.16 Utsendelsen av begrunnelse Pri Brukerhistorie Som kandidat ønsker jeg å kunne skrive ut min besvarelse med tilbakemeldinger fra sensor. 5 Annet GV14 Utledet av GV14 "Som student ønsker jeg å kunne skrive ut og laste ned innleveringsoppgaver og skriftlig eksamen etter oppgaven er gjennomført. Inkludert tilbakemeldinger fra sensor." Prosess 2.16 Utsendelsen av begrunnelse Pri Brukerhistorie Som kandidat ønsker jeg å kunne laste ned min besvarelse med tilbakemeldinger fra sensor. 5 Annet GV14 Utledet av GV14 "Som student ønsker jeg å kunne skrive ut og laste ned innleveringsoppgaver og skriftlig eksamen etter oppgaven er gjennomført. Inkludert tilbakemeldinger fra sensor."