Forvaltning av løsning/ avtaler, Erfaringssamling digital eksamen 29.03.2017 Magnus Strømdal
Forvaltning Status på avtalene Endringsønsker Samarbeid/erfaringsdeling (SLACK) Flere erfaringssamlinger? 2
Status på avtalene Neste alle de store institusjonen har valgt leverandør. Har lagt til noe små institusjoner på avtalen. 3
Endringsønsker Har samlet inn en mengde endringsønsker for både Inspera og Wiseflow Har foretatt sortering og prioritering av endringsønsker til Wiseflow Neste er sortering og prioritering av endringsønsker til Inspera, har noen utfordringer med koordinering med øvrige Inspera brukere. Nye endringsønsker meldes til UNINETT, kan også meldes inn via SLACK. 4
Slack team for Undervisningsnære systemer 5
Flere erfaringssamlinger? Erfaringsutveksling? Samarbeid? Opprettholde framdrift? Standardisering av bruk? Nye tjenester/integrasjoner (arkiv, bibliotek, oppgavebank +++) Neste erfaringsamling høsten 2017? 6
Lokal risikovurdering (ROS) Erfaringssamling digital eksamen 29.03.2017 Magnus Strømdal
Risikovurdering (ROS) Difi sier at «Risikovurdering er «hjertet» i internkontrollen. Her identifiseres, analyseres og evalueres risikoer som kan påvirke informasjonssikkerheten. Resultatet av risikovurderingene har betydning for alle de øvrige hovedaktivitetene. Uten risikovurderinger fungerer ikke internkontrollen.» Kunnskapsdepartementets tildelingsbrev til institusjonene: «Kunnskapsdepartementets styringsdokument for arbeidet med samfunnssikkerhet og beredskap i kunnskapssektoren skal ligge til grunn for institusjonens arbeid på dette feltet. Institusjonen skal ha etablert en virksomhetstilpasset risiko- og sårbarhetsanalyse (ROS) på samfunnssikkerhets- og beredskapsfeltet som revideres minimum hvert annet år. ROS-analysen skal følges opp gjennom en egen handlingsplan med tiltak for å redusere risiko og konsekvenser av uønskede hendelser. 8
Risikovurdering (ROS) Felles (Nasjonal) Risikovurdering av digital eksamen 04.02.2016 Wiseflow 23.09.2016 Inspera 11.11.2016 Enovate, avventer Risikovurderingene er tilgjengelig, kontakt oss J Behov for oppdatering av nasjonale Risikovurderinger? 9
Lokale Risikovurderinger (ROS) Må utføre en lokal Risikovurdering i tillegg til de nasjonale Opprettholde tillit til et system eller en tjeneste Beskytte informasjonsverdier Overholdelse av rettslige plikter Opprettholde kvalitet på tjenester Vedlikeholde oversikt over informasjonsverdier Beskytte ansatte, studenter, innbyggere Bidra til å beskytte kritisk infrastruktur Læring og spredning av kompetanse blant deltakerne i en risikovurderingsworkshop Sekretariatet for informasjonssikkerhet (UNINETT) kan bistå med gjennomføring av lokal Risikovurdering. 10
Lokale Risikovurdering En Risikovurdering resulterer i en rapport og på grunn av at man i rapporten beskriver sensitive forhold vedrørende digitale eksamenssystemer, samt bruken av disse, anbefales at man klassifiserer rapporten som «fortrolig» eller tilsvarende og at kun personer som har tjenstlig behov får tilgang til den. For eksempel. Man vil få to forskjelligere Risikovurderings rapporter ved bruk av Eksamensfabrikk vs. Gamle eksamens haller og BYOD 11
12
Hovedpunkter fra Risiskovurdering Gjennomgå interne rutiner og se på funksjonalitetsforbedringer i løsningen som gjør at spørsmål ved automatisert retting (flervalg) vil vises etter eksamen og dermed kommer på avveie. Dette fører til merarbeid pa grunn av at spørsmålene da ikke kan gjenbrukes. Informere forfattere av eksamensoppgaver at lenker i PDFer gjør et eksamenskandidater kommer ut på internett. Det bør også sjekkes om endringer i løsningen kan avhjelpe dette problemet. Bedre kommunikasjon med og mellom faglige ansatte, administrasjon og studenter (dvs. alle brukergrupper) for å sikre at funksjonalitet i løsningen blir bruk på riktig måte. Dette gjelder også kommunikasjon mellom leverandør og kunder. 13
Hovedpunkter fra Risikovurdering På grunn av dårlig eller feil bruk av norsk språk i ledetekster anbefales det at oversettelsen kvalitetssjekkes og at det utarbeides en felles norsk terminologi. Det bør utarbeides en veileder som beskriver hvilke eksamenstyper som er egnet for digital eksamen. Årsaken til dette er at det er problemer med enkelte tastatur og tegn i lock-downbrowser. Dette problemet bør også tas opp med leverandør av lock- down browseren. Det bør opprettes samarbeidsfora for å sikre god kommunikasjon med og mellom institusjonene. Dette for å spre beste praksis for å sikre at løsningen blir brukt optimalt. Det er også viktig at det utvikles opplæring- og veiledningsmateriell som beskriver beste praksis. 14
Gruppeoppgaver Erfaringssamling digital eksamen 29.03.2017 Magnus Strømdal
Gruppeoppgaver Bruker ca. 1 time per oppgave. Pause og fotstrekk mellom hvert oppgave J Liten introduksjon til hvert tema. Diskusjon i grupper (30+ minutter). Presentasjon av punkter fra diskusjonen. Noen må skrive stikkord fra diskusjonen i gruppa. Hvem bør følge opp arbeidet? (lokal, Ceres-, UNINETT-gruppe, UHR) 16
1. Sensur og erfaringer med digital sensur Lekser Eksamensreglement og lokale retningslinjer Kvalitetsmeldinga Sensorveiledning til alle eksamener, nasjonale deleksamener, rett til å få begrunnelse Veiledende retningslinjer for sensur, UHR Ceres-arbeidsgruppen for digital vurdering 17
1. Sensur og erfaringer med digital sensur Spørsmål Hvordan skjer digital sensur hos oss? Hva er gode sider med digital sensur? Hva fungerer dårligere? Praktiske tiltak dersom det kommer krav om at alle karaktervedtak skal ha begrunnelse Praktiske tiltak knyttet til Kvalitetsmeldingen? 18
2. Begrunnelse og klage, erfaringer og forslag til tiltak Lekser Eksamensreglement og lokale retningslinjer. Kvalitetsmeldinga Alle studenter har rett til å få begrunnelse for karakteren de har fått, dersom de ber om det. Tall for antall begrunnelser og klager siste år ved din institusjon. Ceres-arbeidsgruppen for digital vurdering 19
2. Begrunnelse og klage, erfaringer og forslag til tiltak Spørsmål Hvordan skjer håndtering av spørsmål om begrunnelse hos oss? Hvordan skjer håndtering av klage digitalt hos oss? Hva er effektive prosesser, og hvor er ikke nytteverdiene er tatt ut? Hva fungerer dårligere enn forventet? Praktiske tiltak dersom det kommer krav om at alle karaktervedtak skal ha begrunnelse Praktiske tiltak knyttet til Kvalitetsmeldingen? 20
3. Arkivering av eksamensoppgaver Lekse Sjekk ut arkiverings- og kassasjonsplan. UFS 148. Ceres-arbeidsgruppen for digital vurdering Tilbakeskriving av digital vurdering til FS Arkivering av oppgavetekst og protokoll 21
3. Arkivering av eksamensoppgaver Spørsmål Hva er naturlig oppdeling av eksamensinformasjon som skal arkiveres/ lagres/oppbevares Hvilken metainformasjon (emne, vurderingskode etc) bør pakkes sammen med oppdelingen av eksamensinformasjon? Hvilke metadata blir nyttig å ha pakket ned sammen med eksamensinformasjon? Hvorfor? Hva er lavt hengende frukter for automatisering? Har gruppen forslag til andre tiltak (avklaringer, utprøving, dokumentasjon etc) 22
4. Oppsummering 23