NTNU - Norges teknisknaturvitenskapelige. Prosjekt: IT i utdanningen

Transkript

1 NTNU - Norges teknisknaturvitenskapelige universitet Prosjekt: IT i utdanningen Dokument: Utredning - Digital eksamen NTNU Prosjekteier: IT-sjef, Håkon Alstad Kontaktperson: Programleder IT i utdanningen; Kirsti Sørgaard Moe, Rådgiver SASS; Kjersti Faldet Listhaug Forfatter: Per Hovde, Stig Owe Olsen Dato: Versjon: 1.0 The emperor receives a candidate during the Palace Examination. Song dynasty ( A.D.) Rapporten er utarbeidet og skrevet av; Per Hovde Fundator AS Stig Owe Olsen Fundator AS

2 I Sammendrag Denne rapporten oppsummerer arbeidet fra et prosjekt som ble startet i januar 2015 for å utrede konsekvenser for innføring av digital eksamen ved NTNU. Det er av rektor et uttalt ønske at alle eksamener skal digitaliseres innen Formålet med denne rapporten er å formidle en forståelse av hva det innebærer å innføre digital eksamensavvikling ved NTNU. Rapporten tar utgangspunkt i tidligere rapporter og erfaringer ved NTNU og andre utdanningsinstitusjoner hvor digital eksamen er under innføring/utprøving. Inntrykket er i korte trekk at det er stort sprik i hvor langt en er kommet ved de forskjellige institusjonene, men at det er gjort mange erfaringer som er viktig å ta med seg i det videre arbeidet. Det er også innhentet informasjon ved hjelp av intervjuer av administrativt ansatte, vitenskapelige ansatte og IKT teknisk personell. Basert på erfaringer fra andre institusjoner og intervju av ansatte ved NTNU er det gjort funn som ansees som viktige å ta med seg inn i en digitaliseringsprosess. Oppsummering av funn og anbefalinger Basert på funn og erfaringer mener vi at det er viktig at NTNU ser på digitalisering av eksamen som en endringsprosess for alle roller som er involvert i avvikling av eksamen. Det bør derfor ikke kun ensidig fokuseres på hvordan dagens skoleeksamen skal leveres digitalt. Vi ser det som svært viktig at fokus rettes mot å etablere en plattform for prosessflyt som kan støtte alle involverte prosess-steg knyttet til eksamensavviklingen. Dette inkluderer alt av forberedende arbeid, gjennomføring, sensur, klage og begrunnelse. For å sikre en enhetlig og mer effektiv prosessflyt med langt færre manuelle oppgaver enn i dag, må informasjonen sammenstilles og presenteres til brukerne i arbeidsflaten (skjermbildet) vha. underliggende tekniske løsninger som er integrert med plattformen. Denne digitaliserte plattformen for prosessflyt vil kunne betraktes som navet for eksamensprosessene. Denne både kan, og bør, innføres uavhengig av formen på selve eksamensgjennomføringen, om den foregår digitalt eller papirbasert, eller om den gjennomføres som hjemmeeksamen eller skoleeksamen. Som vi har vist i denne rapporten hvor vi har hatt fokus på gevinstpotensial ved digitalisering, ligger de største gevinstene i digitalisering av delprosessene som skjer i forkant og etterkant av selve eksamensgjennomføringen. For disse delprosessene er det potensiale både for økonomiske og kvalitative gevinster. For delprosessen som omfatter gjennomføring av eksamen (utarbeide og levere besvarelse), vil det derimot kun være kvalitative gevinster ved digitalisering. Som påvist i denne rapporten er kostnadene knyttet denne delprosessen svært høye ved digitalisering. Det er verdt å bemerke at innføringen av en digital eksamensplattform som understøtter arbeidsprosessene, bør innføres gradvis og starte der gevinstene ved digitalisering er størst, f. eks. ved å starte med én av delprosessene. Handelshøyskolen BI har etablert en slik plattform for arbeidsflyt, og er så langt den eneste institusjonen som har hatt primærfokus på dette fremfor digital skoleeksamen. De startet med sensureringsprosessen som faglærerstaben betraktet som ineffektiv og arbeidskrevende før digitalisering. Fokus på denne delprosessen bidro til å skape god forankring for digitalisering hos den viktigste gruppen interessenter. Side 2 av 66

3 Det er knyttet betydelige tekniske og økonomiske utfordringer til digitalisering av den tradisjonelle skoleeksamen hvor det ikke gis (eller gis svært begrenset) tilgang til hjelpemidler. Med papireksamen er det relativt enkelt å håndheve de strenge reglene som gjelder for skoleeksamen, mens når kandidatene disponerer en PC under eksamen, vil det være langt mer utfordrende å forhindre juks. Dette krever avanserte tekniske løsninger som er kostbare å utvikle og vedlikeholde. Slike løsninger innebærer derfor høye anskaffelses- og lisenskostnader. I tillegg krever digital skoleeksamen, hvor et stort antall kandidater gjennomfører eksamen samtidig i institusjonens lokaler, en omfattende infrastruktur (strøm, datanettverk, ventilasjon). Det er knyttet store investerings- og driftskostnader til en slik infrastruktur. Se mer om de økonomiske aspektene knyttet til digital skoleeksamen nedenfor. I lys av dette synes det lite realistisk at NTNU vil kunne avvikle samme antall skoleeksamener som i dag i digitalt format, i alle fall uten at det er forbundet med betydelige kostnader. Etter vår mening vil faglig og pedagogisk arbeid med alternative vurderingsformer være en forutsetning for at NTNU skal nå et mål om papirløs eksamen. Ved NTNU har det vært gjort forsøk med digital eksamen gjennom 3 pilotprosjekter i perioden ; først med målsetning om å teste ulike verktøy for digital skoleeksamen, deretter med målsetning om å få erfaringsgrunnlag for en oppskalering av digital eksamen ved NTNU. En erfaring fra den siste piloten var at oppslutningen om digital eksamen i fagmiljøene var lavere enn forventet. Dette skyldes etter vår oppfatning først og fremst mangel på strategisk forankring i ledelsen og en underkommunisert målsetning med pilotprosjektene. Det må settes inn tiltak for å endre dette gjennom tydeligere kommunikasjon av strategi og målsetninger, samt hvilke nye muligheter som åpner seg med digital eksamensgjennomføring. Det bør også vurderes å innføre insentiv-ordninger som gjør det mer attraktiv for emneansvarlige å gjennomføre sine eksamener digitalt. Nye muligheter og nye utfordringer For mange emner ved NTNU er bruk av relevante IKT-verktøy en vesentlig del av den kompetansen studentene får overført gjennom undervisningen. Slike verktøy er viktig for å kunne anvende sin fagkunnskap på en effektiv måte. Dette er avgjørende kompetanse når studentene etter hvert skal over i arbeidslivet. Det er et paradoks at dette i svært liten grad er en del av vurderingen av kandidatene i emner hvor dette er relevant. Fremtidige pilotprosjekter for utprøving av digital eksamen bør ha et betydelig fokus på slike eksamener med en verktøy-basert kontekst. Hvis slike eksamener må gjennomføres som digital skoleeksamen må pilotprosjektene samarbeide med leverandører av eksamensprogramvare for å utforske utfordringene knyttet til å begrense tilgang til andre hjelpemidler. Dette vil trolig være kostnadskrevende og det anbefales sterkt å utforske alternative vurderingsformer som fjerne behovet for skoleeksamen, men i stedet kan foregå som en «åpen bok» eksamen eller som hjemmeeksamen. Faglærer-staben må være sterkt involvert i dette arbeidet. Økonomiske aspekter knyttet til digital skoleeksamen For å danne et bilde av kostnader knyttet til innføring av digital eksamen ved NTNU, er det nedenfor gitt et anslag av kostnader for 3 ulike scenarier. Forskjellen mellom scenariene ligger i hvor stor andel av dagens skoleeksamener som erstattes av digitale skoleeksamener. Tallene har en betydelig grad av usikkerhet, dels på grunn av begrenset tid til detaljerte analyser, men også fordi det på det nåværende tidspunkt ikke er kjent hvilken teknisk løsning som vil bli valgt. Videre kommer usikkerhet rundt lisensierings-prinsipper ved opp-skalering fra dagens nærmest ubetydelige antall digitale eksamener til en stor-skala gjennomføring. Side 3 av 66

4 Tallene som er brukt i kalkylene, er basert på erfaringer fra andre institusjoner og rapporter fra UNINETT. Merk at det i estimatene også ligger kostnader knyttet til å innføre en plattform for digital arbeidsflyt. Dette vil være en engangskostnad som vi har fordelt over 4 år fom. 2. halvår 2015 tom. 1. halvår Fom. 2. halvår 2019 vil det kun være drifts- og forvaltningskostnader knyttet til selve eksamensplattformen. Tabellen nedenfor viser estimerte økonomiske konsekvenser knyttet til innføring av digital eksamen ila. et 4-års perspektiv. Eksemplet tar utgangspunkt i at kandidatene stiller med egne klienter (Mac eller PC) på eksamen, referert til som BYOD (Bring Your Own Device). I tabellen nedenfor vises hvordan kostnadsbildet ser ut for 3 ulike scenarier med ulik dekningsgrad av digital skoleeksamen; 100 %, 50 % og 10 %. 100% (BYOD) H H Totalt Gjennomføringskostnader Investeringskostnader Prosjektkostnader 3,4 11,4 13,1 12,3 4, ,4 33,4 35,1 34,3 15, % (BYOD) H H Gjennomføringskostnader 4, ,5 Investeringskostnader Prosjektkostnader 3,4 11,4 13,1 12,3 4,8 45 9,9 23,4 25,1 24,3 10,8 93,5 10% (BYOD) H H Gjennomføringskostnader 0, ,5 4 Investeringskostnader Prosjektkostnader 3,4 11,4 13,1 12,3 4,8 45 5,9 14,4 16,1 14,3 6,3 57 Kommentarer til tabellen over: Tall i millioner NOK - De årlige gjennomførings- og investeringskostnadene vil løpe videre på samme nivå etter Prosjektkostnader er knyttet til innføring av digital eksamensplattform i perioden fom. 2. halvår 2015 tom. 1. halvår Fra 2. halvår 2019 vil det kun påløpe årlige driftsog forvaltningskostnader. I beregningene som ligger til grunn for estimatene, er det ikke tatt hensyn til kostnader som fakultet og institutt må påregne for endring av sine nåværende prosesser knyttet til for- og etterarbeid ifm. eksamensavviklingen. Teknisk infrastruktur i lokaler som tenkes benyttet til eksamensavviklingen er heller ikke tatt med i dette regnestykket. Side 4 av 66

5 En konklusjon basert på de økonomiske konsekvensene skissert foran, er at det er lite realistisk å erstatte alle dagens papirbaserte eksamener med digital skoleeksamen innen En investering på 130 MNOK over 4 år innebærer stor risiko sett i lys av at dette er en svært stor organisatorisk endring for NTNU. Vi vil fremheve følgende risikoelementer knyttet til dette: - Lav modenhet ift. en så betydelig endring. - Tekniske utfordringer. - Umodent leverandørmarked for eksamensløsninger. - Stort udekket arealbehov. Basert på dette vil vi anbefale å senke ambisjonene mht. tidsperspektivet for innføring av en fulldigitalisert eksamensavvikling og heller bruke lenger tid. Vi vil samtidig poengtere at det er viktig å starte arbeidet så snart som mulig for å ikke tape ytterligere tid. Samtidig vil det være viktig å fokusere på alternative vurderingsformer som åpner for alternative og mindre ressurskrevende måter for vurdering av kandidatenes kunnskaper, og på denne måten redusere behovet for skoleeksamener. Det vil bidra til å redusere det totale investeringsbehovet og det er derfor viktig å prioritere dette arbeidet. Det vi ser som det mest sannsynlige scenarioet på kort sikt, er og utnytte den kapasiteten som finnes i lokalene i Høgskoleringen 3 (P15). I teorien vil en, basert på kapasiteten til disse lokalene få gjennomført omtrent 14 % av den totale mengden skoleeksamener. I praksis vil imidlertid dette tallet være lavere, og vi tror det er urealistisk å gjennomføre særlig mer enn 10 % av dagens skoleeksamener digitalt. Tar vi i tillegg med hjemmeeksamener som utgjør om lag 20 % av den totale eksamensmengden får vi da et regnestykke som ser slik ut (tall i millioner NOK): H H Totalt Gjennomføringskostnader Investeringskostnader Prosjektkostnader 3,4 11,4 13,1 12,3 4,8 45 6,4 15,4 17,1 15,3 6,8 61 Funn som underbygger behov for felles, digital plattform for eksamensprosessene Arbeid knyttet til avvikling av eksamen kjennetegnes i dag av: Stort sprik mellom ulike institutter og fakulteter i hvordan arbeidsoppgavene rundt eksamen utføres og administreres (arbeidsflyt). Lite enhetlige arbeidsprosesser gir sårbarhet for utskiftning av medarbeidere. Segmentert arbeidsprosess hvor mange er involvert i små oppgaver. Mange manuelle steg og lite verktøystøtte gir høy kognitiv belastning og gjør arbeidssituasjonen unødvendig tung for de involverte. Stor risiko knyttet til kvalitet i arbeidet pga. mange små, manuelle oppgaver og mange involverte. Det brukes mye ressurser på oppgaver som enkelt kan automatiseres gjennom innføring av en digital plattform for prosessflyt. Side 5 av 66

6 Områder det anbefales å fokusere på i det videre arbeidet Her oppsummeres noen av rapportens anbefalinger for å realisere målet om en digitalisert eksamensprosess: Etabler en digital plattform for prosessflyt som kan understøtte eksamensprosessene og gi en mer enhetlig og mer effektiv arbeidsprosess knyttet til både den administrative og den faglige delen av arbeidet. Se på alternative vurderingsformer og sørg for at dette arbeidet både blir tydeliggjort inn i organisasjonsutviklings- prosessen og at det koordineres med behovsarbeidet for den tekniske løsningen. Digitalisering vil kunne gi rom for et nytt mulighetsperspektiv for vurdere kandidatenes kunnskaper, og omvendt kan alternative vurderingsformer medføre nye krav til den digitale plattformen. Fokuser på organisasjonsutvikling gjennom å sørge for at prosessen for digitalisering av eksamensprosessen er tilstrekkelig forankret i organisasjonen, både blant administrativt og vitenskapelig personale. Fortsett arbeidet med utprøving av digital eksamensgjennomføring, men drei fokus mer over på konkrete problemstillinger knyttet til hvordan eksamenene kan gjøres bedre gjennom å tilby relevant verktøystøtte under eksamensgjennomføringen. Eksempler på slike verktøy er CAD-verktøy i byggtekniske fag og IDE-verktøy i datafag. Dette støttes i liten grad av de eksamens-applikasjonene som pr. i dag er i bruk for gjennomføring av eksamen, så dette er et område en bør fokusere på overfor leverandørene av slike løsninger. Gevinster Basert på kartleggingen og funnene som er registrert, er det et gevinstpotensial som kan realiseres ved å innføre digitalisering av eksamensprosessene. Gevinster vil kunne bestå av både direkte og indirekte budsjettmessige gevinster, og ikke minst kvalitative gevinster. Gevinster som antas å være innenfor rekkevidde er: Langsiktige økonomiske gevinster ved å innføre en digital plattform for prosessflyt som understøtter arbeidsprosessene og gjør disse mer effektive. Innføring av alternative vurderingsformer som reduserer behovet for tradisjonell skoleeksamen vil gi grunnlag for reduserte kostnader knyttet til selve eksamensgjennomføringen sammenliknet med digitalisering av dagens skoleeksamener. Økt relevans og kvalitet i vurderingen av studentenes kunnskaper sett i forhold til hva som etterspurt og relevant i arbeidsmarkedet. En enklere hverdag for vitenskapelig og administrativt ansatte gjennom forenklede arbeidsprosesser og færre manuelle oppgaver. Lavere risiko for manuelle feil, dvs. økt kvalitet. Økt omdømme for NTNU. Hvordan gevinstene skal identifiseres og realiseres er mer utdypende forklart i kapittelet om gevinstrealisering. Side 6 av 66

7 II Forord Det er av rektoratet ved NTNU uttalt at alle eksamener skal digitaliseres innen Denne rapporten belyser hvilke konsekvenser og investeringsbehov digitalisering vil innebære for å oppnå målbildet som er beskrevet i denne rapporten. Rapporten er utarbeidet av Per Hovde og Stig Owe Olsen på oppdrag fra programmet «IT i utdanningen». Kort oppsummert er målbildet for denne rapporten følgende; Formidle en forståelse av hva digitalisering av eksamen ved NTNU innebærer med tanke på: Organisering og arbeidsflyt. Hvordan IKT kan understøtte arbeidsflyt? Gevinstpotensial. Investeringsbehov. Hva skal til for å nå målet om en fulldigitalisert eksamensavvikling? Rapporten er bygd opp som følger; Kapittel 1 - Oppsummering av dagens situasjon Kapittel 2 - Informasjonsinnhenting Kapittel 3 - Oppsummering av funn ved NTNU Kapittel 4 - Forutsetninger for en vellykket innføring Kapittel 5 - Gevinstpotensial; hvordan sikre at potensialet utnyttes? Kapittel 6 - Målbildebeskrivelse; hvor skal vi? Kapittel 7 - Anbefalinger og tiltak for å oppnå målbildet Kapittel 8 - Investerings- og gjennomføringsbehov frem til medio 2019 Kapittel 9 - Ordliste og forkortelser Kapittel 10 - Referanser Kapittel 11 - Vedlegg Vi benytter noen begreper i denne rapporten som det er hensiktsmessig å introdusere allerede her slik at leseren forstår hva vi legger i begrepene slik at de blir satt inn i rett kontekst der de blir benyttet. Gjennomføring av digital eksamen / digital eksamensgjennomføring Med dette begrepet mener vi det som skjer på eksamensdagen der studenten får en digital oppgave, utarbeider og leverer en sin besvarelse digitalt. Avvikling av digital eksamen Med dette begrepet mener vi hele verdikjeden for digital eksamen. I det legger vi det som skjer av administrative og vitenskapelige oppgaver gjennom alle delprosessene beskrevet i denne rapporten. Disse omfatter forberedelse av eksamen, gjennomføring, sensurering, evt. begrunnelse på sensurvedtak, evt. klage på sensurvedtak og avslutning av eksamen. Digitalisering Betydningen av dette begrepet slik det er benyttet i denne rapporten, kan oppsummeres som følger: Side 7 av 66

8 Digitalisering innebærer at arbeidsflyt automatiseres gjennom IKT-støtte. Det betyr at flyten av oppgaver mellom ulike aktører i prosessen håndteres automatisk av et IKTsystem basert på formelle definisjoner av arbeidsflyten ift. hvem (rolle) som gjør hva (oppgave) på hvilke informasjonsobjekter, og rekkefølgen av oppgavene. Digitalisering innebærer at saksbehandlingen (arbeidsprosesser) utøves på digitale informasjonsobjekter. Når informasjonsobjektene som inngår i saksbehandlingen foreligger/bearbeides i digital form gir dette muligheter for større grad av automatisering av arbeidsprosessene, bl. gjennom: Integrasjon mellom arbeidsprosess og datakilder for informasjon gjør uthenting og oppdatering av informasjonen til en integrert del av arbeidsprosessen. Enklere og raskere distribusjon av informasjonen mellom aktørene i arbeidsprosessene. Datastyrt tilgangskontroll til informasjon basert på rolle (f. eks. emneansvarlig, sensor, administrativ saksbehandler) Fulldigitalisering / heldigitalisering En spesialisering av begrepet digitalisering som innebærer at saksbehandlingen i sin helhet utøves på digitale informasjonsobjekter. Det flyter ikke papirutgaver av informasjon gjennom prosessen. Side 8 av 66

9 Innholdsfortegnelse 1 Dagens situasjon oppsummert Noen faktatall om eksamensavviklingen Digital eksamen ved NTNU Arbeidsflyt Digitalisering av datagrunnlaget for eksamensperioden Innsamling av eksamensoppgaver Mangfoldiggjøring av eksamensoppgaver Distribusjon av eksamensoppgaver til eksamensrommene Utdeling av eksamensoppgaver i eksamensrommet Innsamling av eksamensbesvarelser Distribusjon av sett med eksamensbesvarelser til ansvarlig institutt Distribusjon av sett med eksamensbesvarelser til sensor(er) Manglende rutiner for dokumentasjon av begrunnelse for sensurvedtak (sensurinformasjon) Registrering av sensur i FS Overflødige begrunnelsessaker? Informasjonsinnhenting Intervjuer Andre informasjonskilder og erfaringer UNINETT ecampus Universitetet i Oslo (UiO) Universitetet i Agder (UiA) Høgskolen i Oslo og Akershus (HiOA) Handelshøyskolen BI Oppsummering funn fra andre organisasjoner Erfaringer fra digital eksamen høsten 2014 NTNU Oppsummering av funn ved NTNU Klage og begrunnelse Sensur Læringsmål Sikker avvikling av eksamen Kvalitet på gjennomføring av eksamen IKT tekniske integrasjoner Sviktende oppslutning om å delta i pilotprosjekter på digital eksamensgjennomføring Forutsetninger Motivasjon IKT-kompetanse Fristilling av personell Forutsigbar finansiering Infrastruktur/IKT teknisk Arbeidsflyt Gevinstpotensial Hva er gevinst? Effektivisering knyttet til digitalisering av eksamensprosessene Identifiserte områder for gevinstpotensial ved NTNU Målbildebeskrivelse for en digitalisert eksamensprosess En egen fagportal for digital eksamen Side 9 av 66

10 6.2 Digitalisert arbeidsflyt Et nærmere blikk på målbilde-løsningen Prosessbeskrivelser Detaljert eksempel på digitalisering Behandle klage Utarbeide eksamensbesvarelse Skoleeksamen eller alternativ vurderingsform? Hjemmeeksamen Eksamensgjennomføring anno Anbefalinger og tiltak Anbefalte tiltak Etablere program/prosjektkontor for etablering av digital eksamen Oppgaver i prosjektkontoret Prosjekter og aktiviteter etter konseptfasen for å realisere målbildet Overordnet prosjektplan Investeringsbehov Prosjektkostnader Lisenskostnader Hardware kostnader Klient/Server Hus/ leiekostnader Opplæring Gjennomføringskostnader Hvilke kostnader er ikke tatt med Investeringsbehov de neste 4 år Vurdering av estimatusikkerhet Ordliste Referanser Vedlegg US DoC ACMM Andre rammeverk og modeller for modenhetsanalyse Gevinstrealisering Hvorfor gevinstrealisering? Identifisering og oppfølging av gevinster Side 10 av 66

11 1 Dagens situasjon oppsummert Vi vil starte med å oppsummere dagens situasjon ved NTNU med tanke på faktatall som er innhentet. Vi vil se på arbeidsflyt for avvikling av eksamen og belyse de områder som oppleves å være problematiske. Vi vil også belyse funn som vi mener er viktige å fokusere på. Funnene er basert på intervjuer og samtaler med faglærere, administrativt og teknisk personell. 1.1 Noen faktatall om eksamensavviklingen NTNU har siden 2010 hatt et snitt på kandidater (besvarelser) til eksamen hvert år. Av disse blir 75 % gjennomført som skoleeksamener og utgjør om lag besvarelser. Fordelt på to eksamensperioder i året betyr dette besvarelser pr. semester fordelt over en 18 dagers eksamensperiode. Dette innebærer med andre ord et snitt på besvarelser pr dag. Normert skal hver student ta 4 emner a 7,5 studiepoeng hvert semester, totalt 8 emner og 60 studiepoeng i året. Ved universitetet i Oslo har man et betydelig mindre antall skoleeksamener og noe av dette skyldes trolig at man har emner som er på 10 studiepoeng. Sammenligner en dette med NTNU er resultatet at antall eksamener pr. student faller fra 8 til 6 eksamener i året, en reduksjon på 25 %. Pr. i dag benyttes det i stor grad leide lokaler for avvikling av skoleeksamener ved NTNU. Vi tenker da spesielt på Trondheim Spektrum. Her sies leiekostnadene å være omtrent 2 millioner kroner i året. Det leies naturligvis plasser til alle oppmeldte kandidater, men erfaringsmessig er det mange som ikke møter til eksamen. I 2014 var det kandidater som ikke møtte til eksamen. Med en kostnad på 36 kroner pr plass utgjør dette over kroner i «unødvendige» utgifter. Det foreligger et budsjett på om lag 18,7 millioner kroner til gjennomføring av eksamen for Det sies også at det ikke er noen grunn til å tro at antallet eksamener vil avvike vesentlig fra volumet i Det er startet et prosjekt for å se på hvordan NTNU skal kunne utnytte alternative vurderingsformer, men det antas ikke at en vil kunne se noen effekt av dette før tidligst i studieåret Det er pr. i dag i overkant av 700 tilgjengelige plasser ved datasaler ved NTNUs lokaler. Hvorvidt alle disse plassene egner seg for en digital skoleeksamen er det ikke tatt stilling til. Det er imidlertid satt av lokaler til digital eksamensgjennomføring ved Høgskoleringen 3 (P15) på Gløshaugen. Lokalene er fordelt på to etasjer som disponeres av henholdsvis Studieavdelingen og Institutt for datateknikk og informasjonsvitenskap (IDI). Til sammen utgjør disse to etasjene 100 eksamensplasser. Ved en digital eksamensgjennomføring vil lokaler som Trondheim Spektrum være uegnet fordi dette er flerbrukslokaler som benyttes til idrettsarrangementer på kveldstid. Det vil være utfordrende å tilby en nødvendig teknisk infrastruktur (tilgang til strøm og datanettverk) for digital eksamensgjennomføring som enkelt kan rigges opp og ned hver dag i eksamensperioden. Lokaler som er best egnet til en digital gjennomføring av eksamen vil mest sannsynlig være datasaler hvor teknisk infrastruktur allerede eksisterer. Ved emner hvor det er mange studenter må det poengteres at det ved en skoleeksamen kreves like mange Side 11 av 66

12 plasser som det er studenter i emnet hvis en skal unngå å kjøre flere, ulike eksamensinstanser for et emne, hvilket vil bety betydelig merarbeid for de som er ansvarlig for emnet. Både fakulteter og institutter er sterkt involvert i eksamensprosessen. Faglærere og emneansvarlige tar naturligvis en stor del av dette arbeidet, men administrativt ansatte er også i sterk grad involvert i avviklingen av eksamen. Tid som benyttes på eksamensrelatert arbeid blir ikke særskilt registrert, og det er vanskelig å hente ut tall for kostnader knyttet til dette arbeidet. Dette representerer derfor skjulte kostnader. Det ble imidlertid i regi av Fakultetsforum i 2011 forsøkt å anslå hvor mye tid som forbrukes av administrativt personale i forbindelse med begrunnelsessaker og klagesaker. Her ble det basert på skjønnsmessige vurderinger av omfang av tidsforbruk hos administrativt personale i disse prosessene konkludert med at det gikk med ca. 2,5 årsverk til dette arbeidet. Merk at den faglige vurderingen ikke inngår i disse tallene. Tallene er imidlertid meget usikre og det er rimelig å anta at det er mørketall her og at de virkelige tallene er høyere. Det er også verdt å bemerke at det i de siste årene har vært en klar økende trend i antall klage- og begrunnelses saker ved NTNU. Vi kan på bakgrunn av dette anta at tidsforbruket på slike saker er enda høyere i dag. Ved fulldigitalisering av eksamensavviklingen ved NTNU, vil det, som vi har beskrevet senere i rapporten, være mulig å fjerne det aller meste av det administrative arbeidet knyttet til begrunnelses- og klagesaker. 1.2 Digital eksamen ved NTNU Høsten 2014 ble det gjennomført et pilotprosjekt med en ambisjon om å gjennomføre digital eksamen for inntil 100 kandidater pr. dag i eksamensperioden (inntil 1800 kandidater totalt), samt i inntil 50 emner med hjemmeeksamen. Målet var å få et realistisk bilde av hvordan digital eksamen kan fortone seg ved NTNU, samt å prøve ut digital hjemmeeksamen, da dette er et område hvor NTNU raskt vil kunne øke andelen eksamener som håndteres digitalt. Det faktiske antallet kandidater som gjennomførte eksamen digitalt, var betydelig lavere enn planlagt. Totalt gjennomførte 111 kandidater digital skoleeksamen fordelt på 4 emner, mens 282 kandidater fordelt på 8 emner gjennomførte digital hjemmeeksamen. Årsaken til den store avstanden mellom ønsket mengde eksamener og gjennomførte eksamener var i hovedsak at få faglærere meldte interesse for å være med i dette pilotprosjektet. Dette kan skyldes at invitasjonen til deltakelse først kom litt ut i semesteret. Det faktum at det har vært lite informasjon i fagmiljøene om muligheter og begrensninger ved digital eksamen er trolig også viktig årsak til den sviktende oppslutningen. Ifølge prosjektplanen for dette pilotprosjektet skulle utgiftene fordele seg som følger: IT avdeling (arkitekter og IT støtte) Prosjektleder Fageksperter (605 kr pr time) Software (Inspera) I dette regnestykket er det ikke tatt med kostnader til lokaler eller administrative kostnader ved institutt og fakultet. Det bør nevnes at å finne de faktiske kostnadene for gjennomføringen har vært noe vanskelig. En vil kunne få forskjellige tall basert på hvem en spør. IT-avdelingen ser kun sine egne Side 12 av 66

13 kostnader; Studieavdelingen, som hadde det overordnede ansvaret, har oversikt over sine egne og IT avdelingens kostnader, men kan ikke si noe om kostnader knyttet til datasalene eller ressursene som IDI stilte til disposisjon ifm. gjennomføringen i Høgskoleringen 3. Dette ikke ment som en kritikk av verken IT- eller Studieavdelingen, men heller et resultat av hvordan gjennomføringen ble organisert, hvor elementer som ikke angår ens eget budsjett ikke regnes som en «kostnad». Dette betyr at det er betydelige ukjente, skjulte kostnader. 1.3 Arbeidsflyt Funn gjort i rapporten «Sluttrapport digital eksamen», ref. [2], påpeker at det for NTNU pr. i dag ikke er en omforent prosess for gjennomføringen av eksamen. Administrativt gjennomføres f.eks. forberedelse av eksamen på forskjellige måter fra institutt til institutt. Sitat fra rapporten: «Prosessene er som følge av lite IKT-støtte fragmenterte og lite ensartede på tvers av fakulteter og institutter. Intervjuer med involverte personer tyder sågar på at hver enkelt person lager egne rutiner for å ha kontroll på sin del av prosessen. Dette betyr at det ligger mye detaljkunnskap og detaljadministrasjon hos enkeltpersoner om relativt trivielle deler av prosessen som et IKT-system kan, og bør håndtere for å lette arbeidshverdagen for de involverte.» Det vi kan se er at disse observasjonene fortsatt er gyldige da vi har gjort de samme funnene i forarbeidet til denne rapporten gjennom intervjuer og i dialog med faglærere og administrativt ansatte. Utover dette er det også en observasjon at for oppgaver som allerede er digitalisert i dagens prosess, er det mange ulike applikasjoner for å løse ulike oppgaver (prosess-steg) som inngår i arbeidsprosessene. Prosessene blir derfor fragmenterte ved at brukerne må forholde seg til flere ulike brukergrensesnitt. Dette gir en unødvendig høy kognitiv belastning. Grovt sett kan vi dele inn dagens arbeidsprosess for avvikling av eksamen i 6 delprosesser som vist i figuren nedenfor: Vi skal ikke gå i detalj på hver delprosess, men si litt om hvor vi observerer at prosessen i dag er lite effektiv og legger unødvendige, manuelle arbeidsoppgaver på administrativt og faglige ansatte. Nedenfor følger noen av de prosessene som oppleves å bidra til ineffektivitet. Disse punktene er hentet fra «Sluttrapport digital eksamen», ref. [2]. Side 13 av 66

14 1.3.1 Digitalisering av datagrunnlaget for eksamensperioden Det er mye manuelt arbeid for å få grunnlagsdata over i digital form før en kan utarbeide datoplan og rom plan for eksamensperioden. Planverket burde i utgangspunktet vært produsert digitalt som en del av arbeidsflyten i delprosessen Forberede eksamen. Grunnlagsdataene er pr. i dag lite formaliserte og ensartede mellom fakultetene og det vil før evt. digitalisering være behov for å etablere en formell informasjonsstruktur for disse Innsamling av eksamensoppgaver Her er det mye manuelt oppfølgingsarbeid ved instituttene og hos eksamensinspektørene i forhold til å få samlet inn oppgavene i tide før eksamen Mangfoldiggjøring av eksamensoppgaver Fordi oppgavene skal leveres ut på papir brukes mye ressurser til trykking/kopiering av eksamensoppgaver, herunder logistikk knyttet til ulike målformer og antall eksemplarer for den enkelte målform Distribusjon av eksamensoppgaver til eksamensrommene Det brukes betydelige ressurser på pakking og transport av sett med eksamensoppgaver ut til de enkelte eksamensrommene. Det er en ikke ubetydelig logistikk knyttet til dette som i sin helhet kan automatiseres i en digitalisert løsning Utdeling av eksamensoppgaver i eksamensrommet Kandidatene kan velge språkform/språk på eksamen gjennom studentweb ved oppmelding til eksamen. Denne informasjonen registreres i FS. Med papirbaserte eksamensoppgaver som må deles ut fysisk på eksamensdagen er det en del logistikk knyttet til å kartlegge hvilke kandidater som skal ha hvilken språkform, og forutsetter at en liste som knytter kandidat til målform er hentet ut fra FS og er tilgjengelig for eksamensinspektørene. Det siste omgås til en viss grad ved at å trykke opp et eksemplar av alle representerte målformer til hver av kandidatene. Dette er imidlertid en lite miljøvennlig løsning da mengden papir økes utover det reelle behovet Innsamling av eksamensbesvarelser Når eksamensbesvarelsen leveres av kandidaten er det noen manuelle prosedyrer som håndteres av inspektørene: Kontroll av at all formell informasjon som knytter besvarelsen til kandidaten er korrekt utfylt. Registrering av hvilke kandidater som har levert / ikke levert besvarelse. Levering av sett med besvarelser til mottakssentral for eksamensbesvarelser (i større eksamenslokaler som Trondheim Spektrum) Distribusjon av sett med eksamensbesvarelser til ansvarlig institutt Mottakssentralen organiserer besvarelser etter emne (eksamensinstans) og transport-tjenesten kjører besvarelsene til ansvarlig fakultet eller direkte til ansvarlig institutt (rutinene varierer mellom fakultetene her) Distribusjon av sett med eksamensbesvarelser til sensor(er) Ansvarlig institutt bruker betydelige ressurser på skanning eller kopiering av besvarelser for å Side 14 av 66

15 kunne distribuere disse elektronisk til sensor(ene). Dette gjelder både ved ordinær sensur og klagesensur. Dersom besvarelsene skannes ved ordinær sensur, vil en redusere arbeidet ved evt. klagesensur forutsatt at besvarelsene sendes elektronisk til klagesensorene Manglende rutiner for dokumentasjon av begrunnelse for sensurvedtak (sensurinformasjon) Når besvarelsene foreligger i papirutgave, er det vanskelig å tilby gode verktøy som kan forenkle dokumentasjon av begrunnelse. Ved skanning av besvarelsen over i et digitalt format, f. eks. til PDF, åpnes det for muligheter for å kunne knytte digitale kommentarer til besvarelsen. Eksempler på slike verktøy er Foxit Reader og PDF PRO hvor det er mulig å legge til annotasjoner/kommentarer til besvarelsen og på denne måten bygge opp sensurinformasjon som en integrert del av besvarelsen. Det er viktig at originalbesvarelsen (før sensurinformasjon legges til) tas vare på for bruk i tilfelle det kommer en eventuell klage på sensurvedtaket. Ved Københavns Universitet har Foxit Reader vært prøvd ut for sensur med gode erfaringer. Sensorene har da fått utdelt nettbrett (ipad) med eksamensoppgavene på og Foxit Reader installert, slik at sensuren i sin helhet har vært utført på nettbrettet Registrering av sensur i FS Prosessen rundt registrering av sensurvedtak er ineffektiv fordi de ikke lagres direkte i FS når de besluttes (av sensor). Dette betyr at sensurvedtak utveksles mellom sensor og ansvarlig institutt, og videre til eksamenskontoret i papirformat, evt. skannet og sendt på epost underveis i prosessen, før de registreres i FS ved manuell inntasting. Dette er ikke bare ineffektivt, men medfører også en ekstra kilde for feil ifm. inntasting Overflødige begrunnelsessaker? Mangel på rutiner og verktøystøtte for å utarbeide sensurinformasjon medfører at begrunnelsessaker innebærer mye ekstraarbeid som ville vært helt overflødig hvis det eksisterte rutiner for dette, kombinert med gode verktøy som gjør det enkelt å skape denne sensurinformasjonen for sensor. Side 15 av 66

16 2 Informasjonsinnhenting 2.1 Intervjuer I rapporten «Sluttrapport Digital Eksamen», ref. [2], som ble utarbeidet ved NTNU i 2012, ble det gjennomført intervjuer som en del av innhentingen av informasjon. I forlengelsen av dette føler vi at det er viktig og se om de funn gjort tidligere fortsatt er gjeldende, og eventuelt hvilke nye funn som er viktig og ta med seg videre. Når vi trekker frem funn som er gjort fra intervjuene, er dette et sammendrag av det som har blitt sagt, og ikke nødvendigvis sitater. Det er ført referat fra intervjuene. Disse referatene er ikke forelagt intervjuobjektene for godkjenning. Interessentgrupper intervjuet Rolle Administrativt ansatt Administrativt ansatt IT teknisk personell IT teknisk personell Faglærer Faglærer Arbeidssted Psykologisk Institutt Institutt for materialteknologi ecampus IT-avdelingen Stab Institutt for musikk Institutt for datateknikk og informasjonsvitenskap Funn: Administrativt ansatte Plan for eksamen lages av administrativt ansatte vha. Excel. Dette tar kun et par timer, men for personer som ikke har studieplanen i hodet er dette en betydelig større jobb. Arbeidsprosessen for sensur krever mye manuell jobb her med tanke på bearbeiding og samling av informasjon som skal ut til sensorene, som sensurveiledning, etc. «Her er det mye å spare.» «Dagens inspektører vil være «utdatert» ved digitalisering av eksamen». I stedet vil det være behov for personell med god IT-kompetanse ift. å løse problemer som oppstår under eksamen knyttet til teknologien. Det vil fortsatt være behov for faglærer og evt. en administrativ person for å håndtere avvik som ikke er relatert til IT. Stort antall begjæringer om begrunnelse av sensur, og over de siste årene har det vært en tydelig økende tendens. Med tradisjonell skoleeksamen er det mye enklere å vurdere besvarelse opp mot vedtatte læringsmål for faget. Funn: Faglærere Problematisk å gjennomføre skoleeksamen digitalt med tanke på verktøystøtte, vanskelig å «låse ned PC» (for å forhindre tilgang til ikke-tillatte hjelpemidler) og samtidig gi tilgang til tillatte hjelpemidler i form av IKT-verktøy. Manuelle rutiner med tanke på sensurering. Side 16 av 66

17 Viktig for studentene at de har en enkel og robust måte å levere sine eksamensbesvarelser på. Eksamen skal gi svar på om læringsmål er oppnådd. Digital gjennomføring av eksamen vil gi utvidede og/eller endrede muligheter for å teste oppnåelse av læringsmålene. Digital gjennomføring av eksamen kan derfor åpne muligheter for endring av læringsmål. Dette er viktig å ta med inn i arbeidet med alternative vurderingsformer. Prosessen for klage og begrunnelse oppleves som tungvint. Funn: IT teknisk personell Prinsipper om arkitekturarbeid for sektoren bør følges når en skal utarbeide en fremtidig løsning. I informasjonsutvekslingen med andre systemer er det viktig at informasjonsobjekter og selve integrasjonen følger generiske standarder. Før integrasjonsarbeidet kan starte for fullt må de fremtidige arbeidsprosessene være dokumentert. Prosessflyt-støtte og arbeidsprosesser vil være premissgivende for hvordan integrasjoner skal utformes og hvilke integrasjoner som behøves. Feilsendinger av eksamensoppgaver til studenter på epost før eksamen har forekommet. Personvern og sikkerhet må ha fokus. Utfordringer i forhold til sikkerhet med den infrastrukturen NTNU har pr i dag. Det jobbes imidlertid med å forbedre dette. Pr. i dag finnes det f. eks. ikke noen intern og ekstern sone ved NTNU, dvs. alle er på samme nett. Side 17 av 66

18 2.2 Andre informasjonskilder og erfaringer UNINETT ecampus UNINETT ecampus koordinerer et nasjonalt prosjekt for digital eksamen. Det består av en prosjektgruppe og flere arbeidsgrupper. ecampus har hatt mest fokus på teknologiske løsninger og mindre på organisasjon, jus, lovverk og evalueringsformer. Målet er å få på plass løsninger som kan brukes av store studentgrupper, og ikke bare små utprøvinger. Prosjektfasen startet i 2012 og vil gå frem til ecampus har et budsjett på 70 millioner kroner over 5 år, men vil ikke finansiere implementering hos de enkelte institusjonene. Visjon for ecampus: «Studenter og ansatte i norsk UH-sektor skal tilbys adgang til et sett av IKT-tjenester og infrastruktur som muliggjør moderne utdanning, forskning og formidling på et høyt internasjonalt nivå». Arbeidet som er i gang i regi av ecampus er pr. i dag i en fase for behovsanalyse hvor det fokuseres på å hente inn krav og identifisere behov på flere nivåer hos de institusjonene som deltar i samarbeidet. Formålet er å lage et konkurransegrunnlag for en felles anskaffelsesprosess. Arbeidet er delt inn i flere arbeidsgrupper med ressurser fra flere institusjoner og fagområder bidrar. NTNU bidrar også i dette samarbeidet. De ulike arbeidsgruppene er: Arbeidsgruppe for arbeidsflyt Skal vurdere og beskrive helhetlige arbeidsprosesser for digital eksamen, sett fra studentens, faglærers, og fra et administrativt ståsted. Arbeidsgruppe for arkitektur Skal samarbeide med IT-arkitekter innen sektoren med å utarbeide et målbilde for digital eksamen som er i overenstemmelse med digital arbeidsflyt. Målbildet forankres hos sektorens IT-arkitekturråd. Arbeidsgruppe for integrasjon Skal etablere felles integrasjoner for digital eksamen, for eksempel mot Felles Studentsystem (FS) og arkivsystem. Arbeidsgruppe for infrastruktur Skal etablere retningslinjer for teknologi og bygg knyttet til gjennomføring av digital eksamen. Utarbeider fagspesifikasjoner for nødvendig infrastruktur. Arbeidsgruppe for klientutstyr for digital eksamen Skal etablere retningslinjer for bruk av klientutstyr knyttet til digital eksamen. Arbeider både med BYOD og institusjons-eid klientutstyr. Når behov og krav er kartlagt er neste fase å gjennomføre en felles anskaffelsesprosess for alle involverte universiteter og høyskoler. Anskaffelsen er planlagt å være ferdig innen utgangen av Intensjonen er at dette skal være en rammeavtale som de involverte universitetene og høgskolene, inklusive NTNU, skal kunne benytte seg av. Side 18 av 66

19 2.2.2 Universitetet i Oslo (UiO) Pr. i dag gjennomføres det digitale eksamener ved Medisinsk Fakultet, Jus og Praktisk pedagogisk utdanning (PPU) ved institutt for lærerutdanning. Over 80 % av studentene sitter hjemme og gjennomfører eksamen på egen maskin (Mac eller PC). Studentene logger seg på via Felles studentsystem (FS) og må gjennomføre eksamen innenfor et gitt tidsrom, tilsvarende det som omtales som hjemmeeksamen ved NTNU. UiOs ledelse er for tiden under kritikk fra studenter for at digitaliseringsprosessen tar for lang tid. Det poengteres at ledelsen ved UiO sine mål vedrørende digital eksamen ikke er forankret i reelle behov. Kritikken går ut på at fakultetene, fagmiljøene og studentene må involveres tidlig i prosessen. Tilsvar fra UiO på hvorfor ting tar tid er: Fortsatt uavklart om en skal gå for BYOD-løsninger eller institusjons-eide klientløsninger. Uavklarte krav vedrørende jus og regelverk. Varierende grad av modenhet hos leverandører, ingen «plugin» løsninger finnes. Tidkrevende integrasjoner og tilpasninger må påregnes. Har ikke et klart bilde av omfanget av digital eksamen, har uansett hatt en eksponensiell vekst i antall avlagte digitale eksamener de siste årene. Faglærernes digitale kompetanse er veldig variabel. Organisering av endring er fragmentert. Den delegerte og distribuerte organiseringen med selvgående faglærere (og institutter) er ikke optimal for å oppnå raske og store felles endringer. UiO har slik vi ser det gjort grep og tatt høyde for at dette er en kompleks og sammensatt problemstilling og ikke bare en teknisk utfordring. Prosjektet er også forankret i årsplanen universitetet har definert for Prosjektet er definert som; «UiO digital eksamen utvikling og implementering av papirløs eksamen for studenter, vitenskapelige og administrativt ansatte». Pr. i dag er dette prosjektet forankret i et prosjektmandat/prosjektskisse, og har i løpet av høsten 2014 gjennomført første del av fase 1 i prosjektet. I dette arbeidet er det utarbeidet og forankret en fullstendig prosjektplan, inkludert milepælsplan, i tillegg interessentanalyse og kommunikasjonsplan. Ifølge mandatet skulle prosjektgruppen innen 1. april 2015 legge frem forventet ressursbehov ved digitalisering av eksamen ved UiO som grunnlag for budsjettinnspill til universitetsstyret. Status for denne milepælen er ukjent da det ikke foreligger ikke noe informasjon om dette på UiO sine nettsider for prosjektet. Ifølge prosjektskissen skal prosjektet leveres og implementeres i linjeorganisasjonen i begynnelsen av 2017, noe vi anser som et svært ambisiøst mål. Side 19 av 66

20 2.2.3 Universitetet i Agder (UiA) UiA har et målbilde om å «implementere rutiner og teste systemer for å danne grunnlaget for heldigitalisering av eksamensavviklingen. Studentene ved disse institusjonene skal kunne avlegge skoleeksamen digitalt, levere oppgaver digitalt og å ha muligheten til å avlegge muntlig eksamen digitalt høsten 2014». Prosjektet ble avsluttet høsten UiA vurderte at mengden arbeid som måtte utføres var såpass stor at det ble gjort en oppdeling i delmål/faser som følger: Alle faglærere skal kunne levere oppgaven digitalt. Alle muntlige eksamener skal kunne avlegges og sensureres digitalt. Alle oppgaver skal kunne mottas og sensureres digitalt. Alle studenter skal kunne avlegge skoleeksamen digitalt og levere oppgaven digitalt. Studenten skal få muligheten til å avlegge muntlig eksamen digitalt Alle skoleeksamener skal kunne mottas og sensureres digitalt 1. Digitalisere rutiner for eksamensadministrasjon Danne en digital eksamensverktøyskasse for de vitenskapelige ansatte Omfang Høstsemesteret 2014 ble det planlagt at 35% av skoleeksamenene skulle avlegges digitalt. 100% av innleveringsoppgavene skulle håndteres digitalt. Totalt avla studenter eksamen i 130 emner. Gevinster oppnådd Sensorene har kandidatenes eksamensbesvarelser levert digitalt umiddelbart etter at den er levert. Tidkrevende manuelle sorteringer forsvinner. Postforsendelser og fysisk henting av besvarelser forsvinner. Enklere planlegging og administrasjon av eksamen. Et betydelig mengde papir spart. Studenter bruker et medium de er trygge på å bruke Sensor slipper å lese dårlig håndskrift Sensor kan lettere gjøre begrunnelser Lettere med plagiatkontroll Raskere tilbakemelding til studenter Slik vi ser det det, har UiA helt klart kommet lengst blant de norske høgskolene og universitete i digitalisering av eksamensprosessen og har opparbeidet seg mest erfaring på området. Takten i oppskaleringen er slik vi ser det betydelig. Vårsemesteret 2014 ble det gjennomført rundt 30 eksamener og innleveringer. I et møte i regi av ecampus og UNINETT ble lederen av digitaliseringsprosjektet ved UiA, Nora Clarke, spurt om hvilke kriterier for suksess hun ville trekke frem. 1 Betyr bruk av digitale kommunikasjonsverktøy (som f. eks. Skype, MS Lync, etc) under eksamensgjennomføringen slik at deltagerne ikke må befinne seg på samme fysiske lokasjon, f. eks. at sensor sitter et annet sted enn kandidat og eksaminator. Dette vil redusere reiseutgifter ifm. eksamensgjennomføringen. Side 20 av 66

21 Nora Clarke om suksesskriterier for innføring av digital eksamen: Digital eksamen må være sterkt forankret i ledelsen. Sett av tilstrekkelige ressurser. Program/arbeidsgruppe bør bestå av representanter fra IT, eksamenskontor, 2 forskjellige fakultet og representanter fra to samarbeids-institusjoner. Det må være et definert program med tilstrekkelige midler og stor handlefrihet. Påregn store kostnader til infrastruktur (1/3 av kostnadene lå her). Dyrke «helter» som er flinke til å spre «budskapet». Bruk forskjellige veier for å få med organisasjonen. Kostnader Selv om UiA er i en prosess for å bytte ut noen av verktøyene som har blitt benyttet for digital eksamen, vil har vi gjort et kostnadsoverslag for avvikling av digital eksamen pr. besvarelse ved UiA. For 2014 ble det arrangert digital eksamen for omkring 9000 kandidater. Totale kostnader for denne gjennomføringen var på 1,7 millioner kroner. Dette gir en snittpris på 189 kroner pr. avlagte eksamen. Det må også nevnes at det ble opprettet et prosjekt for digital eksamen som fra mai 2012 til desember 2015 hadde et budsjett på 4,6 millioner kroner. Prosjektet ble bemannet med følgende ressurser: Prosjektleder Administrativt ansatte (eksamenskontor, IT-avdeling, LMS-ansvarlig) Vitenskapelige ansatte Tillitsvalgt Ressurser fra samarbeidsinstitusjoner Høgskolen i Oslo og Akershus (HiOA) HiOA har sammen med mange andre valgt å slutte seg til UNINETTs felles nasjonale prosjekt for digital eksamen (ecampus). HiOA sier at de slutter seg til målsetningen til ecampus om storskala utprøving av digital eksamen i løpet av Det er gjennomført «pilotprosjekter» hvor det er høstet erfaringer. Disse er viktige å ta med i en videre oppskalering av antall digitale eksamener. Helt konkret ble det gjort 330 innleveringer fordelt på 3 forskjellige fakultet, dette uten at det ble mottatt noen klager. Selve gjennomføringen betegnes som en suksess, men en gikk utover estimert tidsforbruk og måtte bruke mer ressurser enn det som opprinnelig var planlagt. Erfaringer fra prosjektet om mangler: Egen organisering med én tydelig definert prosjektleder fra oppstart Ressurser og finansiering Klare mål Strategisk forankring Mandat Side 21 av 66

22 Grundig planlegging Prosjekteierstyring Ledelsesforankring Råd til videre oppskalering er som følger: HiOA har, og må ha, høye ambisjoner på området Ta det enkleste først liten innsats stor effekt Delta i det nasjonale samarbeidet v/ UNINETT Ikke kompromisse med de digitale løsningene Læringsutbytte og -kvalitet skal være førende Krever faglig forankring Handelshøyskolen BI På bakgrunn av samtaler med BI kan vi si at de har en litt annen tilnærming til digital eksamen enn de andre institusjonene som er beskrevet tidligere. Initiativet til en digital eksamensprosess kom fra eksamenskontoret. BI utaler at de ønsker å være blant de som ligger i front med digitalisering av eksamen. Der andre har fokusert mest på det som skjer på eksamensdagen, og bruker mest tid og ressurser på denne delen av eksamensprosessen, har BI valgt og se på arbeidsflyten for hele eksamensprosessen. De har definert arbeidsflyten i 3 hovedprosesser. Det som skjer før eksamen, under eksamen og etter eksamen. Selve eksamensgjennomføringen har ikke hatt fokus den første tiden. Fokus på arbeidsprosessene for faglærere og administrativt ansatte har vært en motiverende faktor for å forankre innføring av digital eksamensavvikling ved BI. BI har som eneste læringsinstitusjon vi har sett på valgt å lage et egenutviklet system i samarbeid med konsulentselskapet CapGemini. Systemet skal håndtere all prosessflyt rundt eksamensavviklingen og har fått navnet DigiEx. Intensjonen har så langt vært at DigiEx kun skal være til internt bruk, men det utelukkes ikke en kommersialisering på sikt. I første omgang ser BI for seg at det er størst gevinstpotensial i å automatisere de administrative arbeidsprosessene som de uttaler er tungvinte. Ellers nevnes at det før digitalisering var mye papir, mye dobbeltarbeid og generelt mye å tjene på å digitalisere arbeidsprosessene. Nedenfor følger en oppsummering av andre betraktninger BI har lagt til grunn for en digitalisering av eksamensprosessen. Digital eksamen er et krav fra studentene Digital eksamen vil gi bedre og mer relevant testing av studentenes kunnskap BI ønsket å være blant de som lå i front med digitalisering av eksamen Digital eksamen vil gi konkurransefortrinn for BI Eksamen er den mest kritiske forretningsprosessen et universitet eller høyskole driver med Vi vet ikke så mye om den eksakte ressursbruken BI har hatt, men det har vært brukt programvareutviklere i , pr. i dag er et sted mellom 5-10 programvareutviklere som jobber med DigiEx. Legger vi til grunn markedspris for programutviklerne (innleide konsulenter) anslås kostnader kun til utviklingsressurser i perioden å ligge i størrelsesorden MNOK. I tillegg kommer kostnader til interne ressurser for endringsledelse, prosjektledelse, kravstilling, uttesting, opplæring og innføring. Det har under Side 22 av 66