Sluttrapport fra Ekspertgruppen for digital vurdering og eksamen per februar 2015

Transkript

1 Sluttrapport fra Ekspertgruppen for digital vurdering og eksamen per februar 2015

2 Innhold 1. Innledning Bakgrunn og mandat Gruppas sammensetning Gruppens avgrensning og prioriteringer Leveranser fra gruppen Status og utfordringer for digital vurdering og eksamen, slik gruppa ser det Utfordringer videre... 7 ecampusprosjektet og tekniske problemstillinger:... 7 Organisatoriske og administrative utfordringer... 8 Juridiske utfordringer... 8 Evalueringsfaglige/ pedagogiske problemstillinger... 8 Forankring i institusjonen... 8 Fag/vitenskapelig ansatte og kompetanse om vurdering/digital vurdering... 9 Felles informasjonskanal Forslag til mandat for en ny ekspertgruppe innen digital vurdering Vedlegg statusbeskrivelser fra ekspertgruppens aktivitetsområder Vedlegg 1: Digital eksamen - ecampusprosjektet og tekniske løsninger Vedlegg 2: Administrative og organisatoriske utfordringer knyttet til digitalisering av skoleeksamen Vedlegg 3: Juridiske problemstillinger Vedlegg 4: UHRs rolle i gruppen og videre framover Vedlegg 5: Notat om digitale vurderingsformer

3 1. Innledning Ekspertgruppen for digital vurdering og eksamen ble opprettet for en to-års periode i et samarbeid mellom Norgesuniversitetet og UHR i Gruppen fikk i utgangspunktet et forslag til mandat, og samtidig en viss frihet i forhold til å spisse og prioritere aktiviteter i henhold til gruppens bemanning og deres arbeidsområder. I denne rapporten oppsummeres gruppens arbeid, status på feltet digital eksamen og vurdering i UH-sektoren og gruppens anbefalinger til videre arbeid på feltet. 1.1 Bakgrunn og mandat Hvorfor en ekspertgruppe for digital vurdering og eksamen? Systemer for digital vurdering etterspørres med stort trykk fra studentenes side. Flere og flere institusjoner i høyere utdanning arbeider aktivt med løsninger for ulike former for digital eksamen. Det er behov for nasjonal koordinering og oversikt, og det er behov for en helhetlig gjennomgang av utfordringer i forhold til både teknologiske, pedagogiske, organisatoriske og juridiske forhold knyttet til gjennomføringen av digitale vurderinger og eksamener. Det er behov for en samlet og koordinert strategisk satsing på utviklingen og gjennomføringen av digitale vurderinger og eksamener nasjonalt, og ønsket er også at denne ekspertgruppen kan utarbeide forslag til policy og strategier på området, og sørge for å gi gode råd til Kunnskapsdepartementet i så måte. Gruppen må videre sørge for samarbeid med UNINETT, ecampus, DBH, FS og de øvrige institusjoner det er viktig å samarbeide med. Forslag til mandat: Ekspertgruppen skal være en nasjonalt koordinerende gruppe innen digital vurdering og eksamen. Gruppen skal foreta en helhetlig gjennomgang av teknologiske, pedagogiske, organisatoriske og juridiske forhold knyttet til gjennomføring av digitale vurderinger og eksamener, og skal komme med forslag til råd og strategier på feltet. Gruppen skal: finne frem til og vise frem gode eksempler både i Norge, men også i andre land identifisere muligheter og utfordringer for digitalisering av hele «verdikjeden» knyttet til digital eksamen: Fra planlegging, administrering og gjennomføring av eksamen, til sensurarbeidet med tilbakemelding til studentene, og også klagebehandlingen 2 2

4 bidra til å identifisere nye teknologiske utfordringer i «verdikjeden» i samarbeid med ecampus adressere juridiske, organisatoriske og pedagogiske utfordringer se på fremtidige muligheter for digitale vurderingsformer utvikle en bevissthet i forhold til kvalitetsutfordringene knyttet til bruk av digital vurdering og eksamen, der eksamens- og vurderingsformer sees i sammenheng med valgte læringsformer og læringsutbyttebeskrivelser for aktuelle studier. Gruppen utdyper selv sitt mandat, og prioriterer innenfor de ulike punktene. Det lages en arbeidsplan som oversendes NUV og UHR til orientering. 1.2 Gruppas sammensetning Ekspertgruppen hadde en kronglete start, og flere av de oppnevnte medlemmene trakk seg fra gruppen i Ved utgangen av desember 2014 hadde gruppen følgende sammensetning: Nora Clarke, UiA (gruppens leder) Rachel Glasser, UHR Sondre Jahr Nygaard 1, studentrepresentant NSO Vidar Gynnild, NTNU Jan Atle Toska / Anne Ringen Pedersen, UiN Geir M. Vangen, USIT/FS, UiO Ketil Mathiassen, ILS, UiO Freddy Barstad, ecampus Märtha Felton / Maren Jegersberg, USIT, UiO Hilde Ørnes, Norgesuniversitetet, (sekretær/koordinator) Andre personer som har vært medlemmer i gruppen er: Ove Brusegard fra USIT, UiO, Mattias Øhra, HiVe, Esben Dybvik, HiL og Alex Strømme, NTNU, samt studentrepresentantene Trine Oftedal og Tuva Aune Wetteland. 1.3 Gruppens avgrensning og prioriteringer Med utgangspunkt i gruppens mandat, gjennomførte UHR våren 2013 en uformell mailbasert kartlegging av hvilke læresteder som hadde prosjekter og aktiviteter tilknyttet digital vurdering og eksamen, status og erfaringer hos de som hadde dette, og spørsmål til de øvrige om hvem som eventuelt hadde planer om å starte aktiviteter på dette feltet. Status ved lærestedene i 2013 var som beskrevet innledningsvis i mandatet mye aktivitet i form av prosjekter og piloteringer med digital skoleeksamen, mange var på søk etter tekniske løsninger for gjennomføring av digitale skoleeksamener, en del læresteder var i en utrednings/kartleggingsfase og en del læresteder meldte at de foreløpig valgte å avvente egne aktiviteter til fordel for mulige felles løsninger nasjonalt. Felles for alle 1 Gruppa har hatt 3 studentrepresentanter; Trine Oftedal, Tuva Aune Wetteland, Sondre Jahr Nygaard 3

5 tilbakemeldingene var at oppmerksomheten var rettet mot digitalisering av skoleeksamen og tekniske løsninger for dette. I sin enkleste form handlet dette for noen om å «sette strøm på papir», mens andre var opptatt av hele arbeidsflytprosessen, fra planlegging av eksamen, registrering av studenter, utarbeidelse av oppgaver, gjennomføring, sensurering og eventuelle klageprosesser, til endelig karakter og arkivering av resultater for digitalisering av skoleeksamen. Veldig får meldte om aktiviteter tilknyttet andre typer digitale eksamener og vurderingsformer. Parallelt med kartleggingen i regi av ekspertgruppen, hadde ecampus et pågående prosjekt om Digital eksamen. Dette prosjektet hadde som formål å utvikle felles tekniske løsninger for gjennomføring av skriftlig eksamen på campus. Prosjektet fikk tidlig høsten 2013 utvidet sitt mandat til å omfatte digitalisering av hele eksamensprosessen, fra planlegging til utført sensur og klagebehandling for både skriftlig skoleeksamen, hjemmeeksamen og muntlig eksamen. Med basis i kartleggingen og det som da ble vurdert å være status på feltet, inkludert arbeidet i ecampus-prosjektet, gjorde gruppen noen valg med hensyn til avgrensning, prioriteringer og aktiviteter for videre arbeid. Den viktigste avgrensningen som ble gjort var å prioritere aktiviteter tilknyttet digital skoleeksamen i første omgang, og deretter prioritere aktiviteter tilknyttet digitale vurderingsformer, avhengig av status, framdrift og kapasitet i gruppa. Gruppas aktiviteter ble følgende: 1. Kartlegge, beskrive og formidle mulige løsninger knyttet til digitalisering av hele eksamensprosessen for skriftlig skoleeksamen. Dette arbeidet har av naturlige årsaker vært tett integrert med ecampus-prosjektet. Flere av gruppens medlemmer har sentrale roller i ecampus-prosjektet og ekspertgruppen fant det naturlig å supplere gruppen med prosjektleder for ecampus-prosjektet. Arbeidet med å kartlegge, beskrive og utvikle felles (tekniske) løsninger for digitalisering av hele eksamensprosessen (skoleeksamen, hjemmeeksamen og muntlig) gjøres i regi av ecampus. Ekspertgruppen har i denne aktiviteten hatt et supplerende fokus, og jobbet med aktiviteter som særlig belyser administrative/organisatoriske og juridiske problemstillinger (jamfør punkt 2 og 3 i aktivitetsplanen). 2. Administrative og organisatoriske utfordringer knyttet til digitalisering av skoleeksamen Ekspertgruppen arrangerte 13. og 14. november 2013 seminaret «Digital vurdering og eksamen i søkelyset» i samarbeid med Universitet i Bergen Ca. 150 stykker (mange av dem administrativt ansatte) deltok. Seminaret hadde en praktisk tilnærming til temaet med fokus på gode eksempler, nye muligheter, erfaringsdeling og klargjøring av felles utfordringer. Gruppen har også utarbeidet en veileder 2 som belyser utfordringer knyttet til gjennomføring av digital skoleeksamen sett fra et administrativt og et organisatorisk perspektiv. Veilederen er etterspurt av mange institusjoner. Mye av grunnlaget for veilederen er hentet fra de 2 Veileder: _administrative_og_organisatoriske_utfordringer_v01.pdf 4

6 miljøene (lærestedene) som har jobbet mest med - og har flest erfaringer fra testing og gjennomføring av digital skoleeksamen. Relevante problemstillinger som belyses i veilederen er blant annet knyttet til eksamenslokaler, ressursplanlegging, informasjonsformidling, opplæring av eksamensvakter osv. 3. Identifisere juridiske utfordringer knyttet til digitalisering av eksamensprosessen. Ekspertgruppen har fått utarbeidet en rapport som identifiserer og belyser juridiske problemstillinger. Rapporten er utarbeidet i en dugnadsprosess hvor jurister og administrativt eksamenspersonale fra 7 læresteder har samarbeidet om innhold og utforming. Rapporten 3 belyser relevante utfordringer og problemstillinger knyttet til Bruk av studentens eget utstyr ved gjennomføring av digital eksamen. Administrative problemstillinger. Rettigheter, plikter og ansvar. Krav til autentisering. Behandlinger av personopplysninger relatert til gjennomføring av digital eksamen. 4. Pedagogiske muligheter og konsekvenser innen digital vurdering og eksamen. Ekspertgruppen har i sine oppgaver prioritert å avgrense aktivitetene tilknyttet dette arbeidspunktet. Avgrensningen er både knyttet til ekspertgruppens faglige sammensetning og gruppens ressurser i form av tid og virkeperiode. Gruppen har hatt fokus på følgende to oppgaver; 1. Arrangere et nasjonalt seminar om digital vurdering og alternative digitale eksamensvarianter. Seminaret «Papirløs eksamen» ble arrangert 17. november 2014 i samarbeid med Høgskolen i Sør-Trøndelag. I den forbindelse ble det utarbeidet et notat og diskusjonsgrunnlag som ble sendt til deltakerne i forkant av seminaret. 2. Utarbeide et notat som belyser sentrale pedagogiske utfordringer knyttet til bruk av teknologi i vurdering og eksamen (vedlegg 4). 5. Felles nettside 4 for formidling av relevant informasjon om digital eksamen og vurdering. Både ekspertgruppen og ecampus prosjektet erfarte tidlig at det var et stort behov i sektoren for å få tilgang til informasjon og kunnskap om hva som skjer både nasjonalt og på institusjonsnivå når det gjelder digital eksamen; hvem gjør hva, hvilke forsøk og piloter 3 Rapport om juridiske problemstillinger; 4 Nettside digital eksamen; 5

7 gjennomføres, hvilke erfaringer er generert, hvem har gode eksempler på alternative vurderingsordninger osv. De tro gruppene ble etter hvert enige om å etablere en felles nettside om digital eksamen. Nettsiden er etablert i tilknytning til Uninetts domene. Dette med utgangspunkt i at ecampusprosjektet pågår over et lengre tidsrom enn Ekspertgruppen, samt at ecampus ville frigjøre ressurser til å jobbe med innhold og oppdateringer av sidene. 1.4 Leveranser fra gruppen Seminar med fokus på både administrative/organisatoriske og pedagogiske problemstillinger ved Universitetet i Bergen (13. og 14. november 2013) Rapport om juridiske problemstillinger (juni 2014) Veileder som beskriver og oppsummerer administrative og organisatoriske utfordringer knyttet til gjennomføring av digital skoleeksamen (juni 2014) Problemnotat med fokus på alternative vurderingsformer og bruk av teknologi (høsten 2014) Seminar med fokus på alternative vurderingsformer og bruk av teknologi (17. november 2014) Felles nettside om Digital eksamen for sektoren i samarbeid med ecampusprosjektet og Uninett. Nettsiden oppdateres i regi av ecampus/uninett, Sluttrapport med innspill til videre aktiviteter på feltet digital eksamen og vurdering (denne..) 2. Status og utfordringer for digital vurdering og eksamen, slik gruppa ser det Gruppens medlemmer har i tillegg til aktivitetene i arbeidsplanen også deltatt i ulike møter og foraer hvor digital eksamen har vært tema, og flere av medlemmene har bidratt med innlegg på ulike konferanser og seminarer. Særlig har ekspertgruppens leder vært invitert til møter og seminarer hvor digital eksamen har vært tema. Samlet sett har gruppens medlemmer god oversikt over feltet digital eksamen og vurdering fra ulike perspektiver, og har med dette som bakgrunn laget en situasjonsbeskrivelse som skisserer noen utfordringer/ forslag til videre arbeid og aktiviteter på dette området; Det er høy aktivitet på mange læresteder når det gjelder utprøving av mulige løsninger for digital skoleeksamen. 7 universiteter og 16 høyskoler bidrar aktivt i ecampus-prosjektet. UNINETT jobber nå med en kartlegging rettet mot alle lærestedene for å få en oversikt over alle piloter/utprøvingsprosjekter og hva som har vært fokusområdene i disse prosjektene. Administrativt ansatte er særlig opptatt av hvordan digitale løsninger kan bidra til å effektivisere arbeidsprosesser rundt skoleeksamen. De første utviklingsavtalene med eksterne leverandører av tekniske løsninger er også etablert. Det betyr at en del institusjoner kan gjennomføre pilottesting av løsninger for digital eksamen, og gjennom dette lære hvordan de skal organisere seg til storskala gjennomføring i fremtiden. 6

8 Videre har UiB, UiO og UiA (som de første institusjonene) gjennomført en felles anbudsprosess og etablert en felles driftsavtale med en leverandør. Disse er nå godt i gang med å innføre digital skoleeksamen som ordinære løsninger. Så langt i arbeidet med digitalisering av eksamen og vurdering har hovedvekten av oppmerksomhet og aktiviteter vært rettet mot digital skoleeksamen. En felles forståelse i de nasjonale prosjektene om digital eksamen, har lenge vært at fag/vitenskapelig ansatte i liten grad virker å være interessert/engasjert og involvert i det pågående arbeidet. Fag/vitenskapelig ansatte oppleves fortsatt å være lite involvert, samtidig ser det ut til at flere institusjoner begynner å organisere noe arbeid rundt dette. Fagmiljøene har en nøkkelrolle i arbeidet med å utforme, teste og etablere gode eksamens- og vurderingsordninger som er pedagogisk forankret. Det vurderes som essensielt at det jobbes videre med å engasjere fagansvarlige i dette. Det er store forskjeller mellom lærestedene i hvordan det jobbes med digitalisering og eksamen; på hvilket nivå er prosessene forankret, hvem er pådrivere, hvem anerkjenner potensialet, hvordan er de ulike fag- og ressursmiljøene (fagansvarlige/pedagoger, IT, internopplæring, administrasjon etc..) organisert og involvert i prosessene. De institusjonene som har hatt forankring i toppledelsen, og som i tillegg har hatt et definert prosjekt med dedikerte ressurser, ser ut til å være de som har kommet lengst i dette arbeidet. Studentene gjør en viktig jobb som pådrivere for å fremme mer digitalisering i UH-sektoren, og de har jobbet aktivt på dette området i flere år. De har også hatt spennende og inspirerende innlegge på begge seminarene våre og gruppen mener at studentene bør fortsette å ha en aktiv rolle i det nasjonale arbeidet. Kunnskapsdepartementet er også en sentral premissgiver når det kommer til nasjonale ordninger. Et særlig interessant spørsmål som de snarlig bør ta stilling til er hvorvidt digitale verktøy skal kunne anses som ordinært studiemateriell eller ikke. Dette er en beslutning som vil påvirke videre arbeid med digitalisering av vurdering og eksamen på mange områder. 2.1 Utfordringer videre Ekspertgruppen anbefaler sterkt at det opprettes nye felles nasjonale aktiviteter som fortsetter å jobbe med utfordringer rundt digital eksamen og vurdering. En god digitalisering av eksamensprosessene påvirkes av de muligheter og begrensinger som ligger i samspillet mellom det teknologiske, juridiske, organisatoriske og pedagogiske. Dette samspillet er vesentlig for å sikre en digitalisering som er god og fremtidsrettet. Det bør derfor jobbes videre både innen disse og flere andre områder; ecampusprosjektet og tekniske problemstillinger: ecampus-prosjektet ivaretar langt på vei arbeidet med å utarbeide felles tekniske løsninger for sektoren når det gjelder digital skoleeksamen (strøm på papir), hjemmeeksamen og muntlig eksamen. ecampus-prosjektet mener samtidig det er et klart behov for at noen andre (for eksempel en ny ekspertgruppe) ivaretar å jobbe videre med utfordringer og 7

9 problemstillinger tilknyttet alternative vurderingsformer. Dette behovet omfatter også fortsatt jobbing med administrative, organisatoriske, pedagogiske og juridiske problemstillinger, se eventuelt vedlegg 1 for mer informasjon. Tekniske problemstillinger som utredes i regi av ecampus vil i mange sammenhenger være overførbare også til alternative vurderingsformer, og det bør være et nært samarbeid mellom de en eventuell ny gruppe og ecampus-prosjektet. Organisatoriske og administrative utfordringer I Ekspertgruppen og i ecampus-prosjektet har det vært, og er, fokus på arbeidsflyt, krav til fysiske og tekniske forhold og eksamenssystem. Som en forlengelse og et supplement til dette, og parallelt med at miljøene utvikler nye administrative systemer og rutiner, vil det være behov for å fortsette å jobbe med organisatoriske utfordringer. Nye løsninger og arbeidsformer vil generere nye utfordringer både administrativt og for organisasjonene. Innføring av digital eksamen har også en viktig "kultur side", som vil kunne by på utfordringer videre. Juridiske utfordringer Det å ta i bruk digitale løsninger reiser en rekke juridiske og sikkerhetsmessige spørsmål som vil være av betydning for om og hvordan teknologi kan benyttes. Arbeidet som er gjort så langt er bare en begynnelse. De institusjonene som er langt på vei ser allerede mange utfordringer som vil måtte utredes videre. Det er av avgjørende betydning for utviklingen videre at det eksisterer en juridisk gruppe som på vegne av UH-sektoren kan jobbe med spørsmål av juridisk karakter. Den eksisterende arbeidsgruppen har skissert et forslag til dette, se vedlegg 3. Evalueringsfaglige/ pedagogiske problemstillinger Ekspertgruppen mener det må tas grep for å få fagmiljøene til å diskutere betydningen av eksamensformer som legger vekt på anvendt kunnskap i motsetning til reprodusert kunnskap i lys av den digitale revolusjonen som har vært de siste årene, og som har vært fraværende fra deler (som eksamen) av utdanningssektoren. Innføring av digitale løsninger muliggjør nye evalueringsformer som også vil kunne påvirker læringsprosesser som sådan. Dette er et meget viktig område som krever engasjement og forankring hos særlig de vitenskapelige ansatte, se vedlegg 5 for en fyldigere beskrivelse om dette. Forankring i institusjonen Det er store forskjeller mellom lærestedene i hvordan det jobbes med digitalisering og eksamen; på hvilket nivå er prosessene forankret, hvem er pådrivere, hvem anerkjenner potensialet, hvordan er de ulike fag- og ressursmiljøene (fagansvarlige/pedagoger, IT, internopplæring, administrasjon etc..) organisert og involvert i prosessene. De institusjonene som har hatt forankring i toppledelsen, og som har hatt et definert prosjekt med dedikerte ressurser er de som har kommet lengst i sektoren. Det er behov for at institusjonene sikrer en god forankring for arbeidet med digital eksamen og vurdering. Særlig må det gjøres en innsats knyttet til digital vurdering og lærestedenes håndtering av hvordan det skal jobbes med dette framover. 8

10 Fag/vitenskapelig ansatte og kompetanse om vurdering/digital vurdering Erfaringer fra både ekspertgruppens arrangementer og arrangementer i regi av ecampus, har bidratt til en felles forståelse i de to gruppene om at kompetansen blant fag/vitenskapelig ansatte når det gjelder digitale vurdering og eksamen varierer veldig. Ulike miljøer har ulike erfaringer både med hensyn til hvordan det jobbes med digital vurdering og eksamen, hva de har prøvd ut/har erfaring med, og hvor engasjerte de er i forhold til å tenke alternativt rundt dette. For mange fagansatte er dette et helt nytt felt, som utfordrer både den tradisjonelle godt innarbeidet måten de jobber på (for eksempel sensureringsarbeidet) og den «digitale» kompetansen deres. Det er en utfordring for institusjoner å finne en tilnærming til fagansatte som tar høyde for at dette er en sammensatt gruppe med både digitale ildsjeler og mer digitalt passive/motvillige grupper fagansatte. En del fagansatte har heller ikke et «digitalt» begrepsapparat. Ekspertgruppen mener det er behov for å ha et nasjonalt «perspektiv» på dette videre. Felles informasjonskanal Det vil fortsatt være et stort behov fremover i sektoren for å få tilgang til informasjon og kunnskap om hva som skjer både nasjonalt og på institusjonsnivå når det gjelder digital eksamen og digital vurdering. Ekspertgruppen og ecampusprosjektet har så langt vurdert det som mest hensiktsmessig å tilby et felles nettsted for informasjon om digitalisering av eksamen. Per nå er det etablert en nettside som hører til UNINETTs domene, og vedlikeholdes og driftes i regi av ecampus/uninett. Det vurderes som en stor fordel for alle brukere av denne typen informasjon at de kan finne all relevant og oppdatert kunnskap på ett og samme sted. Det oppfordres til å utvikle denne siden videre. 3. Forslag til mandat for en ny ekspertgruppe innen digital vurdering En ny ekspertgruppe bør ha en pedagogisk og faglig tyngde, og den bør ha hovedfokuset på evalueringsfaglige/ pedagogiske problemstillinger som utgangspunkt for sitt arbeid. Følgende problemstillinger/aktivitetsområder vurderes å være sentrale videre; 1. Det er behov for å stimulere lokalmiljøene ved å opprettholde et sentralt engasjement rundt vurderingsformer i møte med ny teknologi og få fram det som skjer lokalt. 2. Kartlegge og synliggjøre hvilke utfordringer fagmiljøene møter i deres arbeid med digitale vurderingsformer. 3. Etablere grupper av fagmiljøer som kan prøve ut ulike vurderingsformer knyttet til emner slik at fagmiljøene kan utveksle erfaringer og lære av hverandre. Samle etablerte prosjektgrupper ved institusjonene og dele erfaringer og status for det arbeidet som de allerede har gjort, gjerne i samarbeid med ecampus/uninett. 4. Være rådgivende med valg av digitale eksamensformer som kan utvikles og gjennomføres på kort sikt, og pådriver for eksamensløsninger som må utvikles for å støtte mer avanserte eksamensformer. Altså en kortsiktig og langsiktig strategi for utvikling av digitale eksamensformer. 5. Kartlegge, utrede og synliggjøre juridiske problemstillinger knyttet til digitale vurderings- og eksamensformer, for å gi anbefalinger og råd til sektoren. 9

11 Ekspertgruppen mener også følgende kriterier/anbefalinger til bemanning/sammensetning i en ny ekspertgruppe bør vurderes; Et hovedkriterium for sammensetningen bør være at gruppen får en sterk og klar faglig profil/forankring som best ivaretas av vitenskapelig ansatte fra UH-sektoren. Det bør være flere faglige/vitenskapelige medlemmer og samlet bør det være god spredning på fag. For å ivareta kontinuitet mellom den avsluttede Ekspertgruppen for digital vurdering og eksamen og en ny gruppe om digital vurdering, anbefales det at de to fagpersonene (Vidar Gynnild, NTNU og Ketil Mathiassen, UiO) som har vært medlemmer i den «gamle» gruppen tilbys å være medlemmer i den nye gruppen. En ny gruppe bør også ha deltakere som har god kjennskap til administrative rutiner og perspektiver rundt eksamensgjennomføring. Denne typen kompetanse ivaretas som regel av andre ansatte enn fag- og vitenskapelige ansatte. Det vil være hensiktsmessig at en ny gruppe innehar organisasjonsrelatert fagkompetanse/ ledelse. Utvikling og etablering av nye eksamensformer medfører som regel utfordringer som også kan relateres til ledelse, tilrettelegging, kultur etc. ved institusjonene. Den avtroppende ekspertgruppen har hatt stor nytte av å ha med en representant fra UHR som fast medlem, og det anbefales at UHR også er representert i en ny gruppe. Studentene har en sentral rolle i dette og bør også være representert i en ny gruppe. Utover de nevnte «kriteriene», kan følgende miljøer/roller være hensiktsmessige: Miljøer som Result (UiT), Nettop (UiS), USIT (UIO) ++ med flere kan være interessant gruppemedlemmer fordi de kombinerer pedagogikk og teknologi og gjerne jobber for og støtter ulike fagmiljøer ved sine institusjoner. Noen læresteder har større prosjekter som jobber med implementering av digital eksamen og vurdering, og prosjektledere for denne typen prosjekt har sannsynligvis god og bred oversikt over relevante utfordringer, nettverk, etc. som vil være nyttige for en ny ekspertgruppe. (UiO, HiOA, UiA, UiB, andre ) 10

12 4. Vedlegg statusbeskrivelser fra ekspertgruppens aktivitetsområder Vedlegg 1: Digital eksamen - ecampusprosjektet og tekniske løsninger I statsbudsjettet 2014 har UNINETT i ecampus-arbeidet fått et klart mandat til å samordne arbeidet med digitalisering av eksamen Det femårige teknologiske infrastrukturprogrammet, ecampus, som starta i 2012 vil gi universitet og høgskolar felles moderne digitale løysingar og verktøy, jf. kap. 280 post 72. Dette legg eit grunnlag for auka fagleg og administrativt samarbeid nasjonalt og internasjonalt, institusjonane imellom og i høve til arbeidslivet. Ved å bruke digitale samarbeidsverktøy og læringsressursar kan fleire institusjonar gå saman om å gi utdanning med ein kvalitet som det kan vere vanskeleg for ein institusjon å tilby på eiga hand. Det er særleg viktig å samarbeide om gode løysingar og rammer for digital eksamen. Med bakgrunn i mandatet er det etablert et nasjonalt prosjekt koordinert av UNINETT med deltakelse fra 26 utdanningsinstitusjoner og 4 felles aktører innen høgere utdanning (BIBSYS, UNINETT, FS, universell*), samt fra Norsk Student Organisasjon(NSO). Prosjektet ledes av nasjonal koordinator for digital eksamen, en toårig prosjektstilling som besittes av seniorrådgiver Freddy Barstad på utlån fra NTNU. Prosjektlederen har deltatt i ekspertgruppen for digital eksamen, for å bidra til ivareta nødvendig koordinering i samspillet mellom teknologi, juridisk, organisering og pedagogikk og sikre at prosjektet ivaretar det teknologiske perspektivet i dette. Prosjektet har fokus teknologivalg og konsekvenser av dette og arbeider med følgende hovedområder; - koordinering og erfaringsutveksling mellom prosjekter og institusjoner - bidra til tilgang til løsninger for utprøving og læring innenfor LOA/FOA - utarbeide felles spesifikasjoner for sektoren - definere krav til nødvendig endringer og utvikling av infrastruktur - samarbeid og utvikling av leverandørmarkedet Informasjon om prosjektet og leveranser finnes på: Utfordringer Det er digitalisering, ikke bare å sette strøm på en prosess. Skal et universitet kjøpe inn PCer nok til alle som skal avlegge eksamen? Dersom studenter skal kunne bruke sin egen maskin, er det mange faktorer å passe på. Eksamen har relativt høye krav til tilgjengelighet, sikkerhet, pålitelighet og konfidensialitet. Kravene rundt regelverk og jus for digital eksamen ble dokumenterte i juni 2014 av en nasjonal arbeidsgruppe, og vil fortsatt kreve avklaringer rundt enkeltspørsmål. Markedet har varierende grad av modenhet, og det har ikke vært enkelt å finne velprøvde løsninger som bare er å ta i bruk uten utviklingsarbeid. Det nasjonale prosjektet har utviklingsavtaler med to leverandører (Inspera og Uniwise), og 9 andre leverandører presenterte sine løsninger på samling 12. januar 2015; flere utviklingsavtaler vil komme. 11

13 Behovsforståelsen hos institusjonene for hva som skal tas i bruk av løsninger er ikke ferdig, siden det hadde vært relativt småskalaløsninger som var tatt i bruk. Vi nærmer oss en bedre forståelse, siden fjoråret brakte oss opp i titusener av kandidater som avla digital skoleeksamen. I 2013 var det noen tusener, året før noen hundre så området er i rask vekst. Faglærerene er emneansvarlige, inkludert valg rundt digital vurderingsform. Faglæreres digitale kompetanse er variabel, noe som påvirker digitalisering knyttet til utdanning. De som er nøkkelpersoner for å initiere bruk av systemer for digital eksamen er ikke klare til dette, selv om studentene har stått i startblokka i flere år, og studieadministrasjonene er i gang med omlegging. Organisering av endringer skjer pulverisert. Den delegerte og distribuerte selvgående faglæreren (og institutter) er ikke optimal effektiv for raske store felles endringer. Identifiserte risikofaktorer Prosjektets risikovurdering påpeker noen kritiske forhold som er direkte knyttet til og blir påvirket av ekspertgruppens arbeide avsluttes: Evalueringsfaglige problemstillinger Innføring av digitale løsninger muliggjør for nye evalueringsformer og som påvirker læringsprosessen som sådan. Dette er et meget viktig område som krever engasjement og forankring hos de studiefaglige. Juridiske utfordringer Det å ta i bruk digitale løsninger reiser en rekke juridiske og sikkerhetsmessige spørsmål som vil være av betydning for om og hvordan teknologi kan nyttegjøres. Det er av avgjørende betydning for prosjektet at det eksisterer et juridisk organ på vegne av UH-sektoren hvor spørsmål av juridisk karakter blir behandlet. Koordinering i samspillet mellom teknologi, juridisk, organisering og pedagogikk En god digitalisering av eksamensprosessen påvirkes av de muligheter og begrensinger som ligger i samspillet mellom det teknologiske, juridiske, organisatoriske og pedagogiske. Dette samspillet er vesentlig for å sikre en digitalisering som er god og fremtidsrettet 12

14 Vedlegg 2: Administrative og organisatoriske utfordringer knyttet til digitalisering av skoleeksamen Ekspertgruppen har i samarbeid med ecampus prosjektet sett på utfordringer og muligheter spesielt knyttet til de studieadministrative prosesser. Herunder også praktiske løsninger som krav til rom, tilgang til strøm, opplæring mv. Som basismodell for arbeidet er prosessbeskrivelse av digital eksamen fra NTNU lagt til grunn. Denne modellen er gjennomgående benyttet av både Ekspertgruppen og ecampusprosjektet og sikrer felles basis forståelse av arbeidsflyt og prosesser. Innledningsvis i dette arbeidet ble det utarbeidet en veileder for å komme i gang med digital eksamen. Veilederen er basert på erfaringer som er gjort i tidlige piloteringer, i hovedsak fra Universitetet i Agder. Dokumentet tar for seg forhold som er sentrale i planlegging av digital eksamen, og beskriver også sentrale begreper og nye roller som kommer inn i eksamensgjennomføringen. Det bemerkes at veilederen ikke gir alle svarene, men tipsene til hva man må tenke på. Under arbeidet med veilederen, og etter publisering medio juni 2014, er det gjort flere piloter i større skala ved flere institusjoner. Veilederen kunne i lys av dette vært revidert og utarbeidet i ny utgave. Med flere erfaringer vil en revidert utgave kunne gi flere klare anbefalinger og henvisninger til best current practice. ecampus prosjektet har i stor grad "tatt over" arbeidet med kartlegging av de studieadministrative prosessene, men medlemmer i Ekspertgruppen er også deltakere i ecampusprosjektet. Det er således et tett samarbeid og god informasjonsutveksling mellom Ekspertgruppen og ecampus. Kartleggingen av de studieadministrative prosessene er en del av arbeidet med å få utarbeidet en felles kravspesifikasjon til leverandører av digitale eksamenssystemer. I ecampus prosjektet deltar flere institusjoner gjennom FoU kontrakter med ulike leverandører. Slike kontrakter stiller krav om at det utarbeides rapporter fra pilotering og testing av aktuelt system. Rapporten skal da omhandle hvordan testet system oppfyller ønsket funksjonalitet, arbeidsflyt, sikkerhet mv. I løpet av 2015 vil det således foreligge flere FoU rapporter på ulike digitale eksamenssystemer. I Ekspertgruppen og i ecampusprosjektet har det vært, og er, fokus på arbeidsflyt, krav til fysiske og tekniske forhold og eksamenssystem. Som en forlengelse og supplement til dette kunne også det organisatoriske i en utdanningsinstitusjon vært belyst. Innføring av digital eksamen har også en "kultur side", som kan kreve organisatoriske endringer og/eller endringer i innarbeidede rutiner og roller. Man vil etter hvert i sektoren også opparbeide kompetanse og erfaring rundt dette. Konklusjonen vår er at det arbeidet som er påbegynt i ekspertgruppen allerede ivaretas av ecampus prosjektet, og vil ivaretas videre der. Dog kanskje ikke nødvendig i samme form av en «veileder» men i form av andre aktiviteter som for eksempel «Erfaringsseminaret» planlagt i Oslo januar

15 Veileder for digital eksamen

16 Vedlegg 3: Juridiske problemstillinger Ti representanter fra UiB, NTNU, UiA, UiN, HiST og UiO utarbeidet våren 2014, på oppdrag fra Ekspertgruppen for digital vurdering og eksamen, en rapport som identifiserer og vurderer juridiske problemstillinger knyttet til digital vurdering og eksamen. Av disse ti representantene var fem jurister og fem med studieadministrativ kompetanse. Resultatet av arbeidet er en rapport som gir en oversikt over dagens rettstilstand. Rapportens fokus er på skriftlig eksamen ved bruk av digital verktøy/hjelpemidler. Det ble i arbeidet avgrenset mot muntlig eksamen og andre typer vurderingsformer. Bakgrunnen for denne avgrensningen er omfanget av arbeidet, samt at de fleste institusjonene har fokusert på digitalisering av skriftlige eksamener på nåværende stadium. I etterkant av arbeidet med rapporten har det vært stor interesse for innholdet i den fra sektoren og flere institusjoner har igangsatt digitaliseringsprosesser, og med det selv erfart hvilke problemstillinger man møter på underveis i en slik prosess. Det har både underveis i arbeidet med rapporten, og i etterkant, vært en enighet om at denne rapporten er en versjon 1.0. Noen institusjoner har prøvd ut ulike løsninger for gjennomføring av eksamen og andre har ikke startet på disse prosessene enda. Uansett det er ingen tvil om at vi i tiden som kommer vil få stadig mer erfaring og med det vil se ytterligere juridiske problemstillinger som må vurderes. Slik representantene i samarbeidsprosjektet ser det, er det viktig å løfte de større og grunnleggende problemstillingene, som bruk av studentenes eget utstyr, som må utredes opp fra institusjonsnivå og til et felles arbeid for sektoren. Dette er utfordringer som berører hele universitets- og høyskolesektoren og det er avgjørende at vi arbeider felles mot målet, nettopp å digitalisere eksamensprosessen på en riktig og god måte. Organisering av videre arbeid Rapporten som ble utarbeidet våren 2014 ble gjort ved et samarbeid og en dugnadsinnsats fra de institusjonene som er nevnt ovenfor. Disse representantene er ikke en del av en fast arbeidsgruppe, men vi har gjennom dette samarbeidet sett at denne måten å jobbe på både fungerer godt og at det er et hensiktsmessig samarbeid. På denne måten har vi både bidratt med ressurser fra flere institusjoner og vi har løftet frem erfaringer fra ulike fag- og studiemiljø, noe som har gitt oss alle et helt annet resultat enn vi ville fått dersom hver enkelt institusjon hadde gjort det samme arbeidet alene. På forespørsel fra Ekspertgruppen har alle de institusjonene som bidro med representanter i rapportarbeidet sagt seg villig til å bidra med ressurser i et videre arbeid knyttet til digital eksamen. Vi ser for oss at et samarbeid mellom institusjonene kan organiseres som en utredningsgruppe med det mål å samle de juridiske problemstillingene og utfordringene som vil komme til overflaten i tiden fremover og at gruppen utreder disse sammen. Dette er også i tråd med departementets ønske om faglig samarbeid, effektiv ressursutnyttelse og samhandling i sektoren. En slik gruppe vil slik vi ser det ikke kunne favne representanter fra alle institusjoner i sektoren, men det arbeidet som blir gjort vil selvsagt være tilgjengelig for alle. I denne sammenheng er det viktig å understreke at en eventuell oppnevnelse av en utredningsgruppe 15

17 ikke fritar hver enkelt institusjon for ansvar og eierskap til de juridiske problemstillingene som berører dem. For at et slikt samarbeid mellom flere institusjoner i sektoren skal fungere og være hensiktsmessig vil det være utslagsgivende at en utredningsgruppe for juridiske problemstillinger har en klar oppdragsgiver, plan for organisering og et tydelig mandat. I dette vil det også være viktig at forventet tidsbruk fremkommer slik at hver enkelt av de involverte institusjoner kan sette av ressurser. Mandat for en slik utredningsgruppe bør utformes i samarbeid med de involverte institusjonene. Problemstillinger Vi har forsøkt å skissere opp noen eksempler på aktuelle problemstillinger/områder som vi allerede i dag ser det er et behov for å utrede enten for første gang eller som en utvidelse av vurderingen i versjon 1.0. Problemstillingene er knyttet til: en diskusjon og eventuelt endret definisjon av begrepet «læremidler» i forskrift om egenbetaling. Dette punktet er avhengig av at Kunnskapsdepartementet vurderer endring i forskriften. digital arbeidsflyt hele prosessen fra utarbeidelse av eksamensoppgaver til endelig sensur. andre og eventuelt nye vurderingsformer enn skriftlig eksamen. brukeradministrasjon. Digitalisering av eksamen innebærer en rekke rolledefinisjoner med definerte tilganger og deling av opplysninger hvor innlogging og identifisering vil være aktuelt. krav til universell utforming 16

18 Vedlegg 4: UHRs rolle i gruppen og videre framover Norgesuniversitetet og UHR opprettet i 2013 ekspertgruppen som har hatt fokus på digital vurdering og eksamen. UHRs sekretariat har vært representert i ekspertgruppen seniorrådgiver Rachel Glasser, som også er sekretær for Utdanningsutvalget. Temaene til ekspertgruppen hører ikke naturlig inn under ett enkeltutvalg i UHR, men er spesielt relevant for UHRs administrasjonsutvalg og utdanningsutvalg. Målsetning med UHRs deltakelse har vært å forsøke å ha et helhetlig blikk på alle gruppens tema, se disse i sammenheng og informere om gruppens arbeid i UHR og ellers i relevante fora. UHR mener det har vært nyttig å delt i ekspertgruppen. Gruppen ble oppnevnt på et godt tidspunkt for sektoren mange spredte forsøk var i gang da gruppen startet opp i 2013, og man kjente ikke godt til hverandres arbeid. Underveis i gruppens periode har den lykkes med å opprette viktige kontakter til andre aktører, samle informasjon og spre denne ut igjen på en god måte. Særlig har informasjonsutveksling institusjonene i mellom, ved deling av dokumenter og erfaringsutveksling på nasjonale konferanser har vært nyttig. I tillegg er det laget et viktig dokument om juridiske utfordringer som kan komme i nye versjoner etter hvert som nye avklaringer blir gjort, og behovet for nye avklaringer må diskuteres etter hvert som feltet utvikler seg. Det viktigste er kanskje at den har rettet fokus på andre aspekt ved digital eksamen enn kun det teknologiske ved at pedagogiske, organisatoriske og juridiske utfordringer også er satt på dagsorden. Hvilken rolle skal UHR ha fremtiden når det gjelder digital eksamen og vurdering? Det vurderes om det skal opprettes et eget IKT-utvalg under UHR. Her vil digital eksamen kunne inngå som ett av mange tema. Blir det aktuelt med et eget IKT-utvalg, må det samtidig sørges for at hele bredden av problemstillinger knyttet til digital eksamen ivaretas. Dette vil blant annet nødvendiggjøre tett samarbeid mellom administrasjonsutvalget og utdanningsutvalget. De pedagogiske mulighetene som åpner seg ved bruk av nye vurderingsformer vil være en viktig sak for utdanningsutvalget. Gruppen som gjorde en juridisk vurdering for ekspertgruppen har uttrykt ønske om å fortsette/videreutvikle arbeidet som er påbegynt med første versjon av sin rapport. Dersom ekspertgruppen ikke blir videreført, vil denne gruppen kunne forankre sitt arbeid i UHR. Det er etablert tettere kontakt mellom UniNett og UHRs administrasjonsutvalg, en dialog det blir viktig å opprettholde fremover. UniNett har mye viktig arbeid i gang når det gjelder de tekniske aspektene ved innføring av digital eksamen, og anskaffelse av system for sektoren. For alle de nevnte utvalgene er mye arbeid på planleggingsstadiet, og det vil komme mer informasjon ut over våren. 17

19 Vedlegg 5: Notat om digitale vurderingsformer 18