FlexEx: Sluttrapport for forprosjektet våren 2016

Transkript

1 FlexEx: Sluttrapport for forprosjektet våren 2016 Prosjekt FlexEx ble opprettet som et resultat av erkjennelsen i prosjekt UiO digital eksamen om at det ikke finnes ett system som kan løse alle UiOs faglige behov for vurdering. Vi så også risikoen for at ett eksamenssystem vil kunne begrense den faglige fleksibiliteten ved universitetet. Som et svar på disse utfordringene, ble det skissert en visjon om en fremtidig IT-arkitektur hvor sektor og leverandører samarbeider om modulariserte åpne løsninger som frigjør den enkelte institusjon fra silo-systemer, gir faglig fleksibilitet, administrativ standardisering og råderett over egne data. FlexEx ble i første omgang etablert som et forprosjekt med mål om å finne ut av i hvilken grad idealet var realiserbart i dagens marked og med dagens aktører innen høyere utdanning. Det har vært en utfordrende oppgave å kommunisere og konkretisere prosjektet. Under følger en redegjørelse for status på de ulike milepælene, og en erfaringslogg fra vårens arbeid. Milepæl 1 Mandat Mandatet ble godkjent av universitetsdirektøren januar Prosjektgruppen for FlexEx hadde sitt første møte 7. mars. Den har 11 medlemmer, og vi delte derfor gruppen i to fra første møte med hovedsporene standarder og faglige behov. Milepæl 2 Planverk Siden prosjektgruppen kun hadde tre måneder å jobbe på før sluttleveranse, ba prosjektleder styringsgruppen om fritak fra og levere fullt planverk for forprosjektet. Vi har basert oss på mandat med bakgrunnsnotat og milepælsplan. Det har i etterkant vist seg å være vanskelig og jobbe uten å ha mer konkretiserte mål og tydelige avgrensninger. Videre arbeid i prosjektet bør starte med utvikling av planverk. Basert på erfaringene fra forprosjektet bør også mandatet revideres. Milepæl 3 Nasjonalt samarbeid FlexEx kan beskrives som digital eksamen fase 2. Brorparten av UH-sektoren er i fase 1, det vil si at de deltar i UNINETTs anbudsprosess, og skal implementere digital eksamen i løpet av UiA, UiB og UiO (UiABO) har alle inngått kontrakt med Inspera, men alle tre institusjoner er fortsatt i prosjektfasen 1. Fokuset i UiABO-samarbeidet er først og fremst på og løse faglig funksjonalitet som ikke er dekket i løsningen i dag, og på å kunne støtte hele arbeidsprosessen for alle roller digitalt. Det vil si at det og danne samarbeid om påvirkning av markedet og andre aktører i forhold til å fokusere på IT-standarder og IT-arkitektur er utfordrende. Spørsmålet er dessuten: Hvordan skal en slik påvirkning og et slikt samarbeid foregå i praksis? Prosjektet har foreløpig angrepet milepæl 3 gjennom følgende aktiviteter: 1 Ved UiO er QP i drift for skoleeksamen i medisinstudiet, og USIT-løsningen er i drift på skoleeksamen ved JUS. FlexEx Vår 2016 Side 1

2 - Videomøter med UNINETT, BOTT og UiA for å se på samarbeidsmuligheter i det UNINETT kaller fase 2 av digital eksamen. Møtene har foreløpig ikke resultert i noe konkret. Det nærmeste ser ut til å være arkivering, noe vi kommer tilbake til i milepæl 4. - Workshop og møte med Inspera med presentasjon av visjonene i FlexEx. Prosjektressurser fra UiO digital eksamen og FlexEx samarbeider med Inspera om digital tegning, ref. egen leveranse. - Faste samarbeidsmøter med UiA og UiB. Begge institusjoner har nådd en høy prosentandel digital eksamen, og kartlegger nå hva som er årsaken til at de resterende eksamenene ikke er digitalisert. UiA har særlig fremmet utfordringene ved å løse matematikk digitalt. Her er det særlig to grep UiO nå gjør som kan bidra: Samarbeidet med Inspera om utvikling og test av en skanne-løsning som gjør at kandidatene fortsatt kan skrive utregninger på den måten de er vant med fra undervisningen: penn og papir; men at vi allikevel kan få en digital arbeidsflyt for sensor. Dessuten: Stasjonære maskiner i Silurveien som gjør at vi på sikt kan teste med å koble på tredjepartsprogramvare. - E-poster med informasjon om FlexEx og spørsmål om standarder er sendt til de mest aktuelle leverandørene. Milepæl 4 Faglige behov Dette er ett punkt prosjektet har strevet med. Milepælens fokus var på faglige behov som ikke løses av dagens eksamenssystemer. Inntil inneværende semester hadde UiO 15 % digital eksamen, ved utgangen av 2016 vil vi ha rundt 30 %. Vi har med andre ord et godt stykke igjen før vi har utnyttet mulighetene i dagens systemer til fulle. Basert på tidligere innsamlet materiale i Prosjekt UiO digital eksamen, og kontakt med brukerne av Inspera, QP og JUS-løsningen har vi imidlertid identifisert noen felt det er ønsker om at vi ser på: 1. Integrasjon med tredjeparts programmer 2. Digital tegning 3. Oppgavebanker 4. Ulike sensurmodeller 5. Læringsanalyse I tillegg finnes det behov som ikke er spesifikt faglige, men som må løses for at UiO skal oppnå målet om en digital arbeidsflyt for rollene student, administrator, faglærer og sensor. De viktigste her er: 1. Integrasjon med arkivløsning 2. Integrasjon med plagiatkontroll I tillegg kan behovet for en eventuell integrasjon med Mine studier (og For Ansatte?) vurderes. En kort gjennomgang av behovene følger: Integrasjon med tredjeparts programmer Med vedtaket om stasjonære maskiner i Silurveien vil det på sikt bli mulig å koble til tredjepartsprogrammer under eksamen. Det er to årsaker til at stasjonære maskiner muliggjør dette: Vi er ikke avhengige av at den enkelte student laster ned og har lisens til programvare på egen pc, og FlexEx Vår 2016 Side 2

3 vi kan kjøre uten sikker nettleser (SEB) og dermed gi tilgang til program som ligger utenfor eksamenssystemene. Høsten 2016 er første gang UiO gjennomfører eksamen i Silurveien. IT-drift vil da begrenses til å skifte mellom to av UiOs ulike eksamenssystem (Inspera og QP), og å kjøre uten SEB. Med ett lokale, IT-løsninger og en organisasjon som er ny både for studenter og ansatte trenger UiO et innkjøringssemester før vi kan vurdere utviding av konseptet. Alt som handler om eksamen bør gjennomføres med lavest mulig risiko. Digital tegning Mange fagmiljøer ved UiO kan i dag ikke tilby sine studenter en digital eksamen fordi tegning inngår som del av oppgavesettet. Dette er det ønsket vi har fått mest innspill på: - Prosjekt UiO digital eksamen har vært i eget møte med Sosialøkonomisk institutt om tegning - MN har meldt inn at ca 50 % av deres eksamensemner inneholder tegning. Tatt i betraktning at MN står for en tredjedel av alle UiOs skoleeksamener, er dette et vesentlig volum. - JUS har et eget delprosjekt for digital tegning. - MED og OD har ønsket seg muligheten for digital tegning. Aktiviteten digital tegning er igangsatt, og sendt styringsgruppen som egen leveranse. Oppgavebank Flere fagmiljøer (HF, OD, SV, MED) har etterspurt oppgavebanker, særlig dem som har oppdaget muligheten digital eksamen gir for bruk av flervalgstester (multiple choice). Ved å tilrettelegge for bruk av oppgavebank, kan faglærer bruke tidligere eksamensoppgaver i øvingssituasjoner i undervisningen, gjenbruke oppgaver til eksamen, eller dele oppgaver på tvers av institusjoner. I en FlexEx-tankegang bør en oppgavebank kunne eksistere som en egen modul. Vi har imidlertid ikke funnet dedikerte oppgavebanker som eksisterer som egne applikasjoner. De fleste LMS-er, eksamenssystemer og testverktøy har en eller annen form for oppgavebank som en integrert del av systemet. De fleste støtter en eller annen form for import fra andre systemer, men det medfører gjerne at oppgavens utseende og oppsett endres. Å lage en kvalitativt god oppgavebank er en komplisert oppgave. Hvilket nivå er oppgaven laget for? Hvilket pensum tilhører den? Hvilke læringsmål? Er den oppdatert? Utdatert? Revidert? Er det en oppgave som tester basiskunnskap? Analytisk evne? Refleksjonsnivå? Skal det følge med riktig svar? Scoringsparametre? Sensorveiledning? Oppgavebank er med andre ord en oppgave med potensielt høy risiko. Basert på uttrykte faglige behov, er dette allikevel noe prosjektet bør se nærmere på. Sensur Digitalisering av sensurprosessen avdekker at ulike fagmiljø har ulike faglige metoder for sensurering. Det kan for eksempel være behov for å splitte bunker og besvarelser etter ulike parametere. Med unntak av den egenutviklede sensurløsningen ved MED, er sensuren i dag en innebygd del av eksamenssystemene heller enn en egen modul. Det er mulig å tenke seg en fremtid i tråd med FlexEx-visjonen hvor sensur er en egen modul som tar imot besvarelsene direkte fra ulike gjennomføringsmoduler, eller fra en mellomlagringsmodul. Prosjektet mener at eventuelle innspill til FlexEx Vår 2016 Side 3

4 endring av sensureringsfunksjonalitet i første omgang bør utvikles i løsningene, men anbefaler også at arbeidet med Fagpersonweb (FSAT) følges opp for å kartlegge mulighetene for om dette kan bli et fremtidig sensurverktøy. Læringsanalyse Læringsanalyse kan defineres som "registrering, sammenstilling, analyse og rapportering av data om studenter for å forstå og forbedre læringsprosessen". Dette er et felt som er i sin spede begynnelse, men som antas å kunne få stor påvirkning på hvordan undervisningsløp og vurdering legges opp for å sikre best mulig læring. UiO har et senter for forskning på læringsanalyse, CEMO, plassert på UV. Det er mange uavklarte spørsmål rundt læringsanalyse. Hvilke data kan vi hente ut fra hvilke system? Hva har vi lov og sammenstille? Hvor lagres data, og er de sensitive? Bred læringsanalyse fordrer at alle de ulike systemene vi bruker i undervisning, vurdering og administrasjon av studenter kan eksporteres og sammenstilles i egne analyseverktøy. Dette er spørsmål som er aktuelt for alle UHinstitusjoner, og prosjektet mener at et arbeid rundt læringsanalyse med fordel kan være nasjonalt. Arkivering UiO er pålagt å arkivere eksamensoppgaver, sensurprotokoller, klager, masteroppgaver og doktoravhandlinger. Arkivering er relevant for alle eksamener, omfanget er derfor stort. Digitalisering av arkivering vil forenkle arbeidsprosessen for administrativt ansatte, og vil sikre at lovpålagte krav etterfølges. Arkivkravene er like for alle UH-institusjoner. Et nasjonalt samarbeid er derfor fornuftig, og dette har vært diskutert i møte med UNINETT, BOTT og UiA. UNINETT skal komme med forslag til et samarbeid. Prosjektgruppen anbefaler at UiO deltar aktivt i et slikt samarbeid. Plagiatkontroll UiOs fagmiljøer ønsker muligheten til å sjekke kandidatenes eksamensbesvarelser for plagiat og fusk, og studentene ønsker at det skal kontrolleres at medstudenter ikke jukser. En smidig integrasjon mellom eksamenssystemer og plagiatkontroll er derfor ønskelig. UiO deltar i UNINETTs anbudsprosess for nytt plagiatsystem. Det er et krav i konkurransen at plagiatsystemer kan integreres med institusjonenes systemer for vurdering uavhengig av om dette er et LMS eller et eksamenssystem. Milepæl 5 Moduler I prosjekt UiO digital eksamen ble det utarbeidet en referansearkitektur for digitale vurderingsformer. Med bakgrunn i denne referansearkitekturen skisseres det et ideelt målbilde, og det gis anbefalinger som UiO kan bevege seg mot på kortere og lengre sikt. Modulene det vil si enheter med et gitt datasett som kan stå alene i arkitekturbildet for digital eksamen består av: Administrasjonsmodul, oppgavemodul, gjennomføringsmodul, sensurmodul, klagemodul og arkiveringsmodul. Det ideelle målbildet er at hver av disse modulene kan endres eller byttes uten at det påvirker de andre modulene. En faglærer kan for eksempel velge å bytte ut forfatterverktøyet for eksamensoppgaver uten at dette får føringer for hvor kandidaten logger seg inn for å gjennomføre sin besvarelse, eller for hvordan sensurverktøyet ser ut for sensor. FlexEx Vår 2016 Side 4

5 Dagens eksamenssystemer er ikke modulariserte i en slik grad, og prosjektets utfordring har vært å se hvordan konkrete behov ved fakultetene kan løses på kort sikt på en slik måte at det ideelle målbildet i FlexEx kan nås på lang sikt. Dagens arkitektur for digitale eksamenssystem kan skisseres som følger: Faglæreres utforming av oppgavesett, kandidatens gjennomføring og sensors vurdering skjer innenfor samme system. UiO har tre eksamensløsninger, og dessuten innleveringssystemene Devilry, HMS, Fronter og It s learning. Ingen av disse systemene snakker med hverandre, og arbeidsprosessene for ansatte og studenter er ulike i hvert enkelt system. En mulig integrasjon med oppgavebank og arkiv kan tegnes inn i modellen som følger: Både arbeid med arkivering og med oppgavebank gir oss råderett over viktige data, og er en måte og teste ut ulike standarder og integrasjoner på. Arkivering bør som skrevet i milepæl 4, skje i form av et nasjonalt samarbeid. Oppgavebank må ses på i tett samarbeid med et eller flere fagmiljø. Det er viktig for prosjektet å understreke at særlig et arbeid med oppgavebank vil være krevende. Det er ikke mulig å si per nå om det lar seg løse på en god måte. Milepæl 6 Standarder Prosjektet har sett på ulike standarder for integrasjon mellom IT-systemer. Det finnes standarder som kan være aktuelle i FlexEx-sammenheng. Utfordringen er at de er så omfattende og kompliserte at sannsynligheten for at to uavhengige system/leverandører bruker dem likt er veldig liten. FlexEx Vår 2016 Side 5

6 Prosjektet anbefaler derfor at det videre arbeidet på kort sikt fokuserer på bruk av API er. API står for Application Programming Interface og er et grensesnitt som gjør det mulig for ulike programmer å kommunisere med hverandre. Bruk av API er vil være mer fleksibelt og totalkostnaden blir normalt lavere. I referansearkitekturen fra UiO digital eksamen foreslåes det at det på kort sikt jobbes med webtjenester for studieinformasjon ved å integrere en eksamensløsning mot Mine Studier. Tanken er at dette er en relativt rask og rimelig måte å teste ut integrasjoner på. Utfordringen med dette utviklingsønsket er at det er egeninitiert, og ikke spilt inn fra fakultet eller brukere. Det betyr ikke at det ikke er en god ide, eller at studenter ikke ville ønske seg en slik funksjonalitet. Det foreslås at ideen følges opp videre med Seksjon for kommunikasjon og studentinformasjon og Inspera. En annen utfordring som oppfattes ulikt av prosjektgruppens medlemmer er i hvilken grad en eventuell videreutvikling av Mine Studier skal prioriteres nå, all den tid vi ikke vet hva slags funksjonalitet UiO ønsker å kjøpe gjennom deltagelse i UNINETTs LMS-anbud. Milepæl 7 Veikart for digital eksamen Her har vi nok hatt litt for høye ambisjoner på prosjektgruppens vegne. Et veikart for et IT-system er i følge UiOs egne beskrivelser som følger: «Formålet for veikart er å ha en overordnet plan for hele systemlandskapet for de administrative ITsystemene som beskriver behov for nye systemer, ny funksjonalitet i eksisterende systemer og når det skal innføres, inkludert behov for investeringer. Veikartet skal fungere som en rullerende årsplan med detaljerte planer for hele livsløpet for det enkelte system. Målet for veikartet er en bedre forvaltning av de administrative IT-systemene for å møte utfordringene som er funnet.» Et veikart i denne forstand mener vi ligger utenfor prosjektgruppens mandat og arbeidsoppgaver. Erfaringspunkter fra prosjektperioden mars juni 2016 For lite tid på for komplekse problemstillinger: Prosjektgruppen har eksistert i drøye tre måneder. Manglende planverk: På grunn av liten tid, ba prosjektleder om fritak for å lage planverk utover mandat og milepæler. Prosjektmedlemmene har erfart at disse ikke var konkrete nok å jobbe etter. Dette er et komplisert prosjekt som bygger på en visjon, og det er blitt tydelig gjennom disse tre månedene at vi trenger å bruke tid på et omforent og konkret planverk. For mange mennesker: 11 personer er for mange til at en prosjektgruppe fungerer godt. Vi har derfor skalert ned antall aktive deltakere dess nærmere sluttdato vi har kommet for å kunne jobbe effektivt og sørge for at alle er på samme sted i prosessen. Endringer underveis: Opprettelsen av Program for digitalt læringsmiljø i februar 2016 inneholdt aktiviteten LMS. Siden denne også hadde utgangspunkt i faglige behov, ble to representanter fra LMS tatt inn i FlexEx-gruppens faglige spor. Dette var ikke gjennomtenkt, og kompliserte arbeidet ytterligere siden det ble uklart om prosjektet nå skulle favne undervisning i tillegg til eksamen. FlexEx Vår 2016 Side 6

7 De fleste av UiOs behov slik vi kjenner eksamensprosessen i dag, kan antagelig løses gjennom videreutvikling av funksjonalitet innenfor de eksisterende løsningene. FlexExs mål er imidlertid å gjøre UiO klare for fremtiden og for de faglige behov vi ikke helt har oversikt over ennå. Det er ikke umulig, men utfordrende for et prosjekt som skal levere innenfor en ramme av tid, kostnader og kvalitet, å styre i retning av en visjon som kan ligge 5 10 år fram i tid. En IT-arkitektur for digital vurdering bør også inkludere undervisning. Det å tegne en slik arkitektur i tråd med noen (inter)nasjonale standarder bør antagelig være et sektorsamarbeid organisert i linjen? Prosjekt FlexEx er i dag ikke rigget for å levere en slik arkitektur. FlexEx må ta seg tid til å gå noen runder med konkretiseringer, avgrensninger og oppstartsaktiviteter slik at både prosjektgruppe, styringsgruppe og andre interessenter får gått gjennom en nødvendig modningsprosess. Slik kan vi fortsette mot et omforent og konkretisert mål. FlexEx Vår 2016 Side 7