Til: Prosjekt Digital Eksamen Fra: Claus Wang Dato: 12.06.2013 Sak: Evaluering av piloter, Ny Fronter Eksamensløsning Bakgrunn En ide fra Halvard Øysæd om en egen variant av Fronter, bare til eksamensformål, ble praktisk laget til av Harald Gjervik og undertegnede 3-4.april i år. Konseptet går ut på å ha en egen instans («bygning») av Fronter, hvor kandidatene ikke har tilgang til vanlig Fronter-bygning og hvor de eksisterer enten anonymt med kandidatnummer eller med fullt navn. I eksamensløsningen er en rekke av parameterne som er satt i ordinær Fronter, enten skrudd av eller endret til et spesialformål (f eks er en rekke av standard verktøy fjernet eller gjort utilgjengelig). I tillegg er «eksamensrommet» basert på en CSS-mal og tilpasset en eksamen, enten som skole-eksamen med flervalgsprøve eller innlevering, eller som en hjemme-eksamen med innlevering. For innleveringseksamen er det brukt en beta-versjon av det nye innleveringsverktøyet i Fronter (skal være ferdig utviklet til høsten), og for flervalgsprøve er det brukt det nye prøveverktøyet. Sensorer har tilgang til løsningen, og kan vurdere besvarelsene direkte i løsningen. Kandidaten møter dette ved innlogging: Dette er en svært enkel side hvor kandidaten bare møter den aktuelle eksamen. Hvis kandidaten har flere eksamener i perioden, vil hun kunne velge den aktuelle. Ved å klikke på den eksamen som skal gjennomføres, kommer kandidaten hit:
Her ligger evt oppgavetekster, informasjon til kandidaten (bla krav til format o.l) og en lenke direkte til innleveringsverktøyet, evt til flervalgsprøven. Lærere har for øvrig tilgang til å levere ut sin oppgavetekst digitalt her. Ettersom det nye innleveringsverkøyet bare finnes i en beta-versjon ennå, mangler det noen funksjoner som vil være viktig å få på plass i en evt fullverdig løsning: Integrasjon med Ephorus plagiatkontroll «Levere-for»-funksjon (eksamenskontoret kan ikke levere oppgave på vegne av student) Gruppe-innlevering Skjul deltagere (anonym innlevering i pilot løst ved bruk av kandidatnummer) Masseutskrift (for sensor) Masse-nedlasting (for sensor, arbeide off-line) Redigere på tildeling av eksamen, f eks gi ekstra tid for enkelt-deltagere underveis Kandidater må på plass i løsningen før eksamenstildeling kan gis, dvs at kandidater som legges til etter tildeling av eksamen ikke får levert «Sensor-grensesnitt» -- kommentere/skrive/tegne i /på oppgavene For øvrig gis det en kvittering på levert eksamen på skjermen, samt at dokument(ene) blir liggende i løsningen som en kopi for kandidatene. Fronters eksamensløsning er basert på kun standard Fronter-funksjonalitet, - ingen spesialprogrammering er gjort utover CSS-maler for rom, læringsstier og brukermaler. Som andre innleveringsløsninger, er Fronter avhengig av en integrasjon med FS for å kunne skalere til et stort antall brukere. I pilotene har undertegnede gjort all generering av eksamensrom og brukere (kandidater, eksamenskontor og sensorer med brukernavn og passord). I pilotene for skole-eksamen har IT-avdelingen stått for oppsett av SEB-browser og faglærere (Sven Haaø og Halvard Øysæd) har stått for viktig testing og innleggelse av flervalgsprøve (laget i- og kopiert fra ordinær Fronter).
Følgende 4 piloter er kjørt våren 2013: Hjemme-eksamen/innlevering: Skole-eksamen med flervalgsprøve: ME-419 og SPA106 TFL115 og DAT110 For vurdering fra eksamenskontoret - se deres egen evaluering. En viktig hovedsak for alle pilotene var distribusjon av brukernavn og passord: dette måtte skje manuelt av eksamenskontoret, - svært tungvint. ME-419 Frist: 6.mai 14:00, 64 kandidater under fullt navn og 27(!) sensorer Her har 54 kandidater levert. Har ingen informasjon om de som ikke har levert. Et uvanlig stort antall sensorer, hele 27 personer ligger inne. Det var svært lite, om noen, problemer for studentene å levere. Det var imidlertid problemer for mange av sensorene når det gjaldt innlogging. De måtte skifte passord ved første gangs pålogging, og mange glemte hvilket passord de skulle bruke i ettertid. Det har også versert en påstand om at første bokstav i passordet automatisk ble en stor bokstav i påloggingsbildet, uten at jeg kan se at det stemmer. Konklusjon: kandidatgjennomføring gikk veldig greit, litt problemer med sensorene. SPA106 Frist: 24.mai 12:00, 27 kandidater med kandidatnummer og 2 sensorer Her har 16 kandidater levert i løsningen, mens 2 hadde problemer i leveringen og leverte pr epost til eksamenskontoret. Har ingen informasjon om de som ikke har levert. Svært mange ventet til nær fristen med å levere, og det kan ha skapt litt stress. Konklusjon: Kandidatgjennomføring gikk veldig greit. TFL115 Dato: 31. mai, utsatt prøve, 7 kandidater under fullt navn, 2 sensorer Dette var en flervalgsprøve med automatisk retting, på PC-lab i Grimstad, med bruk av Safe Exam Browser. Her har 5 av 7 levert. De to som ikke har levert skulle antagelig ikke vært meldt inn i rommet (kandidatlisten ble generert lang tid i forveien). Konklusjon: Veldig grei gjennomføring DAT110 Dato: 3. juni, 50 kandidater med kandidatnummer, 2 sensorer Dette var en flervalgsprøve, delvis med automatisk retting, på PC-lab i Grimstad. 36 kandidater har levert, 15 har ikke levert uten at jeg har noen informasjon om grunnen til det. Se for øvrig vedlagt evaluering av faglærer/sensor Sven Haaø. Konklusjon: Veldig grei gjennomføring
Spørreskjema Svarene her er generelle for pilotene i Fronter-Eksamensløsningen og må sees i sammenheng med det som er skrevet ovenfor: 1.Hvordan oppfattet dere leveransen av løsningen på eksamensdagen fra en skala fra 1-5? 1 er dårlig og 5 er veldig bra. Ellers kommentarer. På skala: 5, ingen store problemer 2.I hvilken grad mener dere det er anledningen for studenten å jukse med denne løsningen? 1-5 skala. 1 er lett og 5 veldig vanskelig. På Skala 4: til hjemmeeksamen er jo alle hjelpemidler tillatt, og juks omtrent så vanskelig å finne som ved andre hjemmeeksamener. Minus for manglende Ephorus-integrasjon. Skoleeksamen: rom i ordinær Fronter er ikke tilgjengelig, ellers gjelder det funksjonalitet i SEB-browser. 3.Hvor enkelt lar denne løsningen seg integrere med prosesser og rutiner på eksamenskontoret før og i etterkant av eksamen? Se gjerne vedlagt kravspesifikasjon for mer detaljer. Ikke testet dette i stor skala (med FS-integrasjon), i piloter har eksamenskontoret vært lite involvert, bortsatt fra den nevnte tungvinte distribusjonen av brukernavn/passord 4.Fra pilotene - 3 bra ting og 3 ting som kunne ha vært bedre. Ting vi ikke hadde trengt å gjøre. Bra: enkelt for kandidater, flervalg = rask sensurering, lite arbeid for IT-avdeingen Kunne vært bedre: mangler i betaversjon av innleveringsverktøy, sensur-grensesnitt, eksamensrutiner/informasjon rundt digital eksamen og oversikt over eksamener (eksamenskontor) 5.Hva koster løsningen, innkjøp og drift? Hva slags ressurser vil kreves for å drifte/støtte løsningen? Anslag.. Ikke fått pris på dette ennå, men det anslås +- 100.000 for fullskala-løsning. Drift har vi i eksisterende apparat 6.Hvordan skalerer løsningen pris og Funksjonsmessig? Prisanslag basert på totalt antall studenter. Funksjonsmessig skalerer løsningen med en integrasjon med FS. 7.Hvor mange lag med underliggende infrastruktur trengs det for å levere denne tekniske løsningen? For eksempel, en Lock-down browser som kjører på en VDI løsning som kjører på to servere som kommuniserer med klienter over trådløs osv Her har vi mange avhengighetsforhold og vi ønsker å avdekke risikofaktorer..
Med ny versjon av SEB holder dette til skoleeksamen (+ strøm, nett, PC og evt SEB-server) 8. Hva er den største risikoen med løsningen? Risikoen ligger i tid/kostnad/kompleksitet for FS-integrasjon (gjelder alle innleveringsplattformer). Nettverksproblemer er en mulig show-stopper for alle digitale systemer 9.Hva er deres anbefaling i forhold videre arbeid med denne løsningen? - Trenger vi mer testing? Er det en løsning som er verdt å satse på videre? Vil gjerne gjøre testing på 1) flere skoleeksamener med ny SEB-versjon og BYOD, + - 50 kandidater 2) 1-3 hjemmeeksamen med fullt ferdig innleveringsverktøy (når er det klart?) 3) En test på en «liksom-integrasjon», en veldig lite tilpasset kopi av import vi i dag har til ordinær Fronter 10. Er det andre løsninger som dere mener vi burde se på til høsten????
Vedlegg: Evaluering fra Sven Haaø, DAT110, skoleeksamen med FronterEksamen og SEB Spørsmål Karakter Kommentar 1.Hvordan oppfattet dere leveransen av løsningen på eksamensdagen fra en skala fra 1-5? 1 er dårlig og 5 er veldig bra. Ellers kommentarer. 5 Ingen store problemer. 2 brukerfeil (et på brukernavn / passord og et på oppstart) 2.I hvilken grad mener dere det er anledningen for studenten å jukse med denne løsningen? 1-5 skala. 1 er lett og 5 veldig vanskelig. 3.Hvor enkelt lar denne løsningen seg integrere med prosesser og rutiner på eksamenskontoret før og i etterkant av eksamen? Se gjerne vedlagt kravspesifikasjon for mer detaljer. 4.Fra pilotene - 3 bra ting og 3 ting som kunne ha vært bedre. Ting vi ikke hadde trengt å gjøre. 5 Studentene må stenge ned maskinen helt for å komme seg ut av sperrene 5 Lite forberedelser nødvendig, digital innlevering, automatisk retting av alt unntatt fritekst, ingen tredjeparts programmer. Gode ting: Lite arbeid for IT Mulighet for BYOD Enkel oppstart for studentene 5.Hva koster løsningen, innkjøp og drift? Hva slags ressurser vil kreves for å drifte/støtte løsningen? Anslag.. 6.Hvordan skalerer løsningen pris og funksjonsmessig? Ting som kunne vært bedre: Studentene kunne brukt sin egen maskin Prøve-eksamen for studentene i forkant Rutiner og ansvarsforhold i forhold til kommunikasjon med studentene kunne vært utarbeidet i forkant Fronter-lisenser + pc-labber Person-ressurser: *Fronter-administrator for oppretting av brukere (1 time) *Eksamenskontorets standard jobb (ukjent) *Opprette eksamen i eksamensfronter og legge ut nødvendig informasjon (1 time) *Installasjon av seb-browser (1-2 timer) *Eventuell støtte på eksamensdag (1 time) 5 Skalerer veldig bra dersom BYOD kan benyttes, skalering i
7.Hvor mange lag med underliggende infrastruktur trengs det for å levere denne tekniske løsningen? For eksempel, en Lock down browser som kjører på en VDI løsning som kjører på to servere som kommuniserer med klienter over trådløs osv Her har vi mange avhengighetsforhold og vi ønsker å avdekke risikofaktorer.. 8. Hva er den største risikoen med løsningen? 9.Hva er deres anbefaling i forhold videre arbeid med denne løsningen? Trenger vi mer testing? Er det en løsning som er verdt å satse på videre? 10. Er det andre løsninger som dere mener vi burde se på til høsten? fronter er kun begrenset av lisenser 1. Windows / Mac maskin 2. Lockdownbrowser 3. Nett-tilgang 4. Potensielt Seb-server 5. Eksamensfronter Nettverksproblemer Pilot på studentenes egne maskiner når 2.0 versjonen blir ferdig Vi må sikre at fronter verifiserer at SEB blir brukt av studenten med riktig regel-fil (DVS at studenten ikke laster ned en vilkårlig SEB-klient og får tilgang til eksamen) Definitivt verdt å satse på videre for multiple-choice eksamener, dersom autolagring i fronter kommer på plass så vil den også fungere bra for skriftlige skoleeksamener Sven ønsker å kikke nærmere på Ilias og Moodle sammen med SEB for å sammenligne funksjonalitet mot nåværende løsning.