Ekspertgruppa Digital eksamen Norgesuniversitetet

Transkript

1 Ekspertgruppa Digital eksamen Norgesuniversitetet Oppsummering av vurderingsformer Oppsummeringen legger vekt på fremtidige muligheter for digitale vurderingsformer og utfordringer knyttet til bruk av digital vurdering og eksamen. Oppsummeringen avsluttes med noen anbefalinger for videre arbeid. Oppsummeringen har 9 sider Universitetslektor Ketil Mathiassen UiO & professor Vidar Gynnild NTNU

2 1 Innledning Ekspertgruppen var opprettet for årene 2013 og 2014 medfølgende mandat: «Ekspertgruppen skal være en nasjonalt koordinerende gruppe innen digital vurdering og eksamen. Gruppen skal foreta en helhetlig gjennomgang av teknologiske, pedagogiske, organisatoriske og juridiske forhold knyttet til gjennomføring av digitale vurderinger og eksamener, og skal komme med forslag til råd og strategier på feltet. Gruppen skal: finne frem til og vise frem gode eksempler både i Norge, men også i andre land identifisere muligheter og utfordringer for digitalisering av hele «verdikjeden» knyttet til digital eksamen: Fra planlegging, administrering og gjennomføring av eksamen, til sensurarbeidet med tilbakemelding til studentene, og også klagebehandlingen bidra til å identifisere nye teknologiske utfordringer i «verdikjeden» i samarbeid med ecampus adressere juridiske, organisatoriske og pedagogiske utfordringer se på fremtidige muligheter for digitale vurderingsformer utvikle en bevissthet i forhold til kvalitetsutfordringene knyttet til bruk av digital vurdering og eksamen, der eksamens- og vurderingsformer sees i sammenheng med valgte læringsformer og læringsutbyttebeskrivelser for aktuelle studier. Gruppen utdyper selv sitt mandat, og prioriterer innenfor de ulike punktene.» Det ble tidlig klart at ekspertgruppa hadde en tverrfaglig sammensetning med god dekning for å gjennomføre mandatet. Tverrfagligheten i gruppa førte til at ansvaret for mandatet ble delt mellom medlemmene av gruppa. Denne oppsummeringen legger vekt på faktorer som vi mener kan ha betydning for utviklingen av digitale eksamensløsninger med vekt på vurderingsformer. Oppsummeringen er utarbeidet med fokus på: 1. valg av strategi innen rammene av mandatet 2. vurderingsformer og ny teknologi 3. vurderingsformer og eksamen 4. oppfølging av arbeidet 1

3 2 1. Valg av strategi innen rammene av mandatet Det ble tidlig klart at ekspertgruppa visste mye om ulike piloter som foregikk nasjonalt på temaet digitalisering av eksamen. Derimot hadde gruppa lite kunnskap om hvilke tanker ledelsen ved de store institusjonene i UH-sektoren hadde rundt eksamen og digitalisering. Mye av det vi hadde tilgang av informasjon var knyttet til større eller mindre prosjekter og utprøving av eksamensløsninger og eksamensformer. Noen miljøer var kommet langt i arbeidet med gjennomføring av papirløs eksamen, mens andre miljøer var i oppstartsfasen. Universitetet i Agder hadde gjort flere interessante erfaringer med gjennomføring av digitale eksamen og utarbeidet flere rapporter 1. Likeledes var Universitetet i Oslo i gang med å utvikle egen teknologi for digitalisering av eksamen. Også Universitetet i Bergen hadde flere erfaringer med gjennomføring av digital eksamen. Institusjonene som var kommet langt i arbeidet med digital eksamen, gjennomførte eksamen enten på LMS er eller hadde inngått samarbeid med eksterne leverandører av eksamensløsninger, Wiseflow 2 og Inspera 3. Ved Universitetet i Oslo med støtte fra Universitets senter for informasjonsteknologi (USIT), deltok tre miljøer i utviklingen av egne digitale eksamensløsninger. De tre løsningene ble valgt på bakgrunn av ulike tilnærminger til eksamen gjennom ulike eksamensformer. Det ble tidlig klart at ekspertgruppa så betydningen av å kartlegge hvilke tanker ledelsen ved sentrale institusjoner hadde rundt digitaliseringen av eksamen. Ekspertgruppa valgte å følge opp ledergruppa ved UiO og NTNU. Det ble tatt kontakt med begge miljøene, som var svært positive til henvendelsen. I desember 2013 ble det planlagt og gjennomført intervjuer med sentrale personer i ledergruppene ved de to institusjonene. Intervjuene fulgte en felles mal med sammenfallende spørsmål utarbeidet i ekspertgruppa. Det ble tatt lydopptak av intervjuene som senere ble

4 3 transkribert. Utfallet av intervjuene dannet grunnlaget for noen sentrale spørsmål for det videre arbeidet med digital eksamen i ekspertgruppa. Det var et stort ønske fra begge institusjonene som deltok i intervjuene, om å prioritere digitalisering av eksamen, men tilsvarende usikkerhet om hvordan dette skulle gjøres. Hvilke løsninger skulle velges for å nå de fastsatte målene som var satt i strategiske planer for digital eksamen. Det var også betydelig usikkerhet rundt valg av digitale eksamensløsninger som kan støtte ulike eksamensformer. I det videre arbeidet med digital eksamen i ekspertgruppa, kom det tydelig fram at fagmiljøene rundt om i UH-sektoren var dårlig representert i arbeidet med digitalisering av eksamen ved egen institusjon. Som ekspertgruppe ble vi bekymret for hvilken betydning valg av eksamensløsninger kunne få for framtidige eksamensformer. Vi så viktigheten av å invitere fagligmiljøene i UH-sektoren til seminar. I samarbeid med Midt-norsk Nettverk (MNN) 4 ble det arrangert et seminar ved HiST «Dagseminar om papirløs eksamen» 5. Seminaret la vekt på å få fram hvilke muligheter som ligger i digitale eksamensløsninger og motivere fagmiljøene for økt engasjement rundt arbeidet med digitalisering av eksamen og nye eksamensformer. Det ble utviklet et notat «Papirløs eksamen hvem setter rammene?» 6 med utgangspunkt i intervjuene med ledelsen ved UiO og NTNU. For de 110 påmeldte til seminaret, fungerte notatet som forberedelse til seminaret. Våren 2013 var det utarbeidet en rapport som belyser juridiske utfordringer knyttet til digitalisering av eksamen i høyere utdanning 7. Denne rapporten skal bidra til å sette rammer for valg av eksamensformer ved bruk av digitale eksamensløsninger

5 4 I løpet av seminaret «Papirløs eksamen» kom det klart til uttrykk et stort ønske om å komme i gang med digitalisering av eksamen, men tilsvarende stor usikkerhet om de eksisterende eksamensformene kunne implementeres i eksamensløsningene. Det viste å være dårlig forståelse for hvordan ny teknologi kan gi støtte for nye og bedre valide og reliable vurderingsformer. Samtidig var det stor usikkerhet blant deltagerne om hvor de kunne henvende seg for å få tilstrekkelig støtte for å sette i gang arbeid med digitalisering av eksamen og eksamensformer ved egen institusjon. Det var tydelig stor usikkerhet blant deltagerne i hva eksamen kan være når ny teknologi blir tatt i bruk. Det kom fram stor variasjon i hvordan vurdering foregår og forstås. Hvordan forstås summativ vurdering når vurderingsformen utnyttes som en metode for å øke læringstrykket? Skal karakterer studentene oppnår underveis i studiet, gjennom obligatoriske tester, komme til uttrykk i en endelig eksamenskarakter eller bryter dette med kravet til sluttvurdering? Seminaret viste også stor variasjon i måter å vurdere studentenes kunnskaper på selv når emnene hadde stor grad av likhet. Når kan distribuert skriftlig digital eksamen erstatte en skoleeksamen? Gjennom seminaret «Papirløs eksamen» fikk vi god oversikt over miljøer og personer som har drevet utviklingsarbeidet av digitale eksamensløsninger. 2. Vurderingsformer og ny teknologi Innføring av skriftlig digital papirløs eksamen utfordrer fagmiljøene på flere områder. Ny vurderingspraksis; hva skal studentene ha tilgang til av faglige ressurser under eksamen er man svært opptatt av. Tradisjonelt har tilgangen på eksterne ressurser til eksamen ikke vært et spørsmål. Om de nye eksamensformer skal utnytte potensialet i teknologien, må en kunne forvente at fagmiljøene trekker konsekvensen av det og vurderer mulighetene som ligger i tilgangen på ressurser under gjennomføring av 4

6 5 eksamen. Ofte trekker faglige ansatte, med ansvar for emner, fram betydningen av selvrettende prøver og økt lesbarhet som viktige faktorer. Altså, effektivisering av vurderingsarbeidet står sentralt. Studentenes fordeler gjennom tilgangen til digitale verktøy/ressurser under eksamen ble i liten grad trukket fram. Mange av dagens eksamensformer har ingen god støtte for plagieringskontroll. Det vil derimot moderne teknologi gi tilgang til. Det settes spørsmåltegn ved om digitalisering av eksamensformene åpner for at det blir lettere å levere noe som ikke er eget. Det blir lettere å jukse, men også enklere å avsløre juks. Fuskerklæring er noe studentene gjennom eksamen uansett må forholde seg til. Moderne teknologi kan i større grad gjenskape en eksamenssituasjon/vurderingsform som ligger tettere på en reell bruk av kunnskapen (arbeidssituasjon) fremfor kun å teste gjengivelse av tekst, reprodusere kunnskap. Gjennom digitalisering av eksamensformene må en ta stilling til hva en egentlig vil med vurderingen man benytter. En kan se nærmere på muligheten av å sette sammen flere vurderingsformer i en og samme eksamensavvikling (multiple choice + essay + video case f.eks.). Samtidig er det viktig å se på om det er områder der det er fordelaktig å ikke gå over til digitale eksamensformer. Ny teknologi kan åpne for muligheten til å gi hjelpemidler i deler av eksamen, uten å gi det overalt. Gjennom et videre arbeid med eksamensformer og digitale løsninger bør ulike institusjoner inviteres til å utforske eksamensformer innen noen sentrale eksamensløsninger. Altså, systematisk få innsikt i hvordan ulike eksamensformer kan komme til uttrykk gjennom ulike eksamensløsninger. En bør kartlegge vurderingsformer som brukes i UH-sektoren etter gitte kriterier som for eksempel: Take-home exams - hjemmeeksamen Open-book exams åpenbok eksamen 5

7 6 Project reports - rapporter Multiple choice or other objective tests - flervalgsoppgaver Realistic or real life tasks case eller oppgaver i praksis Varied writing tasks for specific audiences and purposes fra skriftlige oppgaver til muntlige presentasjon, indivuduelt eller i grupper Oral presentations muntlig eksamen Simulation exercises, role play exercises simuleringsøvelser, rollespill Portfolios portiføljebasert vurdering, mappeeksamen Group assignments gruppeeksamen Self, peer and co-assessment egen-, kollega- og medvurdering Vi er kjent med at innenfor hver av disse kategoriene finnes det flere former av tester som bør utvikles og belyses nærmere om hvordan disse kan brukes innenfor en digitalisert eksamensløsning. 3. Vurderingsformer og eksamen - sluttvurdering Den store utfordringen våre fagmiljøer står overfor når ny teknologi skal utnyttes, er hvordan studentenes kunnskaper og ferdigheter komme til uttrykk gjennom valg av eksamensformer. Hvordan gjenspeiler dagens karaktersystem studentene kunnskaper og ferdigheter på en eksamen gjennom de endringer som skjer med eksamensløsningene og eksamensformene? Er det samsvar mellom det faktiske nivået av prestasjonen og det som tildelt karakter antas å stå for? Hvordan skal betydningen av tilgang på frie læringsressurser vurderes i lys av studentenes faglige kompetanse? Kan ny teknologi bringe inn elementer som øker vurderingskvaliteten både med vekt på gyldighet og pålitelighet, og sikres studentene en mer rettferdig vurdering med bruk av ny teknologi? 6

8 7 Ønsker vi at studentene skal reprodusere kunnskap eller anvende kunnskap ved eksamen, eller er det ikke et enten eller? Hva slags type kunnskaper og ferdigheter representerer kurset og hvordan kan dette best måles til eksamen? Skal studentene bygge opp kompetanse gjennom faglig progresjon for å tilfredsstille opptak til nye kurs eller emner slik vi kan lese i en emnebeskrivelse: «kurset bygger på ferdigheter fra.» Da er det nærliggende at eksamen skal vise at studenten har kunnskaper og ferdigheter til et opptak i et påfølgende kurs. Eller er det slik at studentene skal vise at de kan anvende kunnskap i møte med yrket som de er utdannet til? Dette var noen spørsmål seminardeltagerne ble utfordret på gjennom notatet de fikk tilgang til. Fram til tusenårsskifte var det mange diskusjoner rundt vurderingsformer i UH-sektoren. Etter dette har diskusjonene rundt vurderingsformer ikke vært like tydelig. Med dagens aktivitet rundt digitalisering av eksamen burde dette temaet igjen løftes fram, da teknologien kan implementere andre eksamensformer enn de som har vært benyttet i analoge sammenhenger. Når miljøene utvikler nye eksamensformer, er det av stor betydning at en vurderer pålitelighet av disse, og hva er hensiktsmessige vurderingsformer? Det viser seg gjennom arbeidet med digitalisering av eksamen og vurderingsformer at det er svært ulik praksis i hvordan summativ vurdering blir implementert ved ulike utdanningsinstitusjoner. Selv om emnene kan ha mye til felles, kan det være svart ulik praksis i hvordan studentene vurderes. Det kan være mange grunner for det, men en slik variasjon svekker tilliten til vurderingspraksis og hva en karakter uttrykker. Det vil derfor være av stor betydning at det i arbeid med innføring av digitale eksamensløsningen, kartlegges hvordan eksamensformene forståes og kan komme til uttrykk i digitale løsninger. Det må tas initiativ til å få fagmiljøene til å diskutere betydningen av eksamensformer som legger vekt på anvendt kunnskap i lys kompetanse i motsetning til reprodusert kunnskap. 7

9 8 Fagmiljøene legger vekt på at plagieringskontroll skal og må være et viktig verktøy når eksamensløsninger utvikles. Enkelte emner bør se på hvordan eksamensspørsmålene tilpasses studentenes tilgang til frie ressurser. Plagieringskontroll og tilgangen til frie ressurser setter høye krav til hvordan studentene utnytter ressursene uten at studentene fanges av plagiering. 4. Oppfølging av arbeidet Vi anbefaler at det nedsettes en hurtigarbeidende prosjektgruppe/ressursgruppe som sammen med styret i Norgesuniversitetet utarbeider et mandat for eventuell fortsettelse av arbeidet i gruppa. En eventuell ekspertgruppe må ikke redusere de lokale initiativene, men heller stimulere til aktivitet gjennom erfaringsdeling og tilførte ressurser. Mandatet for gruppa bør legge vekt på: 1. Stimulere lokalmiljøene ved å opprettholde et sentralt engasjement rundt vurderingsformer i møte med ny teknologi og få fram det som skjer lokalt. 2. Kartlegge gjennom oppsøkende virksomhet status for digitalisering av eksamensløsninger og eksamensformer som er i utvikling ved institusjonene. Hva skjer og hvilke utfordringer møter miljøene i deres arbeid med digitalisering av eksamen? 3. Samle etablerte prosjektgrupper for digitalisering av eksamen ved institusjonene og dele erfaringer og status for arbeidet, Etablere grupper av fagmiljøer som kan prøve ut vurderingsformer knyttet til emnet slik at miljøene kan dele erfaringer med bruk av ulike vurderingsformer. 4. Rådgivende med valg av digitale eksamensformer som kan utvikles og gjennomføres på kort sikt, og pådriver for eksamensløsninger som må 8

10 9 utvikles for å støtte mer avanserte eksamensformer. Altså en kortsiktig og langsiktig strategi for utvikling av digitale eksamensformer. Det haster med at institusjonene tar et selvstendig ansvar for sin egen utvikling, men det er viktig at en eventuell «ekspertgruppe» ikke hemmer eller setter det lokale arbeidet på vent. Det kunne organiseres et nettverk av kompetente medarbeidere ved ulike institusjoner, som sammen kan bistå andre institusjoner med sin kompetanse, enten den er teoretisk, praktisk eller begge deler. Selv om ekspertgruppa fungerte godt etter mandatet slik den var satt sammen, bør en eventuell ny gruppe få en mer faglig tyngde. Det er viktig at denne oppsummeringen styrker en innledende og drøftende prosess før beslutninger treffes mht tiltak i valg av eksamensløsninger som kan få konsekvenser for tilfanget av eksamensformer. Vi vet at eksamensformene har en stor bredde og brukes svært forskjellig. Det blir derfor viktig å kartlegge institusjonenes ulike behov og hvordan institusjonene ser framtidas eksamensformer for sine fag og fagmiljøer. 9