Fakultet for Ingeniørvitenskap og Teknologi Institutt for Datateknologi og Beregningsorientert Ingeniørfag Midtveis refleksjonsnotat Automatisk formativ og summativ vurdering Arild Steen Hans R. Movik Prosjekt Norgesuniversitet
Du kan ha en liten topptekst/logo. Den må da være på alle sider (unntatt forsiden) Tittel: Midtveis refleksjonsnotat Forfattere: Arild Steen Hans R. Movik Fakultet: IVT Studieretning: Datateknologi Veileder: Institutt: IDBI Dato: 2018-04-20 Gradering: Åpen Antall sider: 9 Antall vedlegg: 0 Oppdragsgiver: Norgesuniversitet Oppdragsgivers kontaktperson: Emil Trygve Hasle Sammendrag Midtveis refleksjonsnotat: Prosjektet har forløpt etter planen. Det er gjort en flytting av emnet fra ITSL til Canvas. Det har vært noen utfordringer med overgangen da eksport- og importfunksjoner ikke snakker samme dialekt. Canvas er tanket opp med flervalgsoppgaver som har formative vurderinger på alle svaralternativer. Det er laget ca. 590 tilbakemeldinger. Det er avholdt spørreundersøkelser og det er gjort intervju med studenter for å få tilbakemeldinger på hvordan studenter opplever læringsmetoden. Noe data fra studenters prestasjoner er satt sammen og bearbeidet. En hovedmålsetning med prosjektet synes oppfylt. Dette var at studenter som gjorde alle oppgaver og øvinger skulle klare eksamen. Et annet moment har kommet til overflaten og gjelder konstruksjon av oppgaver. Man blir mer bevist oppgavekonstruksjon når man også må lage tilbakemeldinger på hvert alternativ. Det har medført forkastelse og revisjon av tidligere benyttede oppgaver ii
Innholdsfortegnelse Innholdsfortegnelse... 3 1 Pedagogiske utfordringer... 4 2 Læringsdesign... 4 3 Hvordan fungerer teknologien... 4 3.1 Hvorfor og hvilken teknologi... 4 3.2 Hvordan er det implementert... 5 4 Måloppnåelse... 6 4.1 Hvilken måloppnåelse har prosjektet hatt så langt?... 6 5 Institusjonelle faktorer... 8 6 Overordnede anbefalinger... 8 6.1 Anbefalinger... 8 3
1 Pedagogiske utfordringer Hvilke pedagogiske utfordringer har prosjektet skullet løse eller utforske innenfor sitt tematiske område, med utgangspunkt i studietilbudets læringsutbyttebeskrivelse? Med bakgrunn i emnet IGR1602 Beregningsorientert programmering og statistikk (BoP) er de pedagogiske utfordringer å gi gode tilbakemeldinger på studenters prestasjoner. Årsaken er en liten undervisningsressurs, 300+ studenter som er fordelt på flere campuser og nett, samt at emnet har for høy stryk% og for lav gjennomstrømning. Emnet er bygget opp rundt en variant av omvendt klasserom. Instruksjon gis i video og studenter arbeider med oppgaver knyttet til nevnte instruksjon. Oppgaver er gitt som flervalgstester i et Learning Management System (LMS). Resultatene samles opp i LMS og gir studenten en summativ vurdering av prestasjon(er). I kjernen av dette opplegget har det manglet formativ vurdering av prestasjoner. Dette er nå implementert i form av tilbakemeldinger på hvert enkelt delspørsmål i tester i LMS. Dermed kan vi gi studenten oppmuntring og forklaring på både hvorfor svaret er korrekt eller hvorfor svaret er feil. I tillegg legger vi inn hva som skal til for å finne riktig svar, uten å oppgi svaret. Prosjektet prøver ut automatisk formativ og summativ vurdering for å se om dette gir bedre resultater for gjennomsnittskarakter, stryk på eksamen og bedrer motivasjon og arbeidslyst for oppgaveløsning. 2 Læringsdesign Hva er helheten av læringsdesign (læringsaktiviteter, vurderingsformer og organisering) som det derfor har vært prosjektets mål å redesigne eller utvikle helt eller delvis? Det er gjort forbedringer i læringsdesignen i og med at studenten får umiddelbare tilbakemelding på sine prestasjoner. Læringsaktiviteter er fortsatt av praktisk karakter da oppgavene er laget rundt bruk av verktøy, simuleringer og beregninger. Vurderingsformer er det ikke gjort noen endringer på og organisering er den samme som tidligere. Et annet moment som trer frem er erfaringer med oppgavedesign. Siden oppgavene skal ha formative tilbakemeldinger ble det klart man ikke kan slurve med oppgavedesign. Flere tidligere benyttede oppgaver ble redesignet eller forkastet som følge av at konstruksjon av tilbakemeldinger avslørte at oppgaven ikke var godt nok laget. Dermed ble det å lage tilbakemeldinger for alle svaralternativer en prøvestein på hvor god oppgaven var laget. 3 Hvordan fungerer teknologien 3.1 Hvorfor og hvilken teknologi For å oppnå målsetninger for automatisk formativ og summativ vurdering er prosjektet avhengig av et system som automatisk kan beregne poengsum for tester, lagre dette i systemet samt kunne gi predefinert tilbakemelding på hvert enkelt spørsmål som systemet er i stand til å stille. Flere ulker systemer har disse muligheter i dag. Prosjektet er dog prisgitt de verktøy som institusjonen råder over og i oppstarten var dette Its Learning (ITSL). Senere byttet institusjonen over til Canvas, som så ble det valgte system 4
/ verktøy for prosjektet. Fremgangsmåten for automatisk formativ og summativ vurdering er nå implementert i Canvas. 3.2 Hvordan er det implementert Relatert til starten av BoP ble ITSL benyttet som LMS. ITSL hadde flere ønskede egenskaper men og noen mangler for å implementere tilbakemeldinger i alle svar i flervalgsoppgaver. Vår vurdering av ITSL på akkurat dette punkt trekker frem at editor og grensesnitt var noe hemmende, men det lot seg gjennomføre. Vi ble dog gjort oppmerksom på at UiT (og ganske mange andre institusjoner i Norge) valgte overgang til Canvas som nytt LMS i løpet av 2018. Vi undersøkte hvilke funksjoner og muligheter som var tilgjengelig i Canvas og fant at mekanismer for tilbakemeldinger på hvert enkelt spørsmål i flervalgsoppgaver var svært tilfredsstillende. Vi kontaktet ansvarlige for implementeringen av Canvas i UiT og gjennom samtaler ble det lagt opp til at hele fakultet for Ingeniørvitenskap og Teknologi (IVT) skulle fungere som pilot og få tilgang til Canvas ultimo våren 2017. Vi gikk derfor i gang med å overføre alle tester og annen informasjon fra ITSL til Canvas. Dette var til tider krevende da eksport og import funksjoner i ITSL og Canvas ikke snakker samme språk. Vi så derfor dette som en mulighet til en kritisk gjennomgang av emnet som helhet og vurderte hva som skulle føres over og hva som skulle etterlates / slettes. Figur 1: ITSL, noe vanskelig oversikt over spørsmål, svar, og tilbakemedling på svar 5
Figur 2: Canvas, oversikt over samme spørsmål som i Figur 1 Sammenlignet med det forlatte LMS ITSL hadde Canvas en semmer funksjonalitet på noen områder som færre spørsmålstyper og mekanismer for å stable spørsmål i tilfeldig rekkefølge. Canvas hadde + for spørsmålsbanker, men også her var det noen rynker i forhold til forventet funksjonalitet. Under samtaler med ansvarlige for Canvas blir det opplyst at flere punkt under semre funksjonalitet er under utbedring. Det kommer en ny «test-motor» som har moderne design og funksjonalitet. Det er lovet at denne skal være tilgjengelig i løpet av våren 2018. Det blir kanskje utenfor rammen til dette prosjektet, og blir i så fall en oppgave i det videre arbeid og utvikling med å ta i bruk nye spørsmålstyper og ny funksjonalitet. 4 Måloppnåelse 4.1 Hvilken måloppnåelse har prosjektet hatt så langt? Så langt kan vi se positive resultater. Sammenlignet med årene 2014 2016 og så 2017 har måleparameter vært å sammenligne hvor mange oppgaver / øvinger studenter gjør og hvilken karakter studenten får på sluttevalueringen. Vi oppdaget i 2015 at en for stor andel av studenter gjorde alle øvinger / oppgaver men fikk stryk på sluttvurderingen. Vi forsøkte så å hente ut data fra ITSL om de samme prestasjoner for 2014, men majoriteten av studenter var tatt ut av ITSL slik at vi fikk bare tak i data for ca. 60 studenter. Vi kunne dog se samme trend: mange studenter som gjorde alle oppgaver men fikk stryk på sluttvurderingen. Når vi var oppmerksomme på dette og startet samme emne igjen i 2016 gjorde vi noen administrative justeringer i håp om bedring. Vi så liten effekt. Vi gikk da til det skritt å implementere automatisk formativ og summativ vurdering for 2017 og samtidig flytte over fra ITSL til Canvas. Foreløpige resultater ser da slik ut: 6
Figur 3: 2014 Figur 4: 2015 Figur 5: 2016 Figur 6: 2017 Det som ser ut til å være det mest positive med resultatene etter omlegging til automatisk formativ og summative vurdering er fraværet av stryk på eksamen for de studenter som har gjort mange eller alle oppgaver og øvinger. Dette er området merket «A» i figurene Figur 3 til Figur 6. I Figur 6: 2017 er område «A» flyttet opp til de studenter som stryker på eksamen og har gjort bare noen få eller ingen av oppgaver som er tilgjengelig. Det kan man si var forventet. Dette kan tas til inntekt for flere positive trekke ved automatisk formativ og summativ vurdering. Studenter blir mer engasjert og oppmuntret til oppgavetrenging, det kan ligge element av positiv tevling mellom studenter, studenter får tilbakemelding på sine prestasjoner umiddelbart m.m. Det er dog andre momenter som ligger utenfor kontroll og kan påvirke resultatet. Her trekkes in faktorer som flinkere studenter på dette kullet, mer engasjerte undervisere grunnet dette prosjektet, overgang til Canvas som har nyhetens interesse. Dette er faktorer som ikke enkelt lar seg kontrollere og kan ha innvirkning på resultatene. Om vi ser på karakterfordelingskurven er toppen flyttet noe mer mot en høyere karakter som vist i Figur 7 7
Figur 7: Karakterfordeling Det fremgår også av data at blant de studenter som tok eksamen var det svært få med en karakter under 40% (stryk-karakter). Som et ytterligere supplement til prosjektet er det gjennomført en spørreundersøkelse og et utført et 10-talls intervjuer med studenter for å få mer opplysninger om hvordan studenter har opplevd implementasjon av automatisk formativ og summativ vurdering. Denne informasjonen er ikke ferdig bearbeidet enda men det fremkommer et positivt inntrykk. 5 Institusjonelle faktorer Hvilke institusjonelle faktorer, som organisasjon, ledelse, strategi, støttefunksjoner (hvilke?), policy, organisasjonskultur, pedagogisk og digital kompetanse eller andre forhold har vært spesielt viktige for måloppnåelsen, alternativt har spesielt hemmet denne? I det siste tilfelle, hvordan har prosjektet håndtert slike faktorer? I overgang fra ITSL til Canvas har vi vært avhengig av støttefunksjoner for funksjonalitet og tilgang til Canvas. Vi har vært på 2 konferanser, CanvasCon Stockholm og CanvasCon London. Dette har ikke vært avgjørende for prosjektet, men har bidratt til bedre utnyttelse av Canvas for vårt formål. Foruten nevnte moment har vi ikke identifisert institusjonelle faktorer med avgjørende betydning for prosjektet. 6 Overordnede anbefalinger Basert på punktene over, hvilke fire-fem, og gjerne flere, overordnede anbefalinger eller råd gir prosjekterfaringene grunnlag for? 6.1 Anbefalinger Ved konstruksjon av spørsmål for flervalgsoppgaver generelt, og til bruk ved automatisk formativ og summativ vurdering spesielt vil man få etterprøvd hvor god oppgaven er laget ved å konstruere tilbakemeldinger til svaralternativer. Da får man etterprøvd oppgaven og vil måtte tenke gjennom intensjonen med oppgaven og hvilke virkemidler man benytter for å øve en bestemt ferdighet. Automatisk formativ og summativ vurdering slik det er implementert i dette prosjektet indikerer at strykprosent blant de studenter som gjør mange eller alle oppgaver går 8
kraftig ned. Vi mener det er belegg i innsamlet informasjon for å mene at det største bidraget for denne forbedringer skyldes automatisk formativ vurdering. Vi vil undersøke nærmere om det er belegg for å hevde at motivasjon og tilfredshet med egen mestring av problemløsning økes som følge av automatisk formativ vurdering. Forskjellen mellom lokal campus, fjern campus og nettstudenter reduseres og gjør det mulig å holde lærerressurser på et lavt nivå. Undervisere bruker sin tid til veiledning av studenter som trenger det mer enn andre. 9