stor kunnskap - bruk av tester som

Evaluering av pilotprosjektet "Små skritt g r stor kunnskap - bruk av tester som læringsverktøy" Initiativtakere: Monica Viken og Stine Winger Minde Innvilget beløp: kr. 40.000 (inkl. sosiale kostander) Søknadsbeløp: fristilling med ca. 80 timer av ordinær plikt. Pilotperiode: høsten 2013 1. Formålmed piloten: Piloten var rettet mot kurset JUR 3420 Forretningsjus, dvs. et programkurs som inngår i de fleste bachelorprogrammer på l. studieår. Øvrige studenter kan ta kurset som valgfag. Høsten 2013 var det ca. 3000 studenter som var registrert på kurset. Høsten 2011 etablerte vi for første gang et "Nasjonalt kursrom" for kurset på lts learning. Med "Nasjonalt kursrom" menes i det følgende et kursrom hvor alle studenter som følger JUR 3420 er registrert. Dette er første semester vi har laget et helhetlig konsept med filmer og tester til de ulike emnene Vår grunntanke næd opplegget er å gi dere en rask introduksjon til de ulike emnene i kurset I tillegg håpervi at dette skal gjøre det både enklere og morsommere å lære jus! Men for å vite om vi har lykkes, trenger vi din tilbakemelding! Bli med å gi karaker! (P s Dette er helt anonyrntl Vi kan ikke se hvem som har stemt) Kort om pilotens formål: a) Det nasjonale kursrommet inneholder generell informasjon om kurset, pensum, eksamen m.m. Kursrommet skal sikre at alle studenter får lik tilgang til informasjon uavhengig av studiested og klasse, samt bidra til at studentene arbeider jevnt med kurset. Med piloten ønsket vi å øke innholdet på det nasjonale kursrommet, slik at vi i enda større grad kan sikre studentene en felles læringsplattform. Videre ønsket vi å gi det nasjonale kursrommet et mer helhetlig konsept. I 5 - Svært fornøyd (5},47o/o) 4 - Fornøyd (35,93%) I 3 - Helt ok (9,889â) I 2 - Lite fornøyd (2,09%) 1 -Misfornøyd (1,63%) 860 stemnæ(r) til sammen b) Vi opplever at mange studenter ikke leser tilstrekkelig i pensumboken. Tilbakemeldingene går ofte ut på at de synes stoffet er tungt presentert, og at de ikke får full oversikt over hva som er relevanlikke relevant. Mange sier også at de forstår hva som sies iforelesninger og at de liker å gjøre oppgaver, men at de "faller av" når de begynner å lese pensumboken. På det nasjonale kursrommet utviklet vi høsten 2011 enkelte testspørsmål (se nærmere om testspørsmålenes faktiske utforming i pkt. 2). Formålet med testspørsmålene er å gi studentene en enklere og raskere innføring isentrale emner i pensum ("highlights"), samt at vitror at dette er en morsommere og mer variert læremåte. Vi mente imidlertid at det var nødvendig å videreutvikle testene med hensyn tilomfang m.m. 1

c) I JUR 3420 Forretningsjus er det ingen arbeidskrav. Alle studenter som har JUR 3420 som programkurs, har imidlertid arbeidskrav i andre kurs som går parallelt med undervisning i JUR 3420. Et av målene med piloten er å tilby studentene et frivillig tilbud som minner om arbeidskrav. Piloten kan således belyse hvorvidt studentene gjennomfører "frivillige arbeidskrav". d) Tidligere kursevalueringer har vist at studentene ønsker mer informasjon om juridisk oppgaveteknikk. Vi ønsket derfor også å sikre at alle studenter får en minimumsinformasjon om dette. 2. Gjennomføring av pilot Piloten er i stor grad gjennomført i henhold til søknad, men vi har utvidet produksjon av filmer betydelig. Kort om hva vi har gjort: a) Til sammen er det utviklet ca. 200 testspørsmål fordelt på 6 obligatoriske emner (dvs. emner som alle studenter uavhengig av bachelorstudium må ta) og 4 spesialemner (hvilket spesialemne studenten skal ha avhenger av bachelorstudium). Spørsmålene er fordelt på 24 ulike testkategorier innenfor de ulike emnene. Alle 24 tester har innledningsvis en video som gir en rask innføring i sentrale emner som berøres i testen (se mer om videoene nedenfor i bokstav b). I tillegg har testene innledningsvis en kort skriftlig presentasjon av emnet og en videre henvisning til hvor i pensumboken studentene kan lese mer. Målet er at testene skal bidra til å øke studentenes forståelse og fokus mot hva som er mest sentralt i pensum. Etter at studenten har svart på et testspørsmå, får studenten straks melding om hvorvidt han/hun har svart retvgalt og hva det rette svaret evnt. skulle ha vært. Vi mener at det ikke er tilstrekkelig at studenten kun får vite om et svar er rett eller galt. Vi har derfor lagt betydelig vekt på at alle svar også skal gi en utdypende forklaring på hvorfor svaret var rett eller galt. Testene kan dermed bidra til å rydde opp i misforståelser og uklarheter på et tidlig stadium i læringsprosessen. Selvtestene kan benyttes på ethvert stadium i kurset, dvs. både som introduksjon til et emne, fortløpende i takt med kursets fremdrift eller som repetisjon. Det er frivillig å gjennomføre selvtestene, og studentene kan gjennomføre testene så ofte og så mange ganger de måtte ønske. Gjennomføring av én test tar 10-20 min (avhengig av studentenes grundighet. NB: dette inkl. ikke video). b) I pilotsøknaden vår tok vi sikte på å utvikle 10 korte filmer som introduksjon til hvert emne. Tanken var at det skulle være én film for hvert obligatoriske emne (dvs. 6) og én video for hvert spesialemne (dvs. 4). Vi fant imidlertid raskt ut at det var mer hensiktsmessig å koble filmene direkte mot testene. Dvs. at vi laget én film for hver testkategori (dvs. 24 stk). Alle videoene er på ca. 5-10 minutter. Det har vært viktig for oss at videoene ikke overstiger 10 minutters lengde, ettersom vi fryktet at studentene ikke ville orke å se gjennom hele dersom de ble for lange. Alle videoer er produsert i studio ia3 og i bakgrunnen på hver video vises det en pp-presentasjon. I forbindelse med produksjon av videoene har vi særlig lyst til å fremheve Milosz Tyszkos bidrag. En forutsetning for at piloten skulle lykkes har vært at vi har hatt enkelt tilgang til studio, at videoene ble produsert hurtig og med høy kvalitet. Underveis i semesteret oppsto det imidlertid enkelte tekniske problemer med visning av videoer. Flere studenter rapporterte bl.a. om at de ikke fikk sett videoene. Det viste seg imidlertid at årsaken til de fleste problemene skyldtes at studentene hadde sikkerhetsinnstil linger i nettleseren som um u liggjorde dette. c) I tillegg ble det laget én introduksjonsvideo til kurset, én video om hvordan studentene bør bruke testene, én video om oppgaveteknikk og én video om tips til eksamen. 2

d) Kursrommet er oppdatert med alle eksamensoppgaver og sensorveiledninger som er å finne for JUR 3420, Forretningsjus, samt en mønsterbesvarelse med kommentarer til oppgaveteknikk. e) Kursrommet har generelt fått mer info om pensum, viktige lovendringer m.m f) Underveis i semesteret har vijevnlig publisert meldinger til studentene på "Fagdashbordet" og sendt eposter om aktuell informasjon/emner. Forhåpentligvis har dette bidratt tiljevn trafikk på kursrommet. 3. Andre tiltak som ikke inngikk i piloten I begynnelsen av oktober ble det også opprettet et forum som heter "Veilederne svarer deg". Dette inngikk ikke som en del av pilotprosjektet. Vi nevner dette likevel da vi mener at det har bidratt til å gi kursrommet et mer helhetlig konsept. Forumet er delt inn i de samme fagemner som kurset ellers, og her kan studentene stille spørsmål om pensum, oppgaver, eksamen m.m. Alle spørsmål besvares innen 48 timer av et veilederteam bestående av tidligere dyktige studenter i JUR 3420 (fortrinnsvis studenter som går 2. og 3. året på bachelor i økonomi og forretningsjus eller er Master-studenter). Veilederteamet har vært en del av prosjektet til Jan Frode Lien. 4. Resultater fra piloten Midtveis i semesteret lanserte vi en pollundersøkelsen som fremgår på s. 1. Av ca. 3000 studenter har 860 svart. På en skala fra 1-5 (hvor 5 er best) har 50,47 % gitt karakter 5 (svært fornøyd). 35,93 % av studentene har gitt karakter 4 (fornøyd). Ca. 10 dager før eksamen lanserte vi en mer omfattende spørreundersøkelse. Undersøkelsen bestod av til sammen 11 spørsmå. På halvparten av spørsmålene skulle studentene sette karakter 1-5, mens de resterende spørsmålene var åpne. Her er studentene bedt om å kommentere på hva som er positivvnegativt med kurset, videoer, tester m.m. Undersøkelsen er i sin helhet inntatt i vedlegg 1. Vi gjengir derfor her kun "karakter-resultatene". 2. Flervalgsspørsmål Hvor fornøyd er du med kurset totalt sett? (dvs. både i forhold til forelesninger, its learning, nasjonalt kursrom, videoer, tester, pensum m.m.) 5 - Svært fornøyd 4 - Fornøyd 2 - Lite fornøyd 1- Misfornøyd 25o/o 50,3% 15,10/o 6,50/o 3,10/o 3. Flervalgsspørsmål Hvor fornøyd er du med videoene på det nasjonale kursrommet? 5 - Sveed fornøyd 4 - Fornøyd 2 - LiIe fornøyd I - Misfornøyd 48,60./0 34,20Â 13,40/o 2,1Vo o,30/o

5. Flervalgsspørsmål Hvor fornøyd er du med testene i det nasjonale kursrommet? 5 - Svætt fornøyd 4 - Fornøyd 2 - Lite Íornøyd l- Misfornøyd lkke besvart 34,90.,10 43,50h 20,50h 0,30/6 0,30Á 0,30á 6. Flervalgsspørsmål I hvilken grad har testene og videoene i det nasjonale kursrommet gitt deg økt læ ringsutbytte av kurset? 5 - I stor grad 4 - I noen grad 2 - I liten grad 1 - lngen, har ikke gjennomført tester 44,20Á 41,80/o 7,90/o 3,40/o 2,70/o 10. Flervalgsspørsmål Har du brukt lts learning mer i dette kurset enn Í andre kurs du har brukt defte semesteret? Ja, mye mer Ja, men bare litt mer Omtrent likt Nei, mindre enn på andre kurs lkke besvart 29,5o/o 32,50/o 32,90/o 3,10Á 2,10/D Generelt synes tilbakemeldingene å være svært positive. Videre er vi også godt fornøyd med at studentene synes å ha brukt its learning mer i dette kurset enn i øvrige kurs. Til tross for at nesten 80 Yo av studentene svarer at de er svært fornøydlfornøyd med testene, viser imidlertid statistikken at studentene benytter videoene i betydelig større grad enn tester. Statistikk viser at videoene er blitt sett mellom ca. 600-2200 ganger. Det store spriket på antall visninger skyldes trolig at enkelte av videoene ble lastet opp to ganger (pga tekniske problemer), og da ble telleren nullstilt. Men statistikken viser også klart at videoer som ble publisert sent i semesteret, er sett betydelig færre ganger enn videoer som ble publisert tidlig i semesteret. En av årsakene til at videoene ble publisert etter hvert, skyldes at vi ikke fikk produsert videoen tidligere i semesteret. Men vitenkte også at det ville være positivt at det fortløpende ble publisert videoer, slik at studentene så at det stadig var aktivitet i det nasjonale kursrommet. Etter å ha sett på statistikken, er vi imidlertid sikre på at dette var en dårlig idé. Høsten 2014 vil alle videoer være publisert samtidig med at det nasjonale kursrommet gjøres tilgjengelig for studentene. 4

Ca. 30 % av studentene gjennomlører testene. Hvorfor ikke flere gjennomfører er uklart, ettersom tilbakemeldingene i stor grad synes å vise at dette er noe studentene ønsker seg. Vi vil anta at deler av forklaringen skyldes at studentene rett og slett synes det er mer behagelig å bli "underholdt" gjennom en video, enn selv å ta ansvar for aktiv læring. En annen forklaring kan imidlertid også være brukergrensesnittet i lts learning (se mer om dette nedenfor i punkt 6). Vi kunne naturligvis ønsket at tallet var høyere, men vi synes likevel ikke det er avskrekkende lavt tatt i betraktning at dette er 1. semester 1. års studenters, og at studentene har omfattende arbeidskrav i andre fag samtidig. 5. Hva kan vi lære av piloten? I pilotsøknaden skrev vi at vitrodde piloten kunne belyse følgende a) Sfudenfenes arbeidsvaner kan følges gjennom de svar som innkommer b) Bruk og nytte av nasjonale kursrom kan undersøkes gjennom mânedlige polls c) Piloten kan si noe om studentenes gjennomføringsevne ikurs uten arbeidskrav, men med frivillige fesfer d) Vivil kunne si noe om hvoruidt se/vfesfer er egnet til à gjøre det enklere à tilegne seg pensumlitteratur e) Videre tror vi at se/vfesfene kan bidra til at Bl kan fà flinkere og mer fornøyde studenter i JUR 3420. Bokstav b), d) og e) mener vi er belyst i den vedlagte spørreundersøkelsen. Bokstav a) er det imidlertid vanskeligere å gi et entydig svar på. Resultater fra de åpne svarene i spørreundersøkelsen tyder imidlertid på at mange studenter benytter videoer og tester som innføring/repetisjon, jf. vårt formål med testene foran i punkt 1 bokstav b). I forkant av piloten fryktet vi at videoene/testene ville føre til at studentene droppet å lese pensum og gjøre ordinære oppgaver. Vi har imidlertid ikke fått tilbakemelding som tyder på at dette er tilfelle. Resultatene synes tvert om å være at studentene bruker dette som et tillegg til ordinære læringsmidler, og ikke som en erstatning. Bokstav c) er foreløpig usikkert å si noe om, da det p.t. ikke foreligger tilgjengelig eksamensstatistikk. Men som nevnt bruker ca. 30 % av studentene testene aktivt. lts learning har imidlertid ikke noe rapportsystem som viser nár i semesteret studentene har gjennomført testene. Det er heller ikke mulig å si noe om hvor mange som har påbegynt en test, men ikke fullført fullstendig. Det er grunn til å tro at mange har startet på tester, men ikke fullført pga. tidsnød/trenger pause m.m. Det er derfor vanskelig å si noe om hvor jevnlig studentene gjennomfører testene. 6. Avsluttende refleksjoner Et av formålene med piloten var å se om videoene og testene kunne bidra til å gi studentene en rask innføring i sentrale emner i pensum, og dermed forenkle læringsprosessen på en morsom måte. På bakgrunn av studentenes tilbakemeldinger f øler vi at vi har lykkes, men vi ser likevel at det er store muligheter til forbedringer. En del av dette er naturligvis av faglig art, men først og fremst vil vi påpeke at det i dag ligger store begrensinger i brukergrensesnittet til Its learning. De pedagogiske verktøyene er sterkt begrenset, og layout er uoversiktlig og gammeldags. Videre er vi særlig skuffet over mulighetene til å bruke its learníng på smarttelefon og nettbrett. Vi tror at videoer og tester ville blitt brukt i mye større grad dersom det hadde vært mulig å bruke dette mer "on the go". I den grad det ifremtiden er ønskelig å støtte tilsvarende prosjekter, vil vi påpeke at innvilget søknadsbeløp ikke står i samsvar med det arbeidet som er faktisk er nedlagt i pilotprosjektet. I fremtidige tildelinger oppfordrer vi også programkomiteen til å foreta en begrunnelse for hvorfor de velger å innvilge betydeligere lavere beløp enn hva det faktisk er søkt om. Pilotens navn hadde et særlig fokus på "tester". I ettertid fremstår navnet muligens som noe 5

misvisende, da vi håper derfor at piloten kan ha et betydelig bredere nedslagsfelt enn dette Vi takker for tilliten og midler til gjennomføring av pilotprosjekt! Med vennlig hilsen Viken Winger Mi il,r^rt, Vedlegg l: Spørreundersøkelse i JUR 3420 Forretningsjus 6