Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag

Transkript

1 Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Modul 2: Om digitale tester Svend Andreas Horgen Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag September 2008 Lærestoffet er utviklet for faget Læringssystemer, pedagogikk, teknologi og innholdsproduksjon Resymé: En digital test er en samling av spørsmål som kan tas digitalt og rettes automatisk. Digitale tester kan både brukes som et viktig ledd i læringsprosessen og inngå i vurderingsgrunnlaget. Denne leksjonen ser på innvendinger og utfordringer samt fordeler ved formativt og summativt bruk av digitale tester. Du vil også finne noen pedagogiske godbiter som er verdt å få med seg.. 1 INNVENDINGER OG UTFORDRINGER HVA KJENNETEGNER EN DIGITAL TEST? FORMATIV BRUK AV DIGITALE TESTER SUMMATIV BRUK AV TESTER TESTVERKTØYET DIGITEST KILDER OG NYTTIGE LENKER:...7

2 Modul 2: Om digitale tester side 2 av 7 1 Innvendinger og utfordringer Tradisjonelt sett har flervalgstester (tester med spørsmål av type multiple choice/flervalg) blitt brukt summativt typisk til eksamen. Ved å sammenlikne kryss fra svararkene med kryss i en fasit, vil rettingsarbeidet kunne effektiviseres noe, og vurderingen bli mer objektiv. Det fins også eksempler på systemer som kan tolke svarark optisk og slik automatisere retteprosessen. Kritikerne hevder blant annet at tester med flervalgsspørsmål ikke egner seg til å vurdere godt nok. Her er noen typiske innvendinger: "Hvordan skal en kunne avdekke forståelse, analytiske evner og skriftlig fremstillingsevne med en flervalgstest?" "Hvordan kan en sikre en riktig vurdering med noe som rettes automatisk?" "Hvordan unngå mekanisk læring tilpasset denne vurderingsformen?" "Slike tester passer kun for tekniske fag." Det fins også en rekke studier der en har gått systematisk til verks og sammenliknet resultater fra skriftlige eksamener med både flervalgsoppgaver og essayoppgaver, for eksempel fra psykologiundervisningen ved NTNU (Bjørgen og Ask, 2005). En digital test er noe mer enn en tradisjonell flervalgstest. Digitale tester kan utvilsomt brukes innen alle fagområder, til alt fra matematikk, fysikk, kjemi, økonomi og data til norsk (språkfag), historie, psykologi, samfunnsfag, helsefag, pedagogikk, filosofi, musikk, mediefag, meteorologi og så videre. Digitale tester bør appelere til alle fagfelt. Mange av de som aktivt bruker flervalgstester, har erfart at det er vanskelig å lage gode spørsmål, men mener at det er mulig å formulere spørsmål som både tester kunnskap, forståelse, ferdigheter og evner av høyere kognitiv orden. Uavhengig av spørsmålskvalitet, vil mange av innvendingene mot tradisjonelle flervalgstester fortsatt være aktuelle. Det er mange hensyn å ta for å oppnå høy kvalitet både i utforming, bruk og forvaltning av slike tester. Når vi utfosker de mulighetene som for eksempel læringsplattformene (it s learning, Fronter, Moodle,...) tilbyr gjennom sine digitale testverktøy, er det liten tvil om at digitale tester kan være et meget sentralt pedagogisk redskap for de fleste lærere som har lyst til å tilby studentene sine en ny og spennende læringsform og eventuelt vurderingsform. Digitale tester utgjør et viktig supplement i lærerens pedagogiske verktøykasse. En bør selvsagt ikke utelukkende bruke slike tester, men bør heller ikke velge bort bruken av tester basert på gammeldagse, ugyldige fordommer. Vi vil i dette faget fokusere primært på den formative bruken av digitale tester, det vil si bruk av tester for å støtte opp under læring. Vi kommer også inn på summative aspekter, og tar opp relevante tips i forbindelse med bruk av tester for vurdering. 2 Hva kjennetegner en digital test? Figur 1 viser en digital test fra det nye testverktøyet i it s learning (nytt av våren 2008). Testen heter xamen vår 2002 og har 24 spørsmål. Akkurat nå vises spørsmål 3, som er av typen ja/nei.

3 Modul 2: Om digitale tester side 3 av 7 Figur 1: Eksempel på spørsmål fra en digital test i testverktøyet til it s learning. Allerede fra Figur 1 aner vi at en digital test tilbyr noe mer enn bare en ren tradisjonell flervalgstest på papir. Dagens læringsplattformer har etterhvert fått avanserte verktøy for å lage, gjennomføre og bearbeide digitale tester. Mange ulike spørsmålstyper kan brukes i en og samme test. På papir kan en selvsagt formulere spørsmål av type ja/nei, flervalg, finn par, fyll ut det som mangler, korte fritekstsvar og essay (lang fritekst). Et digitalt testverktøy som it s learning sitt, tilbyr disse typene, men har i tillegg såkalte interaktive spørsmålstyper, som krever at deltakeren svarer ved å for eksempel klikke og dra i bokser og bilder. Bruk av stimuli i både spørsmål og alternativer, det være seg bilder, lyd og video, passer også godt i digital sammenheng. Forhåndsdefinerte kommentarer kan vises ved for eksempel feil svar, og slik kan tilbakemelding/veiledning automatiseres og effektiviseres. Det er klart at en kan være skeptisk til det å automatisere og generalisere noe så viktig som tilbakemeldingsprosessen. Likevel utgjør unektelig tester med tilbakemelding en spennende form. Mange opplever fra manuell retting/veiledning at tilbakemeldinger ofte går igjen (på grunn av samme misoppfatninger). Kan en tenke seg å automatisere for massene, og heller bruke de frigjorte ressursene på tilpasset oppfølging for de som trenger det mest? Resultatet på en test kan vises for studenten umiddelbart når testen leveres, siden datasystemet kan beregne poeng automatisk. En analyse av resultatene fra alle studentene eller enkeltstudenter, kan gjøres effektivt, og gi interessant statistikk for både lærer og student. Unike tester kan tilbys deltakeren hver gang, automatisk, basert på tilfeldig uttrekk fra en større samling av spørsmål. Det er liten tvil om at læringsplattformene implisitt oppfordrer til bruk av nye, spennende digitale læringsaktiviteter. Mange lærere opplever at nettopp digitale tester gir nye pedagogiske muligheter. Det er dermed rimelig å påstå at digitale tester på få år har fått en relativt stor utbredelse, nettopp som følge av innføringen av læringsplattformene i høgere utdanning, videregående skole og grunnskole! Vurdering av studentenes kunnskap er viktig i de fleste læringsprosesser. Det er mange fordeler med digitale tester, men også noen utfordringer. Kvalitetsaspektet er viktig, og vi kommer grundig tilbake til dette senere. Det er nyttig å skille mellom formativ og summativ vurdering. Den formative vurderingen foregår underveis, og kan virke som en motivasjon og

4 Modul 2: Om digitale tester side 4 av 7 rettesnor for studentene. Den kan også gjøre det mulig for læreren å følge utviklingen og tilrettelegge for passende læringsaktiviteter og tiltak, både overfor enkeltstudenter og hele gruppen. Den summative vurderingen går på å gi en sluttvurdering av hva studentene har oppnådd. 3 Formativ bruk av digitale tester Formativ vurdering skal være til hjelp for læringen, og dialogen mellom den som skal lære og den som vurderer står i sentrum. Formativ vurdering er vurdering for læring og er derfor et viktig element i læringsprosessen (Taasen et.al 2004). Det er også viktig å lykkes med formativ vurdering for å oppfylle kravene i Kvalitetsreformen (2001), men hvordan gjøre det i praksis på en pedagogisk god og samtidig tidseffektiv måte? En god formativ bruk av digitale tester kan utvilsomt støtte opp under læring. Stadig flere lærere oppdager at bruk av digitale tester kan være et flott pedagogisk verktøy. En annen leksjon vil ta opp mer avanserte, kreative og morsomme opplegg hvor tester inngår. Vi starter først med noen åpenbare fordeler med bruk av digitale tester som støtte i læringsprosessen. Tilgangen til tester gjennom for eksempel it s learning, kan gjøres uavhengig av tid og sted. Læreren kan legge ut en eller flere tester som kan tas når studenten selv føler for det. Det at et testverktøy er digitalt og webbasert av natur, innebærer en rekke muligheter for å støtte opp under læringssituasjonen. Her er noen fordeler. Automatisert tilbakemelding: En digital test gir mulighet for umiddelbar, automatisert tilbakemelding, med kommentarer, hint og ledetråder om ønskelig. Pekepinn: Tester kan gi en god pekepinn på hvor en står faglig, og slik virke veiledende på hvor innsatsen bør legges fremover. Variasjon: Digitale tester åpner for varierte, spennende og utfordrende spørsmål hvor både tekst, lyd og bilde inngår. Variasjon kan i seg selv være motiverende, og de avanserte mulighetene gjør det også mulig å lage vanskeligere spørsmål på høyere kognitivt nivå. Læringsmodus: En test gitt i forkant av en læringsøkt, kan sette læringsmodus og motivere til økt engasjement og fokus i læringsøkten. Refleksjon: En test gitt underveis i en læringsøkt, kan sette fokus på de viktige temaene, skape refleksjon og gi økt bevissthet rundt egen læring. Oppsummering: En test gitt i etterkant av en læringsøkt, kan brukes for å oppsummere og bearbeide stoffet, og avgjøre om en er klar for å gå videre til neste tema. Generell repetisjon: Studenten kan repetere og gjenoppfriske tidligere gjennomgått lærestoff, når som helst. Punktene over er i utgangspunktet viktige for studenten selv. Ved å bruke digitale tester, kan læreren avlastes fra oppgaver som ellers ville tatt mye tid. Det er likevel skummelt å tro at individtilpasningen går av seg selv. Tester bør brukes som en av flere læringsaktiviteter, og god planlegging og oppfølging er en forutsetning for å lykkes med formativ bruk. Det er verdifullt å merke seg at resultatene fra settet av alle testene som er besvarte, kan gi læreren nyttig innsikt i egen undervisningskvalitet og/eller studentenes forståelse. La oss tenke oss at mange studenter har gjort det dårlig på en test om for eksempel Nyere historie.

5 Modul 2: Om digitale tester side 5 av 7 Det er lett å sjekke status når både dataene og verktøyet er digitalt. Totalresultatet kan da bli en viktig indikator for læreren om at det er nødvendig å sette inn tiltak for å øke forståelsen for temaet. Kanskje er det behov for en ny diskusjon rundt temaet, en spørretime, mer oppklarende lærestoff eller å undersøke nærmere hva som er årsaken til det dårlige resultatet. En kan sågar ta fram testresultatet som utgangspunkt for neste time, og gå igjennom i plenum. Figur 2: Oversikt over testresultater i it s learning. Her er det flere som ikke har fått godkjent på første forsøk. Det er også interessant å se hvordan slike tester kan motivere studenter. Figur 2 viser hvordan studenten Arnstein har tatt testen første gang kl 07:32 og ikke fått nok poeng til å bestå testen. Selv om han på andre forsøk noen minutter senere har klart å stå testen, har han ikke gitt seg før han på tredje forsøk fikk 23 poeng (som er alt riktig). Er det bra å kunne prøve og feile slik? Det blir opp til deg som lærer å avgjøre for hver test, men mange studenter/elever later til å ikke gi seg før de får 100% riktig på testen, og når de har klart dette, vil de jo unektelig ha lært en del i prosessen mot å komme dit... I de fleste testverktøy er det mulig å sette karantenetid for å unngå prøv-og-feil-metoden, og stimulere til arbeid med lærestoffet før testen kan tas på nytt. Læreren kan sette karantenetid på for eksempel 3 timer. Hvis det hadde vært gjort her, ville første mulige tidspunkt for Arnstein å ta testen for andre gang være kl 10:32. Læreren kan i tillegg kontrollere en rekke andre egenskaper, som antall forsøk, grad av tilbakemelding, visning av svar og tilfeldig utvalg av spørsmål. Godt utarbeidede tester må også være gode på selve testoppsettet, og en analyse basert på for eksempel informasjonen i Figur 2, kan avsløre mye av testens forbedringspotensial. 4 Summativ bruk av tester Summativ vurdering er vurdering av læring. Summativ bruk av digitale tester innebærer å vurdere kunnskap på et visst tidspunkt, og sette en karakter. En slik vurderingsform er effektiv, og kan frigjøre mer tid til for eksempel veiledning. Fra et lærerperspektiv gir summativ bruk av digitale tester flere mulige fordeler. Her listes noen opp. Automatisert retting: Systemet setter poeng avhengig av hva som er riktig, og en kan velge karakterskala eller bestått-status etter ønske.

6 Modul 2: Om digitale tester side 6 av 7 Bredde og dybde: I tradisjonelle eksamener må en gjerne velge ut enkelte tema. Siden det som regel tar mye kortere tid å besvare spørsmål hvor en selv ikke må formulere seg skriftlig, kan en digital test bestå av flere spørsmål. Læreren får altså større mulighet til å teste i både bredden og i dybden. Objektiv retting: Retting av digitale tester tar ikke hensyn til håndskrift eller evne til å formulere seg skriftlig (med mindre fritekst-spørsmål brukes). Gjenbruk: Digital informasjon kan lett kopieres og redigeres. Både hele tester og enkeltspørsmål kan gjenbrukes. Ved å samle spørsmål i en større base (for eksempel et eget fag med bare tester i, en slags spørsmålsbank) kan en bygge opp stadig bedre og mer rikholdige samlinger av spørsmål. I LMS-systemet Moodle legges alle spørsmål direkte inn i en spørsmålsbank, og læreren kan da lage nye tester ved å plukke fra banken. Tilfeldig uttrekk: En kan lage tester med flere spørsmål enn de som vises til den enkelte kandidat. Slike tester trekker altså ut et subsett av tilfeldige spørsmål (også kalt randomisering) og er nyttig for å unngå juks eller skape variasjon. Det er også mulig å bygge opp kategorier og trekke tilfeldig fra de ulike kategoriene, for økt kontroll over hvordan hver enkelt kandidat får ulike spørsmål. Kvalitetssikring: Systemet tilbyr statistikk over resultatene og det gjør det lettere å luke ut dårlige spørsmål. En kan også bygge opp statistikkgrunnlag over tid. Det blir andre krav til forberedelse i forbindelse med summative tester, og selve test-formen kan på noen studenter oppleves som en barriere. Det er derfor nødvendig å informere godt og riktig om testen i forkant. Konkrete tips og teori utdypes i detalj i kapittel 4 Automatiserte tester på nettet av kollega Greta Hjertø i boka Nettbasert undervisning (Munkvold et.al, 2008). 5 Testverktøyet Digitest Avdeling for Informatikk og e-læring (AITeL) ved HiST, har stor interesse for digitale tester. Basert i forskning omkring digitale tester over flere år, har avdelingen jobbet med utviklingen av et eget, frittstående testverktøy kalt Digitest (tidligere kalt Evatest). Hvorfor lage et eget verktøy når it s learning (som HiST bruker) har et innebygget testverktøy? Det gamle testverktøyet i it s learning var meget begrenset i funksjonalitet. Det nye testverktøyet i it s learning (Test 2.0) er blitt noe bedre enn it s learning sitt forrige testverktøy, men mangler fortsatt en hel rekke egenskaper som et godt testverktøy bør ha. Det har for eksempel ikke en integrert spørsmålsbank, mangler søkefunksjonalitet og har ikke et godt nok pedagogisk fokus. Det er lærerikt å lage et eget verktøy, og utviklingen av Digitest har støttet opp under FoU-aktiviteten knyttet til e-læring generelt og digitale tester spesielt. Det er faktisk mulig å integrere sine egne verktøy i it s learning, og planen er også å tilby Digitest for alle i HiST, som et verktøy på lik linje med it s learning sitt eget testverktøy. De som vil kan dermed legge til en test laget med Digitest, rett fra it s learning, og studentene kan ta slike tester uten å måtte logge inn flere steder. Det er mulig å arrangere digitale eksamener i it s learning, men hva om en vil ha papirbaserte eksamener som rettes digitalt? Det blir umulig å få til i både it s learning og andre læringsplattformer. Studenter ved AITeL har utviklet en modul for Digitest

7 Modul 2: Om digitale tester side 7 av 7 som kan lese svarark med flervalgsspørsmål optisk, og tolke hvor kryssene er satt. Dette blir nesten på samme måte som tippekupongen du scanner inn på kiosken hver lørdag... Fordelen med støtte for en slik optisk modul i et testverktøy, er at flervalgstester kan skrives ut og gjennomføres på papir, og så kan rettingen og ikke minst etterbehandling (statistikk og liknende) skje automatisk. Det er tidkrevende og vanskelig å utvikle et verktøy når arbeidskraften baserer seg på studenter (som stadig fullfører sine studier og går ut i fast jobb i næringslivet). Det understrekes at verktøyet Digitest ikke er ferdig. Målet er likevel å få en kjørbar versjon tilgjengelig innen rimelig tid for bruk i HiST, og muligens å spre verktøyet fritt på landsbasis. Du kan lese mer om Digitest på 6 Kilder og nyttige lenker: Bjørgen, I. Ask, H.: Læringsmøter IV Kvalitetsreformen ved Psykologisk Institutt. Trondheim ISBN Webbasert ressurssted utviklet ved HiST for å spre informasjon om bruk av digitale tester. Viser blant annet videre til et kurs om pedagogisk bruk av digitale tester og en nasjonal wiki der alle kan bidra med egne erfaringer og kunnskap om digitale tester. Kvalitetsreformen: St.meld. nr. 27: Gjør din plikt - krev din rett, , FA.pdf Munkvold, R. Fjeldavli, A. Hjertø, G. Hole, G.O: Nettbasert undervisning. Kristiansand, Høyskoleforlaget Taasen, I., Havnes, A. og Lauvås, P.: Mappevurdering av og for læring. Med eksempler fra helse- og sosialfag. Oslo, Gyldendal 2004.