HVA ER GOD KVALITET?...2

Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag Modul 2: Hvordan lage gode tester Svend Andreas Horgen Avdeling for informatikk og e-læring, Høgskolen i Sør-Trøndelag September 2008 Lærestoffet er utviklet for faget Læringssystemer, pedagogikk, teknologi og innholdsproduksjon Resymé: Det er i utgangspunktet enkelt å komme i gang med å lage tester i LMS-systemene (it s learning, Fronter, Moodle,...). Når du skal lage en god test, er det flere viktige ting å tenke på. Testverktøyet lar deg angi egenskaper for hvordan testen skal oppføre seg og virke. Denne leksjonen gjennomgår en del sentrale egenskaper som det er verdt å tenke gjennom, og kommer med noen gode tips til hvordan du kan lykkes med å lage gode spørsmål og gode tester. Vi holder oss på et konseptuelt nivå, men bruker it s learning som konkret eksempel. 1 HVA ER GOD KVALITET?...2 1.1 LITT OM FORMATIV OG SUMMATIV VURDERING I HØGERE UTDANNING...2 1.2 BLOOMS TAKSONOMI...3 2 FIRE FASER EN MODELL...5 2.1 UTFORMINGSFASEN (1)...6 2.2 DISTRIBUSJONSFASEN (2)...6 2.3 VURDERINGSFASEN (3)...7 2.4 FORBEDRINGSFASEN (4)...7 3 NOEN KONKRETE TIPS FOR Å LAGE GODE SPØRSMÅL OG TESTER...8 3.1 GODE SPØRSMÅL? DISTRAKTØRTIPSET...8 3.2 MOT MER AVANSERTE SPØRSMÅL BRUK AV STIMULI...9 3.3 TESTOPPSETTET...10 3.4 LITT OM BRUK AV TILBAKEMELDINGER...11 3.5 KATEGORIER...12 3.6 AVANSERT: LAG DIN EGEN SPØRSMÅLSBANK...12 4 KILDER OG NYTTIGE LENKER:...14

Modul 2: Hvordan lage gode tester side 2 av 14 1 Hva er god kvalitet? Tester på Internett kan gjøres varierte, spennende og utfordrende. De kan gjører mer lik games and puzzels enn nerveslitende, tradisjonelle tester (Horton 2000). Tester kan virke mer motiverende og mindre stressende for studentene. Er digitale tester i seg selv nok for å sikre suksess, eller må det mer til? Denne leksjonen tar opp ulike aspekter knyttet til kvalitet på tester og spørsmål. Selv om vi begynner med noen betraktninger knyttet til høgere utdanning, vil det som tas opp utover i leksjonen være relevant uavhengig av undervisningsnivå. 1.1 Litt om formativ og summativ vurdering i høgere utdanning La oss først se litt på høgere utdanning, for å bedre forstå behovet for kvalitetssikring. Innen høgere utdanning har sluttvurdering med karaktersetting hatt en sentral rolle. Studenter grupperes sammen på kurs for å lære et emne eller innøve en ferdighet. En eksamen gjennomføres etter en viss tid, vurderes av en eller flere sensorer, og resultatet dokumenteres. Studentene karaktersettes, og fortsetter videre med nye emner. Summativ vurdering innebærer som regel en konstatering eller anerkjennelse av kunnskapsnivå på et gitt tidspunkt, ofte etter endt læringsforløp. For denne type vurdering settes dokumentasjonen i sentrum, og dialogen er tradisjonelt sett tilnærmet enveis i sin kommunikative form: Studenten tar en eksamen (leverer et produkt) og får en karakter eller enkel vurdering tilbake. Summativ vurdering er altså vurdering av læring. Legg merke til at veien til kunnskap som regel krever stor grad av læring i forkant fra studentens side, men ikke nødvendigvis. Det kan være at studenten kan stoffet fra før og bare skal vurderes for å bli sertifisert/påvise kunnskap. Formativ vurdering skal være til hjelp for læringen, og dialogen mellom student og den som vurderer står i sentrum. Den vil være veiledende i formen, og er som regel noe som skjer underveis i selve læringsprosessen. Formativ vurdering kan gi grunnlag for karaktersetting, men ikke nødvendigvis. Den formative vurderingen kan anses å være et viktig element i læringsprosessen (Lauvås 2004). Dette gjelder også i stor grad for e-læring. Kvalitetsreformen satte fokus på bruk av underveisvurdering for å bedre læringen, øke gjennomstrømningen av studenter og effektivisere ressursbruken i norsk utdanning (2001). For å lykkes i gjennomføringen av Kvalitetsreformen har det vært viktig å lykkes med den formative vurderingen. Dette er en utfordring for mange lærere, både tidsmessig og pedagogisk. Oppsummert kan vi si at summativ vurdering tar utgangspunkt i et endelig produkt, mens formativ vurdering er opptatt av prosessen. Det er likevel ingen direkte motsetning mellom formativ og summativ vurdering. De to kan, og vil ofte, utfylle hverandre. Det er derfor nødvendig å klargjøre mål og hensikt med vurderingen. Formativ vurdering brukes gjerne for å øke læringen og å forberede studentene på en kommende summativ vurdering. Oversikten under viser noen mulige mål med formativ og summativ vurdering (kilde: online-tutoring): Mål, summativ vurdering: gradere/rangere studentene

Modul 2: Hvordan lage gode tester side 3 av 14 gi grunnlag for å velge videre faglig progresjon gi grunnlag for ansettelse Mål, formativ vurdering: tilbakemelding til studenten om hvor innsats må settes inn repetisjon av lærestoff diagnostisere sterke og svake sider forutsi suksess i kommende kurs tilbakemelding til læreren om relevans og vellykkethet av undervisningen bygge opp kunnskapsprofiler skape motivasjon Det er åpenbart at den summative vurderingen vil spille en viktig rolle uansett læringssituasjon. Ved bruk av e-læring/ikt-støttet undervisning er det derimot flere utfordringer knyttet til en summativ vurderingsform. Hvordan forhindre juks og foreta praktisk gjennomføring i et digitalt miljø? Kvalitet forbindes med troverdighet og rettferdighet. En faller derfor ofte tilbake til tradisjonelle vurderingsmetoder (for eksempel skriftlig eksamen eller prøver i kontrollerte former) for å unngå juks og opprettholde nødvendig kontroll. Undervisning er gjerne tidsstyrt etter en planlagt progresjon. Av og til vil det være et misforhold mellom studentenes faktiske kunnskap og den forventede kunnskap. Det er nødvendig at læreren, studenten/eleven selv eller eventuelt systemet (i undervisningsopplegg med automatisert veiledning) kan fange opp manglende kunnskap for den enkelte, eller for en hel gruppe, og komme med tiltak for å tette kunnskapshullene. Mulige tiltak kan være repetisjon av lærestoff, bruk av nye presentasjonsformer, revisjon av opplegg som vurderes å være utilstrekkelige og ekstraundervisning. Legg merke til at formativ vurdering underveis i læringsprosessen gir et større grunnlag for å identifisere kunnskapshull, forutsatt at læringsmålene er kjent. Slik vurdering blir både et nyttig redskap for studenten/eleven (å bli bevisst på egen læring) og for læreren (å kvalitetssikre og følge opp læring). 1.2 Blooms taksonomi På tross av mange fordeler, er det nok mange som har en viss skepsis til multiple choice tests som et onde fra et USA: effektivitet, drilling av faktakunnskap, papegøyevurdering er blant assosiasjonene mange får (Olsen 2007). Hva testes og hvor beskrivende er et resultat på den faktiske kunnskap og forståelse? Ikke alle er enige i at digitale tester kan tilby en tilfredsstillende måte å teste forståelse, evner og ferdigheter utover ren faktakunnskap. En ser for seg at effektivisering av eksaminasjon står i et motsetningsforhold til det å teste evne til analyse og anvendelse av kunnskap. Mange er uenige, og mener at riktig utformede tester kan teste ferdigheter på de fleste trinnene i Blooms ferdighetstrapp (Bloom 1956). Noen stiller seg også tvilende til om slike tester virkelig er ressursbesparende for læreren. Det er ingen tvil om at det gir en stor besparelse når testene skal rettes eller i forbindelse med tilbakemelding. Til gjengjeld krever det mye kompetanse, omtake og tid av læreren når testene og spørsmålene skal utformes. Svaret på om digitale tester er ressursbesparende, blir

Modul 2: Hvordan lage gode tester side 4 av 14 derfor et regnestykke hvor antall studenter/elever og mulig gjenbruk av testen blir viktige faktorer. I dette regnestykket bør også gevinster knyttet til læring, motivasjon og skreddersydd veiledning, tas med. Blooms taksonomi av pedagogiske mål kategoriserer evner som kan vurderes i ulike nivåer, der det er mer krevende å nå opp mot høyere nivåer. Tabellen viser hvilke ferdigheter som kan vurderes for ulike kognitive kompetansenivåer. Blooms taksonomi for læring (Bloom 1956) 1. Kunnskap: Evne til å huske informasjon og gjengi faktakunnskap. Eksempel på spørsmålsord: Nevn, list opp, definer, beskriv,... 2. Forståelse: Evne til å tolke mening og reforumlere kunnskap med egne ord. Eksempel på spørsmålsord: tolk, diskuter, oppsummer, klassifiser, sammenlikn, oversett... 3. Anvendelse: Evne til å bruke kunnskap, teknikker og metoder i nye situasjoner for å løse problemer. Eksempel på spørsmålsord: bruk, demonstrer, vis, relater,... 4. Analyse: Evne til å bryte ned (dekomponere) informasjon, for så å identifisere og gjenkjenne mønstre, komponenter og sammenhenger. Eksempel på spørsmålsord: analyser, ordne, forklar, utled, konkluder, trekke slutning, sammenlikn, kategoriser,... 5. Syntese: Evne til å generalisere (kombinere) gammel informasjon til ny kunnskap eller foreslå alternative løsninger. Kunne forutsi og dra konklusjoner. Eksempel på spørsmålsord: samordne, modifiser, finn opp, modeller, utform, lag, planlett, formuler, arranger,... 6. Evalering: Evne til å presentere og forsvare meninger ved å bedømme informasjon og idéer. Sammenlikne og avgjøre forskjell mellom fenomener. Vurdere. Eksempel på spørsmålsord: bedømm, evaluer, vurder, forsvar, ranger, konkluder,... Normalt anser en de tre siste nivåene for å være læring i dybden. Spørsmål av type Hva er...? kjennetegner ofte de tre første trinn i modellen. Spørsmål som Hvorfor er det slik? beveger seg oppover mot analyse og syntese-nivå, der innsikt og forståelse skal avdekkes. Det er viktig å påpeke at modellen er relativ, avhengig av kontekst og ferdigheter. Det som krever dyp innsikt og oppleves som utfordrende for en nybegynner, kan være ren rutinegjenkjenning for en ekspert (Brown 2001). Bruk av læringsplattform (LMS) gjør det mulig å benytte en rekke digitale hjelpemidler for å vurdere kandidaten på ulike nivåer av Blooms taksonomi. Det er trolig lettere å realisere

Modul 2: Hvordan lage gode tester side 5 av 14 Blooms nivåer i et digitalt miljø enn i et ikke-digitalt, men det kan være en utfordring å gjøre det mer effektivt. Bruk av såkalte stimuli som videosnutter, lyd, artikler på Internett og liknende, er lett å innlemme i spørsmålene i digitale tester. Poenget for læreren er å tenke gjennom på hvilket nivå en ønsker å vurdere, og så velge en egnet metode. Det er vanligvis et mål å teste kognitive ferdigheter gjennom hele stigen i Blooms taksonomi (gjengi kunnskap med egne ord, anvende tillærte kunnskaper, analysere, syntetisere og vurdere) og ikke bare teste evnen til å gjengi fakta (det nederste trinnet). Det er liten tvil om at dette er mulig å få til i digitale tester, men det vil også trolig være mye mer krevende enn å teste bare på faktanivå. Det er alltid et mål å teste ferdigheter innen et fagfelt, og ikke evnen til å ta en test. Merk forskjellen, den er vesentlig, og her er det faktisk lett å feile. Hvis vi ikke passer på, kan vi ved vår måte å utforme testen på, enten gjøre det lett for kandidaten å gjette svaret, eller vi kan lure dem med mangelfull informasjon og snedige spørsmål til å svare feil, selv om de i utgangspunktet har gode forutsetninger for å kunne svare riktig. For en lengre diskusjon omkring kvalitetssikring, testing på ulike kognitive nivåer i henhold til Blooms taksonomi (Bloom 1956), og så videre, så se for eksempel Sirnes (2005) eller Munkvold et.al (2008). 2 Fire faser en modell Det er en rekke fordeler ved å benytte digitale tester i undervisningen, men det er mange ting å tenke over hvis vi skal lykkes med å sikre høy kvalitet i alle ledd i forbindelse med testing. Vi tar her opp noen overordnede, initielle utfordringer og oppgaver som bør tenkes gjennom og planlegges ved bruk av automatisert testing. Ved å se nærmere på hva arbeidet med testen består i, kan vi dele inn i fire ulike faser, illustrert i Figur 1. Ved å identifisere kritiske spørsmål og rette fokus mot ulike oppgaver innenfor hver fase, kan kvaliteten totalt sett økes og dermed også mulighetene til å lykkes. Det er også mulig å fordele arbeidet i de ulike fasene på flere personer eller systemer De fire fasene er: Figur 1: Fire iterative faser for å lage gode tester. 1. Utforme testen. I denne fasen bestemmer vi oss for hva slags test vi skal lage og vi utformer både selve testen (antall spørsmål, hvordan den skal brukes, hva slags tilbakemeldinger vi skal gi osv.) og vi utformer hvert av spørsmålene.

Modul 2: Hvordan lage gode tester side 6 av 14 2. Gi test. I denne fasen informerer vi om testen, vi distribuerer testen til de som skal ta testen, og vi mottar svarene. 3. Vurder resultatet. I denne fasen skal vi tolke resultatet av testen og vi skal omsette oppnådd resultat til et sluttresultat. 4. Forbedre testen. I denne fasen skal vi vurdere hvor god og vellykket testen er, basert på oppnådd resultat, tilbakemeldinger fra de som har tatt testen og egne analyser. Legg merke til at prosessen mot å utvikle gode tester er iterativ. Etter avsluttet syklus bør fasene gjentas, med det formål å stadig forbedre testen. 2.1 Utformingsfasen (1) Testen må først og fremst utformes basert på mål, forutsetninger og fagdidaktikk. Basert på valgt strategi, handler utformingsfasen om å: - Angi egenskaper ved testen. - Lage gode spørsmål. Dette er en kompleks affære. - Ha en gjennomtenkt strategi for informasjon og tilbakemelding. - Bestemme grad av gjenbruk: Helt, delvis, eller ren nyskriving? - Oppnå effektivitet. - Foreta tilstrekkelig kvalitetssikring. Målet er som regel å teste kunnskap, evner og forståelse knyttet til fagfeltet. En må unngå at utfallet av testen avhenger av hvor dyktig mottakeren er til å besvare slike tester, bruke logikk eller andre teknikker for å eliminere gale alternativer. Måten testen er utformet på, spørsmålsformuleringene, mangelfull informasjon og liknende, er faktorer som kan bidra til at testen oppleves urettferdig. Hvordan kan eleven/studenten prioritere spørsmål i tilfelle tidsnød oppstår? Blant tiltak for å gjøre det lettere å velge, er å ha en oversikt over alle spørsmål som inkluderer informasjon om maksimal uttelling for hvert spørsmål, gruppere spørsmålene på tema eller etter vanskelighetsgrad, eller vise stikkord foran spørsmålene. 2.2 Distribusjonsfasen (2) Når en test er laget, må den distribueres slik at mottakeren kan ta/gjennomføre testen. I distribusjonsfasen er det noen overordnede hensyn å ta: - Hvordan skal testen initieres, og av hvem? - Hvor mange ganger og hvor ofte kan testen tas? - Hvordan kan juks forhindres (dersom det er et tema)?

Modul 2: Hvordan lage gode tester side 7 av 14 - Hvem gir informasjon, og hva må en informere om? Noen vil prøve jukse om de har anledning, og vi vil vel gjerne forhindre det... Juks er i bunn og grunn verst for den som jukser, fordi det egentlige målet bør være læring og ikke et kunstig godt resultat. Så enkelt er det derimot ikke i praksis, og det er derfor ofte nødvendig å vurdere tiltak for forhindre juks. For å klare det må vi for det første forstå hvorfor noen velger å jukse, for det andre forstå hvordan de jukser og ut fra det ha en strategi for å oppdage juks. Deretter kan vi forsøk å sette i verk tiltak for å forhindre juks. 2.3 Vurderingsfasen (3) Det er ikke trivielt å vurdere et testresultat. Basert på en poengstrategi skal svarene belønnes. Deretter må poeng tolkes og omsettes til et resultat som eventuelt rapporteres tilbake til den som har tatt testen. Hva sier resultatet om ferdighetene? Skal resultatet foreligge i form av en karakter, en poengsum eller godkjent/ikke godkjent? Når skal resultatet foreligge? Det fins ingen absolutte svar på disse spørsmålene. Alt avhenger av de mål og egenskaper for testen som er bestemt i de tidligere fasene. Det er viktig å informere i forkant av testen, slik at eleven/studenten kan ta testen med en best mulig forståelse for hvordan de faktiske forhold fungerer. Det er også viktig å tenke gjennom hvilken informasjon som skal vises til studenten under og etter fullført test. Tilbakemelding om oppnådd resultat er viktig for motivasjon og læring, men når og i hvilken form skal tilbakemelding forekomme? Det er ikke gitt at umiddelbar tilbakemelding er det beste i enhver situasjon. Et testverktøy kan typisk settes opp til å gi tilbakemelding (poengsum/karakter/resultat) umiddelbart, etter en viss tid, når en bestemt poengsum er oppnådd, eller liknende. De fleste verktøy gir også mulighet for kommentarer basert på rett/galt svar. Disse kan typisk vises etter hvert spørsmål eller i etterkant av fullført test. Det kan også være ønskelig å ikke gi tilbakemelding i det hele tatt. Til slutt: Det er ikke alltid alle spørsmål i en test har samme poengsum til utdeling. Noen ganger kan det være riktig å ta spesielle hensyn slik at de som svarer riktig/galt på vanskelige spørsmål, på tross av gitt poengsum, kan justeres manuelt opp eller ned. 2.4 Forbedringsfasen (4) Den siste fasen i modellen vår, er både interessant og veldig viktig. Bearbeiding og analyse av resultater fra en utført test gir et godt grunnlag for forbedring i neste runde. Forbedringspotensialet kan avdekkes ved hjelp av en objektiv analyse basert på resultatene fra enkeltstudenter eller større grupper av studenter. Det er derimot krevende, både teknisk og tidsmessig, å foreta gode analyser og ikke minst å tolke resultatene i ettertid. Samtidig er denne fasen viktig for å kunne oppnå god kvalitet. Det er derfor essensielt å ha test-verktøy som støtter opp om forbedringsfasen.

Modul 2: Hvordan lage gode tester side 8 av 14 (Et apropos: Avdeling for Informatikk og e-læring ved HiST, har som ledd i arbeidet med digitale tester jobbet med å utvikle et testverktøy som spesielt støtter opp i forbedringsfasen. Gjennom dette utviklingsarbeidet har vi oppdaget mange spennende tema knyttet til utvikling, bruk og forbedring av digitale tester. Det er mulig dette verktøyet vil bli ferdigstilt og av en slik kvalitet at det kan distribueres utover HiST sine grenser :-) 3 Noen konkrete tips for å lage gode spørsmål og tester Det er viktig å omsette teori i praksis. Her følger noen konkrete eksempler på hvordan du kan få til å lage gode tester i praksis. 3.1 Gode spørsmål? Distraktørtipset... Det er vanskelig å lage spørsmål av høy nok kvalitet, særlig i forbindelse med summativ bruk. Svein Magne Sirnes har skrevet boka Flervalgsoppgaver konstruksjon og analyse (Sirnes 2005), og tar opp blant annet tematikken rundt hvordan en kan lage gode spørsmål. Et veldig nyttig tips som er fullt mulig å gjennomføre i praksis, er det såkalte distraktørtipset. Det gjennomgås her. En distraktør er et alternativ som er feil. For å lage et godt flervalgsspørsmål er første bud at kandidatene ikke kan eliminere bort alternativer basert på at de høres usannsynlige ut. Gitt at du skal lage et spørsmål med 4 alternativer, så blir ufordringen å lage 3 gode distraktører som ikke kan avfeies uten å ha kunnskap om fagfeltet. Eksempel: Hva er hovedstaden i Norge? a) Oslo (riktig) b) Stockholm c) Alta d) Kautosjokk Dersom dette spørsmålet stilles til en utlending, kan kanskje Stockholm være en god distraktør, mens Alta og Kautosjokk er lett å eliminere bort basert på at disse (for mange) er totalt ukjente stedsnavn. Forsøket på en humoristisk vri i alternativet Kautosjokk avslører også at dette er galt alternativ. Det er for øvrig ikke uvanlig å se humoristiske alternativer i flervalgsspørsmål! Den som lager spørsmålet, har det riktige svaret klart for seg, men har i eksempelet over hatt problemer med å lage gode distraktører. Distraktørtipset til Sirnes går ut på å bruke studentenes forståelse til å lage gode distraktører. Ved å formulere spørsmålet som et vanlig fritekstspørsmål, vil mange svar gå igjen med tanke på meningsinnholdet. Noen svarer riktig, men en del svarer feil. Poenget er at hyppige forekomster av samme feilaktige svar, vil være en god distraktør i et tilsvarende flervalgsspørsmål! Prosessen med å lage et flervalgsspørsmål med gode distraktører, blir da som følger: Formuler spørsmålet på fritekstform i første omgang. Fang opp resultatene. Identifiser meningsinnholdet i gale svar som ofte går igjen og tell opp frekvensen. Gjør om spørsmålet til flervalgsform, og bruk hyppig gale svar som utgangspunkt for å lage distraktører. Disse distraktørene utgjør nå sannsynlige misforståelser.

Modul 2: Hvordan lage gode tester side 9 av 14 Som eksemplifisert i Figur 2, stiller først læreren et fritekstspørsmål som besvares av alle studentene (1). Spørsmålet er Hva vil du si er årsaken til at bladibladibla.... Deretter kan læreren identifisere svar som går igjen (2). Merk at det er de konseptuelle svarene, ikke nøyaktig ordlyd, som er viktig her. Som vist i figuren, svarer en av studentene Det er nok aaa tror jeg, og læreren trekker ut at det konseptuelle blir aaa, noe som samsvarer med det en annen har svart. Nå er det lett for læreren å kunne omformulere spørsmålet til flervalgsform, med gode distraktører (3). Figur 2: Distraktør-tipset består av 3 steg, og er et godt tips for å lage gode alternativer som er feil (distraktører). Merk at selv om bare en kandidat har svart ccc, kan det likevel gi læreren en idé om en god distraktør. Det er selvsagt en fordel at mange tar testen for å få et best mulig grunnlag for å fange opp gode distraktører! Dagens testverktøy tillater som regel bruk av såkalte åpne spørsmål (fritekst) i tillegg til vanlige flervalgsspørsmål. Steg 1 og 2 kan også gjennomføres ved å hente inn svar fra vanlige skriftlige oppgaver, muntlige samtaler, spørreundersøkelser, diskusjonsforum og så videre. 3.2 Mot mer avanserte spørsmål bruk av stimuli Digitale testverktøy åpner for ulike spørsmålstyper, men det er fortsatt opp til deg som lærer å stille spørsmålene slik at de blir gode. En teknikk for å stille vanskelige spørsmål som tester utover pugg/faktakunnskap, baserer seg på bruk av eksterne stimuli som et bilde, en lydsnutt, en videosnutt eller kanskje en webside. Her er et eksempel på en generell formulering: Se vedlagte videosnutt med intervju med en kjent person X. Ha teorien fra temaet Y i bakhodet. Personen argumenterer for Z. Hvorfor det?

Modul 2: Hvordan lage gode tester side 10 av 14 Dette spørsmålet kan med letthet lages som fritekst. Det må i så fall rettes manuelt. Vil det være mulig å lage det godt nok, om det formuleres som rent flervalg med forhåndsdefinerte alternativer A, B, C, D og E? Det avgjør du som lærer, men det er verdt å prøve. Her er enda et tenkt eksempel som viser hvordan du kan tenke når du stiller spørsmål og lager tester. Legg merke til omfanget og forståelsen som kreves for å svare på dette spørsmålet: I forelesningen/timen gikk vi detaljert gjennom et eksempel på en klagesak mot en sykepleier som hadde behandlet pasienten feil. I boksene under står det noen beskrivende faser. Oppsummer hendelsesforløpet ved å dra boksene slik at de står i riktig rekkefølge og gjenspeiler eksempelet fra forelesningen/timen. Her vil læreren kunne bruke spørsmålstypen Rekkefølge-spørsmål og liste opp riktige alternativer. Når testen tas, sørger testverktøyet for å vise alternativene i tilfeldig rekkefølge, og oppgaven blir da å forstå utsagnene i boksene og organisere disse i riktig rekkefølge. Spørsmålet kan gjøres vanskeligere ved å legge inn lure-alternativer som ikke er en del av fasiten. Hva kreves for å svare på denne type spørsmål? En ting er at deltakeren helst bør ha fulgt med i timen/forelesningen. I stedet for å stille spørsmål rundt noe fra time/forelesning, kunne kanskje informasjonen like gjerne stått i en bok, stamme fra en lengre praksisperiode eller et museumsbesøk på studietur i Paris... For eleven/studenten er det nødvendig å forstå innholdet og klare å se hvordan den lange forklaringen fra forelesningen kommer til uttrykk i oppsummerte korte alternativer. Det er vanskelig å si nøyaktig, men en kan tenke seg at for å klare å svare riktig, må studenten: Forstå oppgaven. Ta utgangspunkt i bakgrunnskunnskap og informasjonen fra eksempelet som henvist til fra oppgaveteksten og mentalt strukturere denne. Lese alternativene i lys av oppgaveteksten, og se hvilke alternativer som gir mening sammenliknet med egen forståelse av stoffet (en slags analyse og evaluering) Etter å ha funnet ut hvilke enkeltalternativer som passer med egen oppfatning av stoffet, må det slås sammen til en hel og riktig kontekst som totalt sett gir mening (en slags syntese) Det er liten tvil om at et spørsmål av slik art, tester utover ren faktakunnskap, men på hvilket kognitivt nivå, kan sikkert diskuteres! 3.3 Testoppsettet Det er lurt å ha en plan før du lager en test. Hvem er mottakeren alle eller en utvalgt gruppe? Når skal testen offentliggjøres? Hvor mange forsøk skal den ha? Hvordan skal tilbakemelding gis? Skal det være tilfeldig uttrekk av spørsmål? Når du skal lage en test kan du angi en rekke egenskaper for testen. Mange av de mer avanserte valgene er valgfrie, men absolutt verdt å se på og prøve ut. Konsekvensene kan blir dramatiske hvis du krysser feil ut eller ikke tenker aktivt over dine valg, og det er derfor viktig å teste selv som lærer før du deler ut til studentene.

Modul 2: Hvordan lage gode tester side 11 av 14 Figur 3: Avanserte innstillinger til testen i it s learning. Det er verdt å se nærmere på Figur 3, som viser innstillinger for testverktøyet i it s learning. Deltakerne får her 3 forsøk hver på testen, og det er det beste forsøket som blir stående som tellende i evt. statistikker. Det er ofte ønskelig at svarene ikke skal avsløres for tidlig, men at studentene/elevene må jobbe med stoffet for å få bedre resultat neste gang. Dersom svarene avsløres etter første forsøk, faller jo testen betraktelig i verdi. Vær spesielt oppmerksom på slike innstillinger i det testverktøyet du bruker! 3.4 Litt om bruk av tilbakemeldinger Dersom testverktøyet støtter tilbakemeldinger, har du en fin mulighet for å automatisere veiledningen, noe som kan være nyttig i forbindelse med formativt bruk av tester. Her er eksempler på formuleringer som kan brukes som tilbakemelding: Dette er ikke helt riktig, se boka kapittel 8, eksempelet om XYZ. Feil, du må tenke gjennom hva som er kjernen i teori X og teori Y for å se hva som er riktig svar. Tenk praktisk, prøv å lage et konkret eksempel basert på teorien, så ser du kanskje hva svaret er. Tenk generelt, prøv å generalisere eksemplene fra lærestoffet og se om du finner ut hva som er riktig svar. Det stod en interessant artikkel i Aftenposten her om dagen som kanskje kan sette deg på riktig spor. Se (lenke til webside her) og prøv deretter på nytt. Wikipedia har en veldig god artikkel om dette stoffet. Søk på nøkkelord X og prøv igjen. Når du skal lage tilbakemeldinger, så er det lett å falle for å oppgi svaret med andre ord enn det som står i alternativene. Prøv heller å gi et hint som gjør det lettere å finne svaret, slik at hintet kan hjelpe studentene til å lære noe i prosessen mot å finne svaret.

Modul 2: Hvordan lage gode tester side 12 av 14 3.5 Kategorier Hvis du lager en test med mange spørsmål, så kan det være greit å kategorisere spørsmålene for din egen del. Da blir det lettere å finne fram. Kategorier åpner for mer avanserte tester, siden en kan trekke tilfeldig et visst antall fra hver kategori. I it s learning er det mulig å lage nye kategorier i en test ved å velge arkfanen Kategorier. Du kan gi navn til kategoriene dine og angi hvor mange poeng riktig svar gir på spørsmål som tilhører kategorien. Figur 4 viser også at en kan angi hvor mange spørsmål som skal trekkes fra kategorien (her er dette valget ikke utnyttet). Figur 4: Administrasjon av kategorier i it s learning. Kategoriene tilhører akkurat denne testen. Dermed kan en sette opp at testen skal ha to kategorier ( lett og vanskelig for eksempel) og at det skal trekkes 10 spørsmål fra settet av spørsmål tilhørende kategori lett, og 5 spørsmål fra kategori vanskelig. Figur 5: Denne testen har 11 spørsmål. For hvert spørsmål står type spørsmål, starten av spørsmålsteksen og evt. kategori. Som vist i Figur 5 er det 7 spørsmål i kategorien Lett - teori mens det er 4 i kategorien Vanskeligere - kode. Hver kolonne kan sorteres, og det er lett å endre kategori. 3.6 Avansert: Lag din egen spørsmålsbank Du kan lage mange tester. Etterhvert blir det rotete hvis du sprer testene dine i ulike fagrom, hvor mange kanskje er arkiverte fra tidligere semestre. Spørsmålene du lager er verdifulle! Det tar tid å lage gode spørsmål, og det er gunstig å forvalte spørsmålene på en best mulig måte. Effektivititeten og fleksibiliteten kan økes dersom du kan gjenbruke spørsmål og tester. Hva om en kunne lage tester av høy kvalitet på 2 minutter, basert på vellykkede spørsmål fra

Modul 2: Hvordan lage gode tester side 13 av 14 tidligere? Ikke alle systemer har en innebygd spørsmålsbank, så du må selv samle sammen spørsmålene og testene, og administrere disse. Den gode nyheten er at du kan simulere en spørsmålsbank (til en viss grad i hvertfall), og det er egentlig nokså enkelt å få til i praksis. Figur 6: Eksempel på en simulering av en spørsmålsbank, laget som eget fag (eller som eget prosjekt) Trikset er å rett og slett samle alle testene på ett sted, og la dette være originalene dine. For å skape struktur, er det bare å lage mapper som ønsket og tester med logiske navn. Dette er vist i Figur 6. Du kan for eksempel gå gjennom alle dine eksisterende fagrom, og kopiere over de testene du mener har verdi til den nye spørsmålsbanken din. Når du har en spørsmålsbank, så blir det enkelt å bruke den til å effektivisere. Her er et konkret eksempel på bruk: Du har din egen spørsmålsbank med 2.500 spørsmål, samlet i ulike tester i logiske mapper, og igjen gruppert i logiske kategorier. Du ønsker å lage en test for en gruppe studenter/elever på 1-2-3. Du går til ønsket fagrom, og lager en ny test. Velg innstillinger med omhu i henhold til diskusjonen tilknyttet Figur 3. Testen har nå 0 spørsmål. Velg å importere spørsmål fra testene i banken. Hvordan dette gjøres i it s learning er eksemplifisert i Figur 7. Du kan gjenta prosessen for å hente spørsmål fra mange ulike tester. Det er ingenting i veien med å dele spørsmålsbanker på tvers av fag. Flere faglærere kan gå sammen om å bidra i en bank. Dersom flere skal jobbe sammen mot samme ressurs, er det viktig å bli enige om bruk og etikette. Spørsmål i en bank, vil typisk kunne brukes i eksamen, og da er det viktig at de ikke kommer på avveie.

Modul 2: Hvordan lage gode tester side 14 av 14 Figur 7: En kan i it s learning hente spørsmål fra en test til en annen. Det kan brukes til å for eksempel lage nye tester basert på innholdet i din egen spørsmålsbank... 4 Kilder og nyttige lenker: Bloom, B.S. (red.): Taxonomy of educational objectives. The classification of educational goals. New York, McKay 1956. Brown, G.: Assessment: A Guide for Lecturers, 2001, http://www.heacademy.ac.uk/resources.asp?process=full_record&section=generic&id=3 Horton, W: Designing Web-based Training, kap. 7. New York, Wiley&Sons 2000. Kommentar: Denne boken går svært grundig gjennom ulike spørsmålstyper og når de egner seg, diskuterer formulering av spørsmål og alternativer, viser oppbygging av informasjon til studentene etc. Kvalitetsreformen: St.meld. nr. 27: Gjør din plikt - krev din rett, 2000-2001, http://odin.dep.no/kd/norsk/dok/regpubl/stmeld/014001-040004/hov005-bn.html Lauvås, P. Taasen, I., Havnes, A.: Mappevurdering av og for læring. Med eksempler fra helse- og sosialfag. Gyldendal, Oslo 2004. Munkvold, R. Fjeldavli, A. Hjertø, G. Hole, G.O: Nettbasert undervisning. Kristiansand, Høyskoleforlaget 2008. Olsen, R.V: Flervalgsoppgaver en papegøye fra Amerika?. Artikkel fra 2007 tilgjengelig fra Internett: http://www.utdanning.ws/templates/udf20 15085.aspx. Online Tutoring e-book, chapter 4 New Assessment Strategies. Sirnes, S.M.: Flervalgsoppgaver konstruksjon og analyse. Bergen, Fagbokforlaget 2005.