Pedagogisk bruk av tester Svend Andreas Horgen Høgskolelektor@Høgskolen i Sør Trøndelag/TISIP Blogg: www.gjemmesiden.blogspot.com Case: Kompetansekartlegging 1 2 Terning 1 0% Terning 2 9,5% Terning 3 14,3% Terning 4 47,6% Terning 5 23,8% Terning 6 0% 3 4
Hvilke forventninger har du til dette seminaret? få pedagogiske tips Få mer kjennskap til hvordan jeg kan utarbeide gode tester, lære hva man bør/ikke Utveksling av ideer og høre om andres erfaringer Hvor høyt på læringsstigen kan man komme ved bruk av testverktøyet? Hvordan tester kan brukes til også å teste mer kompliserte sammenhenger enn ren faktakunnskap fordeler og utfordringer ved digitale tester testverktøyet kan blant annet avlaste lærer - og jeg ønsker å se på hvordan man kan lage gode, varierte tester som kan supplere og/eller erstatte Aktivitet Skriv noen positive og negative sider ved bruk av tester... noen avklaringer mht til poenggiving, lage gode tester og prøve ut Lære meg rent teknisk å lage testene 5 7 Hvorfor bruke tester? Effektivitet: - Automatisert retting - Gjenbruk Formativt: - Støtte i læringsprosessen - Umiddelbar tilbakemelding - Ta testen når en selv vil Hvordan oppnå god Summativt: - Dekke pensum - Tilfeldig utvalg av spørsmål - Objektiv retting Gode tester: teori og praksis Repetisjon... Kartlegge Pekepinn Motivasjon Skreddersy 8 9
Hva vil vi teste? 4 iterative faser for å lage gode tester Teste ferdigheter, kunnskap og forståelse - ikke evnen til å ta flervalgstester Ikke gi bort svaret eller lure ved dårlig formulerte spørsmål : gode spørsmål, nivå, testegenskaper,... : utdeling, juks, # forsøk, informasjon,... : beregne poeng, karaktergrenser, tilbakemelding,... : analyse, identifisere dårlige spørsmål,... 10 11 sfasen lage godt formulerte spørsmål nivå testegenskaper 12 13
13 13 13 13
Tips Andre typer? Demo la alle alternativer være like sannsynlige unngå systematiske tendenser: hvilket alternativ er korrekt? [1] Ikke la et spørsmål avsløre svaret på et Hvem har skrevet den norske boka Webprogrammering i PHP? Stig Sæther Bakken Svend Andreas Horgen Henrik Ibsen [1]: Ivar Bjørgen og Helga Ask: Læringsmøter IV, NTNU (2005) 14 15 Unngå... Når en systemutvikler diskuterer krav med brukeren, hvilke forberedelser må han ha gjort? Hvem har skrevet Gift? Aleksander Kjelland Alexander Bjelland Alexander Kielland Aleksander Kielland nesten like ord dobbel nekting pronomen Hvilke av disse eksemplene gir ikke feil resultat? Hva er Norges beste fotballag? Rosenborg VIF Brann Ingen av disse Blooms taksonomi Forståelse (forklare idéer og konsepter) Kunnskap (huske og gjenkjenne) Analyse/syntese (skille deler) Anvendelse (bruke kunnskap på nye måter) Evaluering (forsvare) Eksemplene er laget av: Greta Hjertø, HiST 16 17
Se vedlagte ressurs. Der ser du et nettleservindu, og tre eksempler på koder. Hvilken kode må til for å lage det som vises i vinduet? Kodeeksempel 1 Kodeeksempel 2 Kodeeksempel 3 Ingen alternativer vil fungere Nivå? Kodeeksempel 1 Kodeeksempel 2 Kodeeksempel 3 18 19 Et typisk spørsmål Resonnement? 20
Kategorier sfasen utdeling juks # forsøk informasjon om testen 23 sfasen velge poengstrategi belønne delvis kunnskap? kompensere for gjetting? karaktergrenser tilbakemelding 24 25
sfasen Kvalitet Analyse av testresultater er viktig, men vanskelig og tidkrevende: - sortere, sammenlikne - populære alternativer - statistikk (spørsmål) - tidsforbruk - min, max, snitt, frekvens - variasjonsbredde, varians, standardavvik - andre statematiske formler - distraktøranalyse 26 27 Distraktør-tipset 1. 2. aaa 3. bbb bbb aaa ddd ccc bbb Gode spørsmål? Gode distraktører! Flere tips? Bok av Svein Magne Sirnes: Flervalgsoppgaver - konstruksjon og analyse Konklusjon: Det er utfordrende å lage gode tester 29
Premisser for læring? Informasjon 30 31 Produksjon Kreativitet 32 33
Deling Samarbeid 34 35 Refleksjon Web 2.0 = prosument Informasjon Produksjon Kreativitet Deling Samarbeid Refleksjon 36 37
Dere er pedagoger Studentene er teknologer? Økt læring? Motivasjon? 100 75 Case: læring i sentrum 50 25 0 samarbeid produksjon Tradisjonelle opplegg Bruk av digitale hjelpemidler kreativitet refleksjon 38 40 Utfordringer Relevante spørsmål Uforming Kvalitet Nivå på spørsmål (Bloom) Gode nok distraktører... 41 42
Hvordan lage en god test? Kunnskap Forståelse Refleksjon Kreativitet Nytt perspektiv Innsats Kritisk øye Ekstern evaluator Dear Student Create thy own test!! Informasjon Produksjon Kreativitet Deling Samarbeid Refleksjon Informasjon Produksjon Kreativitet Deling Samarbeid Refleksjon 43 44 Læringsplattform Gir studentene utvidet tilgang Veldefinert oppgave Refleksjon Mer informasjon: Se paperet Pedagogical use of multiple choice tests - students create their own tests på http://www.aitel.hist.no/~svendah/fou/digitest.php 45 46
Pedagogisk bruk: flervalgstester Case: Før og etter 47 48 08:30 08:31 Case: Et helhetlig opplegg Velkommen til forelesning i Programmering Dagens tema: funksjoner 49 50
08:31 08:40 Flervalgstest 08:31 08:40 Flervalgstest Kom i læremodus Oppsummering fra forrige gang Spørsmål som foreleses denne timen 51 52 51 52 08:40 09:00 Teori Last ned powerpoint Kan lettere følge med hvis jeg går for fort frem 15 minutter, liten PPT 09:00 09:15 Evaluer egen innsast + pause 53 54
Evaluering: Resultat 09:15 10:00 Teori Oppsummering fra undersøkelse knyttes opp mot gjennomgang av neste Powerpoint Strippet powerpoint-versjon kan lastes ned Studentene noterer mer selv, de blir mer aktive og powerpointene dine gir ikke verdi med mindre en kommer på forelesning. 55 56 10:00 10:05 10:05 10:45 Og så videre... Oppgave Mer teori Avslutter med en oppsummerende flervalgstest 57 58
25, barneskole Lærer aktiverer elementene etterhvert it s a quest 59 60 Utbredelse av tester? Pedagogisk bruk av tester www.auto.hist.no 18, videregående 17, fjernunderv. 61 62
Pedagogisk bruk av tester www.auto.hist.no Pedagogisk bruk av tester www.auto.hist.no 62 62 Pedagogisk bruk av tester www.auto.hist.no Pedagogisk bruk av tester www.auto.hist.no 62 62
Blogg: http://gjemmesiden.blogspot.com Jobb: http://www.aitel.hist.no/~svendah FoU: http://www.aitel.hist.no/~svendah/fou Bok i programmering: http://www.phpbok.no Fjernundervisning: http://www.itfag.hist.no @mail: svend.horgen@hist.no ped. bruk av tester: http://auto.hist.no/ 63