Verktøykasse for underveisvurdering og tilbakemelding Torunn Gjelsvik, Senter for e-læring Anne Swanberg, Senter for e-læring Senter for e-læring (SEL) Pedagogisk kompetansesenter for hele BI Spesialfelt: bruk av IKT i undervisningen Aktuelt prosjekt: Nytt LMS Målgruppe: BIs faglige i undervisning Tips Blackboard/It s Learning: www.bi.no/foreleser 1
Metodeutvikling og verktøyanvendelse for undervisning og læring med underveisvurdering i høyere utdanning - i mellomstore og store klasser - Utfordringer Den fagansattes utfordring: Store klasser problem med tilbakemelding Mye jobb med tilbakemelding Høyskolenes utfordring: Kursdesign-strategier og prosesser Store klasser = kostnadsbesparende. Prosessvurdering = kostnadsdrivende. Eller? 2
Noen løsninger Ny LMS - bruk av læringsplattform som viktigste t logistikkleverandør Innføring av arbeidskrav (obligatoriske aktiviteter underveis, uten summativ vurdering) Aktivisering av studenter underveis Mer automatisering og effektivisering Prosjektide Tilby faglige ansatte verktøy for planlegging og gjennomføring av undervisning med prosessvurdering Prosjektmål: En utprøvd metode for planlegging, gjennomføring og evaluering av undervisning der prosessvurdering inngår. Utvikling av en verktøykasse til hjelp planlegging og gjennomføring. For BI: Hjelp til å implementere Bachelor-reformen 3
Hovedprosjekt Utvikling metode HiST, HiNT,BI Prosjektledelse: BI FASE 1 Feb-Jun 09 Delprosjekt/Pilot Verktøyanvendelse HiST Delprosjekt/Pilot Verktøyanvendelse HiNT Delprosjekt/Pilot Verktøyanvendelse BI FASE 2 Jun 09-Jun 10 Forts. hovedprosjekt Evaluering og avslutning HiST, HiNT, BI Prosjektledelse: BI FASE 3 Jul-des 10 tid Academic Susan 4
Non-Academic Robert Hvorfor mer tilbakemelding? Foruten: 1) Overordnede føringer Bologna-prosessen (Europa) Kvalitetsreformen (Norge) Opprettelsen av NOKUT 2) Interne prosesser BI Bachelor- og masterreformene Så øker studentmassen og vi får flere Roberter 5
Oppgaveverktøy automatisert tilbakemelding Verktøy for produksjon av digitale tester og spørsmålsbaser Mange ulike oppgavetyper, flest med automatisert tilbakemelding Eks. multiple choice, multiple answer, true/false, matching, ordering Mulig å teste på flere nivåer? (ref. Blooms) Oppnår vi for eksempel både kunnskapsmål og ferdighetsmål, ref. kursbeskrivelsen? 6
Fordeler med automatiserte tester Motiverer og aktiviserer studentene Gir umiddelbar tilbakemelding og resultat Tidsbesparende for lærer mht. retting Gjenbrukbart læringsinnhold Kan brukes diagnostiserende, gi en pekepinn for den videre læringsprosessen 100 % objektiv vurdering Effektiv repetisjon av pensum Mulighet for tilpasset/utdypende tilbakemelding for rette og gale svar Ulemper/farer ved bruk av flervalgstester Kan påvirke læringen i instrumentell retning Kan virke begrensende, særlig hvis multiple l choice er eneste oppgavetype Krevende for lærer å utvikle, må ha gode spørsmål og svaralternativer (både riktige og gale svar) Tester kun faktakunnskap??? k k 7
Hvor langt opp i pyramiden kan vi komme? Eksempel 1 Eksempel 1 Automatiserte tester som arbeidskrav i BØK 3411 8
Kursbeskrivelse BØK 3411 Kunnskapsmål: Etter endt kurs skal studentene kunne forklare sentrale begreper og redegjøre for viktige verktøy som brukes i analyser av bedriftsøkonomiske problemstillinger (med verktøy menes sammenhenger, metoder, teknikker, modeller, teorier o.l. som brukes innen fagområdet). Ferdighetsmål: Etter endt kurs skal studentene kunne (a) anvende tilegnede kunnskaper (dvs. begreper og verktøy) i analyser og diskusjoner av bedriftsøkonomiske problemstillinger, (b) skille mellom relevant og irrelevant informasjon, og (c) gi skriftlige svar på spørsmål som gjør at leserne forstår anvendt fremgangsmåte og svaret som fremkommer (herunder kontrollere de kilder som er anvendt). Arbeidskrav i kurset Minst 5 av 8 obligatoriske innleveringer må være godkjent Innleveringene består av 10 spørsmål, hvorav minst 2 må være riktig 3 forsøk per test Studentene får umiddelbar tilbakemelding på poengscore, mens hjelp til oppgaveløsning skjer i klasserom 9
Eksempel I denne oppgaven skal du se bort fra merverdiavgift. En bedrift benytter lineære avskrivninger for sine maskiner. Avskrivningssatsen er 20%. Maskinene ble kjøpt inn ved inngangen til året 20x1 for kr 2 200 000. Årlige avskrivninger ble fastsatt til kr 400 000. Ved utløpet av perioden for antatt levetid ble maskinen solgt for kr 175 000 mer enn dens bokførte verdi. Hva var salgssummen? Oppgi salgssummen i hele kroner uten tusenskiller. Resultater fra BØK3411 H2009 10
Erfaringer Høy deltakelse alle er med Få ikke godkjent 80/20 snudd om studentene er bedre forberedt til undervisning Bieffekt: studenten tar tester flere ganger for å lære mer Smertefri avvikling Lite administrativt arbeid Vellykket bruk av nettet som supplement til forelesning Vite mer om flervalgstester? Munkvold mfl.: Nettbasert undervisning. Kristiansand, Høyskoleforlaget 2008 Sirnes, S.-M.: Flervalgsoppgaver konstruksjon og analyse. Bergen, Fagbokforlaget 2005 Svein Lie: Om testteori og flervalgsoppgaver. Presentasjon på Inspirasjonsdag for forelesere ved Handelshøyskolen BI, 2008 (tilgjengelig fra www.inspirasjon.binettstudier.no 11
Metode og verktøykasse Pedagogisk rammeverk Hva gjør vi for å hjelpe Robert? Utvikle undervisning etter Bigg s constructive alignment Kursbeskrivelsene legger premissene Utvikle tilbakemeldingsaktiviteter Teori underbygger at tilbakemelding er sentralt i læringsløpet l fremmer læring (Dewey) Se - høre gjøre (studentene produserer) 12
Constructive alignment eller Samstemt undervisning Læringsmål Eksamen 1 N (Biggs & Tang, 2007) Læringsmål Eksamen 1 1 2 3 4 5 6 13
Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter 1 Valg av første kursaktivitet 1. Hva skal kldenne bestå tåi? 2. Hva er hensikten med aktiviteten? 3. Hvordan støtter den opp om læringsmålet? 4. Hvordan støtter den opp om eksamen? I klasserommet Tilbakemelding i plenum Gjennomgang av løsningsforslag (utregninger, eks.oppg. drøftinger) Tilbakemelding via medstudenter Grupper Summegrupper One-minute-paper Egen Refleksjon Tilbakemelding på undervisning Grunnlag for plenumstilbakemelding Casepresentasjoner På nettet Interaktive tester Automatisert tilbakemelding (regning begrepsinnlæring) Mapper Arbeidsmapper Vurderingsmapper Medstudentvurdering Høy grad av automatisering Innleveringer Diskusjongrupper (og blogg) Simuleringer Samskriving (wiki ) Kombinasjoner Videosnutter m/mc eller refleksjonsoppgave diskusjon i plenmum Interaktiv oppgave (digital ressurs) som forberedelse til forelesning Interaktiv oppgave som kontroll av kunnskaper fra forelesning Polling før, underveis og etter forelesning 14
Eksempel One Minute Paper Feedback memo Refleksjon og tilbakemelding ldi med dtanke på ådagens forelesing (Filene, 2005, p15) 1. Nevn 3 ting du har lært i dag: The main point of today s class is What interested me most is What I don t understand is Name (optional) a) b) c) 2. Hva tenker du er det mest betydningsfulle du lærte i dag? Hvorfor? 3. Var det noen temaer du synes var vanskelige eller uklare? Evt. hvilke? 4. Hva likte du minst med forelesningen? 5. Hva likte du best med forelesningen? Workshop kursansvarlige 17.11.09 Eksempel 2 Planlegging av ORG3401 etter Bigg s metode 15
Læringsmål Kunnskapsmål Studentene skal tilegne seg grunnleggende psykologiske, ledelsesfaglige og organisasjonsteoretiske kunnskaper som er relevante for arbeidslivet og for videre studier i andre organisasjons- og ledelsesfag. Ferdighetsmål Studentene skal kunne redegjøre for sentrale begreper, prosesser og teorier og hvordan disse relateres til effektivitet i organisasjoner. Holdningsmål Studentene skal utvikle forståelse for at psykologiske egenskaper og prosesser og organisasjonsmessige betingelser har stor betydning for optimal fungering i arbeidslivet. Tema 7 Læring L.O. definere begrepet læring kunnskap om = nivå 1 gjøre rede for ulike former for læring kunnskap om = nivå 1 drøfte forholdet mellom erfaring og læring forstå = nivå 2 forklare hva som menes med den lærende organisasjon forstå = nivå 2 16
Knowledge arrange define duplicate know label list match memorize name order quote recognize recall repeat reproduce restate retain Comprehension characterize classify complete depict describe discuss establish explain express identify illustrate locate recognize report relate review sort translate Application administer apply calculate choose compute conduct demonstrate dramatize.. Analysis Synthesis Evaluation Temaoppgave (eksamensrettet) Rettes av medstudent etter kriterier Plenumsgjennomgang Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter 1 Valg av første kursaktivitet 1. Hva skal kldenne bestå tåi? 2. Hva er hensikten med aktiviteten? 3. Hvordan støtter den opp om læringsmålet? 4. Hvordan støtter den opp om eksamen? 17
Video om operant betingingslæring Refleksjonsoppgave Ferdig løsningsforslag på nettet Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter 2 Valg av første kursaktivitet 1. Hva skal denne bestå i? 2. Hva er hensikten med aktiviteten? 3. Hvordan støtter den opp om læringsmålet? 4. Hvordan støtter den opp om eksamen? Flervalgsoppgave Automatisert tilbakemlding på nettet Sjekk mot læringsmål og eksamen Sjekk mot øvrige kursaktiviteter 3 Valg av første kursaktivitet 1. Hva skal kldenne bestå tåi? 2. Hva er hensikten med aktiviteten? 3. Hvordan støtter den opp om læringsmålet? 4. Hvordan støtter den opp om eksamen? 18
Studentdreven kunnskapsproduksjon Utnytt studentene og utnytt mediene: Studenter lager flervalgsoppgaver Fin måte å bygge opp oppgave-base Krever kvalitetssikring fra lærer YouTube -produksjoner Eks demonstrer begrepet Sosial fasilitering (dvs å få alle i gruppen til å jobbe) 19