Inspirasjonsdag på BI 2006 Elektroniske mapper som arbeids- og evalueringsform

Transkript

1 Inspirasjonsdag på BI 2006 Elektroniske mapper som arbeids- og evalueringsform Førstelektor Anders Tveit, Institutt for Samfunnsøkonomi, Handelshøyskolen BI. Notatet finnes også på adressen: De elektroniske lenkene er i nettversjonen klikkbare/aktive. Jeg vil i dette notatet først diskutere bruk av elektroniske mapper i undervisningen generelt. Så vil jeg oppsummere resultater fra en undersøkelse i forbindelse med bruk av elektroniske mapper i kurs på BI. Dette er tverrfaglige kurs hvor jeg har samarbeidet med Emanuel Blattner, Institutt for regnskap, revisjon og juss, Stig Ytterstad, Institutt for ledelse og organisasjon og Sverre Knutsen, Institutt for innovasjon og økonomisk organisering. ELEKTRONISKE MAPPER Som foreleser opplever jeg ofte at det er en stor utfordring å aktivisere studentene. Skal forelesningen bidra til varig endret adferd må flere sanser tas i bruk. Da nytter det ikke bare med å snakke, se og høre, men kombinasjoner med å gjøre kan være en mulig metode. Det har vi gode erfaringer med gjennom bruk av rollespill og improvisasjon i undervisningssammenheng. En annen utfordring er tiden mellom forelesningene. Hvordan kan studentene aktiviseres på en god måte når de er på egen hånd? En mulighet er å ta i bruk mapper som gjerne beskrives som en systematisk samling elevarbeider som viser innsats, framskritt og prestasjoner innen ett eller flere fagområder. Samlingen må omfatte elevmedvirkning når det gjelder valg av innhold, utvalgskriterier og kriterier for å bedømme nivået i forhold til visse felles oppsatte mål, og den må vise selvrefleksjoner og holdninger til emnet. (Paulson, Paulson & Meyer 1991:60. i Taube 2000:12.) ERFARINGER MED ELEKTRONISKE MAPPER Å ta i bruk mapper i undervisningen ser ut til å være et gjennomgående fenomen fra barneskolen via videregående skole til universiteter og høyskoler (se for eks. Skolenettet). Jeg har blant annet fulgt med Mattias Øhra ved Høgskolen i Vestfold som i sine arbeider oppsummerer hva studentene sier om digitale mapper ved følgende ord: motiverende, stimulerende, lett å kontrollere, veilede, sammenlikne, appelerer til konkurranseinstinkt, produktet kan stadig forandres/forbedres, studentene bygger på hverandres kunnskaper, ingen vi bytte (tilbake til tradisjonelle undervisningsopplegg). SUMMATIV - KONTRA FORMATIV VURDERING En annen inspirasjonskilde har vært Dysthe, Lauvås m fl. som både har beskrevet teoretiske perspektiver på bruk av mapper som lærings- og vurderingsform og erfaringer fra ulike forsøk med mappevurdering. Når det gjelder evalueringer skiller de mellom summativ sluttvurdering og formativ underveisvurdering. De trekker frem at en tilbakemelding, som skal støtte læring, har en annen karakter og er formulert annerledes enn en summativ vurdering. Mens en summativ tilbakemelding skal påpeke feil og beskrive hvor man bør forbedre seg, fokuserer en formativ tilbakemelding på hvordan studenten jobber med eller nærmer seg oppgaven. Da griper man mer inn i arbeidsprosessen enn i resultatene. Læringsprosessen skal være en summativfri sone der det kun skal forekomme formativ vurdering. Tanken er at studenten på denne måten skal bygges opp (og bygge seg selv opp) til den avsluttende, summative vurderingen. Målet er å få til former for sluttvurdering som bidrar til at arbeidet underveis gir lønn for strevet når det kommer til

2 sluttvurderingen. De mener også at det er viktig at studentene deltar i planlegging og at sluttvurderingen blir mer forutsigbar. Utfordringen fremover, hevder de, blir å flytte vekten fra summativ sluttvurdering til formativ underveisvurdering. I de senere år har det også fremkommet forskning som på en eventyrlig måte (jfr Øhra 2006) viser hvordan formativ vurdering kan bedre skoleprestasjoner (OECD 2005). Dette synet støttes også av en etter hvert kjent studie av Paul Black og Dylan William fra 1998 (Black & William 1998) hvor de tar for seg 160 tidsskrifter og 250 forskningsartikler om formativ vurdering. VURDERINGSKRITERIER Dysthe m fl trekker også frem vurderingskriterienes betydning. Skal studenten jobbe selvstendig må vurderingskriteriene være kjente, hevder de. Dette skal ikke være det samme som å legge frem en mal for hvordan en god oppgave skal skrives. Kriteriene skal ikke ha karakter av fasit, men skal tjene til å sette studentene på sporet og gi dem tolkningsrom og frihet til å møte kravene fra studiet på ulike måter. Kriteriene skal også være støtte for foreleser og medstudent som skal vurdere arbeidene. DIGITAL KOMPETANSE Et annet aspekt å ta hensyn til når man utformer et undervisningsopplegg, er digital kompetanse. Kunnskapsminister Øystein Djupedal omtaler dette som et av fem grunnleggende kulturelle verktøy i den nye læreplanen Kunnskapsløftet. I departementets program for digital kompetanse heter det at Digital kompetanse er den kompetansen som bygger bro mellom ferdigheter som å lese, skrive og regne, og den kompetansen som kreves for å ta i bruk nye digitale verktøy og medier på en kreativ og kritisk måte. I vårt undervisningsopplegg er det spesielt trening i klassifisering og evaluering (kildekritikk), vi har lagt vekt på. (Mer om grunnkomponenter i digital kompetanse se Erstad 2005.) VÅRE KURS I våre kurs har vi bygget inn elektroniske mapper på følgende måte (fra kursbeskrivelsen): I kurset benyttes elektroniske mapper som en del av arbeids- og evalueringsformen. Hver student må opprette en elektronisk mappe, basert på standard mal. Mappen blir liggende tilgjengelig på Internett og vil bestå av obligatoriske individuelle skriftlige innleveringer/publiseringer hvor det legges vekt på aspektene innhenting, utvelgelse og refleksjon. Dessuten vil dokumentasjon (elektroniske lenker) være et element. De obligatoriske innleveringene/publiseringene vil bli respondert på skriftlig av medstudenter. Vurdering av medstudenter vil være et viktig virkemiddel for å fremme motivasjon og læring. Eks. på elektroniske mapper/hjemmesider

3 Hjemmeside adresser: og Ved starten av kurset la vi oppgaver og tidsfrister ut slik at hver enkelt kunne planlegge semesteret. Dessuten ble kriterier presisert som følger: Publiseringer vurderes i forhold til kriteriene: - Er strukturert, - utvikler og underbygger argument, - henviser til anerkjent og relevant litteratur/statistikk på en god måte. Av type publiseringer har vi hatt sammendrag, teori anvendelse/-presisering, Internett søk, medstudentrespons, hypotesetesting og case oppgaver. Av disse vil jeg utdype Internett søk og medstudentrespons. INTERNETT SØK Oppgaven lød: Søk på Internett på tema Velg ut 3 treff. - Henvis til søkene og vurder kvaliteten på disse ut i fra et kildekritisk perspektiv. - Kategoriser kildene. - Hvilken intensjon har publisererne med å legge ut dette på Internett? MEDSTUDENTRESPONS Mappevurdering legger vekt på studentaktive læringsformer, refleksjon rundt egen utvikling og læring og respons fra medstudenter. Studentene skal lære å beskrive, dokumentere og reflektere over egen og andres læring. I dette arbeidet er det viktig å ta i bruk en betydelig lærerressurs - studentene selv. Den som kommenterer lærer ofte mer av det enn selv å skrive egne tekster.

4 Vi gjorde som følger: Hver student skal gi den neste på listen medstudentrespons. Gi respons ved å svare på spørsmålene: - Hva oppfatter du som sterke sider ved besvarelsen? - På hvilke områder mener du studenten har et faglig forbedringspotensiale? Medstudentresponsen legges på eget område med elektronisk lenke til medstudent. Medstudentrespons er også en viktig motivasjonsfaktor. I store klasser hvor foreleser ikke kan gi individuell tilbakemelding, kan et slikt system i noe grad oppveie dette. EKSAMEN Kursene våre avsluttes med enten en skriftlig - eller muntlig, individuell eksamen som sammen med endelig versjon av studentenes elektroniske mappe danner grunnlag for karakter. RESULTATER FRA SPØRREUNDERSØKELSEN Høsten 2005/våren 2006, totalt antall respondenter 73 hvorav 42 fra bedriftsinterne kurs, 31 fra bachelor heltid. Skala fra 5 = helt enig til 1 = helt uenig. 1. Læringsprosessen blir mer grundig når det er innleveringer tidlig i kurset. Snitt: Jeg synes det er positivt at jeg helt til endelig eksamen kan forbedre mine innlegg i form av nye publiseringer. Snitt: Jeg synes det er fint at den elektroniske mappen teller med som en del av endelig karakter. Snitt: At elektroniske mapper blir brukt er motiverende og stimulerende. Snitt: Jeg synes det er fint med innsyn i hverandres mapper fordi det gir mulighet for kunnskapsdeling. Snitt: Elementet med medstudentrespons er bra fordi det også er viktig å trene seg på å vurdere andres innlegg og forsøke å veilede dem videre. Snitt: Etter en helhetsvurdering vil jeg si at elementet med bruk av elektroniske mapper som en del av arbeids- og evalueringsformen er bra. Snitt: Hvilke ord vil du bruke for å karakterisere elementet med elektroniske mapper i kurset? Typiske ord og uttrykk var som følger: Oversiktelig, interaktivt, positivt, lærerikt, kjempespennende, flott, veldig bra, tilgjengelig, enkelt, oversiktlig, God læring, jevnere jobbing med stoffet, mulighet til å stryke/tilføye, kan titte på andres besvarelser, øvelse gjør (forhåpentlig) mester. Man jobber kontinuerlig med faget, ingen skippertak før eksamen. OMRÅDER Å ARBEIDE VIDERE PÅ Undersøkelsen bekreftet også utfordringer med opplegget. Her følger noen av disse med forslag til løsninger:

5 - Om å ramle av En student skrev: I starten motiverende. Hvis en henger etter i forhold til andre med innleveringene kan det bli demotiverende. Det kan være mange grunner til at studenter ikke kommer helt i gang i starten av et kurs. I kurs med prosessevaluering kan de etter hvert befinne seg forran en terskel som oppleves som uoverkommelig. En annen student skrev: Hvor skal jeg begynne for å ta igjen det tapte?. Til forskjell fra tradisjonelle kurs blir studenter som ikke publiserer, fort synlige i kurs med mappe evaluering. Men dette gjør at de kan følges opp med individuelle løsninger, før terskelen blir for stor. En standard e-post med forslag til en bestemt oppgave de nå bør gjøre, ser ut til å være til stor hjelp for mange. Betydningen av å føle seg sett, er stor! Tanken med et system med prosess evaluering er at studenter skal hjelpes til å arbeide jevnt i løpet av kurset. Men det vil alltid være studenter som ikke ønsker å følge et slikt opplegg. Problemet blir å sette en siste frist. Vi har valgt å gjøre som følger: Det er mulig å legge ut oppdaterte versjoner av publiseringene inntil endelig frist komplett mappe. Innen utgangen av endelig frist som er (dato og klokkeslett ca 14 dager før endelig eksamen) skal en papirkopi av komplett mappe leveres til (administrasjonen). Deretter må det ikke tas ut fra - eller endres på innhold - elektronisk mappe før sensurfrist er ute. I realiteten blir dermed siste frist for innleveringer to uker før endelig eksamen. Med et slikt system får vi en liten gruppen studenter som ikke leverer et eneste arbeid før siste frist, men vi ser ikke på dette som noe stort problem. Siden vi ikke har spesifisert vektlegging av mappe kontra endelig eksamen kan vi for denne gruppen vekte opp endelig eksamen. Det skal fortsatt være mulig å bestå kurset, men det er ikke lett og det er ikke mange som til nå har greid det. - Medstudentrespons En student skrev: Vanskelig å vurdere andres besvarelser når man er usikker på faget. Mappevurdering legger vekt på refleksjon rundt egen utvikling og læring og respons fra medstudenter. Studenten skal lære å beskrive, dokumentere og reflektere over sin egen og andres læring. I en slik prosess er utfordringen for foreleser å veilede uten å gi endelige svar. En mulighet som kan redusere noe av frustrasjonen er om fagveileder ved starten av perioden for medstudentrespons legger ut en presisering av kriteriene gitt innledningsvis i kurset. Som omtalt skal presiseringen ikke ha karakter av fasit, men tjene til å sette studenten ytterligere på sporet. Da kan det også være aktuelt å gi presise internett adresser hvor tema er omtalt. En annen student skrev: Blir litt egoistisk i forbindelse med eksamen så jeg syntes dette var bortkastet tid. Vi har også opplevd at studenter har valgt å vente med sine publiseringer eller lagt ut versjoner som siden ble revidert i betydelig grad. Vi har også hatt studenter som har publisert alt bortsett fra medstudentresponsene.

6 På den ene siden ønsker vi at studentene skal lære av hverandre, men i et slikt system er det også viktig at faglig sterke studenter som følger opplegget, blir belønnet. Dette får vi frem når vi ved starten av kurset sier at frister må holdes for å komme i betraktning for bedømmelse mot karakter A. Dessuten presiserer vi at gode tilbakemeldinger til medstudenter kan være avgjørende for ens egen karakter. - Grupper som redskap for læring Dysthe m fl trekker også frem responsgrupper som en viktig faktor i mappevurdering. Ved starten av kursene delte vi derfor studentene inn i basisgrupper av fem til syv som skulle arbeide sammen, men med forskjellig ambisjonsnivå oppsto det lett konflikter i gruppene. Når for eksempel en student ikke holdt fristen kom studenten forran på listen opp i et problem når vedkommende skulle gi den neste på listen medstudentrespons. Dermed henvendte studenten seg til foreleser som måtte inn og purre. Å utvikle gruppetilhørighet tar tid. Det krever også at foreleser setter søkelyset på utviklingen av et godt gruppesamarbeid og bruk av hverandre som ressurspersoner. På det siste kurset reduserte vi vårt ambisjonsnivå og innførte følgende regel: Hvis den neste på listen ikke har publisert innen fristen skal du gå videre på listen til du finner en student som har publisert. - Fra rådgiver til veileder (jfr formativ- kontra summativ vurdering): En student skrev: Ønsker tilbakemelding etter hver publisering fra faglærer. I et prosessevalueringskurs er forelesers rolle som veileder viktig, men god veiledning tar tid og fører ofte til ønske om mer. Foreleser må derfor fastsette et ambisjonsnivå når det gjelder hvor ofte og hvor mye veiledning deltakerne skal få. I kurs med få deltakere har vi valgt å gi individuell muntlig tilbakemelding av studentens elektroniske mappe. En slik tilbakemelding kan også gjøres via telefon hvor begge kan se mappen via egen pc. I større klasser kommenterte vi oppgaver både før og etter fristene. Ukentlig gikk vi også ut med kåringer hvor vi premierte det vi kalte ukens beste publisering. Dermed ledet vi studentene til å lese og lære av medstudenter. AVSLUTTENDE KOMMENTARER OM ARBEIDSBELASTNING FOR DEN FAGLIGE Fra faglig hold hører vi ofte motforestillinger av typen: Å følge opp et system med prosessevaluering og mapper er alt for ressurskrevende. Ja det krever en del arbeid, men det er før kurset starter opp. Da må du lage rammer i form av oppgaver med tidsfrister. Så må du ved starten av kurset legge inn en del motivasjon slik at studentene kommer i gang. Men når systemet er oppe og går kommer gevinsten. Du kommuniserer med studentene slik du tidligere bare kunne drømme om. Etter forelesning går du på nettet for å se hvordan stoffet er mottatt og forstått. Ser du at en typisk feil eller uklarhet går igjen, legger du ut kommentarer på nettet eller omtaler det på neste forelesning. Underveis laget vi et skjema hvor vi merket oss hvordan den enkelte holdt frister. Som beskrevet tidligere skal denne perioden være summativ fri. Først når kurset er over skal den faglige vurdere mappene med tanke på karakter. Underveis brukes mappen til å gjøre den enkelte bedre. Ved slutten av kurset blir hver enkelt rangert før vi plasserer skalaen et sted mellom A og F. Dette skjer etter at vi har avsluttet kurset med enten en skoleeksamen uten hjelpemidler eller en muntlig eksamen. I denne prosessevalueringen er det ingen vekting mellom mappe og avsluttende eksamen. Tanken er at mappesystemet skal gi studentene muligheten til å lære stoffet gjennom en kontinuerlig prosess. Hvor langt studentene kommer og hvordan de har kommet i forhold til hverandre, avgjøres på avsluttende eksamen. Hvis den avsluttende testen er god, det vil si at den i stor grad tester om du har forstått det du har arbeidet med i løpet av kurset, kan foreleser dermed i

7 stor grad benytte avsluttende test når karakteren skal fastsettes. Avsluttende eksamen blir på mange måter et forsvar for mappearbeidet gjort underveis. Vår erfaring så langt er at det stort sett er samsvar mellom mappearbeidet og resultater på endelig eksamen. Det var kun avvik for en marginal gruppe studenter. For disse ble arbeidet underveis grunnen til at de ikke falt helt ned mot minimuskrav for bestått, men for noen var det så store sprik mellom mappearbeidet og resultater på endelig eksamen at de fikk ikke bestått. En annen metode jeg ser noen bruker er at kurset avsluttes med at studenten velger ut arbeider fra arbeidsmappen i en egen presentasjonsmappe. Se for eksempel Høgskolen i Vestfold. Problemet kan være hvis dette undergraver arbeidsmappens betydning og dermed at studentene nedprioriterer denne. Det de så gjør er at begge mapper teller med som grunnlag for karaktersetting, men da er man kanskje like langt. I alle fall er vi veldig godt fornøyd etter å ha tatt i bruk elektroniske mapper som arbeids- og evalueringsform. Studenten som skrev følgende får rett: Jeg mener HELT KLART at dette må dere fortsette med. Kilder: Teknisk informasjon om hvordan mappe systemet er lagt opp gå til: %20mappe.doc Kursene omtalt i dette notatet er: SFU 1485 Anvendt makroøkonomi SFU 1474 Økonomi og psykologi og SØK 2500 Anvendt makroøkonomi og finansiell endring Ressurssider om mapper: Litteraturliste: Black, Paul. & Wiliam, Dylan, 1998a: Inside the Black Box: raising standards through classroom assessment. PhiDelta Kappan, 80(2), Erstad, Ola (2005): Digital kompetanse i skolen en innføring. Universitetsforlaget. Dysthe, Olga og Engelsen, Knut Steinar (red.)(2003): Mapper som pedagogisk redskap, perspektiver og erfaringer, Abstrakt Forlag. OECD 2005: Formativ Assessment. Improving Learning in Secondary Classrooms. OECD. (CERI. Centre for Educational Research and Innovation). OECD Publishing Paulson, F.L., and Paulson, P., & Meyer, C. (1991). What Makes a Portfolio a Portfolio? Educational Leadership 48 (1991): Taube, Karin. (1998). Mappevurdering. Undervisningsstrategi og vurderingsredskap. Oslo: Tano/Aschehoug.