Norgesuniversitetet Prosjektmidler Sluttrapport P04/2009 Metodeutvikling og verktøyanvendelse for undervisning og læring med prosessvurdering i høyere utdanning (ASSESS 2010) Kontaktperson Innleveringsfrist: 19. juni 2011 Anne B. Swanberg Prosjektleder ASSESS2010, Direktør BI Learninglab 46410755 anne.swanberg@bi.no Kontaktperson 2 Svend Andreas Horgen Høyskolelektor Høyskolen i Sør-Trøndelag 95149731 svend.horgen@hist.no Nettadresser Prosjektets nettadresse: http://assess2010.blogspot.com/ http://assess2010.wikispaces.com/ Studiets nettadresse: http://aitel.hist.no/fag/php/ http://www.hint.no/studietilbud/?s_objec... http://www.aitel.hist.no/fag/prs/ http://www.hint.no/content/view/full/244... Resultater og refleksjoner Beskriv kort hvilke resultater prosjektet har oppnådd: Samstemt undervising Ett av de to resultatmålene for prosjektet var å utvikle og teste en metode for planlegging og implementering av undervisning med underveisvurdering/tilbakemeldingsaktiviteter. Modellen "samstemt undervising" (Biggs 2003) ble førende for prosjektets piloter. Det sentrale i denne pedagogiske modellen er at undervisningsaktiviteter (inkl formativ vurdering) skal bygge opp under læringsmålene og sluttvurderingens innhold og form. Modellen har vist seg å være et godt redskap for planlegging og gjennomføring av underveisvurderingsaktiviteter. Verktøykasse Det andre resultatmålet var å teste ut tilbakemeldingsaktiviteter for store klasser. Dette ble gjort gjennom 10 piloter og 4 minipiloter der klassestørrelsene varierte fra 30 til ca 400. Ulike former for IKT ble benyttet for å automatisere tilbakmeldingene. Er det noe som ikke har gått som det skulle og hvorfor?: Vi hadde i utgangspunktet sett for oss at vi skulle fått testet flere former for IKT-basert tilbakemelding i store klasser. Opplæring i metoden "samstemt undervisning" tok mer tid enn vi hadde estimert, men når denne først satt hos prosjektdeltakerne ble vinningen desto større. 1 av 5
Det var vanskelig å måle læringseffekter i pilotene. Måling av læringseffekter er vanskelig generelt og i tillegg var det ingen av pilotene i prosjektet som hadde et direkte sammenligninsgrunnlag med tilsvarende kurs gjennomført tidligere. Skisser de tre viktigste lærdommene/erfaringene fra prosjektperioden: 1. Fleksibel samarbeidsform Vi erfarte at valget av en fleksibel prosjektsamarbeidsform var et suksesskriterium. Vi fant frem til en arbeidsform som gjorde at alle prosjektdeltakerne kunne delta uavhengig av tid og rom. Prosjektgruppen tok i bruk blogg, wiki, skype, etherpad, doodle mm for å samarbeide effektivt om kunnskapsutvikling og deling samt til praktisk prosjektadministrasjon. 2. Pedagogisk rammeverk Det var også et suksesskriterium å finne frem til et teoretisk rammeverk (modell eller metode) som ble grunnstenen for det videre arbeidet på tvers av pilotene. Dette hjalp oss til å holde et sterkt fokus på pedagogiske prisipper for bruk av IKT i undervisningen. 3. Resultatorientering Viktig å fokusere på formidling av resultatene gjennom skriving av artikler og konferanseinnlegg tidlig i prosjektet. Dette bidro til å resultatorientere pilotene. Vi bestemte tidlig at vi skulle arrangere et formidlingsseminar ved prosjektets slutt - dette viste deg å bli en fin driver for spesielt sluttrapporteringene av de enkelte pilotene. Også bruk av sosiale medier var en viktig driver for utviklingen gjennom at vi publiserte løsninger, problemstillinger mm på prosjektets blogg og wiki-sider. En fin måte å dokumentere og dele underveis, oe som gir eierskap progresjon til fremdriften. Kunnskapsutvikling og formidling Hva er de viktigste konklusjonene fra kunnskapsutviklingen i prosjektet?: Pedagogiske prinsipper og IKT i undervisning og læring For at IKT skal bidra til å effektivisere undervisnings- og læringsprosesser i store klasser opplevde vi hvor sentralt det er å ta utgangspunkt i grunnleggende pedagogiske prinsipper. Spesielt kan nevnes nedbrytinging av kursmål til læringsutbytteformuleringer (LUF-er) på tema-nivå som igjen ble gjenstand for utvikling av tilbakemeldingsaktiviteter. Biggs & Tang (2007) var en viktig inspirasjonskilde for prosjektet. Verktøykasse med tips De som lærer mest av kunnskapsutviklingsprosjekter er prosjektdeltakerne. For delakerne i ASSESS 2010 har prosjektet vært en milepæl i deltakernes utvikling når det gjelder systematisk bruk av læringsmål i undervisning med bruk av IKT. Kunnskapen som er utvilklet i prosjektet er delt på tvers av pilotene, men også er det et klart mål at kunnskapen og erfaringene skal nå fagansatte i høyere utdanning gjennom spredning av metoden og verktøykassa. Ringer i vann - "bi-resultater" av prosjektet Verktøykasse for virtuelt prosjektsamarbeid Ett bi-produkt fra prosjektet er erfaringene med hvordan prosjektet benyttet IKT til å samarbeide gjennom hele prosjektperioden. Se eget menypunkt i prosjektets kunnskapswiki. PLab Et annet "bi-produkt" av samarbeidet i ASSESS 2010 er AITEL sitt prosjekt Plab - rom for læring som i 2011 vant NOKUTs pris for utdanningskvalitet. System for medastudentvurdering Som resultat av en av pilotene har HiST utviklet en prototype på et system for medstudentrespons på web. Dette er under videre utvikling pr vår 2011. På hvilken måte er kunnskap utviklet i prosjektet formidlet til andre?: Generelt Interesserte har vært invitert til å følge blogg og wiki fra prosjektstart. Artikler 2 av 5
To artikkler med basert på kunnskap fra prosjektet er publisert på sem.net Hugo Nordseth, Sonja Ekker and Robin Munkvold - Tools for peer assessment in an e-learning environment. Bjørn Klefstad, Geir Maribu, Svend Andreas Horgen & Thorleif Hjeltnes - Learning Outcomes and a Taxonomy as a Starting Point for creating digital Multiple-choice Tests En artikler er levert for publisering Cecilie Asting and Anne Swanberg - How can we make junior business students understand the importance of learning organizational behavior and management? Konferanseinnlegg på to nasjonale konferasner NVU-konferansen 2010. Hugo Nordseth, Sonja Ekker og Robin Munkvold: Tools for peer assessment in an e-learning environment. http://www.nvu.no/konferanse_2010.php FoU i praksis 2010. Robin Munkvold og Hugo Nordseth: Verktøy for medstudentvurdering i lærerutdanningen. 10-11. mai 2010, Trondheim Eget prosjektseminar Prosjektresultatene ble formidlet gjennom et eget prosjektseminar 3.2.2011 ved Handelshøyskolen BI i Nydalen. Invitasjon var spredd via Egne løpesedler ble disribuert på konferanser i regis av Norgesuniversitetet og Norsk Forbund for fjernundervisning og fleksibel utdanning (NFF), websidene til samarbeidspartnerene, prosjektsidene Norgesuniversitetet og i Synkron (NFF's magasin). Ca 60 deltakere fra en rekke institusjoner. Dokumentasjon finnes på prosjektets kunnskapswiki. Nettverksuniversitetets årskonferanse Videre ble prosjektets resultater formidlet i egen sesjon på Nettverksuniversitetets årskonferanse 15.-16.mars 2011. Dokumentasjon til seminaret finnes på Nettverksuniversitetets hjemmesider. Norgesuniversitetets høstkonferanse 2010 Presentasjon av prosjektets verktøykasse for virtuelt samarbeid. Interne arrangementer og kanaler De tre samarbeidende institusjonene har i tillegg formidlet erfaringer og kunnskap fra prosjektet i interne kanaler og arrangementer/workshops, eksempelvis BI's årlige Inspirasjonsdag for forelesere i juni 2010. I media Månedens prosjekt desember 2010 på www.nuv.no Artikkel i Synkron (NFF) i 2010. Lenker til steder der kunnskapen er formidlet: http://assess2010.wikispaces.com/ http://seminar.net/index.php/component/c... http://seminar.net/index.php/component/c... http://www.nvu.no/konferanse_2010.php http://www.youtube.com/watch?v=4crqzv4m0... Pedagogisk utviklingsarbeid med bruk av IKT Beskriv pedagogiske arbeids/lærings/vurderingsmåter og teknologi: Bruk av IKT er ikke et mål i seg selv. Det er først når teknologien understøtter læreprosessen at den har verdi. Teknologien kan enten støtte læreprosessen gjennom administrativ tilrettelegging eller gjennom egne læringsaktiviteter. I ASSESS 2010 ble teknologi først og fremst benyttet itil å gjennomføre læringsaktiviteter som støttet opp under læringsmålene i kurset. Hvordan tror dere prosjektets pedagogiske utviklingsarbeid påvirker studentenes læring og faglige utbytte?: Erfaringene fra de fleste pilotene viser at planlegging og gjennomføring av læringsaktiviteter med utgangspunkt i samstemt undervisning påvirker studentene positivt. 3 av 5
Det er spesielt utviklingen av gode læringsutbytter som hjelper studentene til å fokusere på hva de må fokusere på og jobbe med. Digitale læringsressurser Er det utviklet digitale læringsressurser i prosjektet?: Ja Er læringsressursene gjort tilgjengelig for andre og i så fall på hvilken måte?: Tre typer ressurser ble utviklet: 1. Tema/fagspesifikke ressurser Ressurser som er utviklet er kurs/temaspesifikke - type digitale tester. 2. System for medstudentvurdering Et verktøy for medstudentvurdering ble utvilklet og testet i piloter i ASSESS2010. Planlegges lansert for 2011/2012, men er foreløpig i beta. http://www.youtube.com /watch?v=4crqzv4m0l4 3. System for læringsutbytteformuleringer Et studentutviklet system for læringsutbytte-testing. Dette systemet var kun en øvelse i programmeringsfaget og viste seg å ikke fungere bra nok til å gå videre med i praksis. Kan læringsressursene gjenbrukes og hvilken plan har man for å få til gjenbruk på en god måte?: Ressursene under 1 kan alle gjenbrukes (evt justeres) ved neste gjennomføring av kurset. Flere er allerede gjenbrukt. Planlegger dere å videreutvikle ressursen(e) dere har utviklet, og i så fall hvordan?: Systemet i 2 er under videreutvikling og vil legges ut for deling i løpet av 2012. Systemet i 3 er det foreløpig ingen planer for. Samarbeid Type samarbeid: Samarbeid med andre læresteder i Norge Internt samarbeid mellom ulike avdelinger på institusjonen Det har vært tre jevnbyrdige samarbeidspartnere: Høyskolene i Sør- og Nor-Trøndelag og Handelshøyskolen BI. BI har hatt prosjektlederjobben. Hver institutsjon har hatt ansvaret for minst 3 piloter. Alle prosjektdeltakerne har deltatt på lik linje med likt ansvar utover prosjektleder. Prosjektgruppen besto av 3 fra HiNT, 4 fra HiST og 4 fra BI. I tillegg deltok 11 faglige fra BI i piloter og minipiloter. Tilsammen 22 personer har deltatt i prosjektarbeidet. Vil samarbeidet fortsette etter at prosjektet er avsluttet og hvilken form eller på hvilken måte vil samarbeidet fortsette?: Samarbeidspartnerne har alledere søkt og fått nytt Norgesuniversitetsfinansiert prosjekt (Nærproduksjon av video), samt at ny prosjektsøknad er under behandling (bruk av IKT i metodefagene). Samarbeidet har skapt sterke relasjoner som vil bli fulgt opp i andre sammenhenger. Studietilbud utviklet i prosjektet Er det utviklet/videreutviklet et fleksibelt studietilbud i prosjektet?: Nei Særlig interessante utviklingsprosjekt hva er unikt?: Det unike i ASSESS 2010 var utviklingen av en metode for å bistå den fagansatte i å planlegge og implementere IKT som støtte i tilbakemeldingsaktiviteter i store klasser. 4 av 5
Ringvirkninger/endringer Har prosjektet ført til endringer i egen organisasjon eller i samarbeidende organisasjoner?: Ja Beskriv hvordan: Kompetanse og fokus på pedagogisk bruk av læringsmål har økt i alle tre organisasjoner som resultat av prosjektet. Bruk av IKT som støtte for formativ vurdering i store klasser har påvirket gjennomføringen av kurs og studier ved institusjonene. Bedre tilgang og økt kvalitet På hvilken måte har prosjektet bidratt til bedre tilgang og økt kvalitet i norsk høgre utdanning?: Økt kvalitet = økt tilbakemelding til studenten Føringene om økt tilbakemelding i høyere utdanning (fra Bolognaerklæringen) kan med prosjektets erfaringer lettere implementeres på kursnivå også i mellomstore og store klasser vha automatiserte tilbakemeldinger på LMS, medstudentvurdering, egenvurdering, plenumstilbakmelding mm. Økt kvalitet = pedagogisk bruk av læringsmål Kompetanse om utvikling og pedagogisk bruk av læringsmål samt undervisingsaktiviteter som støtter læreprosessene har økt og blitt spredd. Bedre tilgang til høyere utdanning Utvikling av læreprosesser basert på IKT bidrar til fleksibilisering og på den måten også tilgang til høyere utdanning. Regnskap Regnskap_budsjett_ASSESS2010 Budsjett (opprinnelige) og regnskap (faktisk) er lastet opp i samme regneark (se de ulike worksheets). Kommentar til avvik budsjett/regnskap: Felleskostnader (prosjektadministrasjon) ble lavere enn budsjettert pga at det virtuelle samarbeidet fungerte så bra og sparte prosjektet for flere reiser. Ca 100.000 av budsjetterte felleskostnader er derfor fordelt på de tre institusjonene til dekning av merarbeid (timer) i forbindelse med pilotgjennomføringer lokalt. Regnskapet avsluttes pr 1.juli 2011. "Prosjektgruppen vil gjerne takke Norgesuniversitetet for muligheten til å jobbe på tvers av institusjonene - det har vært berikende på såvel personlig som på institusjonelt plan. Ringvirkningene av prosjektet har vært store." 5 av 5