Prosesser og metoder for evaluering av IKT satsning i norsk skolesektor Ola Erstad, forskningsleder, ITU 1
Forsknings- og kompetansenettverk for IT i Utdanning Utgangspunkt 1: Handlingsplan IT i utdanningen 1996-1999 Utgangspunkt 2: UV-fak satsing innen IKT og læring Utgangpunkt 3: Nasjonalt behov for koordinering av FoU innen IKT i utdanning KUFs anbudskonkuranse - ledelsen ved UiO og UV engasjert ITUs FoU-felt: bruk av IKT i grunnskole, videregående opplæring og lærerutdanning Mandatet: FoU -nettverk, samarbeid, prosjektinitiering 2
Forsknings- og kompetansenettverk for IT i Utdanning Budsjett 1997: 2 mill. kr / 2003: 25 mill. kr Kjernestab 2003: Leder, nestleder, 1 forsker, 5 1/2 administrativt ansatte, 2 forsker II, 2 gjesteforskere, 3 stipendiater NIFU evaluerte ITU i 2003:...ITU har levd opp til sitt mandat på en konstruktiv måte...vår hovedanbefaling er at ITU etableres som en mer permanent organisasjon. Evalueringen viser at ITUs FoU nettverk har utviklet feltet IKT og læring og at nettverket har utviklet gode samarbeidsformer 3
IKT i norsk utdanning Handlingsplan for IT i norsk utdanning 1996-1999 Handlingsplan for IT i norsk utdanning 2000-2003 Program for Digital kompetanse 2004-2008 4
Prosesser og metoder for evaluering Def. Evaluation research is the systematic application of social research procedures in assessing the conceptualization and design, implementation, and utility of social intervention programs. (Rossi & Freeman 1985) Formativ - Summativ. For å få frem resultater og kvalitetssikre Kriterier? I forhold til hva? (Målmodell - Effektmodell - Prosessmodell) For hvem? 5
Utfordringer Flere land begynner å stille spørsmål om konsekvenser og gevinst av investeringer i IKT. Kutt i bevilgninger. Tar tid å vise konsekvenser. Skolen er en kompleks organisasjon å endre. Ikke snakk om IKT per se. At ansatte kan nekte å bruke IKT! Bruke erfaringer fra skolen i andre sammenhenger. 6
Eksempler 7
ITU-prosjekter og aktiviteter Representerer ulike evalueringsstrategier Mindre, fokuserte prosjekter Meta-evaluering Kartlegging, longitudinelt Store nasjonale omstillingsforsøk Internasjonale sammenligninger Både formative og summative Gir et bredere bilde Grunnlag for videreutvikling 8
Samarbeidsprosjekter 2000-2004 () Ingen vei tilbake - Innovative læringsmiljøer med bruk av IKT - Nesodden videregående skole IKT i flerkulturelle skoler Wireless Pupils EduAction: Collaborative Learning in Networked 3D Environments DoCTA: Designing for Knowledge Building VITEN: Virtual Environments in Science IKT som mediator for kunnskapsproduksjon Elevene i forskerrollen -Erfaringer med bruk av det samfunnsfaglige laboratoriet Samhandling med, foran og via skjermen. Små-skoleeleven på vei mot digital kompetanse Digitale læringsarenaer - hvordan bruk av interaktive digitale ressurser påvirker læringskvalitet og læringsstrategier 9
Meta-evaluering Oppdrag fra UFD, prosjektperioden 1996-98 Innovasjon eller tradisjon? Ca. 300 rapporter. Trekke frem mønster på tvers. Mange små prosjekter Lite koordinert kompetanseutvikling Mangelfull infrastruktur som i hindrer pedagogisk fornyelse Lite systematisk forskning og evalueringsarbeid. Anbefalinger: Større samlede prosjekter som kan være drivkraft Systematisere FoU arbeidet bedre 10
ITU-Monitor Longitudinell kartlegging for å spore endring over tid Monitoren skal kartlegge hvert andre år Første kartlegging 2003 - ny kartlegging 2005 Målet er å kartlegge i hvilken grad IKT er integrert på en faglig og pedagogisk god måte i norske skoler Målgruppen er skolens aktører 11
ITU-Monitor Informanter Elever, lærere, skoleleder/rektor, IKT-ansvarlig, foresatte 7. klasse og 9. klasse i grunnskolen VK1 (2. klasse) i den videregående skole I overkant av 300 skoler (6320 respondenter) 4300 elever, 1000 lærere, 250 rektorer, 480 foresatte, 220 IKT-ansvarlige, 70 eksperter 12
ITU-Monitor Liten TID brukt på IKT i skolen Liten bruk av IKT integrert i fagene Få anvendelser blir brukt Elevene bruker mer tid og mer avanserte bruk på datamaskiner hjemme enn på skolen Lærerne bruker datamaskin til egen forberedelse og ikke integrert i undervisningen Bruk av digitale mapper er viktig for bruk Bruken viser at IKT i liten grad er integrert i fagene, elevene utvikler sin digitale kompetanse hjemme 13
PILOT 120 skoler, 9 fylker, 4 årig prosjekt Følgeforskning PILOT-skoler er som andre skoler, gjennomsnittsskoler Kombinasjon av kvantitativt og kvalitativt Fokus på aksjonslæring/forskning Helhetlig omstilling Innovasjon (i L,O,T) (Jfr. Differensieringsprosjektet) 14
KUF overordnede føringer referansegruppe råd Læringssenteret prosjektledelse/sekretariat/ utvikling av nettsted ITU sentral forskningsinstitusjon veiledning behov for veiledning SU kontor fylkets prosjektledelse kjøp av tjeneste regionale forskningsmiljøer (aksjons)forskning evt. veiledning skoler lokal prosjektledelse 15
Noen hovedfunn Skoler som arbeider systematisk på flere områder med organisatoriske rammer, fleksible metoder og fokus på læring, lykkes best med pedagogisk bruk av ny teknologi. Dersom en prøver å implementere IKT i en skole uten en helhetlig organisatorisk forankring, kan resultatet bli at flere elever opplever stress og uro, noe som kan gå ut over de faglige prestasjonene. De statistiske analysene viser også at lærere som i mindre grad har fått innfridd sine forventninger om økt bruk av IKT og mer fleksibilitet i metodebruk, tilhører skoler som har foretatt få endringer i organiseringen av skoledagen. 16
Noen hovedfunn Statistiske analyser (korrespondanseanalyse) viser at elever som går på skoler der de opplever at datamaskiner brukes ofte rapporterer også at: bruk av datamaskiner i stor grad har ført til faglige forbedringer for dem selv, bruk av datamaskiner er positivt for elever generelt på egen skole, det er større variasjon i metoder i alle fag, og de i stor grad selv har mulighet til å påvirke valg av ulike måter å bruke IKT på. For elever som rapporterer at de går på skoler der datamaskiner brukes lite er det motsatt inntrykk. 17
Noen hovedfunn 52% av elevene mener de har økt sine faglige prestasjoner på grunn av bruk av datamaskiner (21% mener at de ikke har gjort det). 83% av lærerne mener at elevenes prestasjoner blir bedre når IKT blir brukt i undervisningen (3% er helt uenige i dette). Elever som opplever et læringsmiljø preget av variasjon i arbeidsformer, opplever i større grad at bruk av datamaskiner fører til noe positivt, blant annet bedre faglige prestasjoner. IKT som arbeidsmåte ser dermed ut til å fungere best når det benyttes i en differensiert sammenheng, nemlig som en av flere arbeidsmåter. 18
Noen hovedfunn Elevenes bruk av IKT til faglig arbeid har økt signifikant i perioden. 94% av lærerne er også helt eller delvis enige i at IKT kan virke positivt inn på elevens motivasjon for skolearbeidet. Innføring av IKT har i tillegg ført til mer variasjon i metodebruk blant 79% av lærerne, og lærernes digitale kompetanse har økt i løpet av perioden. Ca. halvparten av elevene mener at bruken av datamaskiner medfører at de får oppgaver som passer bedre i forhold til det jeg kan, og at bruken av datamaskiner har gjort det lettere for meg å organisere skolearbeidet i mapper. Elevene opplever at IKT gjør det lettere å administrere egen læring. 19
Noen hovedfunn Elevene ved PILOT-skolene opplever i større grad elevmedvirkning. Tavleundervisning brukes i signifikant større grad ved kontrollskolene. Lærerne ved PILOT-skoler viser større tro på elevenes egen innflytelse og ansvar i læreprosessen. De tror i større grad at IKT kan virke positivt, særlig i forhold til faglige utfordringer og motivasjon. Disse resultatene tyder på at en vellykket implementering av IKT kan oppmuntre til en form for elevmedvirkning som igjen bidrar til bedre prestasjoner. Selv om den totale tid brukt på datamaskiner i undervisningen ikke endrer seg vesentlig i løpet av PILOT-perioden har brukens funksjon endret seg. Det viser seg at elever på PILOT-skoler sier at de signifikant oftere benytter IKT til faglig arbeid, mens elevene ved kontrollskolene signifikant oftere benytter IKT til underholdning. Elever på PILOT-skoler sier de signifikant oftere benytter IKT i alle fag. 20
Noen hovedfunn Den kvalitative forskningen viser at elevene bruker flere læringsressurser i sitt læringsarbeid nå enn tidligere. Denne variasjonen i læringsressurser har ført til mer variasjon i det pedagogiske opplegget og større grad av tilpasset opplæring. IKT styrker differensiering og tilpasset opplæring. Mange lærere uttrykker usikkerhet om egen rolle ved pedagogisk bruk av IKT. De lærere som lykkes bra med bruk av IKT, fremstår samtidig tydelig som fagekspert med didaktisk kompetanse. IKT bidrar til en profesjonalisering av lærerrollen. 21
Noen hovedfunn Skoleledelsen har en sentral betydning for å få flere lærere involvert i bruk av IKT. Spesielt gjelder det ved å utarbeide strategidokument som oppleves realistiske og meningsfulle av lærere, noe mange skoler ikke har. Dessuten viser PILOT skolene behovet for at ledelsen fokuserer på noe skolen er dyktig på, noe de har erfaring med og ønsker å videreutvikle, og der man ser at IKT kan ha en rolle. (Eks. Digitale mapper.) Det er ikke IKT i seg selv som er avgjørende, men funksjonen IKT har i opplæringen. 22
Noen interessante funn i tillegg (dvs. fremkommer i enkelte delprosjekt og er ikke gjennomgående ved alle skoler): Ved enkelte skoler rapporterer lærere at den skriftlige aktiviteten hos elevene har økt markant, blant annet ved bruk av læringsplattformer (LMS) og digitale mapper. 23
Noen interessante funn i tillegg I et delprosjekt (Hordaland) er det positive erfaringer med bruk av datamaskiner i den første lese- og skriveopplæringen, i kombinasjon med andre metoder. Både lese- og skrivenivået ser ut til å bli bedre enn det som har vært erfaringene uten bruk av dataskriving. Datamaskinen gjør det enklere å konsentrere seg om innholdet i det som skal skrives. Elevene trenger ikke å bruke energi og tid på å forme bokstavene. Dermed blir det enklere for mange barn å oppdage sammenhengen mellom ord i tale og ord i skrift. Elevene ser at bokstavene som de skriver er like de som står i bøkene. Dette ser ut til å lette leseinnlæringen. 24
Noen interessante funn i tillegg Forståelsen av fagenes egenart utfordres ved at IKT blir en del av dem. I et delprosjekt (Møre og Romsdal) ser vi at IKT i formgivningsfaget (videregående nivå) moderniserer faget og skaper tettere relasjoner til næringsliv og yrke, i følge både elever og lærere. Ved mange fådelte skoler blir bruken av IKT brukt bevisst for å styrke kontakten med lokalmiljøet, som samarbeid mellom skole og lokalt næringsliv og mellom skoler. Som en del av PILOT har man i Troms utviklet en egen modell for dialog og samarbeid mellom skoler i såkalte lærende nettverk. 25
Måloppnåelse? Man har fått dokumentert at det er et helhetlig grep om implementering og bruk av IKT som virker best. Dvs. for å lykkes må skoler se sammenhengen mellom organisatoriske forhold, læringsprosesser og IKT. Det er ikke IKT isolert sett som virker inn på elevenes læring. Den pedagogiske bruken av IKT har blitt aktualisert. Selv om elever og lærere ikke bruker mer tid med bruk av IKT mot slutten av prosjektperioden enn i begynnelsen så er man mer bevisst på hva man bruker IKT til i opplæringen. Gjennom distriktsperspektivet i utvalg av skoler har man fått dokumentert hvilke muligheter den nye teknologien gir for skoleutvikling i distriktene. Ved et flertall av skolene skaper den nye teknologien nye muligheter for samarbeid og styrke læringsarbeidet. 26
Refleksjon om hva funnene betyr? Relatert til de tre nivåene Typologier av skoler Makt og relasjoner. Mye utfordres, lite endres. Spørsmål om profesjonalisering av lærere. Jfr. Diff.prosjektet Praktisk pedagogisk bruk 27
PLUTO Program for LærerUtdanning, Teknologi og Omstilling Etablert som omstillingsprogram innen lærerutdanningen i 1999 Programstyre fulgte opp prosjektene ved hver enkelt institusjon, støttet og utfordret dem i organisatorisk og pedagogisk utviklingsarbeid Faglige premisser: Abstrakte mål styrer ikke, de transformeres mellom aktørene som deltar i innovasjonen Nye forhandlingssoner mellom aktivitetssystemer og aktørene skapes og det er her endring og innovsjon kan identifiseres Ny praksis skjer i interaksjon mellom lærere og studenter 28
PLUTO Bidratt til modernisering av lærerudanningen I flere prosjekter er det faglige og pedagogiske opplegget endret systematisk Nye organisasjonsformer kombinert med IKT har bidratt til mer variert undervisning og bruk av mapper Økt digital kompetanse 29
Second Information Technology in Education Study - Modul 2 Organisert av IEA (International Assoc. for the Evaluation of Educational Achievement) Ledet av forskningsmiljøer ved Stanford, Twente og Toronto UV-fakultet har vært ansvarlig for både modul 1 og 2. Mål: studere Innovative Pedagogical Practices Using Technology Kvalitative case-studier Totalt 174 case, 28 land Koblet til OECD-studie: skolenivå 30
Second Information Technology in Education Study - Modul 2 Nye handlingsrom for læring Mangfold (skolekultur, lokal forankring). Norske skoler i forkant Fornyelse av prosjektmetodikk, fleksible læringsformer Læringsressurser Økt ressurstilgang Skaper innhold selv Lærer- og elevroller Fleksibilitet mellom ulike læreroller Eleven som kunnskapsprodusent. Differensiering Teknologibruk Varierer hva ved IKT de anvender, tilpasning til pedagogiske behov For det meste enkle teknologiske løsninger 31
IKT-ABC IKT-ABC er en informasjons- og veiledningspakke for skoleledere og -eiere for utarbeidelse av IKT-strategier og handlingsplaner. IKT-strategien skal ha en helhetlig tilnærming til IKT Pedagogikk Organisasjon Teknologi Det gode utgangspunktet for enhver IKT-satsing Kurs Opplegg til to samlinger med innføring i strategiarbeid og evaluering av IKT-strategier. Veiledningstjeneste Oppfølging og veiledning av skolene som deltar med utarbeidelse av egne IKT-strategier 32
IKT-ABC SMART e mål Spesifikke Målbare Aksepterte Realistiske (men ambisiøse) Tidsbegrensede 33
Fem innsatsområder Pedagogisk bruk av IKT Lærernes kompetanseutvikling Elevenes bruk av IKT Organisering og tilrettelegging Infrastruktur og programvare 34
IKT-ABC IKT ABC er kanskje det mest effektive, inspirerende og lærerike prosjektet skolen vår har deltatt i, men også det mest krevende. Anne-Lise Fagerheim, rektor, Hommelvik ungdomsskole IKT-ABC bærer bud om en ny tid i norsk skole. Nå får skolen en plan som gjør det mulig å arbeide systematisk og målrettet for å gjøre IKT til en integrert del av læringsarbeidet. Bjørn Mannsverk, und.insp. Godøy skule iktabc.no 35
Kharon.4a Utvikle spill basert på evalueringer fra ulike prosjekter Samarbeid mellom ulike aktørgrupper Vise alternative strategier for utvikling av digitale læringsressurser 36
Evalueringens betydning? Politiske mål er ofte for vagt formulert Skolers strategidokument er uklare Stort behov for bedre evalueringsstrategier nasjonalt, for å planlegge og forbedre Nødvendig å tenke helhetlig Meta-evalueringer. Se på tvers av tiltak og ikke bare en satsning i seg selv. Helheten er mer enn summen av delene. 37