BLE ELEVENE BEDRE SKRIVERE? Normprosjektet som evidensbasert effektundersøkelse NORMPROSJEKTETS SLUTTKONFERANSE 2017 Gustaf B. Skar, NTNU, Skrivesenteret Kjell Lars Berge, Universitetet i Oslo, Skrivesenteret Forskergruppa: Kjell Lars Berge, Lars Sigfred Evensen, Synnøve Matre, Hildegunn Otnes, Gustaf B. Skar, Randi Solheim & Ragnar Thygesen
Forskningsspørsmålet Ville det å ta i bruk Skrivehjulet og forventningsnormene som grunnlag for tverrfaglig og faglig skriveopplæring, gjøre elevene til bedre skrivere? Will a semiotic re-contextualization of school subjects using the Wheel of Writing and associated norms of expectation as a basis for teaching and assessing writing, make students better writers? 2
Kvalitetssikret rapportering av resultatene Rapport 2 i Normprosjektet Internasjonal artikkel 3
Bakgrunn (1) Kunnskapsløftet (2006) innførte fem grunnleggende ferdigheter : Skriving Lesing IKT Regning Muntlighet Alle lærere - uansett fag - skulle undervise i fagenes skrift- og tekstkultur (Berge, 2005; Shanahan & Shanahan, 2008) eller: Hvordan bruke skriving for å å legge til rette for læring i alle fag?
Bakgrunn (2) Konflikten mellom den intenderte og gjennomførte læreplanen: Seks år etter reformen var lærere fortsatt usikre på hvordan de skulle undervise i skriving, og/eller om det var alle læreres ansvar (Aasen et al., 2012, Hertzberg & Roe, 2015). NORM-prosjektet ønsket å løse utfordringene gjennom å bruke nye semiotiske ressurser for å utvikle alle fag som skrivefag
NORM-prosjektet: en annerledes intervensjon Ulike metaanalyser påviser at mange ulike skriveopplæringsmetoder kan være svært effektive (Bangert-Drowns, Hurley, & Wilkinson, 2004; Graham et al., 2012; Graham & Perin, 2007a; Koster, Tribushinina, de Jong, & van den Bergh, 2015) men: mange av studiene baserer seg på korte intervensjoner og studerer skriveutviklingen til elever med spesielle skriveutfordringer I NORM-prosjektet ønsket vi å legge vekt på å studere sammenhengen mellom en vitenskapelig forståelse av skriving (=skrivekonstrukt), og hvordan denne forståelsen omsettes til og tas i bruk som skriveopplæring i norsk skole I NORM-prosjektet ønsket vi å utvikle et langvarig skoleutviklingsprosjekt som inkluderte seminarer og forelesninger med lærere som deltakere, og med lærerne som ansvarlige for intervensjonen Derfor formålet: å ta i bruk nye semiotiske ressurser som kunne brukes for å forstå hva skriveopplæring og skrivevurdering kunne være/bli i de fagene en lærer hadde ansvaret for 6
De fire fasene i NORM-prosjektet 1. Skriving ble definert ved hjelp av et teoretisk forankret og eksplisitt skrivekonstrukt: Skrivehjulet (Berge et al 2016) 2. Forventningsnormer, eller skriveferdighetsnormer som konkretiserer konstruktets konsekvenser for vurdering, ble utviklet i samarbeid med lærere (Matre et al., 2011, Evensen et. al. 2016). Skrivehjulet og forventningsnormene ble presentert for prosjektlærerne på skolene og på nasjonale samlinger 3. Skrivehjulet og forventningsnormene ble brukt på prosjektklassene som ressurs for skriveopplæring skrivevurdering 7
Modellen ble brukt av lærerne når de utviklet skriveoppgaver i ulike fag Fokus på skrivehandlinger og formål
Forventningsnormene: Seks vurderingsområder og skala med fem ferdighetsnivåer Skalaen ble tatt i bruk av lærerne når de de vurderte elevenes tekster i ulike fag Kommunikasjon (skriverleser-relasjonen) Innhold Tekstoppbygging Språkbruk (leksikon, syntaks og stil) Rettskrivning Tegnsetting
Et eksempel på vurderingområde: tekstoppbygging Nivå 1 Nivå 2 Nivå 3 Nivå 4 Nivå 5 Meget lav grad av mestring innen vurderingsområdet Lav grad av mestring Som det kan forventes på årstrinnet Høy grad av mestring Meget høy grad av mestring innen vurderingsområdet Starten av 5. trinn Skriveren skal: mestre noen relevante komposisjonsprinsipp sette sammen teksten med innledning, hoveddel og avslutning skape tematisk sammenheng i de ulike delene av teksten uttrykke sammenheng i teksten med koplingsmarkører som eller, men, fordi og liknende. Starten av 8. trinn Skriveren skal: mestre ulike måter å strukturere tekster på komponere teksten på en formålstjenlig måte (f.eks. sjanger) mestre avsnitt som organiseringsprinsipp bruke varierte koplingsmarkører for å uttrykke sammenheng i teksten. 10
Utvikle skriveoppgaver Skriveoppgave: Skriv en tekst der du beskriver snø for noen som ikke har sett eller hørt om dette før Vurdere utkast Kommentar (skriftlig eller muntlig): Du burde 11
Prosjektdeltakere Hele prosjektet Prosjektperiode: 2 år 2012 2014 24 skoler fra hele Norge: urbane og rurale strøk + målform, kjønn og L2 og trinnene 3 7 20 prosjektskoler 4 kontrollskoler Prosjektskoler: 500 lærere 3800 elever Intensivutvalg: underutvalg av elever tilfeldig valgt for systematisk tekstinnsamling (hver 11. prosjektelev)
Hvordan undersøke effekter av NORMprosjektet? Erfaringsbaserte observasjoner? observerbare forandringer som kan skyldes skriveopplæringsmetoder kan antyde forandring, men kan ikke si noe sikkert ut over det situerte om elevene blir bedre skrivere eller ikke Spørreundersøkelser/intervjuer/fokusgrupper? selvrapportering om ferdighetsutvikling kan antyde forandring, men tilbyr ikke et troverdig mål på om elevene faktisk blir bedre skrivere Tekstanalyser? kvalitativ vurdering, kvalitative beskrivelser er viktig, men uten tilgang til troverdige vurderinger vil ikke tekstanalyser avdekke skriveferdighetsutvikling i løpet av prosjektet -> lærernes vurderinger måtte kvalitetssikres Evidensbasert forskning (prosjekt- og kontrollgrupper): kvalitetsikrede troverdige vurderinger på en skala basert på forventningsnormer: sanne/rettferdige vurderinger ( true og fair score ) som grunnlag for tekstkvalitetsstudier effekt forstått som avvikende endringer i prosjektgruppe sammenliknet med en kontrollgruppe basert på sanne/rettferdige vurderinger, f.eks. fra «mye under forventet nivå» til «langt over forventet nivå» på forventningsnormskalaen effekt = signifikant forskjell i ferdighetsnivå mellom prosjekt- og kontrollgrupper etter avsluttet prosjekt 13
Intensivutvalget: prosjektog kontrollelever 300-elever 600-elever N Prosjekt Kontroll Prosjekt Kontroll n 75 54 78 58 265 Jenter 45 23 40 31 139 Gutter 30 31 38 27 126 Alder 7.8 7.8 10.8 10.8 a Gjennomsnittalder ved prosjektstart
Datainnsamling & dataanalyse Pre-test, 2012 Prosjekt Post-test, 2014 300-elever prosjekt X X X 300-elever kontroll X X 600-elever prosjekt X X X 600-elever kontroll X X 15
Datainnsamling & dataanalyse Pre-test * Elevene skrev to tekster * Nasjonalt vurderingspanel vurderte * Hver tekst vurdert av ett vurdererpar * Sumskåre = summen av to oppgaver Post-test * Elevene skrev én tekst * Nasjonalt vurderingspanel vurderte * Hver tekst vurdert av to vurdererpar * Sumskåre= summen av to vurdererpar * ICC =.78 (300-elever),.81 (600-elever) 16
Datainnsamling & dataanalyse Sumskårer Minimumskåre: 12 Forventet nivå: 36 = 3 på alle vurderingsområder Maksskåre: 60 Kom. Innh. Teks. Språ. Rett. Tegn. Sum Pre-test Tekst 1 1 1 1 1 1 1 6 Tekst 2 1 1 1 1 1 1 6 SUM 12 Post-test Vurderer 1 3 3 3 3 3 3 18 Vurderer 2 3 3 3 3 3 3 18 SUM 36 17
Datainnsamling & dataanalyse ANCOVA ble brukt for å kontrollere for mulige forskjeller mellom prosjekt- og kontrollgrupper Effektmål (Cohens d, basert på ANCOVA) uttrykker den mulige forskjellen mellom gruppene Cohens d 0.1 = svært svak effekt 0.2 = svak effekt 0.5 = middels 0.8 = sterk effekt 1.2 = svært sterk effekt 2.0 = oppsiktsvekkende effekt 0.4 ett års undervisning (Hattie) 18
Resultat: 300-elever Gruppe n M pre SD 1 M post SD 2 r t p ES (d) Prosjekt 75 30.4 7.1 40,2 8.8.68 13.0.000 1.54 Kontroll 54 28.0 5.8 34.7 6.8.58 8.5.000 1.16 Alle elever i 3. trinn skåret signifikant bedre på post-test enn på pre-test Effekt uten intervensjon (basert på kontrollgruppas pre-og posttest) = forventet ferdighetsutvikling på 2 år: d=1.16 Sterkere effekt for prosjektgruppa enn for kontrollgruppa Prosjektgruppe: pre- og posttest Kontrollgruppe: pre- og posttest 19
Resultat: 300-elever Gruppe n M S.D. M adj Df F p ES (d) Pwr Prosjekt 75 40.2 8.8 39.4 Kontroll 54 34.7 6.8 35.8 Prosjekt > kontroll 1, 126 10.13.002.57.88 Signifikant forskjell mellom prosjekt- og kontrollgruppene ES: d =.57, dvs. noe over ett års undervisning (d=.40) prosjekt > kontroll 20
Resultat 600-elever Group n M pre SD 1 M post SD 2 r t p ES (d) Prosjekt 78 28.0 6.5 34.1 8.8.47 6.6.000 0.78 Kontroll 58 27.8 6.9 31.7 8.2.50 3.8.000 0.47 Alle elever i 6. trinn skåret signifikant bedre på post-test enn på pre-test Effekt uten intervensjon (basert på kontrollgruppas pre-og posttest) = forventet ferdighetsutvikling på 2 år: d=.47 Sterkere effekt for prosjektgruppa enn for kontrollgruppa Prosjektgruppe: pre- og posttest Kontrollgruppe: pre- og posttest 21
Resultat 600-elever Gruppe n M S.D. M adj Df F p ES (d) Pwr Prosjekt 78 34.0 8.8 34.0 Kontroll 58 31.7 8.2 31.7 Prosjekt > kontroll 1, 133 3.13.079.31.42 Ikke-signifikant forskjell mellom prosjektgruppe og kontrollgruppe ES: d =.31 (dvs. noe under ett års undervisning (d=.40)) Prosjekt > sammenligning 22
Effektvariasjon: mulige forklaringer Variasjon forklart med alder = modenhetsutvikling? Variasjon forklart med skole, klasse = læringsmiljø? Variasjon forklart med elevenes ferdighetsnivå (basert på nivå målt på pretest) = ulike interesser, motivasjonsvariasjon? Ferdighetsutviklingen foregår på gruppenivå individuelt er elevens skriveferdighetsutvikling ustabil 23
Prosjektelevenes skriveferdighetsutvikling: hvor forutsigbar er utviklingen? 36% 37% 28% 30% 33% 21% 23% 15% 16% 13% MP2, r2 MP3, r2 MP5, r2 MP6, r2 MP7, r2 300 600 24
300-elever: beste, middels, svakest MP1 40 35 30 MP7 25 20 15 10 5 0 MP2 10338 50315 120313 (Medelvärde) MP6 MP3 MP5 25
600-elever: beste, middels, svakest MP1 40 35 30 MP7 25 20 MP2 15 10 E150611 (f) E10637 (f) E10662 (f) Medelvärde (f) MP6 MP3 MP5 26
Effektvariasjon forklart med elevenes alder Elever i alderen 8-10 år (barnetrinnselever, 300-elever) utvikler skriveferdighetene svært mye uavhenig av prosjektdeltakelse: Cohens D, prosjekttelever = 1.16 Elever i alderen 11-13 år (mellomtrinnselever, 600- elever) utvikler skriveferdighetene til en viss grad: Cohens D, prosjekttelever =.47 Derimot: det er ingen signifikant forskjell i skriveferdighetsutvikling i prosjektklassene som kan forklares med måneden eleven er født 27
Effektvariasjon forklart med elevenes ferdighetsnivå Gruppe 1: Elever med sumskåre under normen ( lavtpresterende ) Gruppe 2: Elever med sumskåre på normen ( på forventet nivå ) Gruppe 3 Elever med sumskåre over normen ( høytpresterende ) ES: Prosjektgrupper > kontrollgrupper 300-elever 600-elever Gruppe 1.51*.27 Gruppe 2.78**.31 Gruppe 3 - - Svake skrivere utvikler seg I mindre grad enn sterke skrivere Ingen kontrollelever lå over normen ved første skrivehendelse 28
Effektvariasjon forklart med skole og klasse Tre (3) prosjektskoler har sterk skriveferdighetsutvikling både blant 300-elevene (8-10 år) og 600-elevene (11-13 år), n=47 Åtte (8) prosjektskoler har sterk skriveferdighetsutvikling bare blant 300-elevene (8-10 år), n=25 Tre (3) prosjektskoler har sterk skriveferdighetsutvikling bare blant 600-elevene (11-13 år), n=7 29
300-elever 600-elever N Snitt S.D. a S.E. b N Snitt S.D. S.E. Prosjekt Skole 1 11 43,5 8,6 2,6 8 39,8 8,5 3,0 Skole 2 7 38,9 5,8 2,2 4 31,3 4,1 2,1 Skole 3 5 41,6 13,5 6,0 6 41,8 5,6 2,3 Skole 4 - - - - 3 27,0 11,4 6,6 30 Posttest resultater Skole 5 11 39,6 8,2 2,5 6 36,3 9,9 4,0 Skole 6 2 39,5 12,0 8,5 2 34,5 0,7 0,5 Skole 7 2 46,5 5,0 3,5 2 22,0 2,8 2,0 Skole 8 1 20,0 n/a n/a 1 40,0 n/a n/a Skole 9 2 40,5 7,8 5,5 3 33,0 8,5 4,9 Skole 10 - - - - 6 26,3 15,5 6,3 Skole 11 2 33,5 0,7 0,5 3 37,0 1,7 1,0 Skole 12 5 45,6 8,4 3,8 6 34,5 8,9 3,6 Skole 13 6 35,3 5,4 2,2 4 40,3 7,3 3,6 Skole 14 3 39,7 6,0 3,5 5 33,4 6,0 2,7 Skole 15 2 40,0 17,0 12,0 3 25,0 8,9 5,1 Skole 16 4 35,3 3,9 1,9 4 34,3 6,8 3,4 Skole 17 1 20,0 n/a n/a - - - - Skole 18 1 39,0 n/a n/a 2 35,0 2,8 2,0 Skole 19 6 47,0 6,7 2,7 5 32,2 3,6 1,6 Skole 20 4 39,3 9,8 4,9 5 32,8 4,9 2,2 Alle 75 40,2 8,8 1,0 78 34,1 8,8 1,0 Kontroll Skole 21 20 35,2 8,0 1,8 26 29,3 8,0 1,6 Skole 22 8 33,4 7,9 2,8 10 31,8 8,2 2,6 Skole 23 13 34,2 6,3 1,8 14 33,4 9,0 2,4 Skole 24 13 35,3 5,0 1,4 8 36,1 6,3 2,2 Alle 54 34,7 6,8 0,9 58 31,7 8,2 1,1
Effekten av å delta i Normprosjektet: resultatoppsummering 300-elever, ES 600-elever, ES Alle prosjektelever > kontrollelever.57**.31 Prosjektelever under sumskåre > kontrollelever under sumskåre Prosjektelever over sumskåre > kontrollelever over sumskåre.51*.27.78**.31 Prosjektskoler under sumskåre > kontrollskoler -0.16.00 Prosjektskoler over sumskåre > kontrollskoler.67**.90** 31
Effekter og effektvariasjon i løpet av Normprosjektet: oppsummering alder Det er en sterk og signifikant skriveferdighetseffekt for prosjektelevene i aldersgruppa 8-10 år (300-elever), d=.57 noe over 1 års undervisning Det er en svak og ikke-signifikant skriveferdighetseffekt for prosjektelevene i aldergruppa 11-13 år (600-elevene), d=.31 noe under 1 års undervisning 32
Effekter og effektvariasjon i løpet av Normprosjektet : oppsummering elevene Skriveferdighetsutviklingen foregår på gruppenivå Skriveferdighetsutviklingen til prosjektelevene individuelt varierer med skriveoppgave og skrivehendelse: individuelt er elevens skriveferdighetsutvikling svært ustabil Variasjon forklart med prosjektelevenes ferdighetsnivå (basert på nivå målt på pretest): prosjektelevene som var svake skrivere før intervensjonen utviklet seg i mindre grad enn andre elever Særlig de sterke og middels sterke prosjektelevene i aldersgruppa 8-10 år utviklet skriveferdighetene betydelig: d=.78 om lag 2 års undervisning 33
Effekter og effektvariasjon i løpet av Normprosjektet: oppsummering klassene Ved svake prosjektskoler (prosjektskoler under sumskåre) er det ingen skriveferdighetsutvikling som kan forklares med deltakelse i Normprosjektet Ved sterke prosjektskoler (prosjektskoler under sumskåre) er det en meget sterk skriveferdighetsutvikling som kan forklares med deltakelse i Normprosjektet Ved sterke prosjektskoler utvikler begge aldersgruppers skriveferdighet seg betydelig aldersgruppa 8-10 år: d=.67 1,5 års undervisning aldersgruppa 11-13 år, d=.90 over 2 års undervisning 34
Tilbake til forskningsspørsmålet Ville det å ta i bruk Skrivehjulet og forventningsnormene som grunnlag for tverrfaglig og faglig skriveopplæring, gjøre elevene til bedre skrivere? Svar: NEI, men bruken av de semiotiske ressursene i klassene kan forklare styrken i skriveferdighetseffekt 35
Hvordan skal vi forklare skriveferdighetseffektene? = videre forskning 1) Rettet mot tilretteleggingen av Normprosjektets ressurser på skolene: Hvordan Skrivehjulet og forventningsnormene har blitt forstått lokalt, og har blitt tatt i bruk av ledelsen og lærerne på prosjektskolene i skriveopplæringen 2) Rettet mot skriveundervisningens kvaliteter i klassene: Hvordan skriveopplæring og skrivevurdering har blitt utviklet og gjennomført i klassene/overfor elevene i løpet av NORMprosjektintervensjonen, for eksempel hvordan skriveoppgavene/skriveoppdraget er blitt utviklet og tilrettelagt for elevene 3) Rettet mot tekstvurderingenes (tilbakemeldingenes) kvaliteter: Om elevenes tekster er blitt vurdert læringsstøttende på en måte som har lagt til rette for skrivestrategier som planlegging, utkastskriving og omskriving/revisjon av utkast 36
37 Takk for oppmerksomheten!