BLE ELEVENE BEDRE SKRIVERE? Normprosjektet som evidensbasert effektundersøkelse

Transkript

1 BLE ELEVENE BEDRE SKRIVERE? Normprosjektet som evidensbasert effektundersøkelse NORMPROSJEKTETS SLUTTKONFERANSE 2017 Gustaf B. Skar, NTNU, Skrivesenteret Kjell Lars Berge, Universitetet i Oslo, Skrivesenteret Forskergruppa: Kjell Lars Berge, Lars Sigfred Evensen, Synnøve Matre, Hildegunn Otnes, Gustaf B. Skar, Randi Solheim & Ragnar Thygesen

2 Forskningsspørsmålet Ville det å ta i bruk Skrivehjulet og forventningsnormene som grunnlag for tverrfaglig og faglig skriveopplæring, gjøre elevene til bedre skrivere? Will a semiotic re-contextualization of school subjects using the Wheel of Writing and associated norms of expectation as a basis for teaching and assessing writing, make students better writers? 2

3 Kvalitetssikret rapportering av resultatene Rapport 2 i Normprosjektet Internasjonal artikkel 3

4 Bakgrunn (1) Kunnskapsløftet (2006) innførte fem grunnleggende ferdigheter : Skriving Lesing IKT Regning Muntlighet Alle lærere - uansett fag - skulle undervise i fagenes skrift- og tekstkultur (Berge, 2005; Shanahan & Shanahan, 2008) eller: Hvordan bruke skriving for å å legge til rette for læring i alle fag?

5 Bakgrunn (2) Konflikten mellom den intenderte og gjennomførte læreplanen: Seks år etter reformen var lærere fortsatt usikre på hvordan de skulle undervise i skriving, og/eller om det var alle læreres ansvar (Aasen et al., 2012, Hertzberg & Roe, 2015). NORM-prosjektet ønsket å løse utfordringene gjennom å bruke nye semiotiske ressurser for å utvikle alle fag som skrivefag

6 NORM-prosjektet: en annerledes intervensjon Ulike metaanalyser påviser at mange ulike skriveopplæringsmetoder kan være svært effektive (Bangert-Drowns, Hurley, & Wilkinson, 2004; Graham et al., 2012; Graham & Perin, 2007a; Koster, Tribushinina, de Jong, & van den Bergh, 2015) men: mange av studiene baserer seg på korte intervensjoner og studerer skriveutviklingen til elever med spesielle skriveutfordringer I NORM-prosjektet ønsket vi å legge vekt på å studere sammenhengen mellom en vitenskapelig forståelse av skriving (=skrivekonstrukt), og hvordan denne forståelsen omsettes til og tas i bruk som skriveopplæring i norsk skole I NORM-prosjektet ønsket vi å utvikle et langvarig skoleutviklingsprosjekt som inkluderte seminarer og forelesninger med lærere som deltakere, og med lærerne som ansvarlige for intervensjonen Derfor formålet: å ta i bruk nye semiotiske ressurser som kunne brukes for å forstå hva skriveopplæring og skrivevurdering kunne være/bli i de fagene en lærer hadde ansvaret for 6

7 De fire fasene i NORM-prosjektet 1. Skriving ble definert ved hjelp av et teoretisk forankret og eksplisitt skrivekonstrukt: Skrivehjulet (Berge et al 2016) 2. Forventningsnormer, eller skriveferdighetsnormer som konkretiserer konstruktets konsekvenser for vurdering, ble utviklet i samarbeid med lærere (Matre et al., 2011, Evensen et. al. 2016). Skrivehjulet og forventningsnormene ble presentert for prosjektlærerne på skolene og på nasjonale samlinger 3. Skrivehjulet og forventningsnormene ble brukt på prosjektklassene som ressurs for skriveopplæring skrivevurdering 7

8 Modellen ble brukt av lærerne når de utviklet skriveoppgaver i ulike fag Fokus på skrivehandlinger og formål

9 Forventningsnormene: Seks vurderingsområder og skala med fem ferdighetsnivåer Skalaen ble tatt i bruk av lærerne når de de vurderte elevenes tekster i ulike fag Kommunikasjon (skriverleser-relasjonen) Innhold Tekstoppbygging Språkbruk (leksikon, syntaks og stil) Rettskrivning Tegnsetting

10 Et eksempel på vurderingområde: tekstoppbygging Nivå 1 Nivå 2 Nivå 3 Nivå 4 Nivå 5 Meget lav grad av mestring innen vurderingsområdet Lav grad av mestring Som det kan forventes på årstrinnet Høy grad av mestring Meget høy grad av mestring innen vurderingsområdet Starten av 5. trinn Skriveren skal: mestre noen relevante komposisjonsprinsipp sette sammen teksten med innledning, hoveddel og avslutning skape tematisk sammenheng i de ulike delene av teksten uttrykke sammenheng i teksten med koplingsmarkører som eller, men, fordi og liknende. Starten av 8. trinn Skriveren skal: mestre ulike måter å strukturere tekster på komponere teksten på en formålstjenlig måte (f.eks. sjanger) mestre avsnitt som organiseringsprinsipp bruke varierte koplingsmarkører for å uttrykke sammenheng i teksten. 10

11 Utvikle skriveoppgaver Skriveoppgave: Skriv en tekst der du beskriver snø for noen som ikke har sett eller hørt om dette før Vurdere utkast Kommentar (skriftlig eller muntlig): Du burde 11

12 Prosjektdeltakere Hele prosjektet Prosjektperiode: 2 år skoler fra hele Norge: urbane og rurale strøk + målform, kjønn og L2 og trinnene prosjektskoler 4 kontrollskoler Prosjektskoler: 500 lærere 3800 elever Intensivutvalg: underutvalg av elever tilfeldig valgt for systematisk tekstinnsamling (hver 11. prosjektelev)

13 Hvordan undersøke effekter av NORMprosjektet? Erfaringsbaserte observasjoner? observerbare forandringer som kan skyldes skriveopplæringsmetoder kan antyde forandring, men kan ikke si noe sikkert ut over det situerte om elevene blir bedre skrivere eller ikke Spørreundersøkelser/intervjuer/fokusgrupper? selvrapportering om ferdighetsutvikling kan antyde forandring, men tilbyr ikke et troverdig mål på om elevene faktisk blir bedre skrivere Tekstanalyser? kvalitativ vurdering, kvalitative beskrivelser er viktig, men uten tilgang til troverdige vurderinger vil ikke tekstanalyser avdekke skriveferdighetsutvikling i løpet av prosjektet -> lærernes vurderinger måtte kvalitetssikres Evidensbasert forskning (prosjekt- og kontrollgrupper): kvalitetsikrede troverdige vurderinger på en skala basert på forventningsnormer: sanne/rettferdige vurderinger ( true og fair score ) som grunnlag for tekstkvalitetsstudier effekt forstått som avvikende endringer i prosjektgruppe sammenliknet med en kontrollgruppe basert på sanne/rettferdige vurderinger, f.eks. fra «mye under forventet nivå» til «langt over forventet nivå» på forventningsnormskalaen effekt = signifikant forskjell i ferdighetsnivå mellom prosjekt- og kontrollgrupper etter avsluttet prosjekt 13

14 Intensivutvalget: prosjektog kontrollelever 300-elever 600-elever N Prosjekt Kontroll Prosjekt Kontroll n Jenter Gutter Alder a Gjennomsnittalder ved prosjektstart

15 Datainnsamling & dataanalyse Pre-test, 2012 Prosjekt Post-test, elever prosjekt X X X 300-elever kontroll X X 600-elever prosjekt X X X 600-elever kontroll X X 15

16 Datainnsamling & dataanalyse Pre-test * Elevene skrev to tekster * Nasjonalt vurderingspanel vurderte * Hver tekst vurdert av ett vurdererpar * Sumskåre = summen av to oppgaver Post-test * Elevene skrev én tekst * Nasjonalt vurderingspanel vurderte * Hver tekst vurdert av to vurdererpar * Sumskåre= summen av to vurdererpar * ICC =.78 (300-elever),.81 (600-elever) 16

17 Datainnsamling & dataanalyse Sumskårer Minimumskåre: 12 Forventet nivå: 36 = 3 på alle vurderingsområder Maksskåre: 60 Kom. Innh. Teks. Språ. Rett. Tegn. Sum Pre-test Tekst Tekst SUM 12 Post-test Vurderer Vurderer SUM 36 17

18 Datainnsamling & dataanalyse ANCOVA ble brukt for å kontrollere for mulige forskjeller mellom prosjekt- og kontrollgrupper Effektmål (Cohens d, basert på ANCOVA) uttrykker den mulige forskjellen mellom gruppene Cohens d 0.1 = svært svak effekt 0.2 = svak effekt 0.5 = middels 0.8 = sterk effekt 1.2 = svært sterk effekt 2.0 = oppsiktsvekkende effekt 0.4 ett års undervisning (Hattie) 18

19 Resultat: 300-elever Gruppe n M pre SD 1 M post SD 2 r t p ES (d) Prosjekt , Kontroll Alle elever i 3. trinn skåret signifikant bedre på post-test enn på pre-test Effekt uten intervensjon (basert på kontrollgruppas pre-og posttest) = forventet ferdighetsutvikling på 2 år: d=1.16 Sterkere effekt for prosjektgruppa enn for kontrollgruppa Prosjektgruppe: pre- og posttest Kontrollgruppe: pre- og posttest 19

20 Resultat: 300-elever Gruppe n M S.D. M adj Df F p ES (d) Pwr Prosjekt Kontroll Prosjekt > kontroll 1, Signifikant forskjell mellom prosjekt- og kontrollgruppene ES: d =.57, dvs. noe over ett års undervisning (d=.40) prosjekt > kontroll 20

21 Resultat 600-elever Group n M pre SD 1 M post SD 2 r t p ES (d) Prosjekt Kontroll Alle elever i 6. trinn skåret signifikant bedre på post-test enn på pre-test Effekt uten intervensjon (basert på kontrollgruppas pre-og posttest) = forventet ferdighetsutvikling på 2 år: d=.47 Sterkere effekt for prosjektgruppa enn for kontrollgruppa Prosjektgruppe: pre- og posttest Kontrollgruppe: pre- og posttest 21

22 Resultat 600-elever Gruppe n M S.D. M adj Df F p ES (d) Pwr Prosjekt Kontroll Prosjekt > kontroll 1, Ikke-signifikant forskjell mellom prosjektgruppe og kontrollgruppe ES: d =.31 (dvs. noe under ett års undervisning (d=.40)) Prosjekt > sammenligning 22

23 Effektvariasjon: mulige forklaringer Variasjon forklart med alder = modenhetsutvikling? Variasjon forklart med skole, klasse = læringsmiljø? Variasjon forklart med elevenes ferdighetsnivå (basert på nivå målt på pretest) = ulike interesser, motivasjonsvariasjon? Ferdighetsutviklingen foregår på gruppenivå individuelt er elevens skriveferdighetsutvikling ustabil 23

24 Prosjektelevenes skriveferdighetsutvikling: hvor forutsigbar er utviklingen? 36% 37% 28% 30% 33% 21% 23% 15% 16% 13% MP2, r2 MP3, r2 MP5, r2 MP6, r2 MP7, r

25 300-elever: beste, middels, svakest MP MP MP (Medelvärde) MP6 MP3 MP5 25

26 600-elever: beste, middels, svakest MP MP MP E (f) E10637 (f) E10662 (f) Medelvärde (f) MP6 MP3 MP5 26

27 Effektvariasjon forklart med elevenes alder Elever i alderen 8-10 år (barnetrinnselever, 300-elever) utvikler skriveferdighetene svært mye uavhenig av prosjektdeltakelse: Cohens D, prosjekttelever = 1.16 Elever i alderen år (mellomtrinnselever, 600- elever) utvikler skriveferdighetene til en viss grad: Cohens D, prosjekttelever =.47 Derimot: det er ingen signifikant forskjell i skriveferdighetsutvikling i prosjektklassene som kan forklares med måneden eleven er født 27

28 Effektvariasjon forklart med elevenes ferdighetsnivå Gruppe 1: Elever med sumskåre under normen ( lavtpresterende ) Gruppe 2: Elever med sumskåre på normen ( på forventet nivå ) Gruppe 3 Elever med sumskåre over normen ( høytpresterende ) ES: Prosjektgrupper > kontrollgrupper 300-elever 600-elever Gruppe 1.51*.27 Gruppe 2.78**.31 Gruppe Svake skrivere utvikler seg I mindre grad enn sterke skrivere Ingen kontrollelever lå over normen ved første skrivehendelse 28

29 Effektvariasjon forklart med skole og klasse Tre (3) prosjektskoler har sterk skriveferdighetsutvikling både blant 300-elevene (8-10 år) og 600-elevene (11-13 år), n=47 Åtte (8) prosjektskoler har sterk skriveferdighetsutvikling bare blant 300-elevene (8-10 år), n=25 Tre (3) prosjektskoler har sterk skriveferdighetsutvikling bare blant 600-elevene (11-13 år), n=7 29

30 300-elever 600-elever N Snitt S.D. a S.E. b N Snitt S.D. S.E. Prosjekt Skole ,5 8,6 2,6 8 39,8 8,5 3,0 Skole ,9 5,8 2,2 4 31,3 4,1 2,1 Skole ,6 13,5 6,0 6 41,8 5,6 2,3 Skole ,0 11,4 6,6 30 Posttest resultater Skole ,6 8,2 2,5 6 36,3 9,9 4,0 Skole ,5 12,0 8,5 2 34,5 0,7 0,5 Skole ,5 5,0 3,5 2 22,0 2,8 2,0 Skole ,0 n/a n/a 1 40,0 n/a n/a Skole ,5 7,8 5,5 3 33,0 8,5 4,9 Skole ,3 15,5 6,3 Skole ,5 0,7 0,5 3 37,0 1,7 1,0 Skole ,6 8,4 3,8 6 34,5 8,9 3,6 Skole ,3 5,4 2,2 4 40,3 7,3 3,6 Skole ,7 6,0 3,5 5 33,4 6,0 2,7 Skole ,0 17,0 12,0 3 25,0 8,9 5,1 Skole ,3 3,9 1,9 4 34,3 6,8 3,4 Skole ,0 n/a n/a Skole ,0 n/a n/a 2 35,0 2,8 2,0 Skole ,0 6,7 2,7 5 32,2 3,6 1,6 Skole ,3 9,8 4,9 5 32,8 4,9 2,2 Alle 75 40,2 8,8 1, ,1 8,8 1,0 Kontroll Skole ,2 8,0 1, ,3 8,0 1,6 Skole ,4 7,9 2, ,8 8,2 2,6 Skole ,2 6,3 1, ,4 9,0 2,4 Skole ,3 5,0 1,4 8 36,1 6,3 2,2 Alle 54 34,7 6,8 0, ,7 8,2 1,1

31 Effekten av å delta i Normprosjektet: resultatoppsummering 300-elever, ES 600-elever, ES Alle prosjektelever > kontrollelever.57**.31 Prosjektelever under sumskåre > kontrollelever under sumskåre Prosjektelever over sumskåre > kontrollelever over sumskåre.51*.27.78**.31 Prosjektskoler under sumskåre > kontrollskoler Prosjektskoler over sumskåre > kontrollskoler.67**.90** 31

32 Effekter og effektvariasjon i løpet av Normprosjektet: oppsummering alder Det er en sterk og signifikant skriveferdighetseffekt for prosjektelevene i aldersgruppa 8-10 år (300-elever), d=.57 noe over 1 års undervisning Det er en svak og ikke-signifikant skriveferdighetseffekt for prosjektelevene i aldergruppa år (600-elevene), d=.31 noe under 1 års undervisning 32

33 Effekter og effektvariasjon i løpet av Normprosjektet : oppsummering elevene Skriveferdighetsutviklingen foregår på gruppenivå Skriveferdighetsutviklingen til prosjektelevene individuelt varierer med skriveoppgave og skrivehendelse: individuelt er elevens skriveferdighetsutvikling svært ustabil Variasjon forklart med prosjektelevenes ferdighetsnivå (basert på nivå målt på pretest): prosjektelevene som var svake skrivere før intervensjonen utviklet seg i mindre grad enn andre elever Særlig de sterke og middels sterke prosjektelevene i aldersgruppa 8-10 år utviklet skriveferdighetene betydelig: d=.78 om lag 2 års undervisning 33

34 Effekter og effektvariasjon i løpet av Normprosjektet: oppsummering klassene Ved svake prosjektskoler (prosjektskoler under sumskåre) er det ingen skriveferdighetsutvikling som kan forklares med deltakelse i Normprosjektet Ved sterke prosjektskoler (prosjektskoler under sumskåre) er det en meget sterk skriveferdighetsutvikling som kan forklares med deltakelse i Normprosjektet Ved sterke prosjektskoler utvikler begge aldersgruppers skriveferdighet seg betydelig aldersgruppa 8-10 år: d=.67 1,5 års undervisning aldersgruppa år, d=.90 over 2 års undervisning 34

35 Tilbake til forskningsspørsmålet Ville det å ta i bruk Skrivehjulet og forventningsnormene som grunnlag for tverrfaglig og faglig skriveopplæring, gjøre elevene til bedre skrivere? Svar: NEI, men bruken av de semiotiske ressursene i klassene kan forklare styrken i skriveferdighetseffekt 35

36 Hvordan skal vi forklare skriveferdighetseffektene? = videre forskning 1) Rettet mot tilretteleggingen av Normprosjektets ressurser på skolene: Hvordan Skrivehjulet og forventningsnormene har blitt forstått lokalt, og har blitt tatt i bruk av ledelsen og lærerne på prosjektskolene i skriveopplæringen 2) Rettet mot skriveundervisningens kvaliteter i klassene: Hvordan skriveopplæring og skrivevurdering har blitt utviklet og gjennomført i klassene/overfor elevene i løpet av NORMprosjektintervensjonen, for eksempel hvordan skriveoppgavene/skriveoppdraget er blitt utviklet og tilrettelagt for elevene 3) Rettet mot tekstvurderingenes (tilbakemeldingenes) kvaliteter: Om elevenes tekster er blitt vurdert læringsstøttende på en måte som har lagt til rette for skrivestrategier som planlegging, utkastskriving og omskriving/revisjon av utkast 36

37 37 Takk for oppmerksomheten!