NORMPROSJEKTET vurderingskvalitet & tekstkvalitet: noen kvantitative observasjoner. ved Kjell Lars Berge

Transkript

1 NORMPROSJEKTET vurderingskvalitet & tekstkvalitet: noen kvantitative observasjoner ved Kjell Lars Berge

2 Disposisjon DEL I Hva kan vi påstå generelt basert på våre kvantitative undersøkelser? Noen ord om formål og forskningsetikk DEL II Hvor enige er prosjektlærerne når de vurderer? Om vurderingskvalitet Hva mener prosjektlærerne om kvaliteten på tekstene elevene har skrevet? Om tekstkvalitet

3 Hva kan vi påstå generelt basert på våre kvantitative undersøkelser? Vi kan trekke slutninger fra et såkalt intensivutvalg av elever til alle elever i prosjektet fra 386 elever (intensivutvalget) til 3088 elever Vi kan trekke slutninger om kvaliteten på tekstene intensivelevene har skrevet: om lag 4000 tekster (blir digitalisert) Vi kan trekke slutninger om prosjektlærernes vurderingsmønstre Men: Vi kan IKKE trekke slutninger om kvaliteten på skolene utvalget fra skolene er for lite

4 Formål og forskningsetikk Vi ønsker å formidle informasjon fra resultater og funn i prosjektet som hjelper prosjektlærerne med å utvikle skriveopplæringen Vi ønsker å formidle informasjon fra resultater og funn i prosjektet som bidrar til å styrke prosjektelevenes skriveferdigheter Alle skoler, klasser og individer er anonymiserte Skolene kan få informasjon om de 386 deltakende intensivelevene om de ønsker det Vi ønsker ikke å legge opp til rangeringer mellom elever, trinn, klasser og skoler

5 Hva har blitt undersøkt så langt? Undersøkelser : første prosjektår Data Trinn Vurdert Analysert Inngangsdata Alle fire trinn Nei Nei Første prosjektfase Andre prosjektfase Tredje prosjektfase Alle fire trinn Januar 2013, Gardermoen Alle fire trinn Våren 2013, på skolen Alle fire trinn Mai 2013, Gardermoen Utgangsdata 4. og 7. trinn Oktober 2013 Nei Ja Ja Ja

6 Hva har blitt undersøkt så langt? Tidspunkt for skriving Tekster Tidspunkt for vurdering Vurdering Høsten 2012 Skrevet på skolen, selvvalgt skrivehandling Nasjonalt prosjektmøte Gardermoen januar 2013 Par mot par, trinn ukjent Eleven ukjent Våren 2013 Skrevet på skolen, selvvalgt skrivehandling Vurdert på skolene som utkast og som presentasjonstekst våren 2013 Ulike løsninger på skolene Eleven kjent Våren 2013 Skrevet på skolen, selvvalgt skrivehandling: presentasjonstekst fra skolene Nasjonalt prosjektmøte Gardermoen mai 2013 Par mot par, trinn ukjent Eleven ukjent

7 Hva kan vi undersøke? Om vurderingskvalitet Hvor enige er prosjektlærerne når de vurderer på samlingene? Hvor enige er prosjektlærerne når de vurderer på skolene? Vurderer prosjektlærerne likt på skolene og på samlingene? Diskusjon: Bruker prosjektlærerne normene slik de skal?

8 Hvor enige er prosjektlærerne på samlingene? Vurderinger på Gardermoen, januar og mai 2013, tekster fra 6. og 7. trinn) Middels samsvar = på alle vurderingsområder Godt samsvar er over 0.80 Vurderingssamsvar på samlingene Nasjonal prøve i skriving Avgangsprøven i norsk hovedmål, videregående skole Normprosjektvurderinger januar + mai 2013 Avgangsprøven i norsk hovedmål, grunnskolen Utvalgsprøvene i skriving

9 Hvor enige er prosjektlærerne på samlingene? To par vurderer Ida fra 3.trinn Samlet poengsum: 57, høyest av elevene i januar 2013 Par Innhold Kommunikasjon Tekstoppbygning Språkbruk Rettskriving Tegnsetting Skriftmediet Problem 1: uenighet om kommunikasjon: er Idas tekst på eller eller over forventet mestringsnivå? Problem 2: uenighet om innhold og tekstoppbygning: er Idas tekst under eller over forventet mestringsnivå?

10 Vurderer prosjektlærerne likt på skolene og på samlingene? Bruk av skalaen Vurdering Gjennomsnitt Median trinn mai-samling trinn skolevurdering trinn mai-samling trinn skolevurdering (2.72) (3.02) (2.72) (3.04) Det vurderes snillere på skolene enn på samlingene Skalaen har en tendens til å bli mindre, vurderingene klumper seg rundt midten -> kvalitetsforskjellene mellom elevtekstene blir mindre på skolene enn på samlingene

11 Vurderer prosjektlærerne likt på skolene og på samlingene? Ida og Trond fra 3. trinn vurderes på skolen og på maisamlingen 2013 Ida på skolen Ida på maisamlingen: snitt av par Trond på skolen Trond på maisamlingen: snitt av par Kommu - nikasjon Innhold Tekstoppbygning Språkbruk Rettskrivning Tegnsetting Skriftmediet

12 Kan vurderingskvaliteten bli bedre? Er vi på vei mot et tilfredsstillende tolkningsfellesskap? Samarbeid når dere vurderer på skolene Ikke vær redd for å diskutere vurderinger, men bli enige Bruk normene aktivt når dere vurderer Bruk skalaen riktig i forhold til normene når dere vurderer Husk at vurderingen skal være læringsstøttende i forhold til normen! Ikke vurder eleven, men teksten eleven skriver

13 Hva kan vi undersøke? Om tekstkvalitet Hvor gode er elevene til å skrive? Er det forskjell i tekstkvaliteten på ulike trinn? Er det forskjell i tekstkvaliteten ved ulike skrivehendelser? Hva kjennetegner svært gode, tilfredsstillende og svært svake elevtekster?

14 Hva mener prosjektlærerne om kvaliteten på tekstene elevene har skrevet? Både i januar og i mai skrev elevene noe under normen trinn, snitt trinn, snitt Januar Mai Elevene skrev noe bedre i mai enn de gjorde i januar

15 Er det forskjeller i tekstkvaliteten på ulike trinn? Det er store individuelle forskjeller i tekstkvalitet uansett trinn Mai 2013 De beste tekstene (25%) De svakeste tekstene (25%) trinn trinn

16 Er det forskjeller i tekstkvaliteten på ulike trinn? Det er liten forskjell i tekstkvaliteten på tekstene fra 3. og 4. trinn De beste tekstene (25%) Januar Mai 3. trinn 43% 41% 4. trinn 57% 59% Det er ganske stor forskjell i tekstkvaliteten på tekstene fra 6. og 7. trinn De beste tekstene (25%) Januar Mai 6. trinn 22% 38% 7. trinn 78% 62%

17 Er det forskjeller i tekstkvaliteten ved ulike skrivehendelser? For elevene på trinn ser skriveferdigheten ut til å være noenlunde stabil for alle skrivehendelser 50% av de beste skriverne på januarsamlingen 2013 er blant de beste skriverne også på maisamlingen % av de svake skriverne på januarsamlingen 2013 er blant de svake skriverne også på maisamlingen 2013

18 Er det forskjeller i tekstkvaliteten ved ulike skrivehendelser? For elevene på trinn ser skriveferdigheten ut til å variere med skrivehendelsen 30% av de beste skriverne på januarsamlingen 2013 er blant de beste skriverne også på maisamlingen % av de svake skriverne vurdert på januarsamlingen 2013 er blant de svake skriverne også på maisamlingen 2013

19 Hva mener prosjektlærerne om kvaliteten på tekstene elevene har skrevet? Noen konklusjoner og punkter til diskusjon Elevene i prosjektet er på vei til å skrive i samsvar med normene det er som det skal være Det er store individuelle kvalitetsforskjeller mellom tekstene i prosjektet Kvalitetsvariasjonen samsvarer med internasjonale funn Kvalitetsvariasjonen er et argument for en individualisert læringsstøttende respons på elevens utkast

20 Tekstkvalitet - noen konklusjoner og punkter til diskusjon På 3. og på 4. trinn ser skriveferdigheten ut til å være noenlunde stabil Hvorfor? På 6. og på 7. trinn har skriveferdigheten en tendens til å være ustabil Hvorfor?

21 Tekstkvalitet - noen konklusjoner og punkter til diskusjon Tekstene vurderes som bedre på skolene enn på samlingene Hvordan skal forskjellene mellom de to ulike vurderingshendelsene forklares? Innebærer forskjellene mellom de to vurderingene at prosjektlærerne - når de vurderer på skolen - strever med å gi en læringsstøttende respons på elevenes utkast/tekster som er forankret i normene?