Trond Buland, Inger Langseth PLU, NTNU. Forskning på individuell vurdering i skolen (FIVIS) Satsing på vurdering,udir 2012

Transkript

1 1 Trond Buland, Inger Langseth PLU, NTNU Forskning på individuell vurdering i skolen (FIVIS) Satsing på vurdering,udir 2012

2 2 Problemstilling 1. Hvordan kommer skoleeieres, skolelederes og læreres vurderingskompetanse til uttrykk gjennom fortolkninger, forståelse og praksiser? Vurdering handler om hvordan ulike aktører forstår hva som ligger i de ulike politiske føringene og intensjonene og hvordan de snakker om vurdering og egen vurderingspraksis. Hva vil det si å ha vurderingskompetanse? Hva forstår de ulike aktørene med kvalitet i vurdering? 2. Hvilke vurderingspraksiser finnes i norske klasserom? Vurderingspraksiser handler her om bruk av ulike didaktiske verktøy og metoder, omfanget av elevvurderingen, samt likheter og forskjeller i vurderingspraksiser. Har de nasjonale føringene har skapt grobunn for innovative undervisningsmetoder? Blir eksisterende praksiser blir videreført under nye begreper, eller har gode praksiser faktisk forsvunnet? 3. Hvilken betydning har vurderingspraksisene for elevenes opplevelse av læringsprosesser og læringsutbytte? Læringsprosesser handler her om hvordan elevene drar nytte av skolens vurderingskultur og vurderingspraksiser i sin læringsprosess. Hvordan kan vurdering kan stimulere til læring? Hvordan opplever elevene skolens vurderingspraksis, og hvilken betydning den har for deres læring?

3 3 Metode Datagrunnlag for rapport 1: Fokusgruppeintervju: lærere, skoleeiere, skoleledere Kvantitative kartleggingsstudier, nettbasert spørreskjema Lærere og skoleledere/skoleeiere Dokumentanalyse Videre: Casestudier (klasseromsobservasjon, intervjuer, dokumentstudier i 8 skoler)

4 4 Delrapport 1 Vurdering i skolen. Intensjoner og forståelser Trond Buland, Lise Vikan Sandvik, Gunnar Engvik, Henning Fjørtoft, Inger Langseth, (NTNU, Skole- og læringsforskning/plu) Siri Mordal, Bjørg Eva Aaslid (SINTEF)

5 5 Forskningsanalytisk ramme Nyere forskning Prinsipp for opplæringa Læreplanen Forskriften Rundskriv Annen informasjon Intensjoner Forståelser Kunnskaper, ferdigheter og forståelser som trengs for en kompetent ansvarlig vurderingspraksis Faglig kompetanse Mål og kriterier Vurderingssituasjoner Lærervurdeiering Medelevvurdering Egenvurdering Foreldreinvolvering Operasjonalisering

6 6 Intensjoner og forståelser Kunnskaper, ferdigheter og forståelser som trengs for en kompetent ansvarlig vurderingspraksis Faglig veiledning Tilbakemeldinger

7 7 Forståelser Data fra Elevundersøkelsen Hva sier elevene om faglig veiledning

8 8 Forståelser Data fra FIVIS Hva sier lærerne om faglig veiledning: tilbakemelding Noen grad Stor grad at elevene vet hva som er forventet av dem i videregående skole

9 9 Forståelser Data fra FIVIS Hva sier lærerne om faglig veiledning: egenvurdering Liten Noen grad Stor grad..at vurdering bidrar til å øke elevenes kompetanse (vgs)..at min vurdering bidrar til å øke elevenes kompetanse i fag (vgs)

10 10 Nasjonale intensjoner og føringer 3-2. Formålet med vurdering Formålet med vurdering i fag er å fremje læring undervegs og uttrykkje kompetansen til eleven, lærlingen og lærekandidaten undervegs og ved avslutninga av opplæringa i faget. Vurderinga skal gi god tilbakemelding og rettleiing til elevane, lærlingane og lærekandidatane. Undervegsvurdering skal brukast som ein reiskap i læreprosessen, som grunnlag for tilpassa opplæring og bidra til at eleven, lærlingen eller lærekandidaten aukar kompetansen sin i fag Vurderingsforskriften

11 11 Nasjonale intensjoner og føringer Elevene lærer best når de: 1. Forstår hva de skal lære og hva som er forventet av dem.(standard/læringsmål, kriterier) 1. Får tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen. 1. Får råd om hvordan de kan forbedre seg. 1. Er involvert i eget læringsarbeid ved blant annet å vurdere eget arbeid og utvikling.(egenvurdering) UDIR-prinsipper for underveisvurdering

12 12 Studieforberedt Høy kompetanse - grunnleggende ferdigheter

13 13 Tilsiktet læringsresultat 1. Sette tilbakemeldinger inn i en kontekst Summativ, formativ Validitet, reliabilitet 2. Kjenne til status for individuell vurdering i dag, for å kunne bidra til utvikling i skolen

14 14 Et felles utgangspunkt. Hvorfor skal læreren gi tilbakemeldinger og eleven egenvurdere seg selv? effektivisere tilfeldighetene og ineffektiviteten i prøving og feiling som læringsmetode (Sadler 1989)

15 15 Kontekst for tilbakemeldingen Summativ vurdering Tilbakemelding Formativ vurdering Eleven deltar i en vurderingssituasjon Læreren vurderer elevens arbeid Eleven egenvurderer arbeidet sitt Læringsmål Vurderingskriterier Vurderingsform Læreren velger ut fokusområder for elevens videre arbeid ved å: Påpeke det eleven mestrer Gi informasjon som gjør eleven i stand til å arbeide videre med læringsmålene Eleven beskriver sitt videre arbeid ( tilbakemelding) Eleven arbeider med tilbakemeldingen I den samme teksten I nye kontekster Læreren stillasbygger elevens læring Underviser Bruker mer tid Medelever stillasbygger Pararbeid, gruppearbeid (Maddalena Taras, 2010)

16 16 Hvor vanskelig er det å gi valide tilbakemeldinger? Tilbakemeldinger 1. Oppgavene 2. Vurderingsformer 3. Arbeidsoppgaver 4. Vurderingskriterier 5. Læringsmål 6. Kjennetegn på måloppnåelse 7. Kompetansemål Validitetskjeder Læringsmål Vurderingskriterier Vurderingsformer Arbeidsoppgaver Vurderinger Kompetansemål Kjennetegn på måloppnåelse (Crooks, 1996; Engh, Dobson og Høihilder, 2007; Messick, 1995)

17 17 Hva kjennetegner effektive tilbakemeldinger? Opptil 40 % av vår feedback har negativ innvirkning på elevenes læring. Vi spør oss selv for lite: Hva fører til læring? Tilbakemelding er mest effektiv: Når den kommer til rett tid den kan komme for tidlig Når den er klart og tydelig koblet til intensjonen med læringen Når den lærende forstår suksesskriteriene eller standard for oppgaven Når den tilbyr strategier heller enn løsninger Hvis fokus er på oppgaven og ikke på den som skal lære (self/ego) Det er stor forskjell på feedback Good boy and Good job. Når den utfordrer, krever handling og er oppnåelig Lærerne må gi elevene tid til å ta tak i feedback og gjøre noe med den. (lærerne overser dette) Må motivere Godon Stobart, Larvik april 2010

18 18 18 Hva kjennetegner gode oppgaver 1. Er autentiske og satt i en realistisk kontekst ( orientert mot verden) 2. Er læringsaktiviteter i seg selv 3. Tillater en holistisk heller enn en fragmentert tilnærming 4. Er ikke repetitive hverken for lærer eller elev 5. Utfordrer elevenes egenvurdering (deres ansvar for å lære selvstendig) 6. Er åpne nok til at elevene kan vinkle oppgavene til sine egne behov og interesser 7. Forstås av elevene på tilnærmet lik måte som læreren 8. Inneholder ikke forutinntatte holdninger til tema eller elevgrupper ( Boud, ARG)

19 19 19 Hva kjennetegner varierte vurderingsformer? Får alle elever vise hva de kan gjennom lærerens måte å organisere arbeid og vurderingssituasjoner på? 1. Skriftlig 2. Muntlig presentasjon FIVIS 3. Muntlig samhandling 4. Lesing 5. Lytting 6. Multimodale produkt 7. Praktiske oppgaver

20 20 Hva kjennetegner klare og synlige mål for undervisningen? Det korte og det lange tidsspennet. Vet du hva elevene dine skal lære i hver time, uke, periode, fag? Vet elevene hva de skal lære i hver time, uke, periode, fag? Vet du og eleven hva det legges vekt på i arbeidet og i vurderingssituasjonene? Lærerne uttrykker også i intervjuene at de har klare mål for læringa. Det kan altså synes som om dette arbeidet foregår i stor grad, men at det ikke kommer til uttrykk gjennom planarbeidet i skolene. Barneskolen utmerker seg ved å ha tydelige mål for elevenes læring Målene beskrives ofte som kortsiktige (uke) Langsiktige mål er mindre omtalt 20

21 21 Hvor reliabel er vurderingene? Interreliabilitet Vurderer du den første og den siste oppgaven likt? Vurderer du stabilt over tid (glidning)? Intrareliabilitet Vurderer du likt med andre lærere på skolen og på andre skoler? (Erickson) Grunnlag: 5+ Lokalt arbeid med læreplaner (mål, kriterier) Kjennetegn på måloppnåelse (rubrikk) Eksempler er en god måte å vise en standard på (Sadler)

22 22 Vurderingskompetanse Validitet Reliabilitet Synlig/usynlig pedagogikk

23 23

24 24 Men hvis jeg sitter med et sånt skjema selv da, mens jeg retter, så er det veldig mye lettere å finne ut for min del hvilke nivå eleven Det ligger store på. variasjoner Også på kan kommunenivå jeg ta utgangspunkt i det når jeg gir tilbakemelding, eller framovermelding for å være korrekt, men ja Så det er det jeg har gjort nå da på tentamenene. Jeg gir elevene Kortsiktige en skriftlig mål tilbakemelding på Itslearning, Lærerne også prøver ut har ulike jeg vurderingsverktøy det her skjemaet for meg selv da, som jeg tar vare på. Arbeid med mål og kriterier Deltakere i satsing på vurdering ser ut til å ha kommet lenger Barneskolene har kommet lengst i arbeidet med mål for undervisningen

25 25 Det er store variasjoner på kommunenivå En ting er å sette kriterier og lage skjema Deltakere i satsing på vurdering ser ut til å ha kommet og lenger sånt, det er ganske artig og klargjørende for en selv, men så er det å få det til å bli nyttig for elevene. Det synes jeg er vanskelig. Barneskolene har kommet lengst i arbeidet med mål for undervisningen Kortsiktige mål Lærerne prøver ut ulike vurderingsverktøy

26 26 Summegrupper 1 min Hvilke vurderingskompetanser er fremtredende ved din skole?

27 27 Forskningsfunn. Delstudie 1

28 28 Skoleeiere Primært opptatt av reliabilitet Rettferdig vurderingspraksis Fortolkningsfellesskap skoleeier spiller en lite sentral rolle i utviklingsarbeidet?

29 29 Fagkompetanse er viktig Viktig faktor i lærerens vurderingskompetanse Lærere med høy fagkompetanse understreker dette Lærere i barneskolen framhever dette i mindre grad Skoleledere fremhever også fagkompetanse som viktig

30 30 Kjennskap til nasjonale intensjoner og føringer er.. Halvparten av lærerne rapporterer at de har god kjennskap til vurderingsforskriften De fleste er enige i at læreplanene i Kunnskapsløftet er viktig for deres praksis De fleste rapporterer om praksiser som ligger nært opp til intensjonene i forskriftene

31 31 Arbeid med mål og kriterier Det er store variasjoner på kommunenivå Deltakere i satsing på vurdering ser ut til å ha kommet lenger Barneskolene har kommet lengst i arbeidet med mål for undervisningen Kortsiktige mål Lærerne prøver ut ulike vurderingsverktøy Metodisk mangfold Evalueringsverktøy, kartleggingsprøver..

32 32 Vurdering og tilpasset opplæring Enighet om at underveisvurdering er viktig i forhold til tilpasset opplæring Lærere i vgs noe mindre enig i at underveisvurdering styrker lærernes muligheter for tilpasset opplæring Lærere i barneskolen: Kartleggingsprøver utfordrende Fungerer rangerende, hjelper ikke i videre undervisning I en kartleggingsprøve så bare klumper du sammen alle temaene i en masse. Og hva skal du ta tak i da? Skal du ta tak i alt da? Det blir til slutt ingenting ut av det, vi vet bare hvem som er svak.

33 33 Lærernes læring Lærernes læringsbaner (utvikling over tid og sted) for kompetanseutvikling Erfaring som læringsbane ( andre lærere, elever) Kurs- og etterutdanning som læringsbane Barneskolens ledere (44% i stor grad viktig) Videregående skoles ledere ( 48% i liten grad viktig) Lærere i vgs har faglig, individuelt perspektiv - fagnettverk Lærere i barneskolen har et kollektivt perspektiv Barrierer: Tid og klassestørrelse

34 34 Lærernes syn på egen praksis Lærere i vgs har større tiltro til egen vurderingspraksis enn lærere i grunnskolen Lærere har god forståelse av forholdet mellom underveis- og sluttvurdering Lærere i grunnskolen har i større grad enn i vgs endret sin vurderingspraksis de siste årene Det er ingen store forskjeller mellom de som er med i satsingen på vurdering og ikke. IKT-verktøy støtter arkivering og dokumentasjon Skolene har ofte ulike vurderingskulturer (innad/utad) Vurdering er et tema for diskusjoner i kollegiet Opplever at man jobber sammen for å utvikle god praksis men mange opplever likevel at det er store forskjeller I praksis

35 35 Delstudie 2 Operasjonalisering Case studier: fagspesifikke, fagdidaktiske Observasjon, intervju ved åtte skoler i fire fag

36 36 Black, P. & Wiliam, D. (2005). Changing teaching through formative assessment: Research and practice. I CERI (Red.), Formative assessment: Improving learning in secondary classrooms. Paris: OECD. Black, P. & Wiliam, D. (2006). Developing a theory of formative assessment. I J. Gardner (Red.), Assessment and learning (s ). London: Sage Publications. Crooks, T.J., Kane, M.T., & Cohen, A.S. (1996). Threats to the Validity of Assessments. Assessment in Education 3(3), Desimone, L. M. (2009). Improving impact studies of teachers professional development: toward better conceptualizations and measures. Educational Researcher, 38(3), Engh, R., Dobson, S. og Høihilder, E.K. (2007). Vurdering for læring. Kristiansand: Høyskoleforlaget Evensen, L.S. (2009). Vurdering av skrivekompetanse: En kompleks utfordring. I O. Haugaløkken, L.S. Evensen, F. Hertzberg & H. Otnes (red.), Tekstvurdering som didaktisk utfordring Oslo: Universitetsforlaget. Nordenbo, S. E. Larsen, M.S., Tiftikçi, N., Wendt, R.E. & Østergaard S. (2008). Lærerkompetanser og elevers læring i barnehage og skole. Et systematisk review utført for Kunnskapsdepartementet, Oslo. Universitetet I Aarhus: Dansk Clearinghouse for Uddannelsesforskning. Tellefsen, H.K. & Martinussen, G. (2011). Vurdering som en del av undervisning og læring. I: T.L. Hoel, T.M. Guldal, C.F. Dons, S. Sagberg, T. Solhaug & K. Wæge (red.), FoU i praksis Rapport fra konferanse om praksisrettet FoU i lærerutdanning. Trondheim, 10. og 11. mai (s ). Trondheim: Tapir Messick, S. (1995). Validity of Psychological Assessment. Validation of Onferences From Persons Responses and Performances as Scientific Inquiry Into Score Meaning. American Psychologist 50(9), Sadler, D.R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18, Sandvik, L.V. (2011). Via mål til mening. En studie av skriving og vurderingskultur i grunnskolens tyskundervisning (Doktoravhandling, NTNU, Trondheim).

37 37 Dokumentert læringsresultat To minutters evaluering Noter ned: 1. de to viktigste punktene fra forelesningen 2. de to vanskeligste punktene fra forelesningen Lever inn notatene (før du forlater rommet og tar en pause)