Vurdering erfaring fra Norge og utlandet. prof. Stephen Dobson

Transkript

1 Vurdering erfaring fra Norge og utlandet prof. Stephen Dobson

2 C3Be4me Tidspunkt Fri start og Fri fart

3 1. Vurdering for læring og hvorfor tolker vi så ulikt? 2. Feedback/tilbakemelding...veien videre? 1. Kjennetegn på måloppnåelse trenger vi dem? 2. Utvikling av en bærekraftig vurderingskultur og vurderingsprinsippene

4

5 Motorvej for samfunnsmessig vekst 3 måneder ekstra læring i forhold til gjennomsnitt elev per år med vurdering for læring (lav investering). Gevinst: en halv GSCE karakter (slutten av lower secondary skole) 5 måneder hjemlekser 9 måneder effektiv feedback (Toolkit of Strategies to Improve Learning. Higgins mfl Durham University: Centre for Evaluation and Monitoring)

6 Er det innsats og vurdering av innsats som er avgjørende i vurderingsarbeid, læring og læringsutbytte? REDIGERES I TOPP- /BUNNTEKST

7 Bounce. How Champions are Made (Syed, 2010) Talent myte vs timer av målrettet praksis med god coaching ( a life-long persistance of deliberate effort to improve performance, s12) Ekspert i chunking av perseptuell informasjon og kombinering av kontektuelle variabler (combinatorial explosion) (s43). REDIGERES I TOPP- /BUNNTEKST

8 Vurdering for læring Noen begreper Vurdering som læring Vurdering av læring.

9 Norge : Vurdering for læring det nasjonale satsing. Elever og lærlinger lærer best når de forstår hva de skal lære og hva som er forventet av dem får tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen får råd om hvordan de kan forbedre seg er involvert i eget læringsarbeid ved blant annet å vurdere eget arbeid og utvikling

10 1 2 Elevene skal forstå hva de skal lære og hva som er forventet av dem ( 3-1) Elevene skal få tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen ( 3-11) 3 Elevene skal få råd om hvordan de kan forbedre seg ( 3-11) 4 Elevene skal være involvert i eget læringsarbeid ved blant annet å vurdere eget arbeid og egen faglig utvikling ( 3-12)

11 Vurdering for læring møter kritikk? Instrument (mellomlang tidsspenn) vs prosess (korte tidspenn) (Bennett, 2011) Det store uenighet: teorier om hva skjer når det praktiseres vurdering for læring i klasserom?

12 Mot en teoretisk syntese (Dobson mfl., 2012) VfL retning Mestring System Erfaring Sosiokulturelt Vurdering for læring i fag Teamnivå Teoretiske begreper Motivasjon Tilbakemelding Initiation-response-evaluation Selvregulert læring Vurderingshandling Blikk for øyeblikk Samhandling og kulturell kontekst Kognitiv acceleration «Big ideas» Didaktiske tradisjoner i hvert fag Bærekraftig vurderingskultur Interaksjon, kommunikasjon og prosesser

13 2. Tilbakemelding/feedback...veien videre? Gir meg en definisjon på en god tilbakemelding/feedback?

14

15 THE TEACHER SAYS.. 1.Your son has a remarkable ability in gathering needed information from his classmates. Really means: He was caught cheating on a test. 2. Karen is an endless fund of energy and viability. Really means: The hyperactive monster can't stay seated for five minutes. 3. Fantastic imagination! Unmatched in his capacity for blending fact with fiction. Really means: He's definitely one of the biggest liars I have ever met. REDIGERES I TOPP- /BUNNTEKST

16 Underveisvurdering 3-11 Undervegsvurderinga skal innehalde grunngitt informasjon om kompetansen til eleven, lærlingen og lærekandidaten og skal givast som meldingar med sikte på fagleg utvikling Det skal kunne dokumenterast at undervegsvurdering er gitt, jf til 3-15

17 Tilbakemelding noen betraktninger Norske elevundersøkelse Hattie og Timperley (2007): Hvor er målet, hvor langt har jeg kommet, hvordan kan jeg gå videre Information which a learner can confirm, add to, overwrite, tune, or restructure domain knowledge, meta-cognitive knowledge, beliefs about self and tasks. (Winne og Butler, 1994) Hattie og Timplerley Fra elev til læreren (NB: mer viktig enn andre vei) og 1. task, 2. prosess needed to understand task, 3. meta-kognisjon (vurdering som læring?; L97: ansvar for egen læring) 4, selvet

18 Læringsutbyttet (student achievement outcomes) Prof. John Hattie (New Zealand) Direktor av Senter for Assessment Tools for Teaching and Learning Bok: Visible Learning (2009)...utgitt som Synlig læring (2013)

19 uønsket Ønsket effekter

20 Hattie (EARLI foredrag, 2007) Effekt størrelse Selv-rapportering av karakter (dvs egen vurdering) 1.44 Tilbakemelding.72 Underveis vurdering.70 Hyppighet/ Effekt av prøver.46 Undervisning av prøveferdigheter.22

21 Kritisk blikk på Hattie og evidensbaserte kunnskap Vi kan ikke bruke et hvilket som helst middel bare fordi de er «effektive». Pedagogikk er først og fremst en moralsk praksis, og vurderinger og beslutninger innenfor pedagogikken er derfor ikke bare om hva som er mulig (en faktisk vurdering), men også om hva som er pedagogisk ønskelig (en verdivurdering). Å anta at forskning om «hva som virker» kan erstatte normative profesjonelle vurderinger, er rett og slett å gjøre et helt uberettiget hopp fra er til bør. Men kanskje verre: En slik pedagogikk vil med nyere og sikker «vitenskapelige forskning» i ryggen lett kunne avvise de pedagogiske praktikernes rett til å handle ut fra en egenopplevd nødvendig (u)sikkerhet og nøling om hva som kanskje «[ ] virker i situasjoner hvor begivenhetene kommer galopperende på løpende bånd». Den vil se bort fra mange av de kildene som kan være med på å gi pedagogikken nyanserte, sensitive, kontekstuelt gripende, innsiktsfulle og ofte ubestemmelige erfaringer. (Steinsholt i Steinsholt og Dobson, 2009)

22 Feedback i skolen (Hartberg, Dobson og Gran, utgis sommer 2012) 2 prinsipper: Læringsfremmende Anerkjennelse vs. underkjennelse En model - Innhold, tidspunkt og roller

23 Det er vanskelig å være bøddel, har noen sagt, og dermed satt ord på på det som er en av lærerens største utfordringer: å gi ærlig, faglig og objektiv feedback, og samtidig vise omsorg med følelsesmessig engasjement. (Hartberg, Dobson og Gran, 2012) Killer feedback: tube.com/watch?v=lswb qjewpwg&feature=relate d atch?v=jedoaroy0pe

24 Mangel tenkning... If the gap is perceived as too large by a student, the goal may be unattainable, resulting in a sense of failure and discouragement on the part of the student. Similarly, if the gap is perceived as too small, closing it might not be worth any individual eff ort. Hence, to borrow from Goldilocks, formative assessment is a process that needs to identify the just right gap (Sadler 1989: 130)

25 Kultur for timing og innsats Langetidspenn David Beckam... Mellomlange 2-6 uker...kriterier(kjennetegn tenkning Korte tidspenn: Bolt, rice and peas - løper 100 metre på Bislett hot-seat questioning...

26 Den korte tidsspenn...100m seconds

27 Den korte tidsspenn: begynnelsen av timen Figurene: WALT og WILF (Liscard barneskole, Walt you can t really go wrong with, but Wilf was a bit of a disaster - it meant teachers were giving children the success criteria instead of asking children to generate them. It made children think, This is about doing what the teacher wants us to do s (Times Education Supplement, ).

28 I løpet av timen For å rette feil er øyeblikkelig feedback å foretrekke (Shute, 2007). Lærerens blikk som følger (med) elevenes læring kroppsstillinger Hot-seat questioning Trafikklys

29 Ventetid Siktet I avhør er det et hav av stillhet mellom spørsmål og svar mine kjente roper jeg ikke jeg berger seilene i en båt uten navn. (utgitt i diktsamlingen Flukt, av Stephen Dobson, 1991, Solør: Solør forlaget)

30 C3Be4me

31 Mellomlangetidspenn Mer om dette snart...i forbindelse med lærerplan analyse. vurderingskriterier/kjennetegn på måloppnåelse...timing: Rådene får begrenset verdi når de forteller hvordan elevene burde prestert annerledes på prøver, presentasjoner eller produkter som ikke kan forbedres.

32 Langetidspenn Hvor er jeg? Hva er neste skritt? Og Hvordan skal jeg komme dit?.. konsentrerer seg om det som er viktig i faget (2-3 hovedkompetanser) Trysil vgs eks.

33 Oppgaven var (lange tidspenn): Når vi skal kommunisere en slik langsiktig underveisvurdering av elevene, blir det alt for omfattende å beskrive status i hvert enkelt kompetansemål i faget. Vi må finne noen faglige kategorier som går på tvers av emnene i faget. Disse kategoriene kan for eksempel lages ut fra klynger av kompetansemål eller ut fra den aktuelle læreplans formål for faget. Vi vil nå at du skal bestemme deg for hvilke 4 kategorier du mener er de aller viktigste i et av dine fag, og som du mener må inkluderes i en halvårsvurdering. Som overskrift skriver du fag og trinn, og så setter du opp hvilke kategorier som er de viktigste. Husk at det er hele reisen i faget vi er interessert i. I videregående varierer det jo en del hvor lenge reisen varer (noen fag avsluttes etter ett år, mens andre er flerårige). Det er fint om det går tydelig fram av ditt svar hvor lenge reisen varer i det faget du omtaler.

34 Norsk skriftlig tekster Jeg har elevene de 3 siste årene og ideelt sett skulle jeg da kunne forvente at jeg kunne finne fram læreplanmålene for GK, VG1 og VG2, og starte der elevene i følge læreplanmålene skal være. Sånn er det ikke. Det er svært få elever som er der at de kan oppfylle kravene til en skriftlig eksamen med en god karakter etter 13 år. Noen mener at det viser at det er noe galt med eksamen, noe galt med sensor, noe galt med læreren, noe galt med eleven eller noe galt med læreplanmålene. Uansett skulle alt dette peke tilbake på en undervisning som ikke i tilstrekkelig grad motiverer eleven, og at kravene til eksamen er så vanskelige å oppfylle at selv sensor er usikker på hva som skal vektlegges.

35 Språk og formelle ferdigheter, forståelse og bruk av tekstene, forståelse av språk og kultur, teksten skal ha en tematisk sammenheng, hensiktsmessig struktur og eleven skal ha brukt et bredt spekter av språklige virkemidler, og, jeg holdt nesten på å glemme, teksten skal kommunisere godt og oppgaven skal være besvart. Jeg kan allerede her si at jeg har identifisert en klynge med typiske kompetansemål og funnet fram til formålet med faget Så kommer det vanskelige. Hvilke 4 kategorier er de aller viktigste som jeg må inkludere i en halvårsvurdering? Jeg skal gi eleven hjelp til å nå en samlet måloppnåelse, og jeg skal gi informasjon om hvordan de kan komme seg videre. 1. Kravene til kommunikasjon og presentasjon, 2. Kriterier for god tekstorganisering 3 Tekstenes språklige variasjon, ordvalg og setningsflyt. 4. Kilder og kildebruk. Hvordan vi kan bruke modelltekster for å bli kjent med egen sjangerskriving, og hvordan vi kan skille mellom modelltekst og egen tekstproduksjon.

36 dannelse er det som er igjen etter at vi har glemt alt vi har lært (Ellen Key sitert i Steinsholt og Dobson (red.) Dannelse Introduksjon til et ullent pedagogisk landskap 2011:7).

37 3. Kjennetegn på måloppnåelse trenger vi dem?

38 www. utdannings direktoratet.no

39 Uttrykk kjennetegn på måloppnåelse Kjennetegn på måloppnåelse er en beskrivelse av kvaliteten på det eleven mestrer i forhold til kompetansemål i læreplanen. (Prosjektet Bedre vurderingspraksis) Kriterier er det vi vurderer ut i fra Når lærere skal vurdere elevbesvarelser, bruker de kriterier som målestokk, mens de kan bruke kjennetegn på det som er karakteristisk for en besvarelse. (Throndsen mfl. 2009: 108)

40 Lærerplan og kjenntegn på måloppnåelse Roar Engh (Bedre Skole, 4/12): Ask og Embla...klalitative skjønnsmessige vurderinger blir borte...kvantitive prøver for å se om det er nådd Backwash... forbereder du deg ikke godt nå, får det alvorlige konsekvenser for deg!

41 Revidert Bloom taksonomi (2002) Huske Forstå Anvende Analyse Evaluere Skape Fakta Begrep Prosedyre Meta- kognisjon

42 Kompetanse på flere mestringsnivåer et eksempel 5-6? Finne informasjon: Bruker flere kilder og avgjør hvor relevant informasjonen er Forstå og tolke: Tolker dilemmaer, tvetydigheter og motsetninger i oppgaven Å reflektere over og vurdere: Bruker fagkunnskap til å kritisere og videreutvikle også egne oppfatninger 3-4? Finne informasjon: Bruker flere kilder og trekker ut informasjon Forstå og tolke: Ser sammenhenger mellom ulike deler av oppgaven og tolker sammenhenger som ikke er tydelige Å reflektere over og vurdere: Bruker fagkunnskap til begrunnede vurderinger 1-2? Finne informasjon: Bruker en eller få lett tilgjengelige kilder Forstå og tolke: Oppfatter hva oppgaven dreier seg om og trekker enkle slutninger Å reflektere over og vurdere: Uttrykker personlige meninger og erfaringer Basert på skalaen for nasjonale prøver i lesing for 8. trinn Jarl Inger Wærness

43 Hva skjer når vi vurderer? Hva er en helhetlig vurdering? A work judged as brilliant overall may not rate as outstanding on each criterion. This would be necessary, logically and arithmetically, for the work to be assigned the top grade. Conversely, another work that comes out well on each criterion may be judged as only mediocre overall. (Sadler, 2008) I do not know how to define quality, but I know it when I see it - ordtak

44 Holistisk (global) vs. analytisk (Sadler) Holistisk (helhetlig) connoisseur Intuitiv Det som ikke kan forklares Hviler på en kvalitativ vurdering (av helheten) Analytisk Plasserer arbeid ved hjelp av kriterier Vektlegger dem til en endelig karakter Hviler på en kvalitativ vurdering (med hver kriteria)

45 Utfordringen. Standpunktkaraktersetting i Norge kan i stor grad betraktes som et anliggende for den enkelte lærer, prisgitt den enkelte skole og lærers vurdering og vurderingsstrategier (Prøitz og borgen, 2010: 22) Mangle på tolkningsfelleskap i og mellom skoler Behov for bedre samsvar mellom eksamen og standpunktvurdering Innsats og aktivitet tas gjerne med i karaktervurderingen (Proitz og Borgen, 2010: 25). Generelt sett favoriserer en vektlegging av mestring elever som er høyt presterende, mens fokus på progresjon favoriserer elever som er lavere presterende REDIGERES I TOPP- /BUNNTEKST

46 Resultater om hva vektlegges Standpunktkarakter: Informantene peker på at flertallet blir motiverte, men at det for noen særlig de svake, virker hemmende for elevenes arbeid (s61) Elever med lav grad av måloppnåelse, de som sliter både med hjemmeforhold osv ( ) på muntligkarakteren gir jeg de litt ekstra kred. Jeg vet at det er så mange ting de har i hodet sitt, og om de greier å legge ting til side da kan jeg jo gi noe ekstra. (norsklærer, s70) Deltakelse har kanskje noe betydning for svak og middels elev (mattelærer, s70)...ikke for

47 Kladd fra s43

48 4. Utvikling av en bærerkraftig vurderingskultur

49 3 modeller Skolebasert ansikt til ansikt samlinger Nettbasert med veiledning og gruppearbeid Nettbasert for skoler/rektorer...fri start og fri fart

50 Tid... Hargreaves og Shirley - forslår 2-3 years for å overvinne the dips and blips of unusual events or difficult years Hva trenges.fullan 3 6.eller 8 år. Utbrent vs. selv-gående.og det uferdige regelmessigmøter

51 Pedagogisk årshjul utvikling av vurderingskultur en modell, kan repeteres hvert år Des Jan Fagdidaktiske kjennetegn og lærerplan Frem mot: utviklingssamtale, halvårsvurdering - feedback Nov Feb Utprøving Okt Sep Utvikling av en bærerkraiftig vurderings kultur Mar Apr Frem mot: halvårsvurdering, standpunkt, eksamen - feedback Vurdering og feedback Aug Jul Jun Mai Sluttvurdering, standpunkt Eksamen

52 Vurderingskompetanse vurdering som læring...vurderingskapasitet...det å være en connoisseur Vurderingskompetanse forstås som bruk av metoder, vurderingsformer, og vurderingsresultater, utvikling av et fagspråk om vurdering, og som sammenheng mellom mål og vurdering. Å utvikle vurderingskompetanse innebærer også å etablere en vurderingskultur med fokus på elevenes og lærlingenes læring, med rom for å prøve og feile og for å gi hverandre konstruktive tilbakemeldinger (Utdanningsdirektoratet, 2011: 91) NB: vurderingskompetanse er noe mer en redskapskompetanse - ikke et kun et instrument...mer en Trude Slemmens 10 prinsipper

53 Vurderingskvalitet hva er dette?...vurderingsprinsipper Min kona forteller. plain Jane vs. sminket og nøyaktig Kjenne igjen smak og urter Mat og helse

54 Hva er en god vurdering? Tilpasset hensikt (fitness of purpose) Gjennomsiktighet Regnskapsplikt (manageability) Gyldighet (konstruktvaliditet) Rettferdighet Pålitelighet

55 Erfaringsutveksling, dokumentasjon av utprøving, social moderation Tolkningsfellesskap og erfaringsutveksling - Utvikling av kapasistet:...med rapport fra team When teachers from a like subject discipline or when working together with the same pupils across subjects meet to discuss and plan pupil work in relation to standards and assessment, knowledge of a tacit and explicit, individual and collective character is founded with increased engagement in the team and in the teaching of the discipline in the classroom, assessment cultures are not only established and cemented, but at the same time open to continual revision.

56 Vurderingsprinsipper kan brukes for å svare på følgende: Dersom elevene skal møte samme vurderingskultur hos alle sine lærerer (i forskjellige fag) hva må til av felles praksis/holdninger?

57 ...vurderingskultur og makt? Fra Sopranos til Lillyhammer

58 Anthony Sopranos Vurderingskultur Feedback is nothing to be afraid of - it s business (saklighet) You can always reject the feedback People provide you with feedback because they care Create opportunites for people to give feedback to your face better than whisper behind your back Don t shoot the messenger, even though you might feel like shooting him/her

59 A student asked his Zen master how long it would take to reach enlightenment. Ten years, the master said. But, the student persisted, what if he studied very hard? Then 20 years, the master responded. Surprised, the student asked how long it would take if he worked very, very hard and became the most dedicated student in the Ashram. In that case, 30 years, the master replied.