NORM prosjektet. We live in testing times, but we need not be at the mercy of them. (Stobart, G. 2008)

Transkript

1 NORM prosjektet Hvilket språk om er hensiktsmessig for de praksisene som skal utvikles? Professor Astrid Birgitte Eggen, UiA We live in testing times, but we need not be at the mercy of them. (Stobart, G. 2008) 10 hovedpunkter 1. Vurdering er verdisetting av kunnskap. 2. Gjennom de praksiser vi har eller utvikler. 3. Arbeidet med kriterier og normer er derfor pågående og spesielt viktig. 4. Det samme er utvikling og revidering av praksiser. 5. Læring er det sentrale og dermed hvordan medvirker til det. 6. Vurdering handler om verdighet, rettferdighet, likeverd og demokrati. 7. Vurdering bærer med seg alle paradokser og dilemma ved undervisning og derfor er det en kontinuerlig maktkamp om. 8. Dette synliggjøres gjennom de nasjonale rammer og strukturer på samme måte som f.eks læreplaner. 9. Vurdering av elever må derfor ses i sammenheng med på skole nivå og på nasjonalt nivå. 10. Gjennom hvordan og hva vi vurderer produserer vi kunnskap om relasjonen mellom skole og samfunn. 3 1

2 Vurdering Verdier Kriterier Validitet /gyldighet Reliabilitet/pålitelighet Syn på Kunnskap Syn på Læring Læreplan Demokrati Meningsskaping Motivasjon/interesse (Hensikter) 4 Astrid Birgitte Eggen 5 Tylerrasjonalen: Hvilke utdanningshensikter skal skolen søke å oppnå? Hvilke læringserfaringer kan bli tilrettelagt for å oppnå disse hensikter? Hvordan kan disse læringsaktiviteter bli organisert effektivt? Hvordan kan vi avgjøre om disse hensiktene er oppnådd? Astrid Birgitte Eggen 6 2

3 Testrasjonalet 1. Identifisere målsetninger (objectives) 2. Definere hver målsetning som handlinger og innhold 3. Identifisere situasjoner der målsetningen ble virkeliggjort (utilized) 4. Overveie måter å presentere disse situasjoner for elevene 5. Overveie mulige fremstillingsformer 6. Bestemmelse om tilbakemeldingsform 7. Bestemme metoder for å få frem et representativt utvalg Astrid Birgitte Eggen 7 USA- NAEP (NCLB og læreplaner i USA) England National assessment and national curriculum Lærere og skoler stilles til ansvar nasjonalt Nasjonalt kvalitets Vurderingssystem Norge??? New Zealand- NEMP og læreplaner her Kun resultater på nasjonalt nivå Astrid Birgitte Astrid Eggen, Birgitte NELVU, Eggen okt Forskrift om endring i forskrift til opplæringslova 3-2. Formålet med Formålet med i fag er å fremje læring undervegs og uttrykkje kompetansen til eleven, lærlingen og lærekandidaten undervegs og ved avslutninga av opplæringa i faget. Vurderinga skal gi god tilbakemelding og rettleiing til elevane, lærlingane og lærekandidatane. Undervegs skal brukast som ein reiskap i læreprosessen, som grunnlag for tilpassa opplæring og bidra til at eleven, lærlingen eller lærekandidaten aukar kompetansen sin i fag. Slutta skal gi informasjon om kompetansen til eleven, lærlingen og lærekandidaten ved avslutninga av opplæringa i faget. Formålet med i orden og i åtferd er å bidra i sosialiseringsprosessen til eleven, skape eit godt psykososialt miljø og gi informasjon om eleven sin orden og åtferd. Undervegs og slutt skal sjåast i samanheng for å betre opplæringa. Kunnskap om elevens, lærlingens og lærekandidatens utvikling i fag, orden og åtferd gjennom undervegs gir læraren grunnlag for å fastsetje standpunktkarakter i fag, orden og åtferd. 9 3

4 Hensikter::: Tre hovedfunksjoner for : Vurdering for ansvarsplikt i forhold til et system Vurdering for sertifisering og seleksjon Vurdering for læring og undervisning (Gipps, 1994) Vurdering av læring. Ingen elevmedvirkning Publikum er utenfor skolen Tider: periodisk, fastsatt langt i forveien Bruker karakterer, prosenter Relaterer til kriterier og standarder Vurdering for læring Ser fremover, brukt til å bestemme neste trinn i undervisning og læring Publikum er lærere og elever i klasserommet Tider: kontinuerlig Bruker ord til å tilpasse tilbakemelding Relaterer til elevens progresjon Elevmedvirkning er nødvendig (Black & Wiliam, 1998; Stiggins, 2002; Gardner, 2006). Vurdering som læring Deliberativ/frigjørende Elevmedbestemmelse og dialogisk Overordnet for og av læring Vurdering FOR læring Vurderinger gjøres som kan være individ sent. eller kriterium sentrert Bruker metoder der gyldighet i forhold til et individ er viktigere enn gyldighet i forhold til en gruppe eller nasjonale kriterier Involverer elevene i fastsetting av kriterier Fører til nye handlinger på basis av analyser og tolkning av tidligere Læreren er. står til ansvar Som en overfor del av all undervisning eleven Pålitelig og foreldre i forhold til eleven. Gyldighet bundet til en kontekst Vurdering AV læring. Forekommer ved spesielle milepæler Forholder seg til kriterier fastlagt nasjonalt eller for en gruppe Betydning av kvalitetssikring Pålitelighet i forhold til mål for en gruppe blir viktigst Pålitelighet Læreren i står til forhold til sammenligninger. ansvar overfor Til bruk storsamfunn for og ansvarliggjøring myndigheter Gyldig på tvers av kontekster Standard Formative evaluation is evaluation designed, done, and intended to support the process of improvement, and normally commissioned or done by, and delivered to, somebody who can make improvements. Summative evaluation is the rest of evaluation: in terms of intentions, it is evaluation done for, or by, any observers or decision makers (by contrast with developers) who need evaluative conclusions for any other reasons beside development. (Scriven, 1991, s.20) 4

5 To andre funksjoner: Diagnostisk Bruk av til å diagnostisere spesifikke utfordringer for enkelt-elever og som grunnlag for beslutninger om tiltak for denne eleven Vurdering som evaluering: Bruk av elev til å : Vurdere utbytte i forhold til læreplan, et kurs, spesifikt materiale eller resurser Vurdere styrker og svakheter ved undervisningen eller en lærer, avdeling, skole eller kommune 13 Tiltak Formål Diagnostisk materiell * Avdekke instruments behov for individuell such oppfølging as large og tilrettelegging scale international på individ- og skolenivå and Karakter- og * Undersøke national hva assessment eleven kan innenfor are sentrale not læringsstøttende neutral means for the prøver Goodhart s skal collection lov: Når mestre faget and bedre. transmission of Veiledningsmateriell målingen blir data definert or knowledge but are som MÅLET kan slutter activiely utnytte systemet det involved å pedagogisk in the Nasjonale være prøver en god production måling. of the phenomena ferdigheter they represent. (Westbury, 2007) Enhver observert * Grunnlag for kvalitetsutvikling på lokalt og statistisk regularitet nasjonalt nivå vil Avgangsprøve og * Avsluttende som har til formål å kollapse når den blir eksamen/fag- og informere samfunnet, arbeidslivet og aktuelle svenneprøve gjennomført utdanningsinstitusjoner for kontroll (arvtakere) om den hensikter. Internasjonale studier områder av faget, og ut fra denne dokumentasjonen bestemme hvor kreftene må settes inn for at eleven * Synliggjøre hvordan skoleeiere, skoler og lærere * Kartlegge elevenes kompetanse i grunnleggende kompetansen den enkelte elev/læring har oppnådd. * Vurdere norske elevers kompetanse relatert til andre land * Grunnlag for indikatorutvikling og politikkutforming Ytre kontroll ytre belønning Indre kontroll medbestemmelse Behaviorisme kognitive sosiokulturelle Summativ Formativ Ytre motivasjon Indre motivasjon

6 ALFA GAMMA SIGMA Ekstern Indre Evaluering psykometrisk Internasjonal e tester OMEGA Individrettet Nasjonale tester Skole tester Klassens tester Mappe Prosjekt Individuell 16 Black, P., J., & William, D. (1998c). Assessment and Classroom Learning. Assessment in Education, 5(1), Dobsen, S., Eggen, A. B., & Smith, K. (2009). Vurdering, prinsipper og praksis. Nye perspektiver på elev- og lærlings. Oslo: Gyldendal akademisk. Eggen, A. B. (2003). Sigma; A case of teacher reflection within formative student assessment. In E. Forsberg (Ed.), Skolan och tusenårsskiftet. En vänbok til Ulf P. Lundgren. Uppsala: Department of Teacher Education, Uppsala University. Eggen, A. B. (2004a). Alfa and Omega in Student Assessment; Exploring Identities of Secondary School Science Teachers: University of Oslo: Unipub Eggen, A. B. (2004b). Teacher Assessment Literacy Beyond Technicalities and Intuition. Studies in Educational Policy and Educational Philosophy(2). Eggen, A. B. (2004c). Alfa og Omega for elev. Bedre skole(4). Eggen, A. B. (2006). Verdsetting gjennom spraksis. In J. Møller & O. Fuglestad (Eds.), Ledelse i anerkjente skoler. Oslo: Universitetsforlaget. Eggen, A. B. (2007). Vurderingskompetanse og definisjonsmakt. Norsk Pedagogisk Tidsskrift. Eggen, A. B. (2010a). PISAs gyldighet blant lærere og skoleledere. In E. Elstad & K. Sivesind (Eds.), PISA: Visjoner og diskusjoner. Oslo: Universitetsforlaget. Eggen, A. B. (2010b). Vurdering som sosial kunnskapskonstruksjon i skolen et spørsmål om demokrati! In C. Lundahl & M. Folke- Fichtelius (Eds.), Bedömning i och av utbildning. Praktik, politik, principer. Lund: Studentlitteratur. Eggen, A. B. (2011) Vurdering for skoleutvikling. Oslo: Gyldendal Akademisk. Gardner, J. (2006). Assessment and Learning. London: SAGE Publications. 6

7 Læringsteori 1. Behaviourisme Vitenskapen og kunnskap handler om det observerbare Læring defineres som ytre, observerbar atferd For å forstå læring, må vi rette fokus mot det som påvirker individet, og den atferd som følger av påvirkningen Læring skjer ved akkumulering av små kunnskapsbiter Læring må organiseres sekvensielt og hierarkisk Vurdering av læring Stimulus og respons Feedback som begrep og prinsipp, straff og belønning Prøver med oppstykking av kunnskapen i biter Målformulering som utgangspunkt for Overførings er begrenset, undervises derfor etter hvert mål Tester gis ofte for å sikre mestring før en går videre Motivasjon er ytre og er basert på positiv forsterkning Kognitive læringsteorier Forklarer og studerer læring som indre prosesser, først og fremst fokus på det mentale. Individuell kunnskapsutvikling Tolking og av stimuli De indre prosessene mellom påvirkning og handling Hvordan organiseres kunnskapen, hva skjer når vi husker, tenker og løser problemer? Modeller for bearbeiding av stimuli / informasjon Begrepsutvikling, læringsstrategier Vurdering for læring og problemløsningsmetoder Utgangspunktet er den enkelte elevs ståsted Metakognisjon og selvregulering Indre motivasjon Forståelse, anvendelse komplekse oppgaver, taksonomier Praktiske prøver 20 Hensikt: å redusere gap mellom eksisterende forståelse og ønsket mål Elever: innsats og arbeid for mer effektive innlæring eller senke forventninger Lærere: Sørge for passende utfordringer og spesifikke mål Assistere elever i å nå målene gjennom effektive læringsstrategier og. Effektiv feed- forward omfatter: Feed-up- hva er mitt mål? Feed back- Hvordan gjør jeg det? Feed forward- hva er neste skritt? hvordan skal jeg jobbe med det? Oppgaven Prosessen Selvregulering Personlig mesting

8 3. Sosiale læringsteorier Læring er meningsskaping og deltagelse i praksisfellesskap. Læringen kan best forstås som sosiale og kulturelle prosesser. Læring foregår alltid i en kontekst. Konteksten er en integrert del av læringsprosessen Hvordan personer lærer og situasjonen de lærer i er del av det de lærer Fokus for oppmerksomhet: samspillet mellom personer, kontekst og redskap Vurdering som læring Interaksjon, dialog, gruppeprosjekter Refleksjon om læring, undervisning, Elevdelaktighet Den nærmeste utviklingssonen Situering av smetoder i kontekst Vurderingssituasjoner gjenspeiler læringssituasjoner Former for tilbakemeldinger Astrid Birgitte Eggen for læring 22 Mappe Vurdering for læring; 13 prinsipper 1. Som et vesentlig profesjonelt område for lærere og ledere 2. Som del av planlegging av all undervisning TILPASSNING og læring AV 3. Vurdering Skal være retningsgivende for for videre OPPLÆRINGEN læringsarbeid og læring undervisningsarbeid har 4. Skal gi retning for tilpasning av undervisning KREVER og læringsarbeid 5. Som mange vesentlig del av klasseromspraksis TILPASSNING AV 6. likhetstrekk Ha basis i læringsmål og en felles forståelse VURDERINGMETODER av kriterier for en 7. med Ha fokus tilpasset på hvordan elevene lærer 8. Skal være sensitiv og konstruktiv pga emosjonelle aspekter 9. undervisning Skal bygge på elevers motivasjon og faglig /sosialt ståsted 10. Skal innebære konstruktiv veiledning og tilbakemeldinger om hvordan elevene kan forbedre seg 11. Skal innebære utvikling av elevers evne til egen- slik at de kan bli reflekterte og selv-drevne og må derfor bli forstått av elever og foresatte 12. Skal ta i betraktning en full skala av resultater for alle elever 13. Handler om elevers egen og medvirkning i av hverandre Hva er det som virker til hvilke formål? Antall studier Svak feedback Bare feedback Svak formativ Moderat formativ Sterk formativ Effektmål Vurdering av læring Vurdering for læring Totalt 185 8

9 Vurdering som læring Beskrivelse av Tilstand = dokumentasjon Utfordring Vurdering = tolkning av tilstandens verdi Vilje og evne til å iverksette endring ut fra tolkning og verdisetting av tilstanden Hvilke beskrivelser gjøres gyldige? På hvilke områder forekommer det beskrivelser? Hva omfatter disse beskrivelsene? Ideologisk, læringsteoretisk. Hvilke stemmer kommer til orde og hvilke tillegges vekt? Hvem gis rom til å ytre seg? Hvem er publikum eller adressat? Hvilke konsekvenser får ytringene? Lokale tolkninger og verdi settinger Ressurser, rammer og organisasjon Engasjement, ønske og vilje til endring og bruk av dokumenta. for endring Kjennetegn på skultur: 1. Data, systematisk innsamlet et utgangspunkt for 2. Åpenhet for prosjekter, eksperimenter og forsøk 3. Har et språk for utfordringer og problemer 4. Metodeansvarlighet ut fra systematisk erfaringsgrunnlag 5. Erfaringsdeling og åpne kommunikasjon om erfaringer og resultater 6. Bruk av teori for forståelse av egen praksis 7. Åpenhet for både interne og eksterne er 8. Data brukes aktivt for nye visjoner, beslutninger, undervisningsplanlegging og læringshandlinger 9. Oppfølging fra ledelsen, organisering, kompetanseheving, oppmerksomhet, ressurser og støtte 10. Normer, verdier og mentalitet, medarbeider og ideologiske forankringer SUMMATIV Rasjonelle smodeller der er synonymt med målinger der ideologien er bundet i markedsøkonomisk modernisering Lærere og lederens ansvar er bundet til resultater og budsjett Gyldig og pålitelig eksternt Et demokrati for folket FORMATIV Responsive smodeller med vekt på som verdiuttrykk for fag, læring og meningsskaping i fellesskap Læreres og lederes ansvar er bundet til profesjon og personlige prioriteringer Gyldig og pålitelig internt Et demokrati med og av folket Eggen,

10 Vurderings regimer LÆREPLAN Psykometrisk Vurdering Summativ bruk av resultat Kontekstualisert Vurdering Formativ Summativ Individuell Formativ bruk av resultat Norm som referanse Kriterier som referanse Ipsative referanser hovedpunkter 1. Vurdering er verdisetting av kunnskap. 2. Gjennom de praksiser vi har eller utvikler. 3. Arbeidet med kriterier og normer er derfor pågående og spesielt viktig. 4. Det samme er utvikling og revidering av praksiser. 5. Læring er det sentrale og dermed hvordan medvirker til det. 6. Vurdering handler om verdighet, rettferdighet, likeverd og demokrati. 7. Vurdering bærer med seg alle paradokser og dilemma ved undervisning og derfor er det en kontinuerlig maktkamp om. 8. Dette synliggjøres gjennom de nasjonale rammer og strukturer på samme måte som f.eks læreplaner. 9. Vurdering av elever må derfor ses i sammenheng med på skole nivå og på nasjonalt nivå. 10. Gjennom hvordan og hva vi vurderer produserer vi kunnskap om relasjonen mellom skole og samfunn