Hvordan lese, forstå og bruke kvalitets-indikatorer i skolen? Seminar for praksisveiledere PPU, 20. januar 2011 Rolf Vegar Olsen Leder av Enhet for kvantitative utdanningsanalyser, Institutt for lærerutdanning og skoleforskning, UiO Polarisert debatt om kvalitetsindikatorer og bruk av dem (spesielt faglige tester) Ofte basert på anekdoter og enkelteksempler som vanskelig kan brukes til å generalisere Intens motstand: «Virkeligheten er for kompleks og sammensatt. Enhver måling vil redusere dette til noe meningsløst» Ukritisk omfavnelse: «Alt som finnes, finnes i en gitt mengde, og dermed kan det måles eller kartlegges vha tall» En mulig mellomposisjon (min posisjon): Pragmatisme: Virkeligheten er så kompleks at den må forenkles for å kunne forstås spesielt gjelder dette på et aggregert nivå. Realisme: Godt utviklede tallmål består ikke bare av tilfeldigheter. De sier noe om den virkeligheten som tallene måler indikasjon på noe Skeptisisme: Være klar over at dette er forenklinger, og at man bare i noen grad lykkes med å måle det man skal måle. Og hva er egentlig alternativet? Lytte til autoriteter som vet best, overlate til nyhetsmedia å lage indikatorer, la en viktig samfunnsinstitusjon stå der uten innsyn? 1
Hvordan er EKVA involvert i arbeidet med kvalitetsindikatorer? Bidrar til å utvikle, gjennomføre, analysere og publisere fra flere internasjonale studier: PISA (Programme for International Student Assessment) TIMSS (Trends in International Mathematics and Science Study) TEDS-M (Teacher Education and Development Study in Mathematics) ICCS (International Civic and Citizenship Study) ICILS (International Computer and Information Literacy Study) Utvikler, analyserer og gir råd om prøver nasjonalt: Lager nasjonale prøver lesing 8./9. trinn Lager kartleggingsprøver regning (1., 2., 3. trinn og vg1) Kvalitetssikrer og gir råd om alle prøvene (NP, nasjonale kartleggingsprøver og nasjonale utvalgsprøver) Utvikler Osloprøver i lesing/norsk for 6. trinn og vg1 + overføringsprøve 7. trinn Mulige tema for dagen Å tolke og forstå kvalitetsindikatorer Krav til en god kvalitetsindikator Hva vet vi egentlig om effekten av sentralgitte prøver? 2
Del 1 Å TOLKE OG FORSTÅ KVALITETSINDIKATORER Ulike kvalitetsområder har unike tolkningsutfordringer Ressurs-/strukturkvalitet: Datagrunnlag: Relativt objektive tellinger Utfordring: På hvilken måte fanger disse målene inn kvalitet? Viktige områder blir ikke målt Prosesskvalitet: Datagrunnlag: Mer subjektive. Oftest basert på brukerundersøkelser. Utfordring: Tilfredshet funksjon av både erfaringer og forventninger Resultatkvalitet: Datagrunnlag: Sentralgitte prøver, eksamen/avgangsprøver og fullføringsgrader Utfordring: Reflekterer disse skolekvalitet? 3
Noen grunnleggende spørsmål man bør stille seg når man skal bruke kvalitetsindikatorer som informasjon 1. Hvordan er begrepene definert og målt? Hva slags spørsmål ble stilt? Hvem svarte? Hvordan svarte de? Representerer disse personene noe utover seg selv? 2. Hvilke alternative forklaringer er mulige 3. Hvilken kontekst er resultatene gyldige i? Hvem/hva skal vi sammenlikne med? Et eksempel: Hva vil det si at man har en skole som bidrar til sosial utjevning? Uavhengig av økonomi, etnisitet, kjønn, geografi og sosial bakgrunn og andre sosiale/demografiske skillelinjer skal man ha: 1. Likt tilbud 2. Like muligheter for alle til å forfølge sitt talent, evner og iboende forutsetninger 3. Mest mulig likeverdig fordeling av resultater 8 4
Andel på lavt prestasjonsnivå VS elevens hjemmebakgrunn 35 30 25 Prosentandel under prestasjonsnivå 2 20 15 10 5 0 Nedre kvartil 2. kvartil 3. kvartil Øvre kvartil Familiens økonomiske, sosiale og kulturelle status 9 Situasjonen i Norge vs engelsktalende land 50 40 30 20 10 0 ESCS Økonomi Kultur Utdanning Yrkesstatus Ped-ressurser Bøker Norge Canada Australia UK USA Irland -10 10 5
Andel elever på lavt nivå Norge vs. Be-Ne-Tysk 50 40 30 Norge Nederland 20 10 0 ESCS Økonomi Kultur Utdanning Yrkesstatus Ped-ressurser Bøker Tyskland Sveits Østerrike Belgia -10 11 Et eksempel fra Oslo: Osloprøven i naturfag (5. trinn) 2007 100 90 80 70 60 50 40 30 20 10 0 y = 0,66x + 1,6 r = 0,81 Skole A Skole B 0 20 40 60 80 100 Andel elever med begge foreldre født i et annet land 6
Del 2 OM Å UTVIKLE KVALITETSINDIKATORER Skoleanalyser i norske toppmedia valgkampen høsten 2011 Mer enn hver tredje kommune strøk på NRKs måling av skolekvalitet. Bare 19 av landets 430 kommuner fikk toppkarakterer. Dette er skole-norge 2011 (nrk.no, 31. august 2011) Oslo nr. 152 (karakter 3) Dagbladets kommunebørs Oslo nr. 220 7
Å legge sammen epler og binders Viktige steg i utvikling av kvalitetsindikatorsystemer 1. Klargjøring av grunnlag, formål og risikofaktorer 2. Prioritering av kvalitetsområder 3. Formulering av tydelige og operasjonaliserbare definisjoner 4. Kunnskapsbasert utvikling av instrumenter og indikatorer 5. Kommunikasjon og spredning av resultater 6. Kontinuerlig oppfølging og evaluering. 8
Del 3 OM FAGLIGE PRØVER SOM GRUNNLAG FOR BEDRE UNDERVISNING 9
En tenkt modell for hvordan kvalitetsindikatorer virker 2b 2a (3) Test Testdata 1a Informasjon om testdata til læreren/skolen/ skoleeier 1b Lærerens/skolens/ skoleeiers intervensjon med basis i bl.a. informasjon fra testdata 1c Elevens/skolens/ kommunens læringsutbytte/ endret læringsatferd som resultat av intervensjonen 19 Forskningsspørsmål 1. Hvilken evidens finnes det for at grunnskolelærere bruke data fra tester for å forbedre sin undervisning i klasser med vanlige elever? 2. Hvilken evidens finnes det for at innføringen av tester virker inn på lærernes undervisning og/eller elevenes læringsadferd? 20 10
Konklusjoner og anbefalinger: Praksis Læreres eierskap til tester bør styrkes: Lærere bør kjenne til testenes begrunnelser, hva de måler og ikke måler Skoler bør innlemme lærere i et tolkningsfelleskap rundt resultater, og unngå privatpraktiserende praksis Testutviklere/direktorat bør prioritere enda sterkere å utvikle veiledningsmateriell for å støtte slike prosesser Lærerutdanning bør ha eksplisitte undervisningsmoduler om testing Lærere har et ansvar for å redusere potensielt negative effekter: Bidra til å gi elevene en edruelig oppfatning av konsekvenser Ha økt oppmerksomhet om risiko -grupper 21 Konklusjoner og anbefalinger: Policy Policy: Reviewet dokumenterer at innføring av tester kan være et effektivt virkemiddel for å gjennomføre policy. Retning og styrke av effekter er imidlertid kompleks og svært kontekstavhengig. Reviewet har ikke studert om man bør ha sentralt administrerte prøver eller ikke. Reviewet har ikke vurdert bruk av tester som summativ evaluering, benchmarking, accountability etc 22 11
Konklusjoner og anbefalinger: Forskning Den foreliggende kunnskapsoppsummeringen gir en oversikt over tilgjengelig forskning på området: Er derfor en viktig referanse for videre forskning. Gir viktig bidrag til forskningsbestillere Forskningen er mangelfull på mange måter Mange studier av aktørers meninger om tester Få studier av læreres bruk av testresultater Få effektstudier, og nesten ingen med pre/post design 23 Spenningen og dilemmaet Uten gode målinger av sentrale kvaliteter kan vi ikke vite noe, og uten kunnskap kan ikke skolen eller andre samfunnssektorer utvikle seg til det bedre Jo mer sentral en kvalitetsindikator blir i de politiske/byråkratiske beslutningsprosessene, og jo større konsekvensene er for de involverte partene, jo større er faren for usunne tilpasningsprosesser som «ødelegger» målingene av dette kvalitetsområdet og det kan til og med føre til praksiser som heller fører til kvalitetssenking 12