PISA i et internationalt perspektiv hvad der er idegrundlaget og hvad kan den bruges til? Júlíus K. Björnsson November 2012

Transkript

1 PISA i et internationalt perspektiv hvad der er idegrundlaget og hvad kan den bruges til? Júlíus K. Björnsson November 2012

2 Hvor kommer PISA fra? Kjent metodologi NAPE prøvene i USA bl.a. Like studier har vært på gang lenge, f.eks. TIMSS Bygger på samme/lik metodologi-sterkere tilknytning til policy utvikling enn før. Ikke individuelle prøver men en måling av hele systemet. (7 timers prøve tatt på to timer) Sammenlikning mellom land rangering Lesing, matematikk og naturfag i et nyt perspektiv. Ikke basert på læreplaner som TIMSS, måler ikke baklengs men de ferdigheter man antar at unge mennesker vil trenge i fremtiden (ikke lett altså).

3 Reading Literacy PISA 2009 Reading Framework-Bok på over 60 sider. PISA 2000 Reading literacy is understanding, using and reflecting on written texts, in order to achieve one s goals, to develop one s knowledge and potential, and to participate in society. PISA 2009 Reading literacy is understanding, using, reflecting on and engaging with written texts, in order to achieve one s goals, to develop one s knowledge and potential, and to participate in society. Endringen tar på elektroniske tester i PISA 2009 (ERA) men ferdigheten blir faktisk mye mer komplisert med elektroniske prøver. Nytt rammeverk blir nå utviklet som tar bedre hensyn til elektroniske prøver og nye definisjoner av de ferdighetene som skal måles. Kan bli problematisk siden trenden brytes.

4 Hva får man ut av dette? Retrieving information; Forming a broad understanding; Developing an interpretation; Reflecting on and evaluating the content of a text; Reflecting on and evaluating the form of a text.

5 Blir redusert til tre skalaer Access and retrieve; Integrate and interpret; Reflect and evaluate Ikke mange nok items til å lage fem skalaer. Man kan tenke på at disse parrene av begrep kanskje ikke passer helt sammen selvom man lager en skala av hvert par.

6 Relationship between the reading framework and the aspect subscales Dette blir sikkert veldig mye endret for PISA 2015 som blir en elektronisk prøve.

7 Hvor kommer studiene fra? Hvordan kan man vite hvilke ferdigheter trenges etter ti år eller lengere tid? UMULIG eller hva? Filmskole på Island! Absurd eller ikke? Vi kan ikke engang med sikkerhet si hva skjer etter ti år. Men man gjetter og teoriserer og man skriver ned et nøyaktig rammeverk som beskriver ferdighetene og deres sammenheng og hvordan de skal måles. Og lager en test som måler dette eller hva? Men politisk ledelse har oppdaget at evidence based policy making er et kraftig verktøy. (OECD-IEA representasjon) Den gamle situasjonen hvor man brukte milljoner på studier og de ble stilt opp ved siden av personlige historier er sannsynligvis over nå. Evidence based policy er nøkkelordet nå. PISA resultater kommer hvert tredje år. TIMSS hvert fjerde år, PIRLS hvert femte år. Og hva har vi lært av alt det? Og hva opplever man som de viktigste resultatene.

8 Kausalitet- et problem eller ikke? Alle nåværende internasjonale studier er korrelasjonelle av natur. Og kross-seksjonelle hvis man ser på dem over tid. Nye elever og nye oppgaver hver gang. Sier egentlig ingenting om kausalitet selvom de veldig ofte blir tolket slik, spesielt av politikere. Samme resultater blir brukt på forskjellig måte, ofte nesten paradoksalt. Eksempel: variabilitet mellom skoler.-politiske tolkninger. Men hvor ofte trenger man å se en korrelasjon til å kunne si noe om kausalitet? Det som blir kalt trend i PISA er det egentlig ikke, utifra en korrekt forståelse av begrepet. Hvordan kan man da si noe bestemt om endring over tid? When measuring change, don t change the measure.

9 Hvordan blir resultatene brukt?

10 Rangering hva sier den?

11 Forandring over tid

12 Over tid-antall land

13 Proporsjon elever på hvert trinn PISA diskriminerer dårlig mellom de beste og mellom de dårligste. Best på midten. Forbedres med adaptive prøver, forhåpentligvis!

14 Variabilitet mellom og innen for skoler

15 Regioner

16 Nordiske land-lesing

17 Nordiske land-matematikk

18 Nordiske land-naturfag

19 Økonomi-GDP

20 Sammenlikne skoler

21 Hvilken nytte er av dette? Prestisje å være høyt i tabellene? Er det å være høyt i tabellene tegn på et godt utdanningssystem? Hvorfor blir de nordiske land mer og mer like? Nytten er sannsynligvis en grundig kritisk analyse innen for hvert land, basert på egne premisser og forhold. Spørsmålstegn ved internasjonelle sammenlikninger.

22 Hva trenger vi nå?

23 Hva vet vi nå? Vi har rikelig med korrelasjonelle data på hvordan utdanningssystemene fungerer. Egentlig så mye at vi har problemer med å tolke motstridende resultater. (f.eks. PISA og TIMSS) Vi vet veldig lite om kausalitet. Vi vet at ingenting i dette er enkelt, multidimensjonelle sammenhenger. Multinivåanalyser (Multilevel) blir brukt-men ikke alle forstår dem.

24 Sammenhenger Vi vet at sammenhenger mellom variabler er ikke de samme i alle land. I Danmark spiller f.eks. Socioøkonomisk status en dobbelt så stor rolle som på Island. Men vi er enige om at en variabel er kanskje den aller viktigste og det er: Læreren og hva han gjør. Men det finnes ikke nokk data på det.

25 Dokumentasjon Våre utdanningssystemer har aldri vært så godt dokumentert. Vi trenger kanskje ikke mer data, men vi trenger brukbare forklaringer på hva virker og hvorfor. Og jeg tror vi er på vei dit. Men: Vi vet alt for lite om hva som foregår i klassene. Vi kjenner litt til læreres holdninger og til hva de sier at de gjør. Men ingenting sier at de gjør som de sier. (TALIS) Eksempel med Direct tranmission vs. Constructivism

26 Hva mangler vi? Hva gjør en effektiv lærer? Ikke enkelt på noen måte, samspill av utallige variabler. Hva er kausale sammenhenger? Det samme virker sannsynligvis ikke i ulike land og kulturer. Det nytter ikke at alle lærere reiser til Singapore! Og det nytter ikke å stirre på hva man gjør i Finland. Vi må alle gjøre våre egne analyser, i vår egen sammenheng. Og de må bygge på best mulige målinger. PISA har fordeler og ulemper men gjør sammenlikninger mulige selvom man kan spørre seg om nytten av dem. Og i noen tilfeller er ulikheter mellom land noe som hjelper. Men først og fremst er PISA basert på et solid grunnlag som naturligvis er ikke hevet over kritikk og som man må være våken overfor. Dette er ikke den endelige metoden til å måle utdanningssystemets prestasjon men en av dem.

27 Hvilken effekt har PISA hatt? Økt vekt på tester og målinger. Nye definisjoner av grunnleggende ferdigheter. Kanskje en innsnevring av det skolen lærer elevene sine og i noen tilfeller et bredere grunnlag. Men stor effekt likevel på mange nivåer. På:Lærere, kommuner, ministerier, læreplaner o.s.v. Og mange av dem veldig positive.

28 Et Islandsk eksempel Ny læreplan for grunnskolen Begrepet LÆSI Literacy for første gang systematisk brukt og for mer enn bare lesing.

29 Konklusjon 1 Har vi svart på noen av spørsmålene om hva virker i utdanning med PISA eller andre internasjonelle studier? Noen spørsmål har vi svaret, men vi har reist veldig mange andre spørsmål som vi ikke kan finne svar på andre steder enn hjemme hos oss selv. Vi kan alle lære en del fra andre land, men sjeldent eller aldri kan vi applisere det direkte hjemme hos oss.

30 Konklusjon 2 Derfor trenger vi en kritisk gjennomgang av både metoder og resultater fra internasjonelle studier, ikke bare om hvordan de fungerer i sin helhet men også i ulike land. Vi skal ikke fristes til å tro at en høy rangering garanterer et godt resultatprøv å snakke med Finske lærere og høre hva de sier! Og vi må fortsette å være kritiske og stille vanskelige spørsmål om utdanningen. PISA gjør det ikke for oss. Og vi må bygge dem på data men ikke på tro eller holdninger bare. Jeg tror vi må være litt gammeldags og positivistiske.

31 Og ikke glemme hva som er viktigst. Ministerium Distrikt Skole Foreldre Lærere Hva skal de alle sammen gjøre?