Kreiners kritikk av PISA - en sammenfatning av kritikken og svarene på den

Transkript

1 November 2013 Kreiners kritikk av PISA - en sammenfatning av kritikken og svarene på den Kreiner og Christensen har i artikkelen "Analyses of model fit and robustness: A new look at the PISA scaling model underlying ranking of countries according to reading literacy" satt fram kritikk på PISA som virker ved første syn nokså kraftig, men som ved nermere gransking er har ganske mange mangler og feil. Dette notatet er en sammenfatning av den viktigste kritikken og de svar som har kommet på den fra Ray Adams prosjektleder for PISA, Michael Davidson hos OECD og professor Jan-Eric Gustavsson i Gøteborg. De nedenstående punktene er de viktigste: Rangeringen av land er stabil Kreiner og Christensen hevder at Rasch modellen som er anvent i PISA ikke passer til PISA data på lesing, og at dette fører til at rangering av land varierer betydelig og at Danmark kunne rangeres fra 5. til 36. plass. Men denne kritikken ser ikke ut til å passe i det hele tatt siden rangering av land er nokså stabil over tid i PISA og har vært det i fem omganger av testen. Hvis denne påstanden var riktig, ville rangeringen være nokså tilfeldig fra den ene gangen til den neste, men det ser den aldri ut til å ha vært. Desuten så er det blitt gjort modifiseringer på modellen som er brukt i PISA (Ray Adams- PISA technical report), som gjør kritikken helt upassende. Kritikken går også utpå å hevde at en test skulle være helt perfekt og at hvis ikke den passet helt til modellen (Rasch modellen) så var den umulig. Dette passer slett ikke med virkeligheten, siden tester er aldri perfekte og det såkalte model fit er aldri perfekt. Hvis man bare brukte de psykometriske egenskapene til enkelte oppgaver til å sette sammen en test så ville man aldri kunne dekke alt det område som man vil dekke, man ville aldri kunne ta med i enn sånn undersøkelse oppgaver som passet i forskjellige kulturer og som det var mulig å kode på en pålitelig måte. Internasjonelle studier som PISA må i tillegg til å dekke et område av ferdigheter (lesing, matematikk og naturfag), også være passende for alle kulturer som deltar, de må ha en viss bredde som gjør at de ulike oppgaver som testen inneholder dekker hele området man vil måle og de må ha de samme tekniske egenskaper i alle land som deltar. PISA tekniske manual spesifiserer hvilke disse kriteriene for valg av oppgaver er og at oppgavene skal: ha minimale psykometriske egenskaper. skal være slik at det er mulig å kode dem på en pålitelig måte. skal være de oppgavene som hvert land velger. skal passe til det rammeverket som definerer ferdigheten. Det er klart at man klarer aldri å få alt dette til slik at alle egenskaper blir på topp, men utifra en field test i hvert deltakerland, velger man de beste oppgavene som oppfyller disse kriteriene så godt som mulig. PISA utprøver minst 4 ganger så mye materiale som trenges i selve testen, i sine field tester og dette blir utprøvet på veldig

2 store utvalg elever året før selve testen. Dette er i grunnen sammen metode og blir brukt i andre tilsvarende undersøkelser som TIMMS og PIRLS. Etter field trial, blir alle oppgaver underlagt en grundig item analyse hvor man ser på, manglende svar, på hvorvidt oppgavene dekker det konstrukt som er beskrevet i rammeverket, på de skalaene som brukes i testen, på hvor mange og hvilke dimensjoner som finnes i svarene og ikke minst ser man på klassisk item statistikk og alle mulige former for bias som muligvis kunne være til stede. Alle oppgaver som ikke oppfyller de minimumskriterier man har valgt, blir kastet. Generelt kan man si at dette er blant de beste og grundigste utprøvninger av testmateriale som finnes i dag og i litteraturen finnes utallige artikler som omhandler forskjellige sider av dette. Så alt untatt det som Kreiner og Christensen hevder, støtter det at PISA testen er en pålitelig og god test, med gode tekniske egenskaper, men det er viktig å huske på at denne testen er laget til å gjøre internasjonelle sammenlikninger av utdanningssystemer og er ikke en individprøve, som ville være helt annerledes bygget opp og sammensatt og ville bygge på et helt annet grunnlag. Et upassende utvalg? Kreiner og Christensen baserer deres konklusjoner på et veldig lite utvalg fra PISA databasen, bare 20 spørsmål eller items fra 8 lesetekster og rundt 28 tusen elever. PISA inneholder omtrent 4500 elever fra hvert land, i mange tilfeller mange fler og over hundre items eller oppgaver i lesing og nesten 500 tusen elever deltok i hele testen, litt forskjellig fra gang til gang. Årsaken til den konklusjonen Kreiner og Christensen trekker er at de bruker alt for lite materiale og derfor blir det tilfeldige variasjoner i deres data og stor usikkerhet. De brukte bare en booklet av tretten og bare 20 av 28 items i den og konkluderer at de kan avgjøre noe om hele testen bare basert på det. Dette er naturligvis helt umulig. PISA bruker opptil 13 forskjellige booklets så 13 hver elev får samme hefte med spørsmål. Det sier seg nesten selv at det å basere en analyse på mindre enn en trettende del av spørsmålene er fullstendig upassende. Grunnen til at man vanligvis bruker mange spørsmål til å måle samme ferdighet er jo til å øke påliteligheten av målingen og det sier seg selv at en analyse av en trettende del av det kan ikke brukes til å konkludere noe om testen i sin helhet og at en test som er så liten og kort vil aldri kunne ha en akseptabel pålitelighet (reliability). Hvorfor Kreiner og Christensen ikke har brukt hele materialet er uforståelig, siden hele databasen er åpen for alle. Som professor Jan-Eric Gustafsson har sagt: K&C generalize the results obtained from the Booklet 6 data to apply to the entire PISA survey, and this inference is fundamentally flawed. Their study allows the conclusion that with samples comprising some 350 students and samples of 5 to 9 items it is not possible to achieve trustworthy rankings of countries according to levels of reading literacy achievement. However, this would be a trivial conclusion, because no one has ever made the claim that this can be done, and this is not how PISA is designed. Hvorfor bruker de leseitems fra PISA 2006, når hovedemnet var naturfag?

3 Kreiner og Christensen bruker materiale som ikke var i fokus i PISA 2006, dvs leseoppgaver som var bare inkludert det året for å få frem en enkel trend fra forrige runder. Hovedemnet i 2006 var naturfag og det utgjorde største delen (2/3) av testen det året. De burde ha brukt PISA 2009, men da var hovedemnet igjen lesing. Men dette ser ikke ut til å ha passet for Kreinar og Christensen. Som professor Jan-Eric Gustavsson har sagt, så bidrar denne kritikken til å skape forvirring i steden for å klargjøre ting og den grunnleggende feilen de gjør er å bruke alt for lite og dårlig datagrunnlag til å konkludere om hele testen. Og selve PISA har aldri hevdet at pålitelig rangordning kan produseres fra bare en booklet og noen få spørsmål. Alt dette dette gjør at kritikken blir meningsløs. Og Kreiner og Christensen burde svare på hvorfor de ikke brukte hele materialet i PISA, det er tilgjengelig og åpent for alle. I tillegg til dette så har Kreiner og Christensen kritisert PISA lesetesten for det fakta at i PISA 2006 hadde bare halvdelen av de elever som hadde leseskåre i databasen, i virkeligheten tatt leseprøven. Og dette er ikke en kritikk som kan bekreftes siden dette fakta er en av de grunnleggende egenskapene til PISA. Siden ikke alle elever får samme oppgaver, er det ikke mulig å kalkulere individskårer på testen, men i steden for det bruker man fem såkalte pausible verdier som er ikke en testskåre men en sannsynlighet for en skåre, bygget på hvordan hele testen, alle booklets oppfører seg. Denne metoden stammer fra NAEP prøvene og er i grunnen det som gjør det mulig å teste et bredt spekter av materiale på kort tid. En syv timers prøve på to timer. Dette gir resultater for hele skolesystemet men ingen individskårer og er en metode som også blir brukt i TIMMS og PIRLS og andre tilsvarende prøver. Denne metoden kan kanskje kritiseres men den feilen Kreiner og Christensen gjør er å behandle PISA data som en vanlig prøve, noe som den er ikke i det hele tatt. Kan man bestemme DIF fra en eneste booklet? Kreiner og Christensen fremhever at det er for mye DIF i PISA, dvs. at oppgaver ikke fungerer på samme måte for forskjellige grupper elever og for forskjellige land. Den tekniske manualen til PISA viser at dette er ikke tilfellet og den analysen er basert på hele datagrunnlaget men ikke et lite utvalg som Kreiner og Christensen bruker. Det har alltid vært brukt veldig strenge kriterier for å ekskludere de oppgaver som ikke passer til helheten og som viser bias. Ingen test er helt perfekt sånn som Kreiner og Christensen antyder at de skal være, men PISA anstrenger seg for å gjøre dette så godt som mulig med en grundig field- test av hver eneste oppgave i hvert eneste deltakerland. Denne prosessen inkluderer alle de tekniske eksperter som jobber for PISA konsortiet og også en gruppe PISA eksperter i hvert eneste deltakerland. Er det mulig at alle disse mange hundre mennesker har gjort en feil som bare Kreiner og Christensen har oppdaget? I tillegg til dette så er hele PISA metodologien basert på metoder som har vært brukt i veldig lang tid. TIMMS, PIRLS og ikke mindst NAEP prøvene i USA har brukt denne metodologien i nesten 30 år og i grunnen er liten forskjell mellom det hvordan dette blir brukt i disse prøvene. Hvis Kreiner og Christensen har rett, så ville det gjelde også for TIMMS, PIRLS og NAEP prøvene, og ingen har før påvist at situasjonen er slik. Hva er PISA og hvordan er den forskjellig fra tradisjonelle prøver?

4 PISA testen er ikke perfekt som alle andre tester, men den har vist seg å være robust og gi stabile målinger over tid. Rangering av land er alltid rapportert med en viss usikkerhet som ikke er i nærheten av det K & C hevder, noe som er forståelig siden de rangeringene er basert på hele databasen men ikke på et liten del av den som Kreiner og Christensen brukte. Kreiner satte fram denne samme kritikken i 2011 og ser ikke ut til å ha endret mening og det er klart at selv de beste statistiske metoder og beregninger vil aldri klare å påvise feil i en prøve hvis datagrunnlaget er manglende som i Kreiner og Christensen analysen. PISA er ikke en prøve for enkeltelever men en systemmåling som ikke gir noen enkeltindivid resultater. Kreiner har kritisert PISA for dette og sagt at ikke alle har besvart alle oppgaver. Denne kritikken er totalt upassende siden testen er ikke designet til å teste alle på alt, men er en systemmåling som gir en statistisk sannsynlighet som sine resultater. Den gir en mulighet for å teste hele systemet ved å bruke en nesten 7 timers prøve på bare to timer. Og det er dette som gir PISA og andre tilsvarende prøver deres verdi. Det er ikke en tilfeldighet at man har i USA brukt denne metoden i veldig lang tid. Den måler bredt og gir en pekepinn på store områder av kunnskap, som en tradisjonell prøve hvor alle besvarer samme spørsmål, ikke har en mulighet for å gjøre. Det er derfor lett å konkludere at kritikken til Kreiner og Christensen har liten verdi, i alle fall så lenge som de baserer den kun på et veldig manglende materiale. Men det ville være høyst intressant å se dem gjenta dette på hele prøven og med passende metoder og forutsetninger. Om kritikken fra 2011 Generelt kan man si at kritikken fra 2011 og 2013 er nesten helt den samme. Likevel er det riktig å anerkjenne at Kreiner og Christensen har tatt med seg i artikkelen i Psychometrika, en del referanser og litteratur som de ikke hadde med i manuskriptet fra 2011, men den bygger på samme datamateriale. Artikkelen i Psychometrika er mer grundig og spesifiserer bedre de ting som omhandles, men i grunnen er dette det samme; at Rasch modellen ikke passer til PISA data og at det fører til at rangeringen av land blir tilfeldig. Om svarene som har kommet fra OECD på Kreiners kritikk Ray Adams, daværende prosjektleder for PISA, svarte nokså grundig på kritikken fra 2011 og peker på at PISA resultatet er veldig avhengig av valg av oppgaver men ikke så avhengig av valg av psykometrisk modell som blir brukt til å skalere og sette sammen de endelige skalaene på testen. Det første understreker at Kreiners valg av bare 20 oppgaver fra et eneste hefte og et meget begrenset antall elever og land, kunne føre til hvilket som helst resultat siden oppgavevalget har en stor innflytelse. Dette er bekreftet i Ray Adams sit svar. Hele samlingen av oppgaver i PISA er konstruert slik at den skal representere et bredt utvalg av kunnskaper, evner og ferdigheter, ifølge det rammeverket som definerer området. Dette blir beskrevet nøyaktig i de tekniske manualene for hver omgang av studien. Kreiner og Christensen velger et meget begrenset antall oppgaver for sin analyse og har ingen begrunnelser for hvorfor de valgte netopp disse oppgavene og de oppgir heller ikke noe statistisk test på forskjell i rangering. Og de sier ikke noe om hvorfor de valgte et minor domain (lesing) men ikke naturfag som ville ha vært naturlig utifra

5 PISA Og hvorfor valgte de da ikke heller å bruke data fra PISA 2009, da var jo lesing et hovedemne? PISA måler utdanningssystemets prestasjon på defnierte omsåder og derfor inneholder den i noen grad oppgaver som oppfører seg forskjellig i forskjellige land og hvis man tok bort den egenskapen ville testen ikke vise det man er intressert i å vite, nemlig forskjell mellom land. Det finnes mange artikler og forskning som viser at enten en enkel Rasch modell eller en to eller tre parameter modell vil kunne brukes i PISA med akkurat samme resultat, dvs hvis man bruker hele datasamlingen, men ikke bare en liten brøkdel som Kreiner og Christensen har gjort. Adams konstaterer at ingen modell vil passe perfekt til PISA data fordi det er ikke en enkel test av enkle ferdigheter. PISA trenger å klare mange ting samtidig: dekke alle konstrukter som er beskrevet i rammeverket, utvikle analysemetoder som gjelder samtidig i alle land, ta hensyn til utvalgs metodologi og ulikt store utvalg i forskjellige land, produsere en database som vil være tilgjengelig for sekundær analyse, støtte ved alle de skalaer som er beskrevet, tillate sammenlikninger mellom land og konstruksjon av skalaer som kan brukes over lang tid. Alt dette gjør at en enkel modell av den typen Kreiner og Christiansen har brukt, vil aldri passe helt perfekt. Kreiner og Christensen har en tendens til å ignorere den litteraturen som finns på dette om PISA og i deres nyeste artikkel er dette i stor grad ennå tilfellet og de utelater desuten fra deres analyse alle data som inneholder noen missing svar. I tillegg så peker Adams på at det er en del uriktige påstander i artikkelen fra 2011, som det at ikke alle opgaver ble brukt i alle land. Dette stemmer ikke. De hevder også at oppgavene ble administrert på forskjellig måte og det er heller ikke riktig. Til slutt så drar Ray Adams frem noen mangler i Kreiners artikkel fra 2011 og det ser ut til at denne kritikken stort sett gjelder fortsatt. Det har kommet flere svar fra OECD på denne kritikken, noe av det ble nevnt innledningsvis i dette notatet i avsnittet om rangering men det er klart at ingenting støtter de resultatene som Kreiner og Christensen har fått. På en måte er dette litt synd fordi de bruker veldig intressante og sofistikerte metoder, men gjør den feilen å anvende helt ubrukelig datagrunnlag for det hele og derfor er det ikke mulig å ta kritikken alvorlig. Konklusjon Det er lite i artikkelen i Psykometrika som er annerledes i grunnen enn det var i den upubliserte artikkelen fra Fleste de samme mangler og feil ser ut til å være ennå tilstede, datagrunnlaget er bare 20 oppgaver og landene er få og oppgavene er bare fra noen få land og veldig få elevsvar som omtalt tidligere. Det er min mening at Kreiners analyse ville potensiellt kunne være veldig nyttig hvis han hade brukt hele datagrunnlaget og alle svar og hvis han tok hensyn til det fakta at PISA er sammensatt av mange emner, mange tilnerminger, og tar veldig mange hensyn som alt må reflekteres i en og samme test. En enkel undersøkelse av rammeverket vil vise alle, at det som blir målt er veldig bredt og dekker et stort område og det er nokså klart at en enkel Rasch modell vil

6 aldri kunne passe perfekt til dette mangfoldet, selvom den er veldig nyttig til å skalere og sikre at testen gjør det den skal. Rasch modellen har noen forutsetninger som PISA aldri vil kunne oppfylle, den krever monotonicty som PISA oppfyller bra, den krever unidimensjonalitet (at hver skala inneholder bare en dimensjon) som PISA umulig kan oppfylle på grunn av den brede tilnermingen, og den krever lokal selvstendighet som ikke er til stede som eksemplifiert av at leseoppgavene har f.eks. mange spørsmål basert på den samme leseteksten. Dette gjør at svarene blir ikke selvstendige eller uavhengige av hverandre og dette går ikke i en tradisjonell Rasch modell. Derfor er det ikke på noen måte merkelig at en klassisk Rasch modell ikke passer perfekt. Det er viktig å huske på at lesing var bare et minor domain i 2006 og derfor kunne man vente seg at lesedata fra det året ikke ville være så robust. I 2000 og 2009 var lesing et major domain og der har lesingen over 100 oppgaver sammenliknet med bare 28 i 2006 hvorav Kreiner og Christensen bare brukte 20. Det sier seg selv at usikkerheten (standard feil) i data av denne typen blir større ettersom oppgavene er færre og i den lille brøkdel av innsamlet data som ble brukt er den nokså stor. Hvis de hadde brukt alle lesebesvarelser fra 2006, fra alle land, som var jo fra over elever, ville resultatet ha vært mye mer pålitelig og nyttigere på alle måter. Men de brukte rundt elever og det samsvarer data fra omtrent 6 land. Men landene var 57 i hele studien. Og utvalget som Kreiner brukte var kun elever per land, eksempelvis 357 av 4532 elever i Danmark, 361 av 4692 i Norge og 325 av 4443 i Sverige. Og foruten alt dette så var lesemålingen i PISA 2006 bare gjort for å få fram en trend og hadde ingen delskalaer så en analyse av den sier ingenting om den store leseskalaen i PISA 2000 eller PISA 2009 og naturligvis ingenting om de andre emnene i PISA. Det er også en antakelse at hele PISA oppfører seg som leseoppgavene Kreiner og Christensen har undersøkt, men dette er slett ikke an automatisk konklusjon og har ikke vært undersøkt av disse forskerne, og de sier jo i artikkelen at dette ikke er blitt gjort men de antyder at det samme sikkert gjelder for de andre delene av PISA, matematikk og naturfag. Dette er likevel bare en påstand og har derfor ingen verdi i denne sammenheng. Det viktigste her er at PISA oppfører seg slett ikke som Kreiner og Christensen sier, resultatene er stabile over tid, rangeringer endrer seg ikke så veldig mye og har en mye større sikkerhet enn kritikken hevder. Dette krever en stor test med en bred tilnerming og det er netopp det som PISA er. Det er derfor min mening at Kreiner og Christensen burde oppfordres til å gjenta sin analyse på hele datamaterialet, alle land og alle elever og bruke sine sofistikerte metoder på det. På det grunnlag kunne siden en nyttig diskusjon settes i gang. Det er viktig for PISA som for alle slike prosjekter, å få konstruktiv og god kritikk og det er viktig for alle som stoler på disse resultatene og bruker dem, å vite at ting fungerer som de skal. Kreiner og Christensens kritikk hjelper slett ikke med dette på grunn av alle de mangler og feil deres analyse har, som omtalt her, men en forbedret analyse av hele materialet kunne være et nyttig innlegg i evalueringen av PISA.

7 Sammenfatning Rangering av land er ustabil. Dette stemmer slett ikke og beviset er at i fem omganger av PISA testen har rangeringene vært ganske stabile og usikkerheten i dem er av en helt annen og mindres størrelsesgrad enn Kreiner og Christensen hevder. Men hvis man bare bruker en trettende del av databasen er det lett å få frem usikkerheter. PISA data passer ikke til Rasch modellen. Det er mulig at PISA data ikke passer til en strikt brukt original Rasch modell, men den modifiserte modellen PISA bruker har vist seg å være ganske stabil og passende og litteraturen inneholder mange eksempler på dette. Perfekt model fit forekommer aldri i virkeligheten. PISA har stort DIF. Dette er rett og slett ikke riktig som PISA tekniske manual påviser gang på gang. Men hvis analysen er basert på manglende grunnlag, bare en trettende del av materialet, så er det sikkert lett å finne DIF, sånn som Kreiner og Christensen har gjort. Bare halvdelen av leseskårene er virkelige. Denne kritikken er totalt meningsløs, siden bruk av pausible verdier er en del av den metodologien PISA, TIMMS, PIRLS og NAEP prøvene bruker, til å klare å måle et bredt utvalg emner på overkommelig tid. Gir ikke individskåre men en systemmåling. Det er defor klart at så lenge Kreiner og Christensen baserer deres analyse på manglende datagrunnlag, så lenge de bruker premisser som ikke stemmer i det hele tatt og mistolker en del ting, kan man ikke ta denne kritikken alvorlig. Julius K. Björnsson direktor Islands Evalueringsinstitutt- Námsmatsstofnun Borgartúni 7a Reykjavik.