Hva vet vi om norsk skole i et internasjonalt perspektiv?

Like dokumenter
Resultater PISA desember 2013 Marit Kjærnsli Institutt for lærerutdanning og skoleforskning (ILS)

Resultater PISA desember 2013 Marit Kjærnsli Institutt for lærerutdanning og skoleforskning (ILS)

Hva forteller PISA-resultatene om utviklingen i norsk skole? Astrid Roe

Resultater PISA desember 2016 Marit Kjærnsli Institutt for lærerutdanning og skoleforskning (ILS)

Resultater fra PISA Marit Kjærnsli ILS, Universitetet i Oslo

Deltakelse i PISA 2003

Tid for tunge løft. Norske elevers kompetanse i naturfag, lesing og matematikk i PISA Marit Kjærnsli ILS, Universitetet i Oslo

Hvordan står det til med lesingen?

Atferdsproblemer i norsk skole - et mindre problem enn antatt. Høgskolelektor Ann M. Gustavsen

TIMSS 2007 et forskningsprosjekt

Oppfølging etter PISA

PISA MATEMATIKK. Guri A. Nortvedt Institutt for lærerutdanning og skoleforskning (ILS), 3. desember 2013

TIMSS Matematikk og naturfag 8. trinn og 4. trinn. Liv Sissel Grønmo Institutt for lærerutdanning og skoleforskning Universitetet i Oslo

Lesing i PISA desember 2013 Astrid Roe Institutt for lærerutdanning og skoleforskning (ILS)

TIMSS 2003 med få ord

Kristin Skogen Lund SOLAMØTET 2014

Kristin Skogen Lund SURNADAL SPAREBANKS NÆRINGSLIVSDAG

Tid for tunge løft Norske elevers kompetanse i naturfag, lesing og matematikk i PISA 2006

Programme for International Student Assessment

Hva i all verden har skjedd i realfagene?

Store forskjeller i kommuner mellom barnehager og mellom skoler. Hva kan gjøres? Thomas Nordahl

Resultater PISA 2015

Utdanningsforbundet Østfold. Innledning ved Harald Skulberg 5. Desember 2013

Internasjonale FoU-trender

PISA-undersøkelsen - metodiske utfordringer

Resultater fra PISA Kristiansand 14. mars 2011 Marit Kjærnsli ILS, Universitetet i Oslo

PIRLS 2011 GODT NOK? Norske elevers leseferdighet på 4. og 5. trinn

Vi kan lykkes i realfag

Hva er god naturfagundervising? Svein Lie Naturfagkonferansen

Hovedresultater fra PISA 2015

Internasjonale trender

Modul 1: Hva er ledelse av klasser og elevgrupper?

Ungdomstrinn i Utvikling

Hvordan fungerer tiltaksgarantiordninger for unge og langtidsledige?

TIMSS og Astronomi. Trude Nilsen

Elever på nett. Digital lesing i PISA 2009

Hvordan lese, forstå og bruke kvalitets-indikatorer i skolen?

NASJONALE PRØVER En presentasjon av resultatene til 5.trinn ved Jåtten skole, skoleåret

Klasseledelse, fag og danning hva med klassesamtalen i matematikk?

Utvandring, etter statsborgerskap og kommuner i Møre og Romsdal

Tid for tunge løft PISA og nasjonale prøver utfordringer for skolen i Aust-Agder. Arendal 20. mai 2008 Svein Lie ILS, Universitetet i Oslo

Value added-indikatoren: Et nyttig verktøy i kvalitetsvurdering av skolen?

Last ned Fortsatt en vei å gå. Last ned. Last ned e-bok ny norsk Fortsatt en vei å gå Gratis boken Pdf, ibook, Kindle, Txt, Doc, Mobi

Hvordan står det til med norske læreres arbeidsbetingelser?

Perspektivmeldingen og velferdens bærekraft. 3. september 2013 Statssekretær Hilde Singsaas

Utkast til forskrift om endring i TSE-forskriften

Læringstrykk og prestasjoner. Liv Sissel Grønmo og Trude Nilsen

Marit Kjærnsli, Svein Lie, Rolf Vegar Olsen og Astrid Roe TID FOR TUNGE LØFT. Norske elevers kompetanse i naturfag, lesing og matematikk i PISA 2006

Mål 1 barn og unge skal få bedre kompetanse i realfag

TIMSS 2007 et forskningsprosjekt

Mål 3 flere barn og unge på høyt nivå i realfag

«Verdens beste skole» en nasjonal visjon?

Arbeidstid. Medlemsundersøkelse mai Oppdragsgiver: Utdanningsforbundet

Vurdering på barnetrinnet. Nå gjelder det

FORTSATT EN VEI Å GÅ. Norske elevers kompetanse i matematikk, naturfag og lesing i PISA Marit Kjærnsli og Rolf Vegar Olsen (red.

TIMSS Advanced Hva kan vi lære av resultatene fra TIMSS? Oslo 28. oktober Carl Angell Svein Lie UiO

TILSTANDSRAPPORT FOR KROER SKOLE 2015

1 HVA I ALL VERDEN HAR

Læringsmuligheter (OTL) og prestasjoner i matematikk på 8. trinn

Hovedresultater fra TIMSS Advanced 2015

FOU Oppvekstsektoren Kristiansand kommune. Arild Rekve

Akademikernes inntektspolitiske konferanse

Mål 3 flere barn og unge på høyt nivå i realfag

Tjenesteeksporten i 3. kvartal 2017

Ungdomstrinn- satsing

Reviderte læreplaner konsekvenser for undervisningen?

Læringsmiljø Hadeland. Felles skoleutviklingsprosjekt for Gran, Lunner og Jevnaker. Vurderingsbidrag

NyGIV Regning som grunnleggende ferdighet

Anvendelse av motsyklisk kapitalbuffer i vertsland

Voksnes grunnleggende ferdigheter i Norge og OECD

Innvandrete personer, etter statsborgerskap og kommuner i Møre og Romsdal Celler som inneholder 1 eller 2 forekomster er "prikket"

Tyngdekraft og luftmotstand

Mål 2 færre barn og unge på lavt nivå i realfag

TIMSS og PIRLS viser framgang i norske elevers prestasjoner

Vurdering. Hva, hvordan, hvorfor

Hvor rike er vi egentlig og hvordan forvalter vi rikdommen? Når tar den slutt? 29. august 2013 Statssekretær Hilde Singsaas

Norsk fag- og yrkesopplæring i et Europeisk og internasjonalt perspektiv. Yrkesfagkonferansen 17 oktober 2011 Jens Bjørnåvold

Voksnes grunnleggende ferdigheter i Norge og OECD

Studiedag om mobbing

BRUKERUNDERSØKELSEN 2015 Svarprosent: 52%

Prosent. Det går likare no! Svein H. Torkildsen, NSMO

Den grunnleggende ferdigheten å kunne regne. Introduksjon

Yrkesaktive leger under 70 år i Norge per 3. juli 2017, data fra Legeforeningens legeregister (CRM).

BRUKERUNDERSØKELSEN 2015 Svarprosent: 41%

Matematisk kompetanse

Innvandrerbefolkningen i Tromsø 2011

Innvandrere på arbeidsmarkedet

IEA TEACHER EDUCATION STUDY - TEDS-M 2008 A CROSS-NATIONAL STUDY OF PRIMARY AND SECONDARY MATHEMATICS TEACHER PREPARATION

Høyere utdanning og forskning i statsbudsjettet statssekretær Per Botolf Maurseth 15. oktober 2007

Å utdanne lærere til lærende skoler - utfordringer for lærerutdanningen?

TIMSS 2019 del 2. Institutt for lærerutdanning og skoleforskning (ILS)

Forhold ved skolen som har betydning for mobbing Forskningsoppsummering 2/2014

Hva har vi lært av SUN? Hellseminaret 2013 Majken Korsager & Peter van Marion

PISA 2006 sentrale funn

Marit Kjærnsli og Astrid Roe (red.) På rett spor. Norske elevers kompetanse i lesing, matematikk og naturfag i PISA 2009 KORTVERSJON

Praksiseksempel - Bruk av konstruert modelltekst i skriveopplæringen

Education at a Glance 2012

TIMSS 2007 et forskningsprosjekt

Lekser. Trondheim 3. sept Sigrun Aamodt

Stegark sosial kompetanse

Transkript:

Hva vet vi om norsk skole i et internasjonalt perspektiv? Hafjell 26. september 2014 Rolf Vegar Olsen Leder av Enhet for kvantitative utdanningsmålinger (EKVA) ved ILS Enhet for kvantitative utdanningsanalyser - EKVA EKVA planlegger, gjennomfører, analyserer, rapporterer og publiserer fra en rekke store internasjonale undersøkelser EKVA utvikler og analyserer prøver av elevers kunnskaper, ferdigheter og holdninger Osloprøver i lesing Kartleggingsprøver i regning 1

Polarisert debatt om kvalitetsindikatorer og bruk av dem (spesielt faglige tester) Ofte basert på anekdoter og enkelteksempler som vanskelig kan brukes til å generalisere Intens motstand: «Virkeligheten er for kompleks og sammensatt. Enhver måling vil redusere dette til noe meningsløst» Ukritisk omfavnelse: «Alt som finnes, finnes i en gitt mengde, og dermed kan det måles eller kartlegges vha tall» En mulig mellomposisjon (min posisjon): Pragmatisme: Virkeligheten er så kompleks at den må forenkles for å kunne forstås spesielt gjelder dette på et aggregert nivå. 25.09.2014 Realisme: Godt utviklede tallmål består ikke bare av tilfeldigheter. De sier noe om den virkeligheten som tallene måler indikasjon på noe Skeptisisme: Være klar over at dette er forenklinger, og at man bare i noen grad lykkes med å måle det man skal måle. Og hva er egentlig alternativet? Lytte til autoriteter som vet best, overlate til nyhetsmedia å lage indikatorer, la en viktig samfunnsinstitusjon stå der uten innsyn? 520 510 Et eksempel på norsk skole i et internasjonalt perspektiv 500 490 480 470 460 450 440 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 PISA les, 10. trinn PISA mate, 10. trinn PISA nat, 10. trinn TIMSS nat, 8. trinn TIMSS nat, 4. trinn TIMSS mate, 8. trinn TIMSS mate, 4. trinn PIRLS les, 4. trinn CIVED/ICCS, 9. trinn 2

Andelen elever på høyt nivå relativt stabilt i PISA, men nedgangen var betydelig tidligere 3

www.pisa.no www.timss.no Hovedfunn Norske elever presterer fortsatt omtrent som gjennomsnittet i OECD Svak tilbakegang i matematikk Bedre læringsmiljø i norske klasserom 4

Deltakelse i PISA 2012 Internasjonalt I Norge - 65 land - 196 grunnskoler - 34 OECD-land - Omtrent 4700 elever PISA måler 15-åringers prestasjoner i lesing, matematikk og naturfag Undersøkelse hvert tredje år Alle de tre fagområdene er med hver gang for å kunne måle endring over tid Ett av fagområdene blir vektlagt hver gang Matematikk er hovedområde i PISA 2012 Alle resultater er anonyme på elev- og skolenivå Et representativt utvalg: 4-5000 elever fra ca 200 skoler 5

Papirbasert prøve og digital prøve Prøven måler elevenes evne til å bruke kunnskaper og erfaringer i de tre fagområdene ved at elevene skal finne fram til relevant informasjon forstå og tolke reflektere og vurdere tenke kritisk analysere og resonnere trekke konklusjoner og begrunne for og imot 6

Matematikkoppgavene i PISA er relevante for norske elever, men oppgavene måler ikke alle deler av skolefaget matematikk Matematikk og grunnleggende ferdigheter i regning i norsk skole Matematikk i PISA Men opplagt også begrensninger Mange utfordringer ved å sammenlikne internasjonalt Oversetting Ulike læreplaner og formål i ulike skolesystemer Måler kun et lite utvalg av de kvalitetene skolen skal jobbe mot Men et viktig utvalg Gir informasjon om gjennomsnittstendenser ikke om årsaker 7

Resultater fra PISA 2012 Liten endring over tid i norske prestasjoner Matematikk Naturfag Lesing 540 530 520 510 500 490 480 470 460 2000 2003 2006 2009 2012 8

Liten endring over tid i norske prestasjoner 540 Lesing Matematikk Naturfag 520 500 480 460 2000 2003 2006 2009 2012 Prestasjoner i et nordisk perspektiv Skår for de nordiske landene i poeng over eller under OECD-gjennomsnittet 60 Matematikk Naturfag Lesing 40 20 7 6 25 44 28 0-20 -5-7 -3 0-1 -23-14 -13-16 -16-40 Norge Danmark Finland Island Sverige 9

Endring av prestasjoner i de nordiske land i matematikk fra 2003 til 2012 560 540 520 500 480 Sverige Finland Island Danmark Norge 460 440 2003 2006 2009 2012 Stor tilbakegang i elevenes prestasjoner i lesing i Sverige og Finland 560 540 520 500 480 Sverige Finland Island Danmark Norge 460 440 2000 2003 2006 2009 2012 10

La nd Gj.snitt Ma te ma tikk Norske elever presterer omtrent som OECD-gjennomsnittet i matematikk Best presterende land utenfor OECD Shanghai (Kina) 613 Singapore 573 Hongkong (Kina) 561 Taipei (Kina) 560 Macao (Kina) 538 Liechtenstein 535 Vietnam 511 OECD 494 Latvia 491 Russland 482 Litauen 479 Sør-Korea 554 Japan 536 Sveits 531 Nederland 523 Estland 521 Finland 519 Canada 518 Polen 518 Belgia 515 Tyskland 514 Østerrike 506 Australia 504 Irland 501 Slovenia 501 Danmark 500 New Zealand 500 Tsjekkia 499 Frankrike 495 OECD 494 Storbritannia 494 Island 493 Luxembourg 490 Norge 489 Portugal 487 Italia 485 Spania 484 Slovakia 482 USA 481 Sverige 478 Ungarn 477 Israel 466 Hellas 453 Tyrkia 448 Chile 423 Mexico 413 300 400 500 600 700 Endring i prestasjoner i matematikk fra 2003 til 2012 for OECD-landene Norske elever presterer omtrent på samme nivå Mexico Polen Tyrkia Portugal Italia Sør-Korea Tyskland Hellas Sveits Japan Østerrike Spania Irland USA OECD Luxembourg Norge Ungarn Danmark Canada Belgia Nederland Frankrike Slovakia Tsjekkia Australia Island New Zealand Finland Sverige -40-20 0 20 40 11

La nd Gj.snitt Le sing Norske elever presterer over OECD-gjennomsnittet i lesing Japan 538 Sør-Korea 536 Finland 524 Irland 523 Canada 523 Polen 518 Estland 516 New Zealand 512 Australia 512 Nederland 511 Belgia 509 Sveits 509 Tyskland 508 Frankrike 505 Norge 504 Storbritannia 499 USA 498 OECD 496 Danmark 496 Tsjekkia 493 Italia 490 Østerrike 490 Ungarn 488 Spania 488 Luxembourg 488 Portugal 488 Israel 486 Sverige 483 Island 483 Slovenia 481 Hellas 477 Tyrkia 475 Slovakia 463 Chile 441 Mexico 424 300 400 500 600 700 Kjønnsforskjeller i alle tre fagområdene for OECD-landene Chile Luxembourg Luxembourg -80-60 -40-20 0 Norge Finland Island Norge Sverige Norge Sverige Finland Finland Island -20 0 20 40-20 0 20 Lesing Matematikk Naturfag 12

Motivasjon for matematikk: Ja, tænke det; ønske det; ville det med; men gjøre det! Nej, det skjønner jeg ikke! Å lykkes i matematikkfaget oppfattes som viktig av elever og foreldre Færre norske elever opplever matematikk som morsomt, spennende, gøy Hadde de arbeidet hardere, mener elevene at de ville gjort det godt i matematikk Når de står fast i matematikk, sier norske elever at de lettere gir opp Det å ikke lykkes på en prøve i matematikk, knytter norske elever i større grad til at noen andre har sviktet. Instrumentell motivasjon matematikk Mye av det jeg lærer i matematikk, vil hjelpe meg til å få jobb 70 78 73 Matematikk er et viktig fag for meg, fordi jeg trenger det når jeg skal studere videre 65 77 75 Å lære matematikk er viktig for meg, fordi det vil bedre mine yrkesmuligheter 77 83 82 Å gjøre en innsats i matematikk er viktig, fordi det vil hjelpe meg i det arbeidet jeg skal gjøre senere 74 85 82 0 25 50 75 100 OECD 2012 Norge 2012 Norge 2003 13

Utholdenhet Når jeg jobber med en vanskelig oppgave, gjør jeg mer enn det som er forventet av meg 25 34 Jeg fortsetter å arbeide med oppgaver helt til alt er perfekt Jeg fortsetter å være interessert i oppgaver som jeg begynner på 35 44 49 42 Jeg utsetter vanskelige oppgaver* 27 37 Når jeg jobber med en vanskelig oppgave, gir jeg lett opp* 38 56 0 25 50 75 100 OECD 2012 Norge 2012 Matematikkundervisningen kan bli bedre ved Tydelig struktur med effektiv klasseledelse Støttende lærer med tydelige hensikter/mål for det hun gjør Utfordrende og kognitivt aktiverende undervisning Med vektlegging av helklasseperspektiver 14

Behov for flere kognitivt stimulerende aktiviteter Læreren stiller spørsmål som får oss til å reflektere over problemet Læreren gir oppgaver som vi må bruke god tid på å reflektere over Læreren gir oppgaver som kan løses på mange ulike måter Læreren gir oss oppgaver fra ulike situasjoner slik at vi skjønner om vi har forstått begrepene Læreren gir oss oppgaver som ikke umiddelbart har noen opplagt løsningsmåte Læreren hjelper oss til å lære av feilene vi har gjort Læreren ber oss om å forklare hvordan vi har løst en oppgave Læreren gir oppgaver som krever at vi bruker det vi har lært, i nye sammenhenger Læreren oppmuntrer oss til selv å finne framgangsmåte når vi løser utfordrende 37 42 49 47 41 42 47 51 53 59 60 59 60 55 62 62 70 67 0 10 20 30 40 50 60 70 80 OECD Norge Behov for mer vekt på strukturerende aktiviteter I begynnelsen av timen gir læreren en kort oppsummering av forrige time 27 41 Læreren stiller spørsmål for å sjekke om vi har forstått det som er blitt undervist 64 71 Læreren setter klare læringsmål for oss 64 69 OECD Norge Læreren forteller oss hva vi må lære 76 80 Læreren ber oss i stor grad om å vise hvordan vi har tenkt og resonnert 56 61 0 10 20 30 40 50 60 70 80 90 15

En likeverdig skole Hvilken skole du går på, har mindre betydning i Norge enn i andre land. Mindre sammenheng mellom elevenes hjemmebakgrunn og matematikkskår i 2012 enn i 2003. Sammenhengen er tydelig, men mindre og svakere enn i de fleste OECD land. Forskjellen mellom majoritets- og minoritetselever er mindre i Norge enn i de andre nordiske landene. Og så den viktigste personen: Læreren! TIMSS, TALIS og PISA tegner et tydelig bilde av den norske læreren som lite deltakende i videre- og etterutdanning Rektorer rapporterer om relativt lav (men økende) grad av evaluering av lærere Elevene rapporterer om en støttende lærer, og klasseledelse synes å ha blitt bedre 16

Mindre uro i klasserommet Elevene hører ikke etter hva læreren sier. 28 34 Det er bråk og uro. 29 41 Læreren må vente lenge før elevene roer seg. 24 36 Elevene får ikke arbeidet ordentlig. 21 28 Elevene begynner ikke å arbeide før lenge etter at timen har begynt. 29 36 0 25 50 75 100 2012 2003 Bedre samhandling mellom lærer og elev Elevene kommer godt overens med de fleste lærerne. 75 82 De fleste lærerne er interessert i hvordan elevene har det. 67 75 De fleste av lærerne mine lytter virkelig til hva jeg sier. 55 67 Hvis jeg trenger ekstra hjelp, vil lærerne mine gi meg det. De fleste av lærerne mine behandler meg rettferdig. 81 75 77 74 0 25 50 75 100 2012 2003 17

Støttende lærer Læreren viser interesse for den enkelte elevs læring. Læreren gir ekstra hjelp når elever trenger det. 60 55 60 70 Læreren hjelper elevene med å lære. 82 81 Læreren fortsetter å forklare helt til elevene forstår. 65 60 Læreren gir elevene anledning til å si hva de mener. 58 69 0 25 50 75 100 2012 2003 Hovedfunn Presterer fortsatt omtrent som gjennomsnittet i OECD Noe tilbakegang i matematikk Få elever på de høyeste prestasjonsnivåene Fortsatt store kjønnsforskjeller i lesing Elevene mer positive til læringsmiljøet og samhandlingen med lærerne Hjemmebakgrunn og hvilken skole du går på, betyr mye, men mindre enn i de fleste andre land Underbruk av noen undervisningsmetoder (konsoliderende undervisning) Uheldig motivasjonsprofil for realfagene: «Viktig, men ikke noe for meg» 18

Naturfag og fysikk, TIMSS og TIMSS Advanced Rolf Vegar Olsen (Trude Nilsen) Om TIMSS Internasjonal undersøkelse i naturfag og matematikk, 4. + 8. trinn Spørreskjema til elever, lærere, skoler 1995-2015, hvert 4 år Naturfag Kjemi Fysikk Geofag (inkludert astronomi) Biologi 19

Hovedresultater 520 TIMSS 8.trinn 510 500 490 480 470 460 2007 2011 450 -og spesielt har vi en oppgang i geofag (astronomi): 520 500 Skalamidtpunkt 480 8. trinn 4. trinn 460 1995 2003 2007 2011 20

Akademisk optimisme Økt akademisk optimisme kan forklare fremgangen i naturfag fra 07-11, og spesielt i geofag (astronomi). (Nilsen & Gustafsson, 2014) Lærernes kunnskap om og beherskelse av læreplanen Lærernes forventninger til elevenes prestasjoner Foreldrenes engasjement og støtte til skolearbeid Elevenes respekt for skolen og ønske om å gjøre det bra = hele skoleinstitusjonens prioritering av og ønske om suksess Om naturfaglærerne på 8. trinn 21

Utdanning i naturfag Årsenhet eller mer i naturfag og naturfagdidaktikk Årsenhet eller mer i naturfagdidaktikk men ikke i naturfag Årsenhet eller mer i naturfag, men ikke i naturfagdidaktikk Spesialisering i andre fag Norge: 8 13 27 52 Internasjonalt: 28 11 51 8 Lærernes opplevelse av å være kvalifisert 2011 Naturfag lige emner totalt Emner i biologi Emner i kjemi Emner i fysikk Emner i geofag Norge 8.trinn 54 63 48 49 51 Internasjonalt 8.trinn 72 77 82 78 47 22

Deltakelse i etterutdanning siste 2 år Faglig innhold i naturfag Undervisnin gsmetoder i naturfag Læreplan i naturfag Integrering av IKT i naturfag Utvikling av elevenes evne til kritisk tenkning og utforsking Norge 19 18 13 6 10 25 Vurdering i naturfag Interna sjonalt 55 58 53 49 43 48 Fysikk i videregående skole 23

Om TIMSS Advanced Internasjonal storskala undersøkelse av fysikk og matematikk siste året på videregående. Vi var med i 1995 og 2008, neste er i 2015. Endring fra 1995 24

En kraftig nedgang i nasjonal kompetanse! Referanser: Lie, Angell og Rohatgi, 2012; Nilsen, Angell og Grønmo, 2013 Fysikk er skrevet i matematisk form Russia Slovenia Sweden Norway No math Math Prosentpoeng endring 1995 til 2008 på oppgaver med/uten matematikk -20-10 0 Russia Slovenia Math. Representations Symbols Prosentpoeng endring 1995 til 2008 på oppgaver med matematiske representasjoner eller med algebraiske uttrykk Sweden Norway -20-18 -16-14 -12-10 -8-6 -4-2 0 2 25

Oppsummering Norske elever er relativt svakest i fysikkdelen av naturfaget i ungdomsskolen. På ungdomstrinnet har få lærere utdannelse i naturfag, få har etterutdanning, mange føler seg ikke kvalifisert. Nedgang både i antall elever og i prestasjoner i fysikk i vgs På videregående kan dette skyldes dårlige forkunnskaper i matematikk, spesielt algebra Fortsatt høyt kompetente lærere i fysikk i vgs, og de trives godt i jobben sin Resultat i PISA/TIMSS = Politikk? Tverrsnittsundersøkelse Gir mange middelverdier og korrelasjoner/regresjonskoeffisienter og hvordan disse utvikler seg over tid Måler en tilstand, men gir ikke tiltak Vanskelig å kople PISA til sentrale grep i norsk utdanningspolitikk de siste årene Kan ikke si mye om lærerne Kan ikke si noe om konkrete virkemidler i ulike strategier Vanskelig å si noe om spesifikke elementer av K06 Variabler som kan påvirkes direkte av politikkutformingen har liten påvist effekt eksempelvis klassetørrelse 26