Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

Transkript

1 Temanotat 2007/02 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet Landsmøtet

2 Temanotat 2007/02 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet Utarbeidet i avdeling for utredning ved Harald Skulberg Avdeling for utredning er en avdeling i Utdanningsforbundets sekretariat. Arbeidet i avdeling for utredning er forankret i Utdanningsforbundets politikk og verdigrunnlag, men er ikke behandlet i Utdanningsforbundets politisk ansvarlige organer før de offentliggjøres. Utgiver: Utdanningsforbundet, Postboks 9191 Grønland, 0134 Oslo

3 Innhold 1. Innledning...4 Introduksjon...4 Behov for et kritisk blikk...4 Hovedinnhold og oppbygning av temanotatet Årsaker til økt bruk av internasjonale undersøkelser...7 Kunnskapsøkonomien...7 New Public Management...8 Internasjonale prosesser Om indikatorer og benchmarks Hva er en indikator? Hva er en benchmark? Kontekst Kriterier for bruk av indikatorer Definisjoner Fortolkning Bruk av internasjonale sammenligninger Definering av referanserammer Rangering Læring Legitimering Utfordringer for Utdanningsforbundet Litteratur Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 3

4 1. Innledning Introduksjon Tradisjonelt har utdanningspolitikk vært oppfattet som en nasjonalt forankret virksomhet som reflekterer det enkelte lands historie, tradisjon og kultur. Utdanningssystemene i ulike land har betydelige forskjeller når det gjelder finansiering, organisering, struktur og innhold. Det siste tiåret har en imidlertid sett at systemene har nærmet seg hverandre gjennom en rekke internasjonale tiltak og prosesser. Det kan skyldes at landene hver for seg eller i samarbeid søker samme løsninger på de samme utfordringene. En annen forklaring er at hvert enkelt land godtar eller blir presset til å akseptere en slags mal for hvordan en framgangsrik nasjonalstat utvikler sitt utdanningssystem. I den sammenhengen bidrar internasjonale sammenligninger, eksempelvis av elevers kunnskaper og ressurser investert i utdanning, i stigende grad til å sette dagsorden for vurderinger og initiativ her hjemme. Innsamling og løpende publisering av komparativt statistisk materiale har gitt OECD en særlig sterk og unik stilling som premissleverandør (Karlsen 2002). Norske offisielle politikkdokumenter på utdanningsfeltet anvender nesten alltid data fra OECD. OECD er en organisasjon der hovedanliggende er økonomisk vekst og utvikling. Følgelig er det grunn til å tro at det økonomiske aspektet er blitt mer framtredende på utdanningsområdet. Vektleggingen av internasjonale sammenligninger har bidratt til økt oppmerksomhet rundt internasjonale trender, utdanningsstatistikk og indikatorer. Statistikk og indikatorer gjør det mulig å se eget utdanningssystem i lys av hva som skjer i andre land. Deltakelse i internasjonale sammenlignende undersøkelser har blant annet gitt et bilde av norske elevers kunnskapsnivå i sentrale fag sammenlignet med andre lands elever. Undersøkelsene gir informasjon om på hvilke områder norske elever skiller seg ut, men bare dels om hvilke faktorer som kan være med å forklare forskjeller i læringsutbytte. Slike rangerte internasjonale kunnskapsresultater har imidlertid i seg selv liten informasjonsverdi, selv om de får stor plass i media. Det er først gjennom analyse og fortolkning i et nasjonalt perspektiv at slike resultater kan ha stor verdi. Behov for et kritisk blikk Tidligere var det ikke uvanlig å høre påstander om at Norge har verdens beste skole, men resultater fra internasjonale studier de senere år har fått oss til å nyansere og dempe slike uttalelser noe. Nylig tok Høyreleder Erna Solberg likevel til orde for høye ambisjoner og store visjoner for norsk utdanning. Norge må heve og realisere ambisjonene for norsk skole, høyere utdanning og forskning. Konkrete mål er å etablere minst ett universitet blant verdens tretti beste og at Norge blir blant de ti beste i verden i regning, lesing og skriving på grunnskolenivå (Dagbladet ). En blant flere forutsetninger for å vurdere slike ambisjoners realisme, er god kunnskap om og innsikt i andre lands innsats og resultater. Denne forutsetningen synes ikke alltid å være til stede blant de som tar til orde for at Norge bør ligge blant de fremste. 4 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

5 Norsk utdanning i et komparativt lys, slik det gjerne framstilles i det norske mediebildet, står ofte i sterk kontrast til det høye ambisjonsnivået. Svakere enn Ghana og Botswana skrev VG 14. desember for to år siden, mens Skoletårnet er mer skjevt enn det i Pisa var overskriften i Dagsavisen fire dager senere. Sør-Korea får mer enn dobbelt så mye ut av skolekronene sine som Norge, skrev Dagsavisen 8. april i 2005, mens Dagens Næringsliv skrev om middelmådige norske elever. Inntrykket er nedslående. Norsk skole er på bunnivå og den er i alvorlig krise. Internasjonale undersøkelser blir presentert på samme måte som internasjonale sportsbegivenheter, og blir framstilt som mesterskap i utdanning der plassering gir autoritativ dom over kvaliteten på utdanningssystemet i de enkelte land. Troen på internasjonale undersøkelser er nesten grenseløs i norsk offentlighet. I hvilken grad kan internasjonale sammenligninger egentlig si noe om kvaliteten i norsk utdanning? Spørsmålet krever omfattende og grundige analyser, og går langt ut over rammen for et kortfattet temanotat. Ved å rette et kritisk blikk på internasjonale sammenligninger på utdanningsfeltet kan temanotatet likevel bidra til å rette søkelyset på et viktige tema i norsk utdanningspolitikk, og peke på viktige sider som bør undersøkes nærmere. Hovedinnhold og oppbygning av temanotatet Dette temanotatet handler om ulike sider ved internasjonale sammenligninger. Følgende publikasjoner er mest referert i notatet: Education at a Glance (EAG) er en årlig publikasjon med indikatorer på utdanningsområdet i OECD-landene. EAG er delt i fire hoveddeler: læringsutbytte og betydningen av læring, ressurser, tilgang til og deltakelse i utdanning samt læringsmiljø og organisering av skoler. Her brukes årgangene fra 2005 og PISA-undersøkelsene i 2000 og 2003 fra OECD om 15-åringers ferdigheter innen lesing, matematikk og naturfag. TIMSS-undersøkelsen fra International Association for the Evaluation Achievement (IEA). Denne undersøkelsen handler om matematikk og naturfag i skolen og omfattet i 2003 elever i 4. og 8. klasse. EU-publikasjonen Key data on Education in Europe fra Denne utgaven er den sjette i rekken og innholder 153 indikatorer for 30 europeiske land. Fra EU er også brukt ulike rapporter om status i Education and Training FN-programmet for utvikling, United Nations Development Programme (UNDP), har i sine årlige Human Development Reports (HDR), forsøkt å sammenligne tre sentrale velferdsdimensjoner: mulighet til å leve et langt og sunt liv, mulighetene til å tilegne seg nødvendig kunnskap, samt tilgang til ressurser som er nødvendig for en tilstrekkelig levestandard utgaven omfattet 177 land. PISA og TIMSS har blitt slått stort opp i norske medier og har fått betydelig oppmerksomhet hos alle sentrale aktører innenfor utdanningsområdet. Resultatene i EAG blir som regel omtalt i norske medier, og flere av enkeltfunnene er hyppig brukt av norske myndigheter. Key data on Education in Europe er derimot lite omtalt i norske medier og synes også å være lite brukt. Norges topplassering i UNDP har blitt slått stort opp. Det har likevel vært liten debatt og kritisk oppmerksomhet rundt kåringen som verdens beste land å bo i. Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 5

6 Svakhetene ved Human Development Index (HDI) har i liten grad blitt vektlagt, heller ikke begrensningene som UNDP selv peker på. Internasjonale sammenligninger av utdanningssystemer bør alltid leses og fortolkes med varsomhet. Utdannings- og opplæringssystemer er svært forskjellige i struktur, organisering og innhold og er derfor vanskelige å sammenligne på tvers av land. En slik erkjennelse bør en alltid ha i minne når en omtaler komparative undersøkelser. Det er derfor en rekke forhold som må trekkes inn ved en mer kritisk bruk av internasjonale undersøkelser. For det første er det viktig med noen store samfunnsmessige sammenhenger som sammenligningene hører hjemme i. I kapittel to pekes det på noen slike forbindelser ved at vi ser på ulike årsaker til økt bruk av internasjonale undersøkelser. Et annet viktig forhold, er hva en indikator og en benchmark er. Uten å ha en viss forståelse av sentrale begreper er det vanskelig å vurdere innvirkning på kvalitet. Sammen med kriterier for bruk av indikatorer er dette tatt opp i kapittel tre. Hva en legger i indikatorene kan også være av stor betydning for de resultater som kommer ut, noe som er tema i kapittel fire. Ikke minst vil spørsmålet om hvordan resultatene fortolkes være helt avgjørende og dette omtales i kapittel fem. Kapittel seks tar opp hva resultatene fra internasjonale sammenligninger kan brukes til. I et avslutningskapittel pekes det på noen utfordringer som internasjonale sammenligninger reiser for Utdanningsforbundet. 6 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

7 2. Årsaker til økt bruk av internasjonale undersøkelser Økt bruk av internasjonale, komparative undersøkelser må forstås i lys av samfunnsutviklingen for øvrig. Trekk ved kunnskapsøkonomien, ved New Public Management (NPM) og internasjonale prosesser, kan alle kaste lys over denne tendensen. Kunnskapsøkonomien OECD har spilt en sentral rolle i utviklingen og spredningen av begrepet kunnskapsøkonomi. OECD (1996) definerer kunnskapsøkonomi som Economies that are directly based on production, distribution and use of knowledge and information. I kunnskapsøkonomien ses utdanning i økende grad som en sentral samfunnsøkonomisk investering, som har avgjørende betydning for produksjon og sysselsetting. Dette har i sin tur hatt betydning som idéramme for europeisk utdanningspolitikk, for eksempel når hovedproblemet for Europas universiteter defineres som det at de ikke kan konkurrere med de beste universitetene i USA. Europeiske universiteter når ikke høyt nok opp på internasjonale rangeringslister. Universitetet i Oslo (UiO) inntok 178. plass på Times Higher Education Supplements universitetsrangering i 2006, og det var et fall fra 136. plass året før. På en annen liste, Shanghai Jiatong universitetsrangering, kom UiO på 68. plass i Kunnskapsøkonomien skaper et behov for å tallfeste ressursinnsatsen i utdanningssektoren og reiser spørsmål om resultater og avkastning på investeringene i utdanning. Ønsket om best mulig avkastning av investeringene retter fokus mot resultater av opplæringen. Investering i utdanning er et parameter som land blir målt på utgaven av OECD sin publikasjon Education at a Glance (EAG) starter sammendraget slik: Education and lifelong learning today play a critical role in the development of our economies and societies. This is true in the world s most advanced economies as well as in those currently experiencing periods of rapid growth and development. Human capital has long been identified as a key factor in driving economic growth and improving economic outcomes for individuals, while evidence is growing of its influence on non-economic outcomes including health and social inclusion. (OECD 2005:11) De OECD-initierte PISA-undersøkelsene kan tolkes som politiske dokument (Østerud 2006). Undersøkelsene er rettet mot fag som anses som særlig viktige for å opprettholde utvikling og vekst i OECD-landene. At PISA 2003 føyde til det tverrfaglige området problemløsning har sammenheng med endringer som har skjedd på arbeidsmarkedet i kjølvannet av teknologiutvikling og globalisering. Det er en økende etterspørsel etter høyt kvalifiserte arbeidstakere som har evnen til problemløsning. Sentralt i Lisboa-prosessen er at europeiske utdanningssystemer må tilpasse seg kravene i kunnskapsøkonomien. The European Union is confronted with a quantum shift resulting from globalisation and the challenges of a new knowledge-driven economy. These changes are affecting every aspect of people s lives and require a radical transformation of the European economy. The Union must shape these changes in a manner consistent with its values and concepts of society. (Council of European Union, 2000, Paragraph 1) Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 7

8 I Lisboa-prosessen (jf. side 8-9) utgjør skole og kunnskapsproduksjon viktige konkurransefaktorer i en globalisert kunnskapsøkonomi. Arbeidsmarkedet påvirkes av globaliseringen og stiller nye krav til utdanning. Spesielt når det gjelder investering i menneskelige ressurser, økt kunnskapsnivå, nye grunnleggende ferdigheter og økt mobilitet. Felles og påtrengende reformer er nødvendig for å modernisere europeisk utdanning. Selv om det finnes konsensus på det europeiske nivået (Gornitzka og Olsen 2006), foregår det brytninger mellom ulike forståelser. Styrkeforholdet mellom de som ser utdanning primært i en økonomisk ramme og de som legger hovedvekten på andre sider ved utdanningen er skjevt, på så vel det europeiske nivået som i mange enkeltland. New Public Management Det er særlig to komponenter ved NPM, mål- og resultatstyring og strukturell fristilling, som har stått sentralt i Norge (Christensen og Lægreid 2001). Et hovedelement i mål- og resultatstyring er vurderingen av resultater i lys av målene for virksomheten og tilgjengelige ressurser. Det er behov for informasjon om måloppnåelsen på alle nivåer, og om ressursene er utnyttet effektivt. God informasjonen er nøkkelen for vurdering av virkemiddelbruken. Ved strukturell fristilling i form av økende vekt på desentralisering og deregulering blir utvikling av gode indikatorer enda viktigere. Det er behov for overvåking, evaluering og kontroll som kan bidra til å dokumentere i hvilken grad samfunnets mål for opplæringen nås. Tendensen er også en kobling mellom finansiering og resultater i utdanningssektoren, først og fremst innenfor høyere utdanning. Utvikling av kvaliteten i opplæringen må ta utgangspunkt i vurdering av oppnådde resultater, i følge NPM. I et slikt perspektiv er det nødvendig å innhente systematisk informasjon om erfaringene. Informasjon om innsatsfaktorer, prosess, organisering og resultater er nødvendig for å kunne vurdere effektiviteten av ulike tiltak og for å sammenligne mellom enheter eller tiltak. Internasjonale prosesser For tiden pågår flere internasjonale prosesser som kan bidra til større konvergens mellom utdanningssystemene. For å fremme mobilitet og gjøre europeisk høyere utdanning bedre og mer konkurransedyktig, ble Bologna-prosessen formelt satt i gang i Bakgrunnen var en sterk konkurranse fra ikke-europeisk høyere utdanning. Årsaken var også å finne i økende konkurranse fra en ny utdanningssektor (nettbasert og/eller kommersiell) ved siden av den tradisjonelle, nasjonale, offentlig regulerte og ofte gratis høyere utdanning i europeiske land. Målet om å skape et europeisk rom for høyere utdanning krever at det finnes standardisert informasjon som gjør at utdanninger i ulike land og institusjoner kan sammenlignes (Gornitzka og Olsen 2006). I mars 2000 vedtok stats- og regjeringssjefene i EU det ambisiøse målet om å gjøre Europa til den mest konkurransedyktige kunnskapsøkonomien i verden innen 2010 (Lisboa-prosessen). Utdanning og opplæring i verdensklasse er sentralt i strategien. Også her er en hovedforklaring å finne i økt konkurranse og globalisering, i første rekke fra USA og Japan, og på litt lengre sikt også fra flere andre utenomeuropeiske land. Da er det behov for å finne ut hva status er og hvordan en måler progresjon i forhold til oppsatte mål. Fokus på 8 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

9 mål og resultater, på evaluering og kvalitetssikring samt akkreditering representerer en utvikling i retning av styring via standarder. Den åpne koordineringsmetoden er sentral i Lisboa-prosessen. Ministere eller regjeringssjefer fastsetter de politiske målene, og så er det opp til landene å avgjøre hvordan politikken skal gjennomføres. Kommisjonen utvikler så indikatorer ved utstrakt bruk av ekspertgrupper, og statene bes rapportere i forhold til de opptrukne indikatorene og referansene. Metoden forutsetter at en kan koordinere landenes politikk som bidrag til felles europeiske mål uten å harmonisere virkemidlene (Gornitzka 2005). Det dreier seg om myke styringsmidler som ikke forutsetter ett hierarkisk senter, og den åpne koordineringsmetode er EUs versjon av myke styringsformer i organisert form. Metoden er ikke legalt basert, dens utspring er knyttet til politiske mål. Den involverer en kvantifisering av den politiske prosessen, og bygger på en klar forbindelse mellom prosesser på europeisk nivå og politikkutforming på nasjonalt nivå. Bildet kompliseres av at ulike prosesser flyter sammen. Fra 2004 ble utdanningsaktiviteter i EU samlet under paraplyen Education and Training I tillegg foregår europeiske prosesser i en kontekst av globale organisasjoner, blant annet forhandlinger i verdens handelsorganisasjon (WTO) om handel med tjenester. Det er pekt på at nye utfordringer fører til økt oppmerksomhet rundt internasjonal utdanningsstatistikk. Nødvendigheten av at utdannings- og opplæringssystemer er i stand til å spille sammen er blitt stadig mer framtredende (Holseter 2005). For å kunne foreta sammenligninger er det nødvendig med pålitelige og sammenlignbare data i tillegg til å ha god kjennskap til hvordan systemene er bygd opp og virker. Som for Bologna-prosessen er en hovedmålsetning med utdanningsaktivitetene i EU økt mobilitet. Det skal bli enklere for den enkelte elev og student å ta hele eller deler av opplæringen eller studier i et annet land samtidig som det blir enklere å få godkjent utdanning tatt i andre land. Flere felles faktorer og større likhet mellom systemene vil også gi et bedre grunnlag for internasjonale sammenligninger av data. Forholdene legges således bedre til rette for utarbeidelse av internasjonal utdanningsstatistikk (Holseter 2005). Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 9

10 3. Om indikatorer og benchmarks Begrepene indikator og benchmark er sentrale i internasjonale sammenligninger. For å vurdere hvordan internasjonale sammenligninger virker på nasjonal politikk er det helt nødvendig å vite noe om hva som menes med disse begrepene. Hvilken kontekst de settes i og hvilke kriterier som bør legges til grunn for valg av indikatorer vil det også være viktig å ha kjennskap til. Hva er en indikator? Det er gitt ulike definisjoner av hva en indikator er. I Nordlandsforsknings rapport om kvalitetsutvikling i skolen er en kvalitetsindikator definert på følgende måte. En indikator er et forenklet uttrykk for komplekse fenomener og sammenhenger i en form som gjør det mulig å kvantifisere disse. (Nordlandsforskning 2000:43) En indikator brukes til å belyse fenomener og sammenhenger, men uten at vesentlige egenskaper ved disse går tapt. En indikator brukt slik vurderes å være tilstrekkelig til å si noe om den samlede kvaliteten. Målet med indikatorutvikling er gjerne å sammenfatte og uttrykke mange komplekse forhold i noen få håndterbare tallstørrelser. Resultatene av politikken kan således måles og synliggjøres på en enkel og forståelig måte. I en slik betydning blir indikatorer brukt som nøkkeltall. Eksempelvis rapporterer norske kommuner og fylkeskommuner i KOSTRA om en rekke nøkkeltall ved egen virksomhet. Eksempler på slike tall er andel barn mellom 1og 5 år med barnehageplass, netto driftsutgifter til grunnskoleopplæring i prosent av samlede netto driftsutgifter og antall elever i grunnkurs i videregående opplæring. SSB har det siste året arbeidet med å utvikle et rammeverk for kvalitet. Byrået tar utgangspunkt i følgende definisjon: Kvalitet er helheten av egenskaper og kjennetegn et produkt eller tjeneste har, som vedrører dens evne til å tilfredstille krav eller behov (SSBs hjemmeside). Denne definisjonen tar utgangspunkt i brukerbehov for de aktuelle produktene eller tjenestene. Dekning av brukerbehov gir uttrykk for resultatkvalitet. Bak dette avledes produktkvalitet, prosesskvalitet og strukturkvalitet. SSB oppgir at videreutvikling av kvalitetsindikatorer skal konsentreres om resultat- og produktkvalitet, og at mange av de nøkkeltallene en alt har i KOSTRA kan defineres som kvalitetsindikatorer. Andre legger vekt på at indikatorer er noe mer enn nøkkeltall. Som navnet sier, er indikatorer størrelser som skal indikere noe. Det innebærer at en indikator ikke skal gi fullstendig informasjon om status eller tilstand. Oppmerksomheten rettes mot om utviklingen synes god, om tilstanden er normal eller om utviklingen går i ønsket retning (NOU 2005:5). I en slik betydning må indikatorer være knyttet til mål. Indikatorene skal gi en beskrivelse av den nåværende situasjonen, en kvantifisering av målsetningene som har blitt satt, og gi en innsikt i hvilke faktorer som har bidratt til å oppnå bestemte resultater. Brukt på en slik måte vil indikatorer bidra til å danne grunnlag for politiske beslutninger. Dette fordrer at indikatorene er knyttet til beslutningsprosesser i samfunnet. Koplingen til mål bidrar til å gjøre indikatorer politisk viktige. Indikatorutvikling innebærer politiske beslutninger om hva som skal måles og følgelig vies oppmerksomhet, og kan derfor ikke reduseres til tekniske spørsmål. Regjeringens mål i Soria Moria-erklæringen om at det skal ansettes flere lærere i skolen kan kanskje være et eksempel på en indikator hentet fra norsk utdanningspolitikk? 10 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

11 Ambisjonene kan også strekke seg lenger. Om mulig tenkes indikatorsettet å gjøre mer enn å indikere om tilstanden er tilfredsstillende eller urovekkende. Det kan også gi signaler om hvilke virkemidler eller politikkområder som eventuelt bør endres, og i hvilken retning. Arbeidet med å utvikle indikatorer er derfor samtidig en diskusjon om utdanningspolitiske mål. Noen eksempler hentet fra Lisboa-prosessen illustrerer sammenhengen mellom indikatorer og politiske mål. Et av 13 strategiske mål er å forbedre grunnutdanningen og etter- og videreutdanningen av lærere og instruktører. Tre indikatorer ble i 2002 knyttet til dette målet: Mangel på eller overskudd av kvalifiserte lærere på arbeidsmarkedet Økning i antall søkere på lærerutdanningene Prosentandel av lærere som tar etter- og videreutdanning Til målet om å utvikle kompetanse for kunnskapssamfunnet ble etter- og videreutdanning av lærere i særskilte fagområder valgt som en indikator. Indikatoren prosentvis andel av lærere som har fått opplæring i IKT ble relatert til målet om å sikre tilgang til IKT for alle. For målet om å fremme aktivt medborgerskap og sosial samhørighet er det til nå ikke utviklet europeiske indikatorer, men i EU arbeides det med å utvikle slike. Det gjelder også for lære å lære og språkkunnskaper. Noen ganger er som vi har sett indikatorene eksplisitt relatert til mål, som i Lisboaprosessen. I andre sammenhenger er indikatorene ikke knyttet til mål i det hele tatt eller de opptrer kun i en implisitt sammenheng med mål. Slik kan utgifter per elev både bli sett på som en investering i utdanning og som et mål på at en bruker for mye penger på utdanning. Hva er en benchmark? Det er vanskelig å finne et godt og dekkende ord for benchmark på norsk. Enkelte har brukt referansesammenligning. Innenfor utdanningsområdet brukes benchmark lite, både som begrep og som fenomen. På andre områder, som innen landmåling, er det et sentralt begrep. Norsk språkråd anbefaler referansenivå, -norm, -verdi eller styringsmål. Eller kanskje vi på norsk burde låne begrepet fra landmåling, nemlig fastmerke. En benchmark er det punktet på en indikator som en bruker for å se om målet eller delmålet er nådd. Norsk utdanningsmyndigheter har ikke eksplisitt fastsatt noen nasjonale benchmarks. Mange politiske målsettinger har likevel karakter av å være benchmarks. Soria Moria-erlæringens mål om at kontaktlærere ikke skal ha ansvar for mer enn 15 elever i grunnskolen kan være et eksempel. Utdanningsministrene i EU vedtok i mai 2003, i forbindelse med Lisboa-prosessen, fem benchmarks : Andelen av elever som dropper ut av skolen skal halveres, det vil si ikke overstige 10 prosent i Minst 85 prosent av 22-åringene skal ha fullført videregående opplæring i Andelen av personer som tar en grad i høyere utdanning innen realfag eller teknologi skal økes med 15 prosent i 2010 sammenlignet med dagens nivå. I tillegg skal den kjønnsmessige ubalansen reduseres. Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 11

12 Andelen av 15-åringer som er på laveste nivå hva angår leseferdighet i PISAundersøkelsen skal reduseres med 20 prosent i Andelen av personer mellom 25 og 64 år som er i etterutdanning skal være på minst 12,5 prosent i Norge rapporterer til EU om norsk status på ovennevnte benchmarks. For eksempel oppga vi om frafall på 13,3 prosent i 2000 og 4,5 prosent fire år senere. Tilsvarende tall for deltakelse i etterutdanning var 13,3 prosent i 2000 og 18,9 prosent i Benchmark blir sett på som referansepunkter for hvor EU ønsker å være i De peker ut områder hvor det er behov for å heve kvaliteten. Begrepet relateres ikke bare til å fortelle om status, men også til å signalisere politiske intensjoner samt felles enighet og felles bekymringer. Ministrene arbeidet også en stund med å finne en benchmark på investering i human kapital, men her ble de ikke enige. Benchmarking er ett blant flere virkemidler som er brukt i konkurranseeksponering. Det offentlige kan gjennom begrepet etablere og etterligne egenskaper fra markedet. En forutsetning er at det finnes alternative tilbydere. Benchmarking innebærer en systematisk sammenstilling av ulik virksomhetsinformasjon som blir brukt både for å skape konkurranse mellom enheter, men også for å kunne overvåke som grunnlag for å identifisere ineffektivitet. Ved å bruke denne informasjonen som sammenligningsgrunnlag, kan en måle prestasjoner i egen virksomhet opp mot prestasjoner i andre tilsvarende virksomheter. Hensikten med metoden er å skape bedre effektivitet og kvalitet (Olaussen 2002). Benchmarks kan på samme måte som indikatorene føre til overdreven fokusering på kvantifiserbare mål for utdanningspolitikken. Kontekst I EAG settes hver enkelt indikator i en større sammenheng, under overskriften politisk kontekst. Indikatorene i EAG er ikke eksplisitt knyttet til politiske mål. Det forhindrer ikke at OECD kan ha klare politiske mål ved hvilke indikatorer som velges ut. Ved å sette indikatorer inn i en politisk kontekst begrunnes hvorfor OECD mener indikatorene er viktige og i hvilken sammenheng de bør vurderes. For indikatoren om samfunnsmessig avkastning av utdanning sto blant annet: Much is already known about a variety of positive associations between educational attainment and physical and mental well-being. However, definitive evidence is lacking on the forms, magnitudes and causal nature of spill-overs from education to a number of specific aspects of health. Further evidence on these relationships could have significant policy implications. This is especially so given that in many countries, the overall cost of health care is rising faster than the rate of economic growth. (OECD 2005:145) Befolkningens utdanningsnivå er viktig av flere grunner: A well-educated and well-trained population is central to the social and economic well-being of countries and individuals. Education is a key role in providing individuals with the knowledge, skills 12 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

13 and competencies needed to participate effectively in society and in economy. Education also contributes to an expansion of scientific and cultural knowledge. (OECD 2006:30) Slik OECD (2006) vurderer det, fanger indikatoren om fullføring av videregående opplæring ikke opp kvaliteten i opplæringen, men den indikerer i hvilken grad utdanningssystemet lykkes med å forberede elevene på å møte minimumskravene i arbeidsmarkedet. Et annet eksempel er indikatoren om lærerlønninger som ses i sammenheng med at utdanningssystemet sysselsetter et stort antall profesjonelle i et økende konkurranseorientert arbeidsmarked. Lønns- og arbeidsvilkår er nøkkelfaktorer som kan være viktige faktorer for å tiltrekke, utvikle og beholde lærere av høy kvalitet. Lærerlønn er også viktig fordi det reflekterer karriereveier og avansementsmuligheter innen profesjonen. En relativ flat lønnsstruktur kan være et insentiv for å tiltrekke seg kvalifisert personale, men samtidig innebære færre insentiver for å belønne kontinuerlig utvikling. Det er ikke alltid det oppgis hvilken kontekst indikatorene er satt inn i. Hvis det er tilkjennegitt, er det ikke sikkert at dette kommer tydelig fram. Kriterier for bruk av indikatorer Det finnes flere forslag til hvilke kriterier som bør legges til grunn for gode indikatorer. Skal et sett med indikatorer bidra til å rette oppmerksomheten på de høyest prioriterte problemområdene, må et hovedkrav være at indikatorsettet er lite og oversiktelig. En må finne fram til et begrenset sett med indikatorer. I forbindelse med arbeidet med å utvikle et nasjonalt vurderingssystem, utarbeidet en ekspertgruppe oppnevnt av daværende Utdannings- og forskningsdepartementet en rapport om indikatorer (UFD 2002). Gruppen formulerte en rekke krav til kvalitetsindikatorer: Indikatorene skal være til hjelp både for å måle grad av måloppfyllelse og for å konkretisere og tydeliggjøre nasjonale mål. Indikatorene skal være allment aksepterte. Indikatorene må være valide. Indikatorene må være reliable. Indikatorene må oppleves å være relevante. Indikatorene må være sammenlignbare på tvers av enheter. Indikatorene må være sammenlignbare over tid. I NOU 2005:5 Enkle signaler i en kompleks verden har utvalget satt opp en liste over viktige kriterier: Indikatorene må gi rask oversikt over et tema, og fortelle mottakerne noe. Det må være mulig å bedømme om en indikatorverdi er høy eller lav, god eller dårlig, enten som et nivå eller som gjenspeiling av en trend. Indikatorer skal velges ut for sentrale samfunnsmessig prioriterte områder. Settet av indikatorer skal gjenspeile noen få hovedproblemstillinger innenfor utvalgte områder og ikke alle aktuelle problemstillinger. Indikatorsettet skal kunne knyttes til politiske mål og praktisk politikk. Indikatorsettet bør i størst mulig grad være sammenlignbart med andre lands indikatorsett. Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 13

14 Det må finnes et solid sett med lite kontroversielle bakgrunnsdata for indikatorsettet. Det er en fordel om indikatorsettet i størst mulig grad har lokal relevans. Videre er det en fordel om indikatorene kan knyttes til utviklingen i de ulike samfunnssektorene. Indikatorene bør være følsomme for relativt små forandringer. Det bør være mulig å analysere utviklingen eller sette opp scenarier på bakgrunn av indikatorer. Det er en fordel om indikatorene lar seg framskrive og koble til økonomiske modeller. I praksis vil det ikke være mulig, og heller ikke hensiktsmessig, å oppfylle alle krav og kriterier. Det synes ikke å foreligge noen politisk enighet om hvilke kriterier som er de viktigste, verken nasjonalt eller internasjonalt. Det bør innebære at de kriteriene som velges ut i det enkelte tilfellet blir grundig drøftet og begrunnet. Å utvikle indikatorer som tilfredsstiller ovennevnte krav er vanskelig nok innenfor et land. Å utvikle gode indikatorer som kan brukes til sammenligning mellom flere land er langt vanskeligere. Internasjonalt finnes flere forslag til hvilke kriterier som bør legges til grunn for gode indikatorer, eksempelvis av OECD. I utgangspunktet kan en kanskje stille seg spørsmål om det er behov for indikatorer. Ikke minst vil det være viktig å avklare hvordan de er tenkt brukt. Indikatorer og kriterier i seg selv vekker kanskje ikke de store motforestillingene (Tiller 1990). Det er først når ordene måling og testing blir tatt i bruk at diskusjonen flammer opp. Det problematiske består i at det bare er visse aspekter som er målbare i den kontante forstand av ordet. Eksakte målinger krever klare kriterier, og det blir her behov for kriterier forstått som entydige standarder anvendt på entydige saksforhold. Det umulige blir å måle kvalitet der det ikke er mulig å redusere saksforholdet til noe entydig og enes om entydige standarder for vurdering. En del saksforhold er svært sammensatt, verdiladet og innfløkt og krever at vi tar i bruk et vidt kriteriebegrep, der kriterier forstås som retningslinjer for vurdering. (Tiller 1990:395) Utviklingen de senere årene har gått i retning av å utvikle og anvende flere indikatorer enn før, så vel nasjonalt som internasjonalt. Som tidligere nevnt vil valget av indikatorer lett oppfattes som uttrykk for det myndigheter mener er viktig og dermed lett kunne virke sterkt styrende for virksomheten. Dersom det knyttes belønning til indikatorene vil denne effekten bli forsterket. Mye av indikatorarbeidet internasjonalt er nødvendigvis basert på kompromisser. Deltakelsen i internasjonalt indikatorarbeid bidrar til å skape felles forståelse av utdanningspolitiske mål og utfordringer. Ikke overraskende vil land gjerne fremme indikatorer som setter eget utdanningssystem i et gunstig lys og aktivt motarbeide indikatorer som gir et lite flatterende bilde. 14 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

15 4. Definisjoner Ved utvikling av en indikator må man definere de komponentene som inngår i indikatoren. Denne definisjonen kan i betydelig grad påvirke resultatene. Flere eksempler illustrerer dette. Norge har alltid skåret høyt i all internasjonal statistikk om utdanningsnivå. Det har vært en svært høy andel av den norske befolkningen som har fullført videregående opplæring eller utdanning på universitets- og høyskolenivå. Disse skårene har den siste tiden blitt problematisert (Jørgensen 2005). Hva skal en fullført utdanning være på de ulike nivåene og hvordan skal en fullført utdanning defineres? Måles utdanningsnivået på samme måte i ulike land? For å kunne måle utdanningsnivået i en befolkning er det nødvendig med gitte definisjoner av de ulike nivåer som grunnskoleutdanning, videregående opplæring og høyere utdanning. Det er behov for å gjøre endringer i norske definisjoner av utdanningsnivåer i publisering av befolkningens høyeste utdanning (bhu), slik at norsk praksis kommer på linje med dagens internasjonale regler for nivådefinisjoner. En slik tilpasning vil også være mer i samsvar med hva som er vanlig oppfatning av hva som kreves av fullførte utdanninger. Det nye forslaget fører til at Norges bhu blir langt lavere rangert. En sammenligning mellom nåværende og nytt forslag til bhu, med utgangspunkt i tallene for 2002, viser klar forskjell: Nåværende bhu i prosent Nytt forslag bhu i prosent Grunnskolenivå Videregående Universitet og høyskole Med definisjon av ny bhu framstår Norge som et land med gjennomsnittlig utdanningsnivå blant OECD-landene. Bruk av ny definisjon er ennå ikke avklart. Et annet eksempel, også hentet fra EAG, er indikatoren andelen som fullfører videregående opplæring ( current upper secondary graduation rates ). Norge ligger her blant de fremste med en andel på 92 prosent av ungdomskullene som går i videregående opplæring. Definisjonen av graduation kan imidlertid være høyst uklar og kanskje misvisende med tanke på tall fra Statistisk sentralbyrå (SSB) som viser en frafallsprosent i Norge på nær 25 prosent fra videregående opplæring (for de som begynte i videregående i 1999). Et tredje eksempel er uklarhet om hva som inngår i grunnlaget for indikatoren lærertetthet. Statistisk sentralbyrå (SSB) melder eksempelvis inn lærertetthet på 9,2 i videregående opplæring til OECD, men de legger ut en lærertetthet på 7,0 i KOSTRA. Forklaringen er at lærlingene ikke er inkludert i datautvalget til beregning av lærertetthet i EAG. Det innebærer et avvik på 2,2 elever eller 24 prosent i forhold til mål på lærertetthet gjengitt i EAG Et fjerde eksempel er rangeringer av universiteter. Siteringer i internasjonale tidsskrifter er sentralt i mange rangeringslister. Rektor Geir Ellingsrud ved Universitetet i Oslo peker på en rekke svakheter ved universitetsrangeringer (Aftenposten 25. oktober 2006). Variasjonene i siteringsprofil er store fra fag til fag og er ikke fanget opp i rangeringene. Omdømme er også sentralt. I Times Higher Education Supplement er 50 prosent av vektingen basert på omdømme. Forskere bes angi de beste universitetene innen sitt fagområde. Enkelte Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 15

16 universiteters gode omdømme, som Harvard, blir selvforsterkende. Også et negativt omdømme blir selvforsterkende. Ovennevnte eksempler viser at hva som inngår i definisjonene kan ha stor innvirkning på de tallstørrelsene som framkommer på indikatorene. 16 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

17 5. Fortolkning Selv om det er stor enighet om at de kvantitative dataene i internasjonale undersøkelser, som eksempelvis PISA og TIMSS, er til å stole på, er det langt fra entydig hvordan resultatene kan fortolkes. Noen eksempler viser hvordan internasjonale undersøkelser kan fortolkes. Først ser vi på undersøkelsene PISA og TIMSS, deretter gis det to andre eksempler. Hvilket hovedinntrykk får en av status for den norske utdanningssektoren ved å studere internasjonale sammenligninger? Ulike forskere har gitt ulike tolkninger av PISA og TIMSS. Høyskar og Turmo (2003) skriver: Dataene viser at Norge i et internasjonalt perspektiv har en høy ressursbruk til utdanningsinstitusjoner, og vi har en høy ressursbruk per elev i grunnskolen. Norsk skole karakteriseres også ved få elever per lærer, og norske elever har færre undervisningstimer enn OECD-gjennomsnittet. På resultatsiden ser vi at norske elever har en gjennomsnittlig faglig kompetanse i områder som lesing, matematikk og naturfag i en OECDsammenheng. (Høiskar og Turmo 2003:49-50) Svein Sjøberg (2006) legger derimot vekt på at både PISA og TIMSS tar for seg noen av skolens fag og kun visse sider ved de nevnte fagene. Sentrale fagmål i norsk skole blir ikke målt i de to undersøkelsene. Norske skoler og norske lærere er forpliktet av det mandatet som samfunnet har gitt dem uttrykt i norske læreplaner. Det er i hvilken grad lærerne lever opp til de mål som er formulert i norske læreplaner som kan si noe om i hvilken grad de har lykkes. Hvis det er slik at kvaliteten i norsk skole skal måles ved PISA og TIMSS, er det fare for at de to internasjonale undersøkelsene kan overkjøre eller overstyre norske læreplaner. TIMSS har utviklet et svært detaljert rammeverk for testing. Dette rammeverket kan oppfattes som en internasjonal læreplan. TIMSS-læreplanen bygger på det som er felles og akseptabelt i læreplanene i de 50 landene som deltar. Planen er basert på konsensus og kompromisser foruten at alt lokalt lærestoff unngås. Med nødvendighet blir læreplanen blottet for idealer og verdier....timss innebærer et uheldig press i retning av å innføre en universell, internasjonal læreplan som går på tvers av ønsket om at en god skole skal være å forberede elever til å forstå sin egen hverdag og å møte lokale utfordringer. (Sjøberg 2006:196) Til tross for flere uheldige sider eller svakheter, mener Sjøberg likevel at både PISA og TIMSS måler sentrale deler av det som må være viktig i norsk skole. Undersøkelsene dreier seg om faglig forståelse og mestring, og det gjøres på måter som er langt mer metodisk gjennomtenkt enn de prøver og tester som man vanlig bruker i skolen. Forskere synes å være enige om at det er andre og viktige områder som PISA og TIMSS ikke måler. Isolert sett utgjør derfor ikke de to undersøkelsene en valid måling av kvalitet i vid forstand. Kjærnsli/Lie (2006) mener likevel at de to internasjonale undersøkelsene har vektlagt kunnskaper, ferdigheter og holdninger som langt på vei er i samsvar med de overordnede målene i norske læreplaner. TIMSS og PISA tester ulike mål for norsk utdanning slik de er nedfelt i læreplanene (Grønmo/Olsen 2006). TIMSS tester i hovedsak om elevene har tilegnet seg grunnleggende ferdigheter og forståelse i matematikk, mens PISA tester om elevene kan anvende matematikk til å løse problemer fra daglig- og samfunnsliv. Det samme testbatteriet i PISA ble brukt i alle land. Det ble også stilt strenge krav til prosedyrene for oversettelse av Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 17

18 oppgavene. Østerud (2006) mener likevel at det er høyst usikkert om sammenligningene er til å stole på, uansett hvor gode prosedyrene for oversettelse har vært. Oppgavene vil fungere ulikt i ulike kulturelle kontekster, og det kan tenkes at oppgavene passer bedre i enkelte land enn i andre. Et annet eksempel på ulik tolking er lærertetthet. I publikasjonen Skolen vet best (2002) fra daværende Utdannings- og forskningsdepartementet brukes OECD-tall til å slå fast at få land bruker mer penger på skolen enn Norge. I henhold til rapporten er hovedårsaken til de høye kostnadene i Norge at det er svært mange lærere i forhold til andre land. Lærertetthet blir gjerne brukt som et mål på ressursinnsats (se Utdanningsforbundets temanotat 2005/2 Lærertetthet i grunnskolen ). Indikatoren som vi på norsk kan kalle "elever per lærerårsverk", framkommer ved at man deler antall elever på antall lærerårsverk ved skolen. I OECD-området varierer denne indikatoren stort. Selv om antall elever per lærerårsverk er et mål for ressursinnsats, gir ikke denne indikatoren nødvendigvis noe riktig bilde av hvor mange elever det er per lærer i selve undervisningen, med andre ord hvor store klasser eller grupper det undervises i. Det skyldes blant annet at bare deler av en lærers arbeidstid er ren undervisning. Det er flere grunner til at undervisningstiden er en mindre del av samlet årsverk i ett land sammenlignet med andre. I mange land er lærerårsverket ment å dekke også administrative funksjoner. I Norge er det f.eks. en reduksjon i leseplikten for lærere som har kontaktlærerfunksjon. Videre krever undervisningen både for- og etterarbeid, dersom kvaliteten skal være høy. Lærerårsverket skal også brukes til faglig oppdatering. De funksjonene lærerne har ut over den rene undervisningstiden, er derfor på mange måter nødvendige skal en opprettholde kvalitet i undervisningen. Skal vi si noe om lærertetthet i Norge, må vi derfor bruke indikatorer som tar høyde for dette. Vi må lage en indikator for lærertetthet i undervisningssituasjonen, der vi kun regner med den delen av et lærerårsverk som nyttes til undervisning, en indikator for gjennomsnittlig gruppestørrelse. Som et tredje eksempel peker Barstad (2006) på flere problemer knyttet til Human Development Index fra UNDP. Det største problemet i følge Barstad er at indeksen er så begrenset i valg av velferdsdimensjoner og indikatorer. Indeksen er lite egnet til å fange opp forskjeller mellom rike land. Eksempelvis er det svært lav tradisjonell analfabetisme i de rikeste landene. Mange av landene har da også sluttet å samle inn data som belyser dette. I mange rike land samles det derimot inn data om funksjonell analfabetisme, som viser betydelige forskjeller. Et annet problem er at indeksen ikke tar hensyn til ulikheten i fordelingen av velferdsgoder. Indikatorer er et hjelpemiddel som kan være med på å identifisere problemområder, god praksis, samt å utveksle erfaringer. Hvordan resultatene av indikatorene skal forstås gir ikke uten videre seg selv, de må fortolkes. Indikatorer må dessuten suppleres med annen kunnskap, blant annet dokumentasjon og forskning for å finne årsaker og forstå mekanismer bak resultatene indikatorene avdekker. Det gjelder både nasjonalt og internasjonalt, lokalt og regionalt. Uten at indikatorene blir supplert med annet materiale og fortolket, vil indikatorene og nasjonal plassering på disse bli et mål i seg selv. Oppmerksomheten vil dessuten dreie seg bort fra områder der det ikke finnes eller der det er vanskelig å lage gode indikatorer. Det er eksempelvis få indikatorer på prosesser. Det kan skyldes at det er 18 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet

19 vanskelig å finne gode indikatorer på dette området, men kan også være et resultat av at eksempelvis læringsprosesser oppfattes som mindre viktig enn det faktiske læringsutbyttet. Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet 19

20 6. Bruk av internasjonale sammenligninger Internasjonale sammenligninger er brukt på ulike måter for å uttrykke kvalitet innenfor utdanningsfeltet. Fire ulike måter presenteres her: definering av referanserammer, rangering, læring og legitimering. Definering av referanserammer Et viktig spørsmål innen politikk er hvilke saker som oppnår å få politisk oppmerksomhet og på hvilke premisser de blir satt på dagsorden. Innenfor deler av utdanningsfeltet er den åpne samarbeidsmetoden i EU i betydelig grad blitt institusjonalisert (Gornitzka 2006). For det første er oppmerksomhet og dagsorden blitt samordnet over tid gjennom rutiner etablert rundt felles formulerte mål. For det andre er utvikling av indikatorer blitt vel etablert som en av hovedaktivitetene på utdanningsfeltet. Indikatorene og benchmarkene utgjør et numerisk språk gjennom statistiske kategorier og standarder, en institusjonell kvantifisering av utdanningsfeltet. Tidsskjemaer med regelmessige gjentakelser er satt for rapportering. Konvergens av tankemåter utvikles og rammer settes for hva som får oppmerksomhet. Den åpne samarbeidsmetoden startet med en klar melding om å bygge på eksisterende statistikk. Ikke desto mindre ble en sentral aktivitet å avdekke blindveier og utarbeide nye indikatorer tilpasset målene i Lisboaprosessen. Oppgaver med å undersøke kunnskapsstatus og definere informasjonsbehov blir fulgt opp med spørsmålet: hva trenger vi å vite for å svare på spørsmålet om en lykkes i forhold til målet om radikal endring av nasjonale utdanningssystemer (Gornitzka 2006). Den åpne samarbeidsmetoden vil sannsynligvis strukturere hva europeiske utdanningssystemer vet om seg selv og andre i framtiden. Til sammen utgjør dette en hovedramme for europeisk samarbeid innen utdanning som det kan være vanskelig ikke å forholde seg til. Den åpne samarbeidsmetoden represents strong frames of reference for policy development and discussion. (Gornitzka 2006:37). På den annen side gjenstår det å se om dagsorden og oppmerksomhetsstruktur på EU-nivå automatisk dupliseres på nasjonalt nivå. Slike analyser og undersøkelser synes ikke å foreligge i dag. Samtidig vet vi at resultatene fra PISA og TIMSS i høy grad bidro til å sette den utdanningspolitiske dagsorden i Norge. Store svakheter ved realfagene i norsk grunnskole, sterkere satsing på grunnleggende ferdigheter, læringsstrategier, bråk og uro, og stor andel 15-åringer med svake leseferdigheter, var alle temaer som ble avledet fra de internasjonale undersøkelsene. Før dreide debatten seg om verdier, normer og idealer, nå er det bare tall som teller, ifølge Svein Sjøberg (2006). Internasjonale studier legger premissene for skoledebatten og gir krigsoverskrifter i avisene, ofte basert på misforståelser og grove forenklinger. Resultatene fra PISA og TIMSS står fram som totale dommer over kvaliteten i norsk skole som helhet, for alle fag, for samtlige nivåer og alle sider ved skolen. Det er ikke forskerne bak studiene som sier det, men de som formidler, forenkler og fortolker resultatene i offentligheten. 20 Et kritisk blikk på internasjonale sammenligninger innenfor utdanningsfeltet