Elevers skoleresultater En kortfattet kunnskapsoversikt på utvalgte områder, med utgangpunkt i analyser fra Statistisk sentralbyrå og samarbeidspartnere Torbjørn Hægeland, Lars J. Kirkebøen og Marte Rønning Statistisk sentralbyrå Mai 2014 Del A: Resultatforskjeller mellom elever etter kjønn, innvandringsbakgrunn og foreldres utdanning. I denne delen beskriver vi sammenhengen mellom sentrale mål på ungdommers utdanningsresultater og deres bakgrunn, dvs. utvalgte relevante kjennetegn som skolen ikke kan påvirke. Vi fokuserer på to resultatmål, gjennomsnittlig standpunktkarakterer fra grunnskolen 1 og fullføring av VGO (oppnådd studie- eller yrkeskompetanse fem år etter fullført grunnskole 2 ). Bakgrunnskjennetegnene vi velger å fokusere på er foreldres utdanning, innvandringsbakgrunn samt kjønn. Vi benytter individdata fo avgangselevene i grunnskolen (fullføring av 10. klasse) fra og med skoleåret 2001/2002 til og med skoleåret 2011/2012. Dette betyr at vi har data på gjennomsnittlig standpunktkarakterer for alle elever (11 årganger), mens data på oppnådd kompetanse innen fem år etter fullført grunnskole kun er tilgjengelig for de elevene som ble uteksaminert til og med skoleåret 2006/07 (seks årganger). Tabell 1 viser gjennomsnittlig standpunktkarakter og fullføring av VGO for ni ulike grupper elever. Den første raden, som viser snittresultater for alle elever, viser at gjennomsnittlig standpunktkarakter fra grunnskolen i perioden vi ser på er 3,98, og at 68 prosent av elevene som ble uteksaminert fra grunnskolen i perioden 2001/02 2006/07 har fullført videregående fem år senere. I rad to og tre, hvor vi splitter på kjønn ser vi at både standpunktkarakteren og fullføringsandelen er høyere blant jenter enn gutter. Jenter scorer høyere enn gjennomsnittet (rapportert i rad en) på begge resultatmålene, mens gutter scorer under gjennomsnittet. Rad fire, fem og seks skiller etter innvandringsbakgrunn. Elever som selv er innvandrere (dvs, de er født utenlands av to utenlandskfødte foreldre, heretter innvandrere) scorer lavere på standpunkt enn elever som er født i Norge av to foreldre som er innvandrere (heretter barn av innvandrere), som igjen scorer lavere enn øvrige elever. I gruppen øvrige elever inngår alle elever som ikke har fire 1 Gjennomsnittlig standpunktkarakter kan gi litt andre resultater enn eksamenskarakter eller karakterer i enkeltfag, se for eksempel Galloway m.fl. (2011). Forskjeller i karakterpraksis kan ha stor betydning når vi ønsker å se på forskjeller mellom skoler (Hægeland m.fl., 2011). For å beskrive de mye større forskjellene mellom enkeltelever er imidlertid forskjeller knyttet til karakterpraksis av mindre betydning. Derimot er det gunstig at standpunktkarakterene baserer seg på et mer omfattende datagrunnlag. Eielsen m.fl. (2013) viser at snitt standpunktkarakter bedre forklarerer fullføring av VGO enn eksamenskarakterer, eller standpunktkarakterer i grupper av fag. 2 Dette avviker litt fra målet som brukes statistikk for gjennomstrømning i videregående (http://www.ssb.no/utdanning/statistikker/vgogjen), der en ser på kompetanse fem år etter start i Vg1 (grunnkurs). Ettersom omtrent 95 prosent av alle elever starter i Vg1 samme år som de fullfører grunnskolen gir dette imidlertid bare et lite avvik. 1
utenlandskfødte besteforeldre. Det er også forskjeller i andelen som har fullført VGO. Spesielt er fullføringsraten lav blant innvandrerelevene, der bare halvparten har fullført videregående fem år etter avslutta grunnskole. Til sammenlikning er dette tallet henholdsvis 69 og 65 prosent for øvrige elver og barn av innvandrere. I de tre siste radene deler vi elevene inn i grupper basert på foreldres utdanning. Gruppene baserer seg på nivået til den høyeste fullførte utdanningen til den av foreldrene som har høyest utdanning. Også her ser vi at det er stor forskjell blant de ulike gruppene. Blant de elevene som har to foreldre som ikke har fullført videregående (heretter barn av foreldre med grunnskole, gruppen inkluderer også barn av foreldre som har påbegynt, men ikke fullført videregående eller tilsvarende utdanning) fullfører kun litt i overkant av halvparten videregående utdanning innen fem år etter endt grunnskole. I gruppen av elever hvor den høyest utdannede forelderen har universitets- eller høyskoleutdanning (heretter barn av foreldre med høyere utdanning) er denne andelen i overkant av 80 prosent. 65 prosent av de elevene som har minst en forelder som har fullført videregående, men ingen foreldre med høyere utdanning (heretter barn av foreldre med videregående utdanning, omfatter også bl.a. fagskoler og diverse forkurs), fullfører videregående selv. Barn av foreldre med høyere utdanning har også høyere gjennomsnittlig standpunktkarakter enn barn av foreldre med grunnskole eller videregående. Tabell 1. Resultatforskjeller mellom grupper av elever Antall elever Snitt standpunkt Antall elever Andel fullført VGO Alle elever 664217 3,98 350950 0,682 Gutter 340402 3,79 179538 0,631 Jenter 322248 4,19 170239 0,736 Innvandringsbakgrunn Øvrige elever 607115 4,02 326940 0,691 Innvandrere 36320 3,50 15225 0,501 Barn av innvandrere 20782 3,86 8785 0,652 Foreldres utdanning Grunnskole 143206 3,53 83896 0,513 Videregående 240735 3,85 125039 0,654 Høyere utdanning 280276 4,33 142015 0,807 Tabell 2 viser kjønnsforskjeller i gjennomsnittlig standpunktkarakter for elevene som fullførte grunnskolen våren 2012. I stedet for å beregne rene gjennomsnittsverdier som i Tabell 1, er forskjellene i Tabell 2 koeffisienter fra en regresjon hvor avhengig variabel er elevenes standpunktkarakterer. Fordelen med en slik regresjon er at vi kan kontrollere for ulike egenskaper ved elevene og deres foreldre, og se om dette forklarer forskjellene i resultat. Et annet fortrinn med en regresjonsanalyse er at vi kan si om resultatet er statistisk signifikant eller ikke. Gutter er referansekategorien i tabellen, i første kolonne ser vi at disse i snitt får en karakter på 3,83. Raden for jenter gir kjønnsforskjellen, jenter får i snitt 0,40 karakterpoeng bedre. Fra de beregnede standardfeilene ser vi at denne forskjellen er svært presist beregnet. Dette er gjennomgående, gitt det store datamaterialet, slik at vi i det følgende bare unntaksvis vil kommentere presisjon/signifikans. Sammenligner vi med resultatene fra Tabell 1, ser vi at både gutter og jenter presterte så vidt bedre i 2012 en i snittet av perioden 2002-2012, slik at forskjellen var konstant. I andre kolonne tar vi hensyn til andre kjennetegn, detaljerte mål for foreldres utdanning og innvandringsbakgrunn. 3 Referansekategorien er en gutt med gjennomsnittlig utdanning for begge foreldre og ingen innvandringsbakgrunn, vi ser at han i snitt presterer så vidt svakere enn snittet av alle gutter. Kjønnsforskjellen er nærmest uendret. Dette er ikke så overraskende, selv om kontrollvariablene 3 Foreldres utdanning måler vi som utdanningslengden til hver av foreldrene (lineært, med egne kategorier for manglende data). For hver av innvandringskategoriene i Tabell 1 tar vi hensyn til elevens landbakgrunn (elevens/mors fødeland, små grupper er slått sammen slik at vi bruker 49 kombinasjoner innvandringskategori * landbakgrunn) samt alder ved innvandring. 2
fanger forskjeller av betydning (andel av forklart variasjon øker fra 5,6 til 26 prosent), er det ikke slik at jenter eller gutter gjennomgående har høyere utdannede foreldre eller i større grad innvandringsbakgrunn. Tabell 2. Kjønnsforskjell snitt standpunkt, ubetinget og betinget på innvandringsbakgrunn og foreldres utdanning 1 (1) (2) Jenter 0,40** 0,39** (0,01) (0,01) Gutter (referanse) 3,83** 3,76** (0,00) (0,00) Kontroll for elevbakgrunn Nei Ja Antall elever 64045 64045 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter innvandringsbakgrunn og foreldres utdanning, se tekst for detaljer. Tabell 3 viser forskjeller i standpunktkarakter mellom de ulike innvandringsgruppene (innvandrere, barn av innvandrere og øvrige elever) separat for gutter (venstre side av tabellen) og jenter (høyre side av tabellen). Kolonne (1) og (3) viser beregnede forskjeller ubetinget på foreldres utdanning. Referansekategorien er øvrige elever (ikke innvandrere eller barn av innvandrere), og vi ser at gutter og jenter tilhørende kategorien øvrige elever scorer i snitt henholdsvis 3,88 og 4,29 på standpunkt. Alle andre rapporterte koeffisienter er forskjeller i forhold til referansekategorien. For eksempel, gutter/jenter som er innvandrere eller barn av innvandrere scorer henholdsvis 0,53/0,67 og 0,15/0,20 lavere på standpunktkarakteren enn gutter/jenter i gruppen øvrige elever. Når vi i kolonne (2) og (4) tar hensyn til foreldres utdanning (som beskrevet i fotnote 3) samt alder ved innvandring blir forskjellene mellom de ulike innvandringskategoriene mindre tydelige. Selv om koeffisientene viser at både gutter og jenter i gruppen innvandrere fremdeles scorer lavere på standpunkt enn gutter og jenter i gruppen øvrige elever er forskjellen klart redusert, særlig for jenter. Når det gjelder forskjellen i standpunkt mellom barn av innvandrere og øvrige elever, forsvinner den helt for begge kjønn, den blir liten i tallverdi og kan ikke statistisk skilles fra null. Det at koeffisientene endres når vi betinger på foreldres utdanning skyldes at foreldres utdanning er en god predikator for barns utdanning samtidig som det er korrelert med innvandringsbakgrunn. Elever med innvandrerbakgrunn har i snitt svakere standpunktkarakterer enn øvrige elever, men de har også i snitt lavere utdannede foreldre. Når vi kontrollerer for foreldres utdanning, sammenligner vi innvandrerelever og øvrige elever med tilsvarende foreldreutdanning. 4 Da forsvinner den delen av forskjellen mellom de ulike innvandringsgruppene som drives av at foreldre har ulik utdanning, og gruppenes resultater blir likere. For barn av innvandrere er dette altså fullt i stand til å forklare forskjellene i snittkarakter. For innvandrerelevene har det også betydning at vi tar hensyn til alder ved innvandring. Koeffisientene i kolonne (2) og (4) i Tabell 3 viser forskjellen mellom øvrige elever og innvandrere som innvandret før sin første bursdag, betinget på foreldrenes utdanning. 5 Innvandrerelevene presterer dårligere enn øvrige elever, men forskjellen er mindre enn ubetingede forskjeller. 4 Vi forutsetter da at sammenhengen mellom foreldreutdanning og karakterer er den samme uavhengig av innvandringsbakgrunn, det trenger ikke å være tilfellet. 5 Dette er grunnen til at den beregnede standardfeilen til forskjellen mellom innvandrere og øvrige elever øker kraftig fra kolonne (1) og (3) til (2) og (4). 3
Tabell 3. Snitt standpunkt, forskjeller etter innvandringsbakgrunn, ubetinget og betinget på foreldres utdanning 1 Gutter Jenter (1) (2) (3) (4) Innvandrere -0,53** -0,42** -0,67** -0,25* (0,02) (0,15) (0,02) (0,13) Barn av innvandrere -0,15** 0,04-0,20** 0,03 (0,02) (0,02) (0,02) (0,02) Øvrige elever (referanse) 3,88** 3,74** 4,29** 4,16** (0,00) (0,00) (0,00) (0,00) Kontroll for elevbakgrunn Nei Ja Nei Ja Antall elever 33070 33070 30975 30975 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter alder ved innvandring og foreldres utdanning, se tekst for detaljer. Tabell 4 fokuserer på foreldres utdanning (grunnskole, videregående eller høyere utdanning) og viser forskjeller i standpunktkarakterer mellom de ulike utdanningsgruppene, separat for jenter og gutter. Vi presenterer koeffisienter fra regresjoner med og uten kontroller for detaljert innvandringsbakgrunn (som beskrevet i fotnote 3). Referansekategorien er gutter og jenter som har foreldre med videregående utdanning. Gutter i referansekategorien scorer i snitt 3,7 på standpunkt, mens jenter i referansekategorien scorer i snitt 4,1. Videre ser vi at elever tilhørende gruppen med grunnskoleutdannede foreldre har et snitt som er omtrent 0,4 lavere enn elever tilhørende gruppen med foreldre med videregående utdanning, mens elever som har foreldre med høyere utdanning har et snitt omtrent 0,5 høyere. Dette er likt på tvers av kjønn. Når vi betinger på foreldres innvandringsbakgrunn reduseres forskjellen mellom elever med grunnskoleutdannede foreldre og elever med foreldre med videregående utdanning, mens at forskjellen mellom elever med videregående og høyere utdanning er omtrent uendret. Dette gjelder også for begge kjønn. Det at de betingede resultatene er forskjellig fra de ubetingede resultatene skyldes, som allerede nevnt i forbindelse med Tabell 3, at innvandringsbakgrunn er korrelert med både foreldres utdanning samt skoleresultater: Elever med lav foreldreutdanning har i oftere en innvandringsbakgrunn som er assosiert med svakere resultater. Tabell 4. Snitt standpunkt, forskjeller etter foreldres utdanning, ubetinget og betinget på innvandringsbakgrunn 1 Gutter Jenter (1) (2) (3) (4) Grunnskole -0,35** -0,28** -0,42** -0.31** (0,01) (0,01) (0,01) (0.01) Høyere utdanning 0,51** 0,51** 0,48** 0.48** (0,01) (0,01) (0,01) (0.01) Videregående (referanse) 3,66** 3,67** 4,08** 4.10** (0,01) (0,01) (0,01) (0.01) Kontroll for elevbakgrunn Nei Ja Nei Ja Antall elever 33070 33070 30975 30975 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter innvandringsbakgrunn, se tekst for detaljer. Tabell 5 svarer i stor grad til Tabell 2, bortsett fra at avhengig variabel i Tabell 5 er oppnådd studieeller yrkeskompetanse fem år etter uteksaminering fra grunnskolen, og at datamaterialet er elevene som fullførte grunnskolen våren 2007. Vi ser at 63 prosent av guttene har oppnådd kompetanse innen fem år. For jenter er det 10 prosentpoeng flere, dvs. 73 prosent, som har oppnådd kompetanse. I andre 4
kolonne ser vi at disse forskjellene påvirkes svært lite av å ta hensyn til foreldres utdanning og innvandringsbakgrunn. Som i Tabell 2 er dette ikke overraskende, selv om foreldreutdanning og innvandringsbakgrunn bidrar til å forklare andelen med oppnådd kompetanse, er det ikke forskjeller mellom kjønn i disse. I tredje kolonne tar vi imidlertid også hensyn til snittkarakter fra grunnskolen. Vi har sett at det her er en klar kjønnsforskjell, jentene presterer bedre. Snittkarakter henger også sammen med oppnådd kompetanse, en økning på ett karakterpoeng øker sannsynligheten for å oppnå kompetanse innen fem år med hele 29 prosentpoeng. I tredje kolonne ser vi at gutter med gjennomsnittlig snittkarakter fra grunnskolen (snitt av alle gutter og jenter) har omrent 70 prosent sannsynlighet for å fullføre VGO. Jenter med tilsvarende grunnskoleresultater har marginalt lavere fullføring, omtrent ett prosentpoeng. 6 Tabell 5. Kjønnsforskjell andel fullført VGO, ubetinget og betinget på innvandringsbakgrunnog foreldres utdanning 1 (1) (2) (3) Jenter 0.104*** 0.105*** -0.009** (0.004) (0.004) (0.003) Snittkarakter 0.291*** (0.002) Gutter (referanse) 0.635*** 0.625*** 0.698*** (0.003) (0.003) (0.002) Kontroll for elevbakgrunn Nei Ja Ja Antall elever 62631 62631 62186 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter innvandringsbakgrunn og foreldres utdanning, se tekst for detaljer. Tabell 6 svarer i stor grad til Tabell 3, bortsett fra at avhengig variabel i Tabell 4 er oppnådd studieeller yrkeskompetanse fem år etter uteksaminering fra grunnskolen. Som i Tabell 5 har vi også med en ytterligere spesifikasjon hvor vi tar hensyn til standpunktkarakter fra grunnskolen. I den ubetingede spesifikasjonen (kolonne (1) og (4)) ser vi at andelen som fullfører VGO blant innvandrere er lavere enn blant øvrige elever. Dette gjelder både jenter og gutter. For eksempel, gutter/jenter i gruppen øvrige elever har en fullføringsrate på 0,65/0,75. Til sammenlikning er fullføringsraten blant innvandrergutter/jenter i snitt 23/14 prosentpoeng lavere. Blant gutter tilhørende gruppen barn av innvandrere er fullføringsraten 8 prosentpoeng lavere enn referansekategorien. For jenter er forskjellen i fullføringsandelen mellom referansekategorien og barn av innvandrere mye mindre, og heller ikke statistisk signifikant. Når vi tar hensyn til foreldres utdanning og alder ved innvandring (kolonne (2) og (5)), reduseres forskjellen mellom innvandrere (både gutter og jenter) og referansekategorien betraktelig. Dette er spesielt tilfelle for jenter hvor estimert koeffisient til og med endrer fortegn (0,044): Innvandrerjenter som kommer før første fødselsdag fullfører i større grad VGO enn øvrige elever med tilsvarende foreldreutdanning, forskjellen er imidlertid ikke signifikant. 7 Fullføringsandelen blant innvandrergutter er fremdeles 15 prosentpoeng lavere enn for øvrige gutter. Blant barn av innvandrere er det en høyere andel som fullfører videregående enn blant øvrige elever med tilsvarende foreldreutdanning. Dette gjelder både for gutter (5 prosentpoeng forskjell) og jenter (10 prosentpoeng). I kolonne (3) og (6) tar vi også hensyn til elevenes standpunktkarakterer i 10. klasse. Vi ser da at fullføringsandelen blant gutter i referansekategorien, som nå er gutter med gjennomsnittlige karakterer, øker fra omtrent 0,63 til 0,70. Forskjellen i fullføringsrate mellom de ulike 6 Vi har her antatt at sammenhengen mellom snittkarakter og fullføring er lineær, dvs. uavhengig av nivået til karakteren. Dette kan være urealistisk, se diskusjon (i sammenheng med forskjeller mellom skoler) i Hægeland m.fl. (2010). 7 Som nevnt ifm. Tabell 3, at vi betinger på alder ved innvandring reduserer presisjonen i de beregnede forskjellene kraftig. 5
innvandrergruppene reduseres ytterligere og blir statistisk usignifikant. For jenter derimot, reduseres andelen i referansekategorien som fullfører videregående fra 0,73 til 0,69, forskjellen mellom barn av innvandrere og øvrige elever blir litt større, men er fortsatt ikke statistisk signifikant, mens forskjellen mellom barn av innvandrere og øvrige elever reduseres litt. Tabell 6. Andel oppnådd kompetanse, forskjeller etter innvandringsbakgrunn, ubetinget og betinget på foreldres utdanning 1 Gutter Jenter (1) (2) (3) (4) (5) (6) Innvandrere -0,225** -0,153* -0,097-0,142** 0,044 0,065 (0,013) (0,083) (0,073) (0,012) (0,067) (0,058) Barn av innvandrere -0,075** 0,048** 0,018-0,012 0,096** 0,075** (0,016) (0,016) (0,014) (0,014) (0,015) (0,013) Snittkarakter 0,293** 0,289** (0,003) (0,003) Øvrige elever (referanse) 0,648** 0,627** 0,701** 0,746** 0,730** 0,687** (0,003) (0,003) (0,003) (0,003) (0,003) (0,002) Kontroll for elevbakgrunn Nei Ja Ja Nei Ja Ja Antall elever 32266 32266 32002 30365 30365 30184 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter alder ved innvandring og foreldres utdanning, se tekst for detaljer. I Tabell 7 ser vi at fullføringsandelen blant jenter og gutter tilhørende gruppen som har foreldre med grunnskoleutdanning er lavere enn i fullføringsraten blant jenter og gutter i referansekategorien ( foreldre har videregående utdanning). For eksempel, mens fullføringsandelen blant gutter/jenter i referansekategorien er ca 0,60/0,71, synker denne andelen med 0,16/0,14 for gutter/jenter med grunnskoleutdannede foreldre. Blant gutter og jenter med høyt utdannede foreldre er andelen som fullfører videregående 0,17 og 0,14 høyere enn i referansekategorien. Koeffisientene endres lite av å ta hensyn til innvandringsbakgrunn (kolonne (1) vs (2) for gutter, kolonne (3) vs (4) for jenter)). Ved å kontrollere for standpunktkarakterene i 10. klasse reduseres forskjellen mellom de ulike gruppene både for gutter og jenter, særlig forskjellen mellom elever som har foreldre med videregående og høyere utdanning. Denne forskjellen blir liten for begge kjønn, og ikke signifikant for jenter. Forskjellen mellom elever med foreldre med grunnskole og videregående reduseres, det er likevel en klart lavere andel av elever med lavt utdannede foreldre som fullfører, omtrent 5-6 prosentpoeng. Tabell 7. Andel oppnådd kompetanse, forskjeller etter foreldres utdanning, ubetinget og betinget på innvandringsbakgrunn 1 Gutter Jenter (1) (2) (3) (4) (5) (6) Grunnskole -0,163** -0,148** -0,064** -0,142** -0.135** -0.048** (0,007) (0,007) (0,006) (0,007) (0.007) (0.006) Høyere utdanning 0,166** 0,168** 0,018** 0,143** 0.144** 0.005 (0,006) (0,006) (0,005) (0,005) (0.005) (0.005) Snittkarakter 0,295** 0.292** (0,003) (0.003) Videregående (referanse) 0,597** 0,602** 0,706** 0,708** 0.709** 0.692** (0,004) (0,004) (0,004) (0,004) (0.004) (0.003) Kontroll for elevbakgrunn Nei Ja Ja Nei Ja Ja Antall elever 32266 32266 32002 30365 30365 30184 1) Beregnede standardfeil i parentes. Stjerner angir statistisk signifikans: * < 0,10, ** < 0,05. Elevbakgrunn omfatter innvandringsbakgrunn, se tekst for detaljer. 6
Oppsummert kan vi si at Tabell 2-7 utfyller og nyanserer bildet fra Tabell 1. Det er klare forskjeller i elevers prestasjoner, gutter presterer dårligere enn jenter, innvandrerelever og elever med lavt utdannede foreldre svakere enn elever uten innvandringsbakgrunn og med høyt utdannede foreldre. Men det er også slik at forskjellige grupper av elever (elever med/uten innvandringsbakgrunn, med høyt/lavt utdannede foreldre) skiller seg langs andre dimensjoner. Vi har særlig sett at elever som er innvandrere eller barn av innvandrere også har lavere utdannede foreldre. Når vi sammenligner elever med tilsvarende utdannede foreldre, men forskjellig innvandringsbakgrunn er det små forskjeller i resultater, og tildels i favør elever med innvandringsbakgrunn. Derimot kan innvandringsbakgrunn i liten grad forklare forskjeller knyttet til utdanning, og ingen bakgrunnskjennetegn forklarer kjønnsforskjellen. Vi ser imidlertid at forskjeller knyttet til kjønn og foreldreutdanning i fullføring i stor grad kan forklares ved forskjeller i karakterer fra grunnskolen. Merk at vi her bare beskriver forskjeller og hvordan de opptrer sammen. Å si noe om årsakene til forskjellene vi ser er svært mye mer krevende, vi diskuterer dette kort mot slutten av notatet. Før det viser vi i Figur 1 6 hvordan forskjellene knyttet til kjønn, innvandringsbakgrunn og foreldreutdanning har utviklet seg i perioden 2002 2012. Som i Tabell 2 7, rapporterer vi avvik fra referansekategoriene (gutter, øvrige elever og elever som har middels utdannede foreldre). Det vil si, alle grafene må tolkes i forhold til denne referansekategorien. Vi starter med å vise utviklingen i forskjeller i standpunktkarakter, og først, i Figur 1, kjønnsforskjellen. Det kan se ut til at denne falt så vidt tidlig i perioden (fra 2002-2004), hovedbildet er imidlertid at den er svært stabil. Gutters resultat er referansenivået (angitt ved en vannrett linje ved null), jentene presterer gjennom hele perioden omtrent 0,4 karakterpoeng bedre. Som ventet utfra resultatene i Tabell 2 har det liten betydning å ta hensyn til elevbakgrunn (innvandringsbakgrunn og foreldres utdanning). Figur 1. Utvikling i kjønnsforskjell i gjennomsnittlig standpunktkarakter: I Figur 2 går vi videre til å vise forskjeller mellom gutter med forskjellig innvandringsbakgrunn og foreldreutdanning. I den venstre delen ser vi at gjennomsnittlig standpunktkarakter (ikke betinget på bakgrunnsvariable) for innvandrergutter har hatt en svak negativ utvikling i løpet av ti-års perioden 2002 2012, relativt til øvrige gutter. For barn av innvandrere har det ikke vært store endringer. Når vi tar hensyn til bakgrunnsvariable reduseres forskjellene og barn av innvandrere presterer omtrent som øvrige elever (som ventet, utfra resultatene i Tabell 3). Utviklingen for innvandrere blir mindre negativ, mens det ikke er noen stor endring for barn av innvandrere. Dette tyder på at gruppen 7
av innvandrerelever har fått en mer ugunstig sammensetning over tid, i form av en større andel elever med lavt utdannede foreldre og/eller innvandringsbakgrunn assosiert med svake resultater. 8 I den høyre delen av figuren viser vi utviklingen i forskjeller knyttet til foreldres utdanning. Vi ser at disse forskjellene har en jevnere utvikling enn forskjellene knyttet til innvandringsbakgrunn. Dette har sannsynligvis sammenheng med at innvandringsgruppene er mye mindre enn gruppene med forskjellig foreldreutdanning, slik at tilfeldige forskjeller mellom årskull får større betydning når vi ser på forskjeller knyttet til innvandring. Gutter som har foreldre med høyere utdanning har gjennom hele perioden fått standpunktkarakterer omtrent 0,5 høyere enn de med foreldre med videregående utdanning. Om vi betinger på innvandringsbakgrunn og detaljert sammensetning av utdanningsnivåene har liten betydning, hverken for størrelse på eller utvikling i forskjellen. Gutter med grunnskoleutdannede foreldre har dermed hatt en svakt negativ utvikling, karakterforskjellen har økt fra knappe 0,3 til 0,35. Denne utviklingen ser ut til å kunne forklares med endret sammensetning innad i gruppen, mhp innvandringsbakgrunn og/eller detaljert foreldreutdanning. Figur 3 viser tilsvarende resultater for jenter, og svært tilsvarende mønstre. Figur 2. Utvikling i forskjell i gjennomsnittlig standpunktkarakter, gutter: 8 Innvandringsbakgrunn assosiert med svake resultater kan være kort botid eller landbakgrunn. I analysene som ligger bak Figur 2, 3, 5 og 6 kontrollerer vi for detaljert foreldreutdanning når vi ser på forskjell knyttet innvandring, og for innvandringsbakgrunn når vi ser på forskjeller knyttet til foreldreutdanning. Vi ønsker imidlertid også å ta hensyn til endringer i sammensetning av gruppene vi studerer mhp en mer detaljert inndeling, f.eks. om det andelen elever med en bestemt landbakgrunn har økt i gruppen av innvandrerelever, eller om andelen foreldre med manglende utdanning har endret seg i gruppen av foreldre med utdanning på grunnskolenivå eller lavere. Dette gjør vi ved å vekte disse elever utfra detaljerte kjennetegn: Når vi sammenligner innvandrerelevers resultater over flere år vekter vi for hvert år hver elev slik at hver av landgruppene får samme vekt som i 2012-resultatene. 8
Figur 3. Utvikling i forskjell i gjennomsnittlig standpunktkarakter, jenter: Figur 4 viser utviklingen i kjønnsforskjell i andelen som fullfører VGO. Forskjellen er svakt fallende, først og fremst for grunnskolekullene 2002-2004, med 10-12 prosentpoeng høyere andel fullføring blant jenter. Å ta hensyn til elevbakgrunn har ingen betydning for kjønnsforskjellen. Derimot ser vi, som i Tabell 5, at når vi sammenligner elever med gjennomsnittlige grunnskoleresultater er fullføringen svakt høyere blant gutter i hele perioden. Figur 4. Utvikling i kjønnsforskjell i andel oppnådd kompetanse innen fem år I Figur 5 viser vi utviklingen i fullføringsraten for gutter, separat for de ulike innvandrings- og utdanningsgruppene. I tillegg til å betinge på bakgrunnsvariable, inkluderer vi også en ekstra graf hvor vi betinger på standpunktkarakterer i 10. klasse (jf. Tabell 6 og 7). Forskjellene knyttet til foreldres utdanning er i hovedsak stabile, uavhengig av hvilke kjennetegn vi tar hensyn til. Forskjellen mellom elever som har grunnskole og videregående ser imidlertid ut til å øke noe, og dette ser ut til å kunne forklares med endringer i sammensetningen av gruppene. Utviklingen i forskjellene mellom de ulike innvandringsgruppene har vært litt mindre stabil. Både innvandrere og barn av innvandrere ser ut til å ha hatt en dårligere utvikling i andelen som fullfører enn øvrige elever. Dette endres imidlertid når vi tar hensyn til elevbakgrunn og evt. karakterer. De små endringene i forskjellene mellom gruppene må også sees i sammenheng med at det er relativt få innvandrere og barn av innvandrere, slik at resultatene for disse påvirkes mer av tilfeldige endringer fra år til år. Figur 6 viser tilsvarende grafer for jenter. Også her ser vi at forskjellene i fullføringsrate for jenter med ulik foreldreutdanning, både betinget og ubetinget på elevbakgrunn og standpunktkarakterer i 10. 9
klasse, har vært rimelig stabile i løpet av perioden vi ser på. Forskjellene mellom innvandringsgruppene har også vært stort sett stabile. Figur 5. Utvikling i forskjell i andel oppnådd kompetanse innen fem år, gutter: Figur 6. Utvikling i forskjell i andel oppnådd kompetanse innen fem år, jenter: Vi har sett at det er klare forskjeller i skoleresultater mellom forskjellige grupper av elever. Forskjellene er i stor grad stabile over til, jf figurene i dette notatet, samt Gravaas m.fl. (2013), Hægeland m.fl. (2005, 2007, 2007). Det er imidlertid viktig å være oppmerksom på at forskjellige kjennetegn opptrer sammen, slik at en resultatforskjell knyttet til et bestemt kjennetegn ikke gir grunnlag for å hevde at dette kjennetegnet forårsaker forskjellen. Dette er et viktig og større poeng. Alle resultatene dokumentert i tabellene og figurene ovenfor viser korrelasjoner mellom resultatmålene (standpunktkarakterer og fullføring av videregående) og foreldres utdanning og innvandringsbakgrunn. For eksempel er det en gjennomgående positiv korrelasjon mellom foreldres utdanning og både standpunktkarakterer samt oppnåelse av studie- eller yrkeskompetanse. Det er imidlertid viktig å være klar over at en korrelasjon ikke er det samme som en kausal effekt. Det at foreldre med høyere utdanning også har barn med høyere utdanning, trenger ikke å bety at det er en direkte effekt av foreldres utdanning, fordi det å ta høyere utdanning har gjort de til en annen type foreldre. Det kan like gjerne bety at andre forhold som går sammen med høy utdanning (for eksempel 10
utholdenhet og evner) går i arv fra foreldre til barn. 9 Det er den første effekten, altså den direkte effekten, som er den kausale effekten, og den som oftest av interesse i forbindelse med politikkutforming. Dersom det er en positiv kausal effekt av foreldres utdanning på barns utdanning, vil det å løfte utdanningsnivået ha effekter på senere generasjoner. Å estimere kausale effekter er utfordrende ettersom det innebærer å finne forskjellen mellom faktisk og kontrafaktisk resultat (i vårt tilfelle: hvordan ville en elev med høyere utdannede foreldre ha gjort det på skolen dersom den samme eleven hadde hatt lavere utdannede foreldre?). Ettersom det kontrafaktiske resultatet ikke kan observeres, må det estimeres. Økonomer har en håndfull ulike teknikker for å estimere kausale effekter, og det finnes mange artikler som analyserer den kausale effekten av foreldres utdanning og inntekt på barns skoleresultater. Funnene er ikke entydige, noe som blant annet skyldes at ulike identifikasjonsmetoder baserer seg på ulike antakelser (se for eksempel De Haan, 2011 for en oversikt). Vi kommer ikke til å gi en detaljert beskrivelse av de ulike metodene som benyttes for å estimere den kausale effekten av foreldres utdanning på barnas skoleresultater, men henviser til Hægeland m.fl. (2013) for en forholdvis enkel og oversiktelig norsk gjennomgang. Et annet viktig poeng er at selv om forskjellene mellom grupper av elever er klare og stabile, er elevers resultater langt fra deterministiske. Variablene vi har studert har begrenset forklaringskraft på elevnivå, typisk inntil omtrent 30 prosent av resultatvariasjonen for de mest omfattende spesifikasjonene. Det betyr at 70 prosent av forskjellen mellom elever fremdeles gjenstår som uforklart. Dette kommer til uttrykk gjennom stor variasjon innad i grupper av elever. Tidligere analyser av skoleresultater (Gravaas m.fl., 2013; Hægeland m.fl. 2005, 2007, 2007) viser i noen grad fordelinger av resultater for forskjellige grupper. Disse viser tydelig at jenter og elever med høyt utdannede foreldre i snitt presterer bedre enn gutter og elever med lavt utdannede foreldre. Men for mange enkeltelever er det motsatt: Mange gutter og elever med lavt utdannede foreldre presterer bedre enn snittet for jenter og høyt utdannede (samtidig vil en enda større andel av jenter og elever med høyt utdannede foreldre prestere bedre enn disse gjennomsnittene). 9 Hægeland m.fl. (2004, 2013) viser at å ta hensyn til familiestruktur og økonomi bare har begrenset betydning eller ytterligere forklaringskraft når vi allerede tar hensyn til foreldreutdanning. Dette er likevel ikke til hinder for at det kan være viktige andre forhold, som vi ikke er i stand til å observere. 11
Del B: Hva sier value-added-indikatorer om forskjeller i skolenes bidrag til elevenes resultater? I de fleste OECD-land har det i de senere år blitt lagt mer vekt på resultatkvalitet i skolen og dokumentasjon av dette. Formålene med dette har både vært ansvarliggjøring av skoler for deres resultater og et ønske om et bredere fakta- og kunnskapsgrunnlag for skoleutvikling. Økt kunnskap om resultatkvalitet i skolen kan bidra til å avdekke om det erstore forskjeller mellom skoler i deres bidrag til elevenes læring, og om det finnes en «beste praksis» som andre skoler kan ta i bruk og derigjennom forbedre sine resultater. Verdien av et slikt økt fokus på resultatkvalitet og målimg sv dette avhenger imidlertid kritisk av at de måleinstrumentene man faktisk benytter gir pålitelig informasjon om variasjon i skolekvalitet, slik at det faktisk er meningsfylt å forsøke å måle forskjeller i hva ulike skoler tilfører elevens av kunnskap. Det er etter hvert vel kjent at rene resultatgjennomsnitt på skolenivå kan være et svært misvisende mål på skolenes bidrag til elevenes læring, fordi det er influert av andre faktorer som i stor grad er utenfor skolens kontroll, som for eksempel sammensetningen av elevmassen. Det er vel kjent at det er betydelige forskjeller i gjennomsnittsresultatene til elever fra ulike sosioøkonomiske grupper, noe som også er illustrert i første del av dette notatet. Og siden det er betydelige forskjeller mellom skoler i sammensetningen av elevmassen med hensyn til sosioøkonomisk bakgrunn, vil gjennomsnittsresultater på skolenivå kunne variere betydelig, uten at det nødvendigvis sier noe om forskjeller i skolekvalitet eller de ulike skolenes bidrag til elevenes læring. De fleste empiriske studier av variasjoner i resultater mellom skoler bygger mer eller mindre eksplisitt på en teoretisk modell der en elevs skoleprestasjoner avhenger av elevens forutsetninger og miljø, skolens bidrag til læring og tilfeldig variasjon. Skoleprestasjoner kan i denne sammenheng være mål på kunnskapsnivå på et gitt tidspunkt, eller endringer i kunnskapsnivå over et bestemt tidsrom. Fra dette tankeskjemaet følger det at gjennomsnittsresultat på skolenivå grovt sett kan tilskrives tre hovedfaktorer: 1. Skolens bidrag til læring, inkludert bidraget på tidligere klassetrinn 2. Elevens kunnskapsnivå fra tidligere og forutsetninger for å tilegne seg ny kunnskap 3. Tilfeldig variasjon og målefeil De to siste faktorene ligger utenfor skolens kontroll. Det er utviklet ulike modeller og metode som forsøker å si noe om skolens bidrag, med utgangspunkt i ujusterte skoleresultater og informasjon om elevsammensetning, samtidig som man forsøker å ta hensyn til statistisk usikkerhet som følge av tilfeldig variasjon. Den kanskje foretrukne typen av modeller som benyttes til å anslå (forskjeller i) skolenes bidrag til elevers læring er såkalte value-added-modeller. OECD (2008) gir følgende definisjon av the valueadded contribution of a school (skolens bidrag til elevens læring): the contribution of a school to students progress towards stated or prescribed education objectives (e.g. cognitive achievement). The contribution is net of other factors that contribute to students educational progress. Ut fra denne definisjonen gis så følgende definisjon av value-added-modeller: a class of statistical models that estimate the contributions of schools to student progress in stated or prescribed education objectives (e.g. cognitive achievement) measured at at least two points in time. 12
Value-added-indikatorer skiller seg altså fra andre skolebidragsindikatorer (som ofte bare tar utgangspunkt i tverrsnittsinformasjon, se for eksempel Hægeland et al., 2005) ved at de benytter informasjon om elevenes resultater på et tidligere tidspunkt. På denne måten korrigerer de for viktige forskjeller mellom skoler med hensyn til elevsammensetning som ikke bør fanges opp av indikatorer for skolens bidrag. Det som skiller value-added-modeller fra tverrsnittsmodeller er at de estimerte skoleeffektene som value-added-modellene produserer kan gis en mye mer presis tolkning som skolens bidrag til elevenes læring i den perioden som ligger mellom de ulike målepunktene for elevprestasjoner, siden man betinger på kunnskaps- og ferdighetsnivået ved inngangen til perioden. Med utgangspunkt i en interesse for å kunne vite noe om forskjeller i skolenes bidrag til elevenes læring, og en erkjennelse av at ukorrigerte resultatgjennomsnitt på skolenivå kan gi et ufullstendig og misvisende bilde av dette, er value-added indikatorer derfor et potensielt viktig hjelpemiddel i arbeidet med å identifisere god praksis i skolen. De kan imidlertid aldri bli det eneste verktøyet i dette arbeidet. Selv om ukorrigerte resultatmål som for eksempel skolens gjennomsnittsresultat ved skriftlig eksamen, eller andelen elever under et visst nivå på nasjonale prøver ikke nødvendigvis reflekterer skolens bidrag til elevenes læring på en god måte, har slike mål selvsagt betydelig informasjonsverdi. Uavhengig av hvor godt skolens bidrag er, er det bekymringsfullt dersom mange elever ved en skole har resultater som vitner om et kunnskapsnivå som er for lavt i forhold til å skulle klare seg i videre utdanning og i arbeidslivet. Ukorrigerte resultatmål og skolebidragsindikatorer vil uansett bare være verktøy for å identifisere god praksis i skolen, dvs. finne de skoler som bidrar mye til elevenes læring. For å karakterisere god praksis, dvs. finne hva som kjennetegner skoler med høyt bidrag eller enda mer ambisiøst hvorfor noen skoler bidrar mer enn andre, kreves andre data og andre analyseverktøy. Value-added- og skolebidragsindikatorer er altså hjelpemidler til å sammenligne resultatene til skoler med forskjellig elevsammensetning, og kan tolkes som det resultatgjennomsnittet vi forventer at en skole ville hatt, om dens elevmasse var gjennomsnittlig i forhold til de elevkjennetegnene man inkluderer i analysen. I flere land benyttes value-added-indikatorer i de nasjonale kvalitetsvurderingssystemer for skolesektoren, ved at de beregnes på løpende basis og presenteres/offentliggjøres på skolenivå sammen med annen informasjon, se OECD (2008) for en oversikt. I Norge er slike indikatorer ikke en del av Nasjonalt kvalitetsvurderingssystem, og det finnes derfor ikke tilgjengelige value-added-indikatorer for navngitte skoler på nasjonalt nivå. Det har imidlertid blitt gjennomført utredninger av bruk av value-added-indikatorer i Norge basert på tilgjengelige data for nasjonale prøver, avgangsresultater i ungdomsskolen og karakterer og fullføring i videregående skole, se blant annet Hægeland et al. (2011). Her presenteres beregninger av valueadded-indikatorer for norske skoler. Skolene er ikke identifisert, så den sier ikke noe om hvilke skoler som gir større eller mindre bidrag til elevenes læring enn andre. Resultatene i rapporten gir imidlertid en indikasjon på hvor store forskjeller det er bidrag til læring mellom norske skoler. Dermed kan man ut fra resultatene i rapporten få en viss pekepinn på mulighetene til resultatforbedring i norsk skole dersom man klarte å identifisere en nasjonal beste praksis og klarte å få mange skoler til å heve seg opp mot denne. Hægeland et al. (2011) ser særlig på value-added-indikatorer for ungdomstrinnet og for mellomtrinnet. Indikatoren for ungdomstrinnet ser på forskjeller mellom skoler i avgangsresultater for 10. trinn og bruker resultater fra nasjonale prøver for 8. trinn som mål på elevenes initiale kunnskapsnivå. Valueadded-indikatoren for ungdomstrinnet fanger da opp forskjeller i skolebidrag i perioden mellom de to målepunktene. Indikatoren for mellomtrinnet, ser på tilsvarende måte på forskjeller mellom skoler resultater i nasjonale prøver på 8. trinn (men tilordnet den skolen eleven hadde på mellomtrinnet) og bruker resultater fra nasjonale prøver for 5. trinn som mål på elevenes initiale kunnskapsnivå. Hægeland et al. (2010) og Falch og Strøm (2013) ser på value-added indikatorer for videregående skoler. Her studeres forskjeller mellom skoler i eksamensresultater og fullføringsgrad, og avgangsresultatene fra grunnskolen brukes som mål på initialt kunnskapsnivå. 13
Selv om det er noen variasjoner mellom indikatorer for ulike trinn, er de kvalitative hovedfunnene i disse rapportene relativt robuste. Det er sterk samvariasjon mellom resultater på ulike trinn for enkeltelever. Det er naturlig nok slik at elever som lykkes godt på et trinn også skårer høyt for eksempel tre år senere. For enkeltelever har de nasjonale prøvene på både 5. og 8. trinn sterk prediksjonskraft for henholdsvis nasjonale prøver på 8. trinn og avgangsresultater fra 10. trinn. Endelig har avgangsresultater fra ungdomsskolen sterk prediksjonskraft på resultater i videregående skole. Skoler som skårer høyt med hensyn til ujusterte resultater, tenderer til å skåre høyt når vi ser på value added-indikatorer og skolebidragsindikatorer. Sammenhengene er imidlertid langt fra entydige, og det er mange skoler som får sine resultater betydelig justert. Resultatmål som tar hensyn til at skoler har ulik elevsammensetning gir dermed betydelig tilleggsinformasjon sammenlignet med ujusterte resultater. Forskjellene mellom skoler er stort sett mindre når vi ser på indikatorer som tar hensyn til forskjeller i elevsammensetning. Dette innebærer at forskjellene i skolenes bidrag til elevenes læring er mindre enn hva ujusterte resultatforskjeller sier. Resultater for enkeltskoler varierer og avhenger i noen grad av hvordan value added-indikatorene beregnes. Det er også forskjeller på tvers av fag. Selv om hovedmønsteret er robust, understreker dette at justeringen gir oss en indikator, men ikke et entydig, presist mål på skolekvalitet.value- addedindikatorer bør ikke alene utgjøre datagrunnlaget for evaluering av skoler. Få årganger med data gjør det vanskelig å avgjøre hvorvidt forskjellene mellom skoler dette representerer tilfeldig variasjon (støy), transitoriske forskjeller mellom skoler eller mer persistente skoleforskjeller. Data for flere årskull med resultater for ulike trinn vil i prinsippet gjøre det mulig å skille ut skolebidrag som er stabile over tid. Falch og Strøm (2013) benytter et datamateriale som gjør det mulig å se på stabilitet i indikatorene over tid. De finner en klar tendens til at skoler med høye value-added indikatorer ett år, også har dette året etter Selv om skoletilhørighet forklarer en relativt liten andel av den totale variasjonen i elevers læringsresultater, viser de estimerte indikatorene betydelige forskjeller mellom skoler i deres bidrag til elevenes læring. Hægeland et al.(2011) finner for eksempel at forskjellen i estimerte skolebidrag på mellomtrinnet mellom de skolene som akkurat var blant de 10 prosent beste (90. persentil) til å bidra til elevenes læring og de som akkurat var blant de 10 prosent dårligste (10. persentil) tilsvarte 0,45 av standardavviket for individuelle resultater på nasjonale prøver. Et nærliggende spørsmål er om 0,45 av et standardavvik representerer store forskjeller mellom de beste og dårligste skolene Som diskutert i Hægeland et al. (2011), viser analyser på det samme datamaterialet en forskjell i resultater på 0,40 standardavvik på nasjonale prøver 8. trinn mellom en elev hvor begge foreldrene har lang universitetsutdanning, sammenliknet med en annen der begge har grunnskole, når man i tillegg betinger på resultatene fra 5. trinn. Det innebærer at hensyn tatt til forskjell i resultater fra 5.trinn gjør elevene med høyt utdannede foreldre det bedre ved de nasjonale prøvene på 8. trinn. Dersom man tolker skolebidragsindikatorene som uttrykk for skolens bidrag, og forskjellen knyttet til foreldres utdanning gis en kausal tolkning, så sier tallene at det å gå på en av de beste skolene kontra en av de dårligste, kan være minst like viktig for læringen på mellomtrinnet som det å ha høyt kontra lavt utdannede foreldre. Man skal være varsom med å gi tallene en så direkte tolkning, men illustrasjonen viser likevel at forskjellene mellom skoler slik de fremkommer ved beregning av value-addedindikatorer ikke er ubetydelig. Beregninger av value-added indikatorer fra ungdomstrinnet viser at forskjellen i skolebidrag mellom 90. persentil og 10. persentil tilsvarer om lag 0,4 karakterer til skriftlig eksamen. Dette innebærer altså at når vi kontrollerer for elevenes ferdighetsnivå da de begynte på ungdomsskolen, så fikk elever ved 14
skoler som akkurat var blant de 10 prosent beste til å bidra til elevenes læring i gjennomsnitt 0,4 bedre eksamenskarakter enn elever ved skoler som akkurat var blant de 10 prosent dårligste. Dette er en betydelig forskjell. Falch og Strøm (2013) finner også betydelige forskjeller i skolebidrag blant videregående skoler, for eksempel finner de en forskjell i fullføringsgrad etter fem år på 17 prosentpoeng mellom 90. persentil og 10. persentil. Referanser De Haan, M., (2011). The Effect of Parents Schooling on Child s Schooling: A Nonparametric Bounds Analysis. Journal of Labour Economics, 29 (4). Eielsen, G., L. J. Kirkebøen, E. Leuven, M. Rønning og O. Raaum (2013). Effektevaluering av intensivopplæringen i overgangsprosjektet, Ny GIV: Første delrapport, Rapports 2013/54. Statistisk sentralbyrå, 2013 Falch, T. og B. Strøm (2013):Kvalitetsforskjell mellom videregående skoler? Tidsskrift for Samfunnsforskning, årgang 54, s. 437-462 Galloway, T, L. J. Kirkebøen og M. Rønning (2011). Systematiske forskjeller i karakterpraksis i grunnskolen? i Utdanning 2011 - veien til arbeidslivet Statistiske analyser 74, Statistisk sentralbyrå Gravaas, B. C., T. Hægeland, L. J. Kirkebøen og K. Steffensen (2008). Skoleresultater 2007. En kartlegging av karakterer fra grunn- og videregående skoler i Norge Notater 2008/24. Statistisk sentralbyrå Hægeland, T. og L. J. Kirkebøen (2007). Skoleresultater 2006: en kartlegging av karakterer fra grunnog videregående skoler i Norge Notater 2007/29. Statistisk sentralbyrå Hægeland, T., L. J. Kirkebøen, B. Bratsberg og O. Raaum (2011). Value added-indikatorer. Et nyttig verktøy i kvalitetsvurdering av skoler? Rapport 2011/42. Statistisk sentralbyrå Hægeland, T., L. J. Kirkebøen og O. Raaum (2005). Skoleresultater 2004. En kartlegging av karakterer fra grunn- og videregående skoler i Norge. Notater 2005/31. Statistisk sentralbyrå Hægeland, T., L. J. Kirkebøen og O. Raaum (2006). Skoleresultater 2005: en kartlegging av karakterer fra grunnskoler og videregående skoler i Norge. Notater 2006/35. Statistics Norway Hægeland, T., L. J. Kirkebøen og O. Raaum (2010). Skolebidragsindikatorer for videregående skoler i Oslo Rapport 2010/36. Statistisk sentralbyrå Hægeland, T., L. J. Kirkebøen, O. Raaum og K. G. Salvanes (2004). Marks across lower secondary schools in Norway: What can be explained by the composition of pupils and school resources? Rapport 2004/11. Statistisk sentralbyrå Hægeland, T., L.J. Kirkebøen, O. Raaum og K.G. Salvanes (2007): Skolebidragsindikatorer for Osloskoler. Beregnet for avgangskarakterer fra grunnskolen for skoleårene 2004-2005 og 2005-2006. Rapporter 2007/28, Statistisk sentralbyrå. Hægeland, T., Kirkebøen, L. J., Raaum, O. og Salvanes, K. G., (2013). Hvorfor gjør barn av høyt utdannede det bedre på skolen? i Utdanning 2013 fra barnehage til doktorgrad, Statistiske analyser 138, Statistisk Sentralbyrå 15