Vedlegg 3 til NIFU rapport 7, Skolebidragsindikatorer i videregående skole. Oppdatering av analysene i SØF-rapport

Transkript

1 Vedlegg 3 til NIFU rapport 7, Skolebidragsindikatorer i videregående skole. Oppdatering av analysene i SØF-rapport

2

3 Innhold Oppdatering av analysene i SØF-rapport 01/ Beregning av skolebidragsindikatorer... 7 Data og utvalg... 7 Detaljert beskrivelse av resultatmålene... 8 Fullføring... 8 Deltakelse... 9 Normert progresjon... 9 Standpunktkarakterer... 9 Norskeksamen... 9 Skriftlig eksamen... 9 Detaljert beskrivelse av hvordan karaktersnitt fra grunnskolen og videregående beregnes... 9 Restriksjoner som pålegges data Tar ut elever som har mindre enn åtte karakterer Elever registrert med elevstatus Estimerer bare skolebidrag for skoler med 20 elever eller mer Strukturendringer og mobilitet Indikatorer for enkeltkull og sammenslåtte indikatorer Om de beregnede indikatorene og hvordan de kan leses og forstås Referanser Oppdaterte indikatorer Tabell V3.2. Fullføring etter fem år studieforberedende Tabell V3.3. Fullføring etter fem år yrkesfag Tabell V3.4. Deltakelse studieforberedende Tabell V3.5. Deltakelse yrkesfag Tabell V3.6. Normert progresjon studieforberedende Tabell V3.7. Normert progresjon yrkesfag Tabell V3.8. Normert fullføring studieforberedende Tabell V3.9. Normert fullføring yrkesfag Tabell V3.10. Justerte standpunktkarakterer studieforberedende Tabell V3.11. Justerte standpunktkarakterer yrkesfag Tabell V3.12. Norsk skriftlig eksamen studieforberedende Tabell V3.13. Skriftlig eksamen studieforberedende Tabell V3.14. Skriftlig eksamen yrkesfag

4 Vedlegg 3 til NIFU rapport 7, Skolebidragsindikatorer i videregående skole. Oppdatering av analysene i SØF-rapport NIFU har på oppdrag fra Utdanningsdirektoratet gjennomført et arbeid med å beregne skolebidragsindikatorer for videregående skole. Dette arbeidet har vært todelt. Hoveddelen av prosjektet har vært å utvikle og beregne nye indikatorer. Del to av prosjektet har vært å foreta en oppdatering av analysene i SØF-rapport nr , Skolekvalitet i videregående opplæring (Falch, Strøm og Bensnes 2016). Utviklingen og beregningen av nye indikatorer er presentert i NIFU-rapport nr. 7, Oppdateringene av Falch mfl. (2016) presenteres i dette vedlegget. Oppdatering av analysene i SØF-rapport 01/2016 Hensikten med dette vedlegget til NIFU-rapport nr. 7, 2017 er å oppdatere skolebidragsindikatorene som ble beregnet av Falch mfl. i SØF-rapport 01/2016. Hovedformålet med rapporten til Falch mfl. (2016) var å bidra til en bedre forståelse av hvordan elevprestasjoner avhenger av hvilken videregående skole elevene går på. Dette spørsmålet besvares gjennom å utvikle skolebidragsindikatorer som måler hver enkelt videregående skoles bidrag til syv ulike resultatmål som skal fange opp elevens læringsutbytte og gjennomstrømning. Mer spesifikt beregner Falch mfl. (2016) skolenes bidrag til at elevene: Fullfører videregående opplæring innen fem år etter avsluttet grunnskole. Deltar i videregående opplæring i alle semestre etter avsluttet grunnskole til og med 6. semester. Har normert progresjon, definert som at elevene er i Vg3 seks semestre etter avsluttet grunnskole. Fullfører videregående opplæring på normert tid. I tillegg beregnes skolenes bidrag til elevenes: Standpunktkarakterer, definert som gjennomsnittlig standpunktkarakter. Resultat på norsk eksamen, studieforberedende Vg3 Resultater på skriftlige eksamener, definert som gjennomsnittskarakter på alle skriftlige eksamener. Den viktigste oppdateringen av beregningene til Falch mfl. (2016), er at vi utvider analysene med ett ekstra årskull. Ettersom Falch mfl. (2016) kun hadde mulighet til å følge elevene frem til og med våren 2014, kunne de bare basere sine skolebidragsindikatorer på elever som avsluttet grunnskolen før I våre beregninger har vi mulighet til å følge elevene ett år lengre, altså til og med våren Dermed kan vi også inkludere elever som avsluttet grunnskolen i 2010 i våre beregninger. I denne delen av studien vil vi dermed beregne skolebidragsindikatorer basert på informasjon om elevene som avsluttet grunnskole i perioden Videre skiller også beregningene som presenteres her seg fra beregningene til Falch mfl. (2016) ved at vi ser på studieforberedende og yrkesfag hver for seg. Vi gjør også enkelte andre tilpasninger i forhold til beregningene til Falch mfl. (2016), spesielt med hensyn til kunnskapsgrunnlaget elevene tar med seg inn i videregående opplæring, mobilitet og strukturendringer. Definisjonene på resultatmålene vil antageligvis skille seg noe fra hvordan Falch mfl. (2016) har definert dem, uten at det skal ha stor 6

5 betydning for resultatene som presenteres her. Vi også valgt å presentere skolebidragene på originalskala. Dette medfører at det ikke er mulig å gjøre en direkte sammenligning av resultatene i rapporten til Falch mfl. (2016) og de resultatene som presenteres her. Vi har lagt de samme premissene til grunn for beregning av de nye indikatorene som er presentert i NIFU-rapport For en grundigere drøfting av disse premissene, se selve rapporten, og også rapportens vedlegg 1 og 2. I det følgende beskriver vi hvordan hver enkelt skoles bidrag til elevens deltagelse, fullføring og faglige prestasjoner beregnes i våre oppdateringer av Falch mfl. (2016). Vi begynner med å beskrive metodikken som benyttes i beregningene. Deretter presenterer vi datagrunnlaget, samt en detaljert beskrivelse av hvert enkelt resultatmål. Videre redegjør vi for hvordan det kunnskapsgrunnlaget elevene tar med seg inn i videregående opplæring, målt som gjennomsnittskarakterer fra grunnskolen, og gjennomsnittskarakteren som hver enkelt elev oppnår i videregående opplæring beregnes. Mot slutten gir vi en forklaring på hvordan mobilitet og strukturendringer håndteres i beregningene. Beregning av skolebidragsindikatorer Falch mfl. (2016) estimerer en regresjonsmodell der de beregner skolenes bidrag til ulike resultatmål ved å se hvordan elevene presterer gitt elevenes gjennomsnittskarakter fra ungdomskolen, altså en merverdi-indikator. I tillegg justerer de også skolenes bidrag for gjennomsnittskarakteren kvadrert. Dette gjøres for å ta hensyn til at det kan være vanskelig for en skole å gi et positivt bidrag til elever som allerede presterer på et høyt nivå. Det er vanskelig å gi en fullgod vurdering av om elevsortering er tilstrekkelig ivaretatt ved det beregningsopplegget som Falch mfl. (2016) la opp til. Imidlertid utførte de en rekke robusthetssjekker som indikerer at analysene på en god måte tar hensyn til elevsortering. Falch mfl. (2016) anser det også som fordelaktig at beregningen av skolebidrag er minst mulig krevende. Når ytterligere mål på elevgrunnlaget ikke tilførte analysene mye, konkluderte de derfor at grunnskolekarakterer er et tilstrekkelig mål på elevgrunnlaget. Med dette som utgangspunkt, har vi i denne delen av studien valgt å legge oss så tett opp til beregningsmetoden til Falch mfl. (2016) som mulig. Mer formelt estimerer vi følgende regresjonsmodell for å beregne skolens bidrag til ulike resultatmål: R iys = α y + β s s + β 1 K i + β 2 K i 2 + ε iys Der R iys er et resultatmål for elev i som starter videregående opplæring i år y og går på videregående skole s. Vi benytter syv ulike resultatmål som beskrevet nedenfor, og estimerer skolens bidrag til resultatmålet med koeffisienten β s. K i er elevens justerte gjennomsnittskarakter fra grunnskolen (snittet av standpunktkarakterer og eksamenskarakter) og K i 2 er kvadratet av denne snittkarakteren. Når vi beregner skolenes bidrag med basis i data for flere elevkull legger vi også inn en indikator for årskull, α y. Denne indikatoren justerer skolebidragene for alle forhold som påvirker resultatmålene likt for alle elever i et årskull. Standardfeilene er klustret på skolenivå. Data og utvalg Som Falch mfl. (2016) baserer vi oss utelukkende på registerinformasjon fra Statistisk sentralbyrå. I utgangspunktet har vi informasjon om alle elever som begynner i videregående skole i årene 2008 til Ettersom vi i denne delen av studien ser på mål på resultater tre til fem år etter påbegynt videregående opplæring, begrenses kullene som vi har fullstendig informasjon om til elevkullene som startet i videregående opplæring i årene 2008 til I denne delen av studien beregner vi derfor skolebidrag for de syv resultatmålene for studieforberedende og yrkesfag hver for seg. For hvert resultatmål beregner vi en indikator for hvert enkelt elevkull som begynte i videregående opplæring i , pluss skolebidrag for elevkullene som begynte i 2008 og 2009 samlet og 2008, 2009 og 2010 samlet. Dette betyr at vi i utgangspunktet beregner 10 bidragsindikatorer for hvert enkelt resultatmål. 7

6 Dersom vi benytter SSB sin definisjon på elevkull innebærer dette at vi utgangspunktet utnytter informasjon om elever for å beregne skolebidrag. Imidlertid fører restriksjonene som pålegges datamaterialet (se eget avsnitt) at både antallet elever som inngår i datagrunnlaget for beregningene reduseres med mellom 6 og 10 prosent, og at antall skoler som inngår i hver enkelt beregning vil variere noe. Spesielt vil antallet skoler vi beregner skolebidrag for være lavere når vi ser på enkeltår og resultatmål som ligger nærmere oppstart på videregående skole i tid (herunder deltakelse, normert progresjon og normert fullføring). Detaljert beskrivelse av resultatmålene Figur V3.1 presenterer definisjoner av de syv resultatmålene som Falch mfl. (2016) beregner skolebidrag for. Falch mfl. (2016) argumenter for at skolebidragsindikatorene kan deles inn i to hovedgrupper, henholdsvis «deltakelse og fullføring» og «faglige prestasjoner». Figur V3.1: Definisjoner av resultatmålene for de syv skolebidragsindikatorene. Resultatmål Definisjon Hovedgruppe: Fullføring Deltakelse Normert progresjon Normert fullføring Standpunktkarakterer Norskeksamen Skriftlig eksamen Fullført videregående opplæring innen fem år etter avsluttet grunnskole. Deltatt i videregående opplæring alle semestre etter avsluttet grunnskole til og med 6. semester. Det inkluderer alle som fullfører på normert tid og alle med normert progresjon. Er i Vg3 seks semester etter avsluttet grunnskole. - Fullført videregående opplæring på normert tid. Normert tid er satt til tre år for elever som starter studieforberedende utdanningsprogram, med unntak av idrettsfag hvor normert fullføring er satt til fire år fordi enkelte skoler har fire år som normert tid. - For elever som starter på yrkesfaglig utdanningsprogram settes normert fullføring til fire år, med unntak av program som har mer enn fire år som normert tid og medier og kommunikasjon som er satt til tre år Gjennomsnittlig standpunktkarakter. Gjennomsnittskarakter på avsluttende skriftlig eksamen i norsk hovedmål, studieforberedende Vg3 Gjennomsnittskarakter på alle skriftlige eksamener. Deltakelse og fullføring Faglige prestasjoner Kilde: Falch, Strøm og Bensnes (2016). I det følgende presenterer vi våre egne definisjoner på de syv resultatmålene vi beregner skolebidrag for. Fullføring Fullført videregående opplæring defineres som at individet har oppnådd studiekompetanse (vitnemål) eller fagbrev eller svennebrev. I tillegg antar vi at elever som ikke er registrert med vitnemål, men som likevel er registrert i høyere utdanning for første gang tre til fem år etter at de begynte i videregående 8

7 opplæring har oppnådd dette. I analysene skiller vi mellom (i) fullført på normert tid og (ii) fullført innen fem år etter påbegynt videregående opplæring. Normert tid er satt til tre år for elever som starter på studieforberedende utdanningsprogram, med unntak av idrettsfag hvor normert tid er satt til fire år fordi enkelte skoler har fire år som normert tid. For elever som starter på yrkesfaglige utdanningsprogram settes normert fullføring til fire år, med unntak av program som har mer enn fire år som normert tid og medier og kommunikasjon som er satt til tre år. Deltakelse Deltakelse defineres som at individet har deltatt i undervisning i alle semestre til og med 6. semester for studieforberedende og 4. semester for yrkesfag. Mer spesifikt ser vi på om en elev er registrert med oppstart etter hvert høstsemester at denne er registrert i videregående opplæring første gang, og deretter at eleven ikke er registrert som sluttet i løpet av skoleåret ved utgangen av vårsemesteret. Dersom elevene oppfyller disse to kriteriene hvert semester til og med 6. semester på studieforberedende og 4. semester på yrkesfag etter oppstart i videregående opplæring blir eleven registrert med 1 for deltakelse. Dersom kriteriene ikke oppfylles blir eleven registrert med 0 for deltakelse. Normert progresjon Normert progresjon defineres på akkurat samme måte som over, men her må elevene i tillegg oppfylle kriteriet om at de er i Vg3 ved slutten av 6. semester dersom eleven startet på studieforberedende, og Vg2 dersom eleven startet på yrkesfag. Standpunktkarakterer Gjennomsnittlig standpunktkarakter på videregående skole, justert for karakterpraksis på den enkelte skole og det nasjonale avviket mellom standpunktkarakterer og eksamensresultater. Norskeksamen Karakter på avsluttende skriftlig eksamen i norsk hovedmål i studieforberedende Vg3. Skriftlig eksamen Gjennomsnittskarakter på alle skriftlige eksamener. Detaljert beskrivelse av hvordan karaktersnitt fra grunnskolen og videregående beregnes Standpunktkarakterer fra grunnskolen kan være et unøyaktig og skjevt mål på elevgrunnlaget på hver enkelt videregående skole. Dette vil være tilfellet dersom karaktersettingen varierer systematisk mellom grunnskoler. Dette er også diskutert i andre rapporter som beregner skolebidrag (se f.eks. Hægeland mfl, 2011). Hægeland mfl. (2011) konkluderer imidlertid med at dette problemet reduseres betydelig når elever i videregående skoler rekrutteres fra flere forskjellige grunnskoler. Det er da lite skjevhet knyttet til at noen skoler rekrutterer elever som har høyt eller lavt kunnskapsnivå relativt til karakterene de har fått i grunnskolen. Det kan være rimelig å anta at standpunktkarakterer fra grunnskolen på en god måte reflekterer elevgrunnlaget på hver enkelt videregående skole. For å etterprøve denne antagelsen kan man, istedenfor å justere for standpunktkarakterer, justere for eksamenskarakteren som hver enkelt elev har oppnådd på avsluttende eksamener i grunnskolen. Tanken bak dette er et eksamener som er felles for alle elever, og i tillegg rettes av en ekstern sensor, på en bedre måte kan reflektere det «sanne» elevgrunnlaget på hver enkelt videregående skole. En tredje tilnærming er å justere elevenes gjennomsnittlige standpunktkarakter for resultater for gjennomsnittlige resultater på skriftlig eksamen på den grunnskolen hver enkelt elev har gått på. Dette 9

8 kan vi gjøre ved å første beregne gjennomsnittlige resultater på eksamen på hver enkelt grunnskole, og deretter beregne avviket mellom dette gjennomsnittet og standpunktkarakteren til hver enkelt elev i faget som elevene på skolen kom opp i til eksamen. Dermed vil vi få et avvik mellom standpunktkarakteren til hver enkelt elev og gjennomsnittsresultatet på eksamen på den enkelte grunnskole. Dette avviket vil gi en indikasjon på om grunnskolen eleven går på følger en «snill» eller «streng» karakterpraksis. Avviket mellom standpunktkarakter og eksamensresultat kan deretter legges til hver enkelt elevs standpunktkarakterer i teoretiske fag (utenom kroppsøving, matfag og kunst- og håndverksfag). Gjennomsnittet av disse justerte standpunktkarakterene samt alle praktiske fag, vil da gi en gjennomsnittlig standpunktkarakter som er justert for karakterpraksisen på den enkelte grunnskole. Det kan imidlertid være at den enkelte grunnskole har «uflaks» eller «flaks» med tanke på hvor mange elever som blir trukket opp i hvert fag. For å ta hensyn til dette beregner vi også det nasjonale avviket mellom standpunktkarakterer og resultater på eksamen. Dette avviket trekkes fra de justerte standpunktkarakterene til den enkelte elev før vi beregner gjennomsnittlig standpunktkarakter for hver enkelt elev i grunnskolen. Intensjonen er altså at kunnskapsnivået til den enkelte elev både er justert for karakterpraksis ved den enkelte skole og tilfeldigheter i eksamensuttrekket. Når vi beregner justerte standpunktkarakterer på videregående skole følger vi det samme prinsippet. Metodene for justering av grunnskolekarakterer og karakterer i videregående skole er nærmere redegjort for i vedlegg 1 av NIFUs rapport 7/2017. Den eneste forskjellen mellom dette snittet og det som ble benyttet for de nye indikatorene er at vi her kun tar med de justerte standpunktkarakterene når vi beregner snittet, og ikke eksamenskarakterene og terminkarakterene i ikke avsluttede fag. Restriksjoner som pålegges data Tar ut elever som har mindre enn åtte karakterer Ettersom vi i denne delen av rapporten oppdaterer SØF sine skolebidragsindikatorer, og det er et poeng i deres analyser at de estimerte skolebidragsindikatorene best mulig skal beskrive forventet resultat for en gjennomsnittlig elev ved skolen, har vi valgt å ekskludere alle elever som har færre enn åtte karakterer fra grunnskolen (standpunktkarakterer + eksamenskarakterer) samt elever vi ikke har karakterinformasjon om. Grunnen til at vi setter grensen ved åtte karakterer, er relatert til regelen om at elever som mangler karakterer i mer enn halvparten av fagene, ikke får utregnet sine grunnskolepoeng (forskrift til opplæringsloven 6-26). Det vil variere hvor mange karakterer hver enkelt elev har, men SSB har i sin definisjon av grunnskolepoeng satt en grense ved åtte karakterer 1. Vi følger SSBs avgrensning. Elever som ikke får utregnet grunnskolepoeng er en sammensatt gruppe, og det kan være mange forklaringer på dette. Elevene kan være fritatt fra vurdering, mangle grunnlag for vurdering eller ha spesielle utfordringer. Grunner kan være at elevene har vært syk deler av skoleåret, ikke har møtt til undervisning eller nettopp har ankommet Norge. For å beregne antall karakterer fra grunnskolen tar vi utgangspunkt i grunnskolekarakterer som er koblet på elevpopulasjonen som defineres over. Deretter legger vi sammen alle standpunktkarakterer og eksamenskarakterer for å få det totale antallet karakterer hver enkelt elev har fått på grunnskolen. Enkelte elever er registrert med standpunktkarakterer fra grunnskolen over flere år. Når dette er tilfellet har vi lagt sammen alle karakterer elevene har fått uavhengig av om de har fått karakterer på flere tidspunkter eller ikke. Dersom en elev har fått standpunktkarakter eller eksamenskarakter i samme fag på to ulike tidspunkter, har vi bare telt den karakteren som ble registrert nærmest opptak til videregående opplæring

9 Dersom en elev har fått grunnskolekarakterer etter at denne er tatt opp til videregående opplæring første gang, har vi tatt denne eleven ut av elevpopulasjonen. I tillegg tar vi ut elever som er registrert med avgang fra grunnskolen etter at de er registrert med oppstart i videregående først gang. Denne operasjonen reduserer elevpopulasjonen med fem prosent. Elever registrert med elevstatus Videre ser vi bare på elever med som er registrert med elevstatus som elev det året de begynner på videregående opplæring første gang. Dette utelukker elever med spesialundervisning, utvekslingselever og elever på voksenopplæring. Da sitter vi igjen med til sammen ca elever som begynte på videregående skole i årene Av disse starter 51,2 prosent på studieforberedende utdanningsprogrammer, mens 48,7 prosent begynner på yrkesfag. Estimerer bare skolebidrag for skoler med 20 elever eller mer. I utgangspunktet ønsker vi å beregne skolebidrag for alle videregående skoler i Norge. Imidlertid er det mange skoler med få elever. For de aller minste skolene er det grunn til å tro at det vil ligge mye tilfeldigheter bak det beregnede skolebidraget. Steffensen mfl. (2017) viser at usikkerheten i skolens bidrag til elevens læring på grunnskolen øker markant når de beregner skolebidrag for skoler med færre enn 20 elever. Vi setter derfor en grense på at trinnet må ha minst 20 registrerte elever på henholdsvis studieforberedende og yrkesfag i tidsperioden vi ser på for at det skal være meningsfullt å tolke og publisere en skolebidragsindikator. Dersom en elev både er registrert på yrkesfag og studieforberedende vil eleven telle to ganger. Denne restriksjonen innebærer at vi kan estimerer skolebidrag for langt flere skoler når vi ser på fullføring etter fem år og karakterer, sammenlignet med resultatmål der vi følger elevene i en kortere periode (deltakelse, normert progresjon og fullføring på normert tid). Strukturendringer og mobilitet En sentral utfordring når man beregner skolebidragsindikatorer, er at en del elever flytter mellom utdanningsprogram og mellom skoler i løpet av den tiden de er i videregående opplæring. Motivasjonen for å flytte på seg kan variere, men uansett innebærer dette at to eller flere skoler bidrar til disse elevens læring. Spørsmålet er hvilken skole enkelteleven skal tilordnes. En mulighet er å enten tilordne elevene den skolen de begynner eller slutter på. Dette vil imidlertid føre til at skolebidragene potensielt feilberegnes. Dersom man tilordner elevene den skolen de begynner på, og elevene systematisk flytter fra «dårlige» skoler til «gode» skoler, vil dette bidra til at skolen som elevene flytter fra overvurderes. På den andre siden, hvis man tilordner elevene den skolen de avslutter skolegangen på, vil skoler med et begrenset tilbud på Vg3, få en kunstig lav fullføring og deltakelse. I følge Falch mfl. (2016) er det lite konsensus og diskusjon om hvordan denne utfordringen skal løses. Cunha og Miller (2013) har i sine beregninger av kvalitetsindikatorer i høyere utdanning valgt å tilordne studentene til det lærestedet de startet på. Falch mfl. (2016) velger en kompromissløsning. I deres rapport tilordnes målene for deltakelse, fullføring samt gjennomsnittlig standpunktkarakter skolene elevene starter på, mens eksamensresultater tilordnes skolen som elevene avsluttet skolegangen på. Uansett hvordan man håndterer strukturendringer og elevmobilitet så er dette potensielle feilkilder i estimeringen av skolebidragsindikatorer fordi flere skoler bidrar til elevers resultater når elevene skifter skole i løpet av utdanningsløpet. Dette er et argument for å prøve ut andre måter å håndtere strukturendring og elevmobilitet enn det Falch mfl. (2016) gjør når vi oppdaterer deres analyser. Et alternativ, som blant annet benyttes av Isenberg og Hock (2012), er å vekte bidraget til de skolene elevene har gått på avhengig av hvor stor andel skolegangen de har tilbragt på hver enkelt skole. For eksempel, dersom en elev begynner på studieforberedende på en skole, og går der ett år, før denne bytter skole i andre trinn og fullfører andre og tredje trinn vil den første skolen tilordnes en tredjedel av 11

10 skolebidraget, mens den andre skolen vil få to tredjedeler av bidraget til denne elevens resultater. Dersom det er sånn at elever systematisk flytter fra «dårlig» skoler til «gode» skoler, vil denne metoden i mindre grad føre til at den «dårlige» skolen overvurderes. I tillegg vil skoler med et begrenset tilbud på Vg3 også tilordnes en større del av bidraget til elever som flytter på grunn av dette enn om vi skulle beregnet bidraget for den skolen der eleven avsluttet skolegangen. Når det gjelder det første problemet, er det viktig å understreke at det uansett vil være et etterslep som vi ikke får gjort noe med. Det er vanskelig å si hvor stort dette etterslepet er, og det vil variere mellom skoler, men kan potensielt være betydelig. Dette kan være et argument for å se på andre måter å beregne skolebidrag på. I utgangspunktet kan strukturendringer (uavhengig av om det sammenslåing av skoler til en ny skole, en skole innlemmes i en annen eller en ny skole tar over studietilbudene til nedlagte skoler) håndteres på akkurat samme måte. I den perioden rapporten omfavner har det vært flere strukturendringer i enkelte fylker. I tillegg er det enkelte datatekniske utfordringer, som at noen skoler er registrert med flere organisasjonsnumre og at enkelte skoler har flere avdelinger. Figur V3.2. illustrerer grafisk hvordan vi håndterer strukturendringer og mobilitet i analysene. Figur V3.2. Strukturendringer og mobilitet. Eksempel: En skole legges ned og en ny skole opprettes. Når det gjelder strukturendringer er det er viktig at vi kan dokumentere hva som har skjedd med hver enkelt skole, og at de grepene vi gjør er så gjennomsiktige som mulig. Som regel for strukturendring har vi derfor valgt å tolke alle strukturendringer som at det oppstår en helt ny skole. Tidspunktet for strukturendringene bestemmes av når det skjer endringer i organisasjonsnummeret til de skolene som rammes av strukturendringen. Skolene som vi rapporterer på, er de skolene som vi antar at er relevant for skoleeier eller skoleledelse å få en indikator på. Vi rapporterer derfor ikke skoler som ikke eksisterte i skoleåret For at disse skal gis et så korrekt estimat som mulig, krever vi i tillegg at skolene har eksistert siden kullet begynte på videregående skole, altså 2008, 2009 eller Enkelte skoler har flere campuser eller avdelinger, men er en administrativ enhet. Disse blir vurdert som enkeltskoler der det har vært mulig å identifisere disse. I tillegg er det skoler som er registrert med flere skolekoder i data. Der det har vært mulig å fastslå at de ulike skolekodene refererte til samme skole, har en enkelt skolekode blitt brukt. Dersom en elev flytter fra eller til en skole som er så liten at vi ikke beregner skolebidrag for den, så tillegges denne skolen likevel en vekt med tanke på skolebidrag, før den tas ut av analysematerialet. 12

11 Det samme prinsippet gjelder dersom en elev bytter til eller fra et utdanningsprogram som vi ikke har informasjon om. I vedlegg 2 i NIFU rapport redegjør vi for hvordan vi har forholdt oss til skoler der det har vært strukturendringer. Indikatorer for enkeltkull og sammenslåtte indikatorer I dette vedlegget har vi både laget indikatorer basert på hvert av kullene med oppstart 2008, 2009 og 2010, og også laget indikatorer der kullene med oppstart 2008 og 2009 er slått sammen og indikatorer der de tre kullene ses på under ett. Både Falch mfl. (2016) og Steffensen mfl. (2017) drøfter om det kan være nyttig med slike sammenslåtte indikatorer. En fordel med å bruke flere kull sammen er at det kan være tilfeldig variasjon som gjør at en indikator basert på få elever gir et unøyaktig bilde av skolens bidrag. Ulempen er at indikatoren med flere kull samlet må bruke data som ligger enda lengre tilbake i tid enn indikatorene basert på enkeltkull, og at variasjon mellom enkeltkull kan også komme av en utvikling i skolebidraget over tid som en sammenslått indikator vil tilsløre. For å sammenlikne disse ulike modellene viser vi i tabell V3.1 et utvalg karakteristikker ved de ulike modellene. Første rad under hver indikator viser antall elever, og her ser vi at antallet elever dobler seg når to kull slås sammen, og tredobler seg med tre kull. Legg også merke til at to til tre kull må legges sammen for å ha samme elevtall bak hver indikator som i skoleårsindikatorene (se tabell V1.6 i Vedlegg 1). Neste rad viser antall skoler, og vi ser at antall skoler som vi får beregnet bidrag er 1-9 flere skoler ved å bruke to kull sammenliknet med høyeste antall fra et kull. Unntaket er skriftlig eksamen på yrkesfag der 67 flere skoler får skolebidrag med to år. Det er veldig få skoler som kommer til når vi bruker tre kull versus to kull. Vi konkluderer med at det kun er for indikatoren for skriftlig eksamen yrkesfag at hensynet til å kunne beregne bidrag for flest mulig skoler kan forsvare å bruke to kull for å beregne skolebidrag. Den tredje raden under hver indikator viser forklaringskraften, R 2. Vi ser at denne varierer en del mellom indikatorene, og er svakest for indikatorene for deltakelse og normert progresjon (0,10-0,15) og sterkest for indikatorene for standpunktkarakterer (0,47-0,57). Den endrer seg lite mellom enkeltkull eller mellom de sammenslåtte indikatorene og indikatorene for enkeltkull. Den neste statistikken som vi har valgt å rapportere er standardavvik for indikatorene. Dette er et mål på hvor mye indikatoren typisk varierer mellom skoler, og den er ikke sammenliknbar på tvers av utfallsmål. Vi kan derimot bruke den til å sammenlikne mellom enkeltkullindikatorene og de sammensatte indikatorene, og her indikerer en lavere verdi at det er mindre spredning mellom skolene. Stor spredning i indikatorverdiene mellom skoler kan indikere at tilfeldig variasjon spiller en større rolle. Vi ser at i fire tilfeller (deltakelse studieforberedende, deltakelse yrkesfag, normert progresjon studieforberedende, skriftlig eksamen yrkesfag) er standardavviket i indikatoren høyere i en av de sammenslåtte modellene enn i en av enkeltkullmodellene, mens det er en veldig liten forbedring i to indikatorer (normert fullføring studieforberedende og skriftlig eksamen studieforberedende). De resterende syv indikatorene viser en lavere verdi for de sammenslåtte indikatorene enn for enkeltkullindikatorene, som forventet. I to tilfeller har indikatoren med tre sammenslåtte kull lavere verdi enn den basert på to kull, i et tilfelle er de like, mens i de fleste tilfeller har indikatoren med tre kull lavest standardavvik av de to. Basert på dette kan vi konkludere med at sammenslåtte kull bare gir mindre spredning i indikatorene for om lag halvparten av utfallsmålene. Spesielt fører ikke sammenslåing av kull til mindre variasjon i indikatorene for de fleste utfallsmålene med lav forklaringskraft. Til sist ser vi på kovariansen mellom indikatoren for kullet før, altså mellom 2008 og 2009-kullet og mellom 2009 og 2010-kullet. Denne gir verdier mellom 0,31 og 0,79. En lav verdi i denne statistikken kan enten tyde på at skolens bidrag er svært forskjellig fra et kull til det neste, eller at tilfeldig variasjon skaper store svingninger i indikatorene. En høy verdi i denne statistikken tyder enten på at modellen i 13

12 stor grad evner å fange opp et skolebidrag som er relativt konstant over tid, eller at modellen ikke kontrollerer godt nok for bakenforliggende faktorer som ofte er stabile over tid. Indikatorene som svinger mye over tid er deltakelse yrkesfag, normert progresjon yrkesfag og norsk eksamen studieforberedende. Verdiene i øvre enden av denne skalaen er forholdsvis høye. I sum konkluderer vi med at noen av indikatorene viser høy forklaringskraft og stor grad av persistens over tid. Dette gjelder særlig indikatorene for standpunktkarakterer, i noen grad indikatorene for skriftlig eksamen, og til dels også fullføringsmålene. Indikatorene for deltakelse og normert progresjon har lav forklaringskraft. For disse utfallsmålene fører ikke sammenslåing av flere kull til mer robuste indikatorer målt ved indikatorenes spredning. Tabell V3.1. Deskriptiv statistikk om skolebidragsindikatorene Fullføring studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,23 0,22 0,21 0,22 0,21 Standardavvik indikator 5,98 6,60 6,62 5,93 5,69 Kovarians med kullet før 0,52 0,55 Fullføring yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,24 0,23 0,23 0,23 0,22 Standardavvik indikator 9,51 9,09 8,60 7,94 7,49 Kovarians med kullet før 0,45 0,59 Deltakelse studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,10 0,13 0,12 0,10 0,10 Standardavvik indikator 11,28 15,03 16,13 12,41 12,94 Kovarians med kullet før 0,65 0,79 Deltakelse yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,14 0,14 0,13 0,13 0,13 Standardavvik indikator 6,32 8,48 11,51 6,17 6,74 Kovarians med kullet før 0,33 0,47 Normert progresjon studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,11 0,12 0,11 0,11 0,11 Standardavvik indikator 5,37 7,05 5,48 5,67 5,04 Kovarians med kullet før 0,50 0,56 Normert progresjon yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,15 0,14 0,13 0,14 0,13 14

13 Standardavvik indikator 7,20 8,86 8,97 6,82 6,70 Kovarians med kullet før 0,37 0,31 Normert fullføring studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,20 0,20 0,21 0,19 0,19 Standardavvik indikator 9,10 10,97 9,91 9,09 8,77 Kovarians med kullet før 0,53 0,65 Normert fullføring yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,22 0,21 0,22 0,21 0,21 Standardavvik indikator 10,62 9,77 10,15 9,13 8,84 Kovarians med kullet før 0,41 0,62 Standpunktkarakterer studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,56 0,58 0,57 0,56 0,56 Standardavvik indikator 0,20 0,20 0,23 0,18 0,17 Kovarians med kullet før 0,47 0,51 Standpunktkarakterer yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,49 0,49 0,49 0,48 0,47 Standardavvik indikator 0,23 0,25 0,25 0,21 0,20 Kovarians med kullet før 0,57 0,52 Norsk eksamen studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,39 0,36 0,40 0,37 0,37 Standardavvik indikator 0,25 0,22 0,26 0,20 0,19 Kovarians med året før 0,38 0,36 Skriftlig eksamen studieforberedende Antall elever Antall skoler Forklaringskraft (R 2 ) 0,42 0,42 0,41 0,41 0,41 Standardavvik indikator 0,20 0,23 0,23 0,19 0,19 Kovarians med kullet før 0,56 0,52 Skriftlig eksamen yrkesfag Antall elever Antall skoler Forklaringskraft (R 2 ) 0,34 0,34 0,35 0,32 0,33 Standardavvik indikator 0,36 0,40 0,35 0,38 0,37 Kovarians med kullet før 0,46 0,60 Om de beregnede indikatorene og hvordan de kan leses og forstås I tabellene rapporteres alle skolebidragsindikatorer som avvik (målt på resultatmålets originalskala) fra landsgjennomsnittet til hvert enkelt resultatmål. Dvs. at skolens bidrag til fullføring og gjennomføring 15

14 kan tolkes som avvik fra landsgjennomsnittet i prosentpoeng, mens skolens bidrag til karakterer kan tolkes som avvik fra landsgjennomsnittet i karakterpoeng. En gjennomsnittlig skole vil dermed ha et skolebidrag som er lik 0. Dersom en gjennomsnittlig elev har et dårligere resultat ved å gå på en annen skole enn gjennomsnittsskolen, vil skolebidraget være mindre enn null. Tilsvarende vil en gjennomsnittlig elev som oppnår et bedre resultat på en annen skole enn gjennomsnittskolen gi skolen et skolebidrag som er større enn null. Skolebidragsindikatorene som presenteres nedenfor kan lese og forstås på samme måte som de indikatorene vi har utviklet og beregnet for denne studien, og som er presentert i NIFU-rapport Hvordan de tallene kan leses og forstås, har vi illustrert ved å bruke eksempler i rapportens kapittel 4. Referanser Cunha, J.M. & T. Miller (2014): "Measuring value-added in higher education: Possibilities and limitations in the use of administrative data", Economics of Education Review 42, s Falch, T., S. Bensnes & B. Strøm (2016): Skolekvalitet i videregående opplæring. Utarbeidelse av skolebidragsindikatorer og mål på skolekvalitet. Rapport nr 1. Trondheim: SØF. Forskrift til Opplæringslova. Lest Hægeland, T., L.J. Kirkebøen & O. Raaum (2010): Skolebidragsindikatorer for videregående skoler i Oslo. Rapporter 36/2010. Statistisk sentralbyrå. Isenberg, E. & H. Hock (2012): Measuring School and Teacher Value Added in DC, School Year. Final Report. Mathematica Policy Research, Inc: Washington, DC. Statistisk sentralbyrå (2016): "Tema- og variabelliste for NUDB, med kodelister, 10. november 2016" Lest Steffensen, K., R. Ekren, O.O. Zachrisen & L.J. Kirkebøen (2017). Er det forskjeller i skolers og kommuners bidrag til elevenes læring i grunnskolen? En kvantitativ studie. Oslo & Kongsvinger: Statistisk sentralbyrå. 16

15 Oppdaterte indikatorer Nedenfor presenterer vi en oppdatering av skolebidragsindikatorene som ble presentert i Falch mfl. (2016). De presenteres fylkesvis, og skolene innenfor hvert fylke presenteres alfabetisk. Statlige skoler og private skoler vises i egne tabeller. I tabellene indikerer *** 1 % signifikansnivå, ** 5 % signifikansnivå, * 10 % signifikansnivå og 20 % signifikansnivå. Til dette er det benyttet standardfeil som er klustret på skolenivå. Fylkessnittene markert i fet skrift er vektede snitt etter elevtall, og det er ikke beregnet signifikansnivå for disse. Tallene bygger på registerdata levert av Statistisk sentralbyrå. Vi tar forbehold om at det kan være mangler og feilføringer i dette datasettet. I de tilfeller der det ikke er beregnet noen verdi for en skole for en gitt skolebidragsindikator vil cellen i tabellene være tom. Dette skjer når det er færre enn 20 elever bak indikatoren. Det skjer også når ingen elever begynte på en gitt skole et gitt år. F.eks. når en skole er etablert i 2010, vil cellene for 2008 og 2009 være tomme. Dersom alle cellene i en rad er tomme, er hele raden slettet fra tabellen. Det har vært en rekke strukturendringer i de videregående skole etter 2008 (se vedlegg 2 NIFUrapport ), men vi har gjort vårt beste for at dette skal bli korrekt. Dersom det oppdages feil i tabellene, setter vi pris på at forfatterne av rapporten blir gjort oppmerksom på slike feil. Tabell V3.2. Fullføring etter fem år studieforberedende Navn Østfold (snitt) Askim Borg -15.8** * -11.6*** Frederik II Glemmen Greåker Halden Kalnes -12.5** Kirkeparken Malakoff Mysen St. Olav Akershus (snitt) Asker Bjertnes Bjørkelangen * Bleiker Drømtorp 22.8*** *** 15.9*** 15.7*** Dønski * * 9.3** Eidsvoll Eikeli Frogn Hvam ** * 17

16 Jessheim Lillestrøm Lørenskog Mailand Nadderud Nannestad Nes Nesbru Nesodden Oppegård Rosenvilde Rud Rælingen Sandvika Skedsmo Ski Stabekk Strømmen ** 15.8*** 10.3** 12.1*** Sørumsand * Valler Vestby Ås Oslo (snitt) Bjerke Bjørnholt Elvebakken Etterstad 20.0*** Foss Fyrstikkalleen skole 1.7 Hartvig Nissens skole Hellerud Holtet 26.1*** 35.3*** 33.2*** 29.6*** 30.5*** Lambertseter Manglerud ** -8.9* -9.9** Oslo handelsgymnasium Oslo katedralskole Persbråten Stovner Ullern Ulsrud Hedmark (snitt) Elverum Hamar katedralskole Jønsberg landbruksskole * Midt-Østerdal ***

17 Nord-Østerdal Ringsaker * 6.5 Sentrum * Skarnes Solør Stange Storhamar ** * Trysil Øvrebyen Oppland (snitt) Dokka Gausdal Gjøvik Hadeland Lena Nord-Gudbrandsdal Raufoss * ** -5.7 Valdres Vinstra Buskerud (snitt) Drammen Eiker Gol Hønefoss Kongsberg Lier * * Numedal ** Ringerike Rosthaug Røyken St. Hallvard Ål 11.7* 15.8** 12.6** 14.2*** 13.7*** Åssiden 12.9** 19.2*** 10.5* 16.2*** 14.3*** Vestfold (snitt) Færder * Greveskogen Holmestrand Horten Nøtterøy Re Sande Sandefjord Thor Heyerdahl Telemark (snitt) Hjalmar Johansen

18 Kragerø Notodden Porsgrunn Rjukan Skien Skogmo 13.3** 12.8** 14.6*** 13.8*** Aust-Agder (snitt) Arendal Dahlske Møglestu Risør Setesdal Vest-Agder (snitt) Byremo Kristiansand katedralskole Kvadraturen skolesenter Lister -0.0 Mandal Sirdal 11.9* * 9.2** Søgne -13.4** -11.4* ** -5.9 Tangen Vennesla Vågsbygd Rogaland (snitt) Bergeland ** ** Dalane Gand * Godalen 17.9*** 31.2*** 24.8*** 24.3*** 24.6*** Haugaland ** * 5.3 Hetland Jåttå * 9.4* 10.1** Karmsund 11.7* 21.6*** 17.2*** 17.8*** 17.6*** Kopervik Randaberg Sandnes Sauda Skeisvang Sola St. Olav St. Svithun Stavanger katedralskole Vardafjell Vågen -5.4 Øksnevad -26.4*** -32.5*** -20.4*** -25.1*** Ølen

19 Åkrehamn Hordaland (snitt) Askøy * Austrheim Bergen katedralskole Bømlo Etne 15.8*** * Fana gymnas Fiskarfagskulen i Austevoll -22.3*** -21.7*** Fitjar * * Fusa 11.0* 19.3*** 14.7*** Fyllingsdalen Garnes Knarvik Kvinnherad Laksevåg *** -11.0* -11.7** -11.5** Langhaugen Lønborg Nordahl Grieg -1.0 Odda Olsvikåsen Os gymnas Os vgs * Osterøy Sandsli Slåtthaug Sotra Stend jordbruksskule Stord Tertnes U. Pihl Voss gymnas Voss husflidskule Voss vgs ** Årstad * Åsane Øystese gymnas Sogn og Fjordane (snitt) Dale Eid Firda Flora Hafstad skule Høyanger Måløy

20 Sogndal Stryn Årdal Møre og Romsdal (snitt) Atlanten Borgund * 9.2** Fagerlia Fræna * Gjermundnes Haram Herøy Kristiansund 11.6* Molde Rauma Romsdal Spjelkavik Stranda Sunndal Surnadal Sykkylven Tingvoll Ulstein Volda Ålesund Sør-Trøndelag (snitt) Byåsen Fosen Frøya * Gauldal Heimdal Hemne Hitra Malvik Meldal 14.2*** 18.4*** Melhus Oppdal Orkdal Rissa Røros Selbu Skjetlein *** -9.7** Thora Storm 1.3 Tiller Trondheim katedralskole Åfjord

21 Nord-Trøndelag (snitt) Grong Inderøy Leksvik Levanger * Meråker Olav Duun Ole Vig Steinkjer Verdal Ytre Namdal Nordland (snitt) Andøy * Bodin Bodø Brønnøysund * -5.6 Fauske Hadsel avd. Melbu Knut Hamsun Meløy -11.1* Mosjøen Narvik Nordland fiskerifagskole Polarsirkelen Saltdal Sandnessjøen Solvær ** Sortland Troms (snitt) Breivang -10.3* -18.4*** -12.0** -14.2*** -13.5*** Breivika * -9.5** Heggen Kongsbakken Kvaløya ** -9.7* -11.6** Nordkjosbotn -10.9* Rå Sjøvegan Stangnes Tromsdalen * * Tromsø maritime skole Finnmark (snitt) Alta * -8.3* Hammerfest * -23.6*** *** Honningsvåg * * Kirkenes

22 Lakselv Tana Vadsø Vardø -30.0*** -26.5*** -17.7*** Statlige skoler (snitt) Longyearbyen skole -1.5 Samisk vgs -11.4* ** -9.4* -10.1** Samisk vgs og reindriftsskole -19.8*** -28.4*** -14.5** -25.7*** -21.8*** Private skoler (snitt) Aglo -14.7** *** -10.8** -1.5 Akademiet Bergen Akademiet Drammen Akademiet Molde Akademiet Oslo Akademiet Sandnes Akademiet Ålesund Bybroen -22.3*** -30.0*** -28.2*** -25.8*** -26.5*** Danielsen vgs Drottningborg Framnes kristne vgs Gjennestad * Heltberg private gymnas Holgersens vgs Hurum steinerskole -13.5** *** -11.2** -14.3*** John Bauer Bergen Kongshaug musikkgymnas Kongsvinger toppidrettsgymnas * 3.8 Kristelig gymnasium Kristen vgs Nordland Kristen vgs Trøndelag Kvitsund gymnas KVS Lyngdal Lukas -15.6*** -14.8*** Lundeneset Norges toppidrettsgymnas Bærum Norges toppidrettsgymnas Geilo Norges toppidrettsgymnas Lillehammer Norges toppidrettsgymnas Tromsø Oslo by steinerskole -26.1*** -24.7*** -16.7*** -25.3*** -22.4*** Oslo private gymnasium * 8.4* Rudolf Steinerskolen i Bergen -10.8** Skagerak International School -13.7** Sonans Bergen *** * -9.5** Sonans Drammen

23 Sonans Oslo Steinerskolen i Stavanger -16.3*** -18.3*** Steinerskolen i Trondheim -21.7*** Steinerskolen på Hedemarken -20.0*** -10.7** Sygna Tomb vgs og landbruk 15.0** * Toppidrettsgymnaset i Telemark Treider Tryggheim Tyrifjord Vestborg Wang toppidrett Uldal Wang skole/wang toppidrett Tabell V3.3. Fullføring etter fem år yrkesfag Navn Østfold (snitt) Askim Borg Frederik II Glemmen Greåker Halden 8.3* Kalnes ** Kirkeparken -10.3* -10.6** -11.7** -10.4*** -11.0*** Malakoff Mysen * -9.3** -7.3* -7.9** St. Olav *** *** -9.1** Akershus (snitt) Bjertnes ** 7.6* * Bjørkelangen *** ** Bleiker ** * 4.3 Drømtorp Eidsvoll 8.9* 10.1** 11.3** 9.5** 10.1*** Eikeli 12.2** 11.2** *** 10.1*** Frogn Hvam Jessheim ** Kjelle 9.6* 14.3*** 23.8*** 12.0*** 16.0*** Lillestrøm 13.9*** 8.9* *** 7.2** Lørenskog Mailand 10.5** 8.1* ** 8.0** Nannestad Nes ***