1 Effektevaluering av Ny GIV Marte Rønning (SSB), Lars Kirkebøen (SSB), Edwin Leuven (UiO), Oddbjørn Raaum (Frischsenteret) Prosjektledersamling, 23. mars 2012 1
Program Generelt om evaluering: Viktig, men krevende Planer for evalueringen av Ny GIV Ny GIV gir muligheten for en del potensielt relevante sammenligninger Hvor mye informasjon vi kan få ut av disse avhenger av hvordan Ny GIV faktisk implementeres, og hvilken informasjon vi får om dette 2
Hvorfor evaluere? Ønsker å forbedre Ressurser er knappe Budsjetter, antall lærere, reformtretthet Hva virker hvilke tiltak skal gjennomføres? 3
Hvordan evaluere? Evaluering vanskelig Mer om dette snart Evalueringens perspektiv: Abstrakt Elever: Statistikk Virkemidler: Overordnede (rammer og reguleringer) Ligner på KDs perspektiv(?): I dag, når lærere og skoler har disse rammene (og, antar vi, gjør så godt de kan) oppnår vi dette. Hva skjer dersom rammene endres slik (og lærere og skoler fremdeles gjør så godt de kan innenfor de nye rammene)? 4
Effektevaluering av Ny GIV To spørsmål: Har Ny GIV noen effekt på elevens resultater? Hva ved Ny GIV er det eventuelt som skaper effekter? 5
Effekter av Ny GIV Effekt: Forskjellen mellom utfall elevene oppnår, og hva de ville oppnådd i fravær av Ny GIV (kontrafaktisk) Kontrafaktisk: Grunnleggende uobserverbart, må estimeres Seleksjon og valg av sammenligningsgruppe kritisk viktig To typer effekter: Deltakelseseffekter / direkte effekter Ringvirkninger Forskjellige utfall kan evalueres på samme måte Karakterer fra grunnskole og videregående Overgang til, fremdrift gjennom og fullføring av videregående Overgang til jobb / høyere utdanning (Motivasjon) 6
Elever og effekter Skole D deltar Skole I deltar ikke Elev deltar - deltakelseseffekt Elev deltar ikke - ringvirkninger Elev deltar ikke - ingen effekt/ referansegruppe 7
Hvordan finne effekter av Ny GIV Ønsker å finne like elever som deltar / ikke deltar i Ny GIV Evalueringsidealet: Eksperiment Å behandle like forskjellig: Fint for en forsker! For en skoleleder/politiker? Moralsk galt dersom vi vet hva som er best? Moralsk riktig dersom vi dermed kan lære hva som er best? 8
Tilnærminger for estimering av effekter Sammenligninger innen skoler og år: Sammenligner elever som deltar / ikke deltar innen et årskull på en Ny GIV-skole Sammenligninger mellom skoler og år: Sammenligner elever på en skole / i et årskull som deltar med elever på skole / i årskull som ikke deltar Forskjeller mellom skoler, samme år Forskjeller mellom år, samme skoler Forskjeller i utvikling mellom skoler 9
Sammenligninger innen skoler og år Sammenligner elever som såvidt deltar/ikke deltar (regression discontinuity): Deltakelseseffekt ringvirkninger Krever lite antagelser men stiller krav til implementering og data Her er vi avhengige av dere for å kunne finne nesten like elever: Elever må tilbys Ny GIV-deltagelse basert på en regel Regelen må igjen basere seg på noe SSB kan observere og aller helst noe som kan variere nesten kontinuerlig 10
Sammenligninger mellom skoler og år Mellom skoler, innen år: Deltakelseseffekt + ringvirkninger + skoleforskjeller Mellom år, innen skoler: Deltakelseseffekt + ringvirkninger + årskulleffekter Forskjell i utvikling mellom skoler (difference in differences): Deltakelseseffekt + ringvirkninger Krever (forholdsvis svake) antagelser om forskjeller mellom skoler og årskull 11
Sammenligninger mellom skoler og år (2) Kan gjøres for alle elever eller grupper: Hele skolen: Behandlingseffekt + ringvirkninger Deltagende elever og elever som ville deltatt: Behandlingseffekt (krever at vi kan finne hypotetiske deltagere) Elever som ikke deltar og som ikke ville deltatt: Ringvirkninger (krever at vi kan finne hypotetiske ikke-deltagere) 12
Oppsummert tilnærminger Innen skoler: Gir (deltakelseseffekt ringvirkninger) Krever lite antagelser Men krever mye av implementering/data Mellom skoler Kan skille deltakelseseffekt og ringvirkninger Krever andre (og strengere) antagelser Krever mindre av implementering/data 13
Hva ved Ny GIV gir effekter? Fleksibilitet i hvordan organisere tilbudet innenfor Ny GIV kan sammenligne forskjellige former for organisering To viktige forbehold: Hvorfor er det forskjellig organisering? Er det andre forskjeller også? Kan prosjektlederne eksperimentere med skolers organisering? Kan vi observere forskjeller i organisering? Kan vi observere både organisering innen Ny GIV og i andre skoler? Kan vi observere tilbud både til Ny GIV-elever og til andre? Til elever på ikke-ny GIV-skoler som ville ha blitt tilbudt deltagelse? 14
Databehov problemstilling 1 Vi må vite hvordan skoler og elever velges ut for deltagelse Må vite dette presist på kommune-/skolenivå Krever at det er regler for utvelgelse Vi må ha tilgang til all utvelgelsesrelevant informasjon (samt hvorvidt de takker ja) Terminkarakterer (eller mer detaljerte karakterer?), IOP, annet? Kan da finne: elever som er tilbudt deltagelse elever som Er nær å være tilbudt deltagelse (10-20 prosent) Ville ha blitt tilbudt deltagelse på en annen skole 15
Databehov problemstilling 2 Må kjenne forskjeller som følger av Ny GIV: Hva gjøres annerledes på Ny GIV-skoler? Hvordan er tilbudet til elever som deltar forskjellig? Fra tilbudet til elever uten Ny GIV og elever på andre skoler Er det Ny GIV som skaper forskjellene? Må ha data fra både Ny GIV-skoler og andre, fra både tilbudet til elever som deltar og som ikke deltar Hvilke lærere underviser? (Kompetanse, identifikasjon?) Hva tilføres av ressurser, hvordan omprioriteres det? Informasjon på fylkes-/kommune-/skolenivå 16
Kontakt Marte Rønning: mro@ssb.no Lars Kirkebøen: kir@ssb.no 17