1/13 Hva må til for å få til en god evaluering? Lærdommer fra et evalueringsoppdrag om gratis kjernetid i barnehage Nina Drange Statistisk sentralbyrå June 2, 2015
2/13 Disposisjon Metodiske utfordringer knyttet til evalueringsoppdrag Hva kan være lurt å tenke på før et tiltak settes i verk? Case-studie om evaluering av gratis kjernetid Lærdom fra evalueringsarbeidet
3/13 Evalueringsproblemet Hva er en eekt i evalueringssammenheng? Forskjellen mellom faktisk og kontrafaktisk resultat Kontrafaktisk resultat: Det som ville skjedd i fravær av tiltak Kan ikke observeres må estimeres Evalueringsproblemet: Er det kausale sammenhenger mellom tiltak og eekt eller skyldes resultatene andre, uobserverbare sammenhenger?
4/13 Hva ville skjedd uten tiltaket? Estimering av kontrafaktisk resultat: Sammenligne med annet faktisk resultat for noen som ikke var omfattet av det eventuelle tiltaket Da trenger vi et mål på resultatet, eller en resultatindikator. Det er mange måter å måle på, men indikatorer må være kvantiserbare (andel som deltar, andel som fullfører, oppnådde karakterer, sykefravær i prosent, inntekt osv) Så må man ta hensyn til at forskjeller kan skyldes andre forhold enn tiltaket dette må håndteres! Svært ofte innføres tiltak i en pakke: Dette kan gjøre det veldig vanskelig å evaluere det enkelte tiltak
5/13 Gullstandarden Randomisering, eller tilfeldig trekning (lotteri), sikrer sammenlignbarhet Eksempel i praksis: Barnehage for de yngste i Oslo I en rekke tilfeller er det problematisk eller umulig Man kan da vurdere en gradvis innføring basert på randomisering Sett at man vil prøve ut et tiltak i 25 kommuner i Norge. En måte å gjøre det på, er å identisere disse, og så trekke tilfeldig hvilke som får tiltaket først Da er man i etterkant avhengig av data på resultatindikatorer før og under tiltaksperioden Kvasieksperimenter: Situasjoner som kan ligne på et eksperiment ved at vi kan nne tiltaks-og kontrollgrupper, og ha kontroll på hvordan disse skiller seg (for eksempel reformer som innføring av foreldrepermisjon/pappaperm)
6/13 Sjekkliste før man iverksetter tiltak Tenk evaluering før prosjektstart: Finnes det en god kontrollgruppe/kan man tenke på dette når man designer tiltaket? Gjennomfør et tiltak av gangen Dersom mulig: Randomiser Dersom tilfeldig trekning er umulig: Tenk på sammenligningsgrupper Tilgjengelige data: Husk på at målinger før tiltaket blir innført vil gjøre evalueringen bedre og bidra til å gjøre det mulig å nne eekter
7/13 Oppdraget: Eektevaluering av gratis kjernetid i fem bydeler i Oslo I 2011 kk SSB i samarbeid med Fafo i oppdrag å evaluere en stor satsing på gratis kjernetid i barnehage i enkelte bydeler i Oslo Tiltaket hadde gitt re og femåringer i fem bydeler (Alna, Bjerke, Grorud, Stovner og Søndre Nordstrand) re timer gratistid i barnehagen daglig Tiltaket ble innført i 2006/2007 Kostnadene var på omkring 50 millioner kroner årlig Alle barn i aktuell i alder i bydeler med tiltak kk billigere barnehage
8/13 Evaluering av gratis kjernetid i Oslo i praksis I eektevalueringen sammenligner vi barns utvikling i bydeler som tilbyr gratis kjernetid med utviklingen til barn i andre bydeler Vi vil ha bydeler i sammenligningsgruppen som er så like som mulig dem som får tilbudet, og ekskluderer derfor de tre vestligste bydelene i Oslo Vi står da igjen med Grünerløkka, Gamle Oslo, Sagene, St. Hanshaugen, Nordre Aker, Østensjø og Nordstrand som sammenligningsbydeler Vi mener det er rimelig å anta at disse bydelene utgjør et godt kontafaktisk mål på tilbudet barna i tiltaksbydelene ville hatt i fravær av tiltaket Oslo kommune er den største barnehageeieren Setter en standard for hvordan driften skal foregå i samtlige bydeler Flere av bydelene i sammenligningsgruppa har tidligere hatt forsøk med gratis kjernetid
9/13 Empirisk framgangsmåte Aller helst skulle vi gjerne hatt en randomisering av tiltaket, altså en tilfeldig trekning av barn som kk og ikke kk tilbud om gratis kjernetid I fravær av det ideelle eksperimentet vil vi komme så nær det kontrafaktiske som mulig Siden vi kjenner til barnehagebruken til barn i bydeler med og uten kjernetid kan vi undersøke om det er forskjeller i bruken før og etter at tilbudet blir gitt, altså før og etter barnet fyller re Slik estimerer vi først eekten av tilbudet på bruken av barnehage Videre anvender både en enkel forskjellsanalyse, en forskjell-i-forskjell analyse, samt en instrumentvariabel-analyse for å tegne et riktigst mulig bilde av eektene av gratis kjernetid
10/13 Mer om metode Vi sammenligner resultater på kartlegginsprøvene for barn i bydeler med og uten tilbud Men det er neppe tilfeldig hvilken bydel barn bor i, og dette vanskeliggjør estimering av eekter Forskjell-i-forskjell metode: Når det gjelder bruken av barnehage kan vi gjøre to sammenligninger Sammenligner bruken av barnehage før og etter barnet får rett på gratis kjernetid (i.e. før og etter høsten det året det fyller re) I bydeler med og uten gratis kjernetid
11/13 Rekrutteringen til barnehagen Figure: Andelen barn i barnehage Andelen barn uten innvandrerbakgrunn i barnehage Andel i barnehage 0.2.4.6.8 1 0 1 2 3 4 5 Alder Bydeler med gratis kjernetid Sammenligningsbydeler Andelen barn med innvandrerbakgrunn i barnehage Andel i barnehage 0.2.4.6.8 1 0 1 2 3 4 5 Alder Bydeler med gratis kjernetid Sammenligningsbydeler
12/13 Oppsummering av funn Det er en klart høyere rekruttering av barn med innvandrerbakgrunn til barnehagen i bydeler som tilbyr gratis kjernetid Rekrutteringen av barn uten innvandrerbakgrunn er i liten grad påvirket av tilbudet Vi nner ikke støtte for at foreldre er påvirket av tilbudet om gratis kjernetid Barn med innvandrerbakgrunn i tiltaksbydeler har høyere score på lesing og regning på 1. og 2. trinn Vi nner ingen slik forskjell for barn uten innvandrerbakgrunn
13/13 Lærdommer fra evalueringsarbeidet BLD hadde gjort mye riktig: De hadde tenkt på hva de ønsket å måle hvilke data som var tilgjengelig: kartleggingsprøver og data på barnehagebruk de var klare på i utlysningen at de ville ha en eektevaluering Resultatet hadde likevel blitt bedre dersom man hadde tenkt på å ta vare på data fra før innføringen av tiltaket eventuelt, eller i tillegg, hadde startet i en bydel (helst tilfeldig trukket), og gradvis innført tiltaket i andre bydeler hadde vært mer påpasselig med hvor man innførte andre tiltak, som for eksempel språkløftet