Evaluering av folkehelsearbeidet i kommunene Telemark fylkeskommune 19.04.18 1
Hva er evaluering? En systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, et virkemiddel eller en sektor (Finansdepartementet, 2005: Veileder til gjennomføring av evaluering) En systematisk datainnsamling og analyse for å undersøke Om tiltak/innsats virker Hvem det virker for Hvordan det virker/hvorfor det ikke virker 2
Hva kan evalueres/undersøkes Evaluering av Teoretiske antakelsen bak tiltaket Det empiriske grunnlaget Tiltak Hva er idéen, teorien eller kunnskapsgrunnlaget? Prosess/implementering Hvordan virker det i praksis/ hvorfor virker det ikke? Treffer man målgruppen? Gjennomføring Bli det gjennomført etter forutsetningene? Virkningen av et tiltak (effekt, resultat) Virker det eller ikke? Hvem virker det for? Resultat Oppnår man forventet resultat? 3
Hvorfor virker det/virker det ikke Hvorfor noe virker? Teorien holder Gjennomført etter forutsetningene Tiltak Hva er idéen, teorien eller kunnskapsgrunnlaget? Hvorfor virker det ikke? Var det ideen/teorien dårlig eller var forutsetningene ikke tilstede? Ble det ikke gjennomført eller implementert slik det skulle Gjennomføring Resultat Bli det gjennomført etter forutsetningene? (implementering) Oppnår man forventet resultat? Hvem virker det for? 4
Teoretiske forutsetninger: eksempel mobbing Teori Individperspektiv Det er aggressive elever som mobber. Aggresjon er et produkt av oppdragerstil i hjemmet. Oppdragerstil er den bakenforliggende årsaken til mobbing. Systemperspektiv Mobbing er et resultat av en kamp om posisjoner i det sosiale hierarkiet (eller en kamp for å unngå å falle nederst). Det er med andre ord det sosiale hierarkiet som er årsaken til mobbing. Tiltak Individuell reaksjon mot mobbere, oppfølging av foreldre. Dempe det sosiale hierarkiet mellom elever (skape et mer egalitært miljø). 5
Implementering: Barn i Rusfamilier/Tigris Tiltak i regi av KoRus - Sør Tiltak Kunnskapsformidling (seminarer) Oppfølging av en ressursgruppe i kommunen Antakelse Når ressursgruppen får kunnskap, spres denne ut til de ansatte i kommunen Resultat Dårlig spredning ut til andre ansatte i kommunen 6
Evidensbaserte tiltak Hvorfor noe virker? Metoden er dokumentert Implementering er gjennomført etter intensjonen Hvorfor virker det ikke? Ble det ikke gjennomført eller implementert slik det skulle Annerledes kontekst Tiltak Gjennomføring Resultat Evidensbaserte tiltak (f.eks. tiltak i Ungsinn) Bli det gjennomført etter forutsetningene?? 7
Ulike typer evalueringer Før-evaluering Vurdering eller analyse av et tiltak forut for gjennomføring Er tiltaket relevant? Finnes det alternative tiltak som bør vurderes? Er tiltaket dokumentert? Prosessevalueringer (både underveis- og etterevaluering) Hvordan gjennomføres tiltaket? Gjennomføres det i tråd med intensjonen? «Treffer» man målgruppen? Resultat-/effektevalueringer Oppnår man forventet resultat Kan tiltaket forsvares 8
Utfordringer med effektevalueringer Effektevalueringer Vanskelig å finne gode mål: ofte krav til kvantifiserbare mål Vanskelig å identifisere effekter (skille mellom resultatet fra tiltaket og resultater fra andre forhold) Forutsetter et gjennomtenkt design av undersøkelsen (føretterundersøkelser, sammenligningsgruppe) Alternative til effektevalueringer Prosessevaluering/evaluering av tiltakets innhold Evidensbaserte tiltak/innsats + bevisst gjennomføring Målgruppens opplevelse av tiltaket (bidrar til målet) 9
Design Hva er status før forsøket? Måling før Gjennomføres tiltaket som forutsatt? Hvordan opplever målgruppen tiltaket? FORSØK/TILTAK Måling underveis Hva her skjedd eller hva er målgruppens erfaringer? Måling etter Endring av tilbud/atferd osv. før og etter innsatsen SAMMENLIGNING AV SAMME MÅLGRUPPE UTEN TILTAK 10
Datamateriale Subjektive målinger «Objektive» målinger Eksisterende data Elevundersøkelsen Ungdata Data fra fagsystemer Helsedata (FHI) Egne innsamlede data Egne spørreundersøkelser, intervjuer ol. om målgruppers opplevelse av tiltak, tilbud eller tilrettelegging. Egne tellinger eller målinger. F.eks. utbygging av tilrettelagte turstier (tellinger av antall turgåere, egenskaper ved turgåere) Aktivitet i barnehage (tid til fysisk aktivitet) 11
Eksempel på måling av tiltak i Lier kommune: kosthold og fysisk aktivitet i skolen 12
13
Andre eksempler Møteplasser i kommunen bruker innbyggerne møteplassene, hvordan opplever de møteplassene? Familieveiledningsprogram hvor mange bruker programmet, hvem er brukerne, hvordan opplever brukerne programmet? Skolemiljøtiltak/mobbetiltak har mobbingen blitt redusert på skolen/-e som har gjennomført skolemiljøtiltak (sammenlignet med andre kommuner) Undervisning fra skolehelsetjenesten holdningsendringer hos barna 14
Det viktigste med evalueringer er LÆRING Læring Læring Planlegging/ forankring Teori/ metodikk Gjennomføring Resultat Effekt Eller er resultatene et produkt av metoden som brukes? 15
Aksjonsforskning Eksterne evalueringer forutsetter at praksisfeltet får informasjon fra og lærer av resultatene. Kunnskapen som kommer ut av tradisjonell forskning har ofte liten innvirkning på praksisfeltet Råd er ofte for generelle og resultatene kommer i etterkant av at tiltak/prosjekter er gjennomført Aksjonsforskning handler om at forskeren involveres i gjennomføringen og gir råd og veiledning underveis. Ulike tradisjoner: Forsker som mer eller mindre passiv/aktiv aktør Praksisfeltet som mer eller mindre aktive medforskere Kjennetegn ved aksjonsforskning dialog eller samspill mellom forsker og aktørene i forskningsfeltet læringsprosess som grunnlag for utvikling helhetsforståelse av systemene vi inngår i kunnskapen skal omsettes til praktisk kompetanse (eller ferdigheter) 16
Egenevaluering? Kan kommunene evaluere seg selv? Utfordringer Valg av metode og data som bekrefter vår forutinntatte antakelser/overbevisning Lite tid og manglende erfaring med å utarbeide måleverktøy eller gjennomføre datainnsamling Muligheter Praksisfeltet får eierskap og det gir muligens bedre læringseffekt Koster mindre Slipper å involvere andre 17