Evaluering av folkehelsetiltak i kommunar. Torleif Halkjelsvik

Transkript

1 Evaluering av folkehelsetiltak i kommunar Torleif Halkjelsvik

2 Rolla til FHI Overordna utforming av programmet (med Hdir, Hdep, KS). Rådgjeving for kommunar og fylkeskommunar Nettsider om evaluering ( ) Anna arbeid med kunnskapsformidling og kunnskapsoppsummering, f.eks. «forebyggingsrapporten» (oppsummering av effekten av tiltak) (Forsking på tvers av kommunar og tiltak) (Evaluering av enkelttiltak?)

3 Evaluering er ikkje skummelt og farlig

4 Evaluering er ikkje skummelt og farlig II

5 Det viktigaste er 1. å nøyaktig og konkret skildre sjølve tiltaket, alle komponentane og korleis gjennomføringa gjekk (oppslutning/utbredelse/antall deltakere/kven kva kor korleis. Kva gjekk gale?) Kvifor? Fordi dette er det som blir viktig for gjennomføringa i andre kommunar Fordi dette er viktig for tolkinga av eventuelle effektar Uansett utfall vil gjennomføringa av tiltaket vere nyttig og kunne bidra til kunnskap i ein større samanheng (på tvers av kommuner og tiltak).

6 Det viktigaste er 2. å vere ærlig og nøytral i skildringa av prosjektet og utfallet Kvifor? Fordi ei evaluering som er farga av et ønske om eit vellykka utfall er fullstendig ubrukelig for andre kommunar.

7 «kommunene kan trenge mer kunnskap om hva som er gode og nyttige virkemidler og tiltak» «bidra til den globale kunnskapsbyggingen»

8 Oppsummering hittil 1. Sjølv dyre og inngripande tiltak kan ha tvilsame evalueringar (forsøk på ufarliggjering) 2. Det viktigaste i det store bilete (når det gjeld evalueringar) er: 1. å nøyaktig og konkret skildre sjølve tiltaket og gjennomføringa 2. å vere nøytral/ærlig

9 Evalueringsarbeidet startar no! Korleis skal tiltaket virke? Identifisere årsaker/mekanismer/kvifor og korleis basert på tidligare tiltak, teori og sunn fornuft. Vere tydelig på kva føresetnadar som ligg bak ein eventuell effekt av tiltaket. at gruppe X møter opp, at Y påvirkar Z, at W ikkje skjer, at kontaktperson er engasjert, osv. Kartlegg føresetnadar og mekanismer heile vegen frå problem til utfall av tiltak. Kvifor? For å finne ut kor det kjem til å gå gale og for å i ettertid finne ut kor det gjekk gale. For å identifisere urealistiske føresetnadar

10 Evalueringsarbeidet startar no! II Kva data skal vi bruke i evalueringa og kva analyser skal vi gjere? Alle analysar og bruk/innsamling av data skal definerast på førehand «Vi skal rapportere antall brukere av X, basert på registrering blablabla» «Vi vil oppsummere erfaringsskrivet fra styrer i barnehage X og Y og inkludere illustrerende sitater» «variabel X3 i elevundersøkelsen» Unngå å rote/leite i data i ettertid Dersom ein rapporterer «eksplorerande» analysar (funne ved slump eller etter iherdig leiting), så skal dette informerast om. «Dette var ikkje eit tema vi hadde sett for oss som sentralt i evalueringa» «Vi leita etter andre mulige positive opplevingar» Kvifor? Fordi det alltid vil vere nokre negative utfall og nokre positive utfall over ulike tema/grupper/utfallsvariablar pga tilfeldige faktorar

11 Tips: Ver spesifikk. Handlar tiltak om aktivitet X, så spør om aktivitet X, ikkje om psykisk helse. Ok å bruke mellomliggande utfallsvariablar (fysisk aktivitet->bedre psykisk helse; motivasjon til å drikke mindre->mindre drikking). Bruk teori, tidligare forskning og sunn fornuft for å argumentere for mellomliggande variablar. Finne ting å telle: Undersøk kva som finst av rutinemessig innsamla data for kommunen. Mål endringar i bruk, antall brukarar/deltakarar/henvendelsar/osv. Bruk gjerne Ungdata til kartlegging, ikkje til evaluering (kun dersom egendefinerte spørsmål er spesifikke nok). Elevundersøkelsen (inkludere eigne spørsmål? fleire klassetrinn?) Finn annan gruppe/klasse/skule/barnehage som ikkje har vore utsett for tiltaket for å samanlikne med (kontrollgruppe).

12 Fallgruve! Kommune A Ser at elevane ligg langt over gjennomsnittet på variabelen «beruset siste 12 mnd» i UngData. Tiltak: «minimalintervensjon» med personlig møte med lege for alle elevar Utfall: 12% færre oppgir å vere «beruset siste 12 mnd» Kommune B Ser at elevane ligg langt over gjennomsnittet på variabelen «beruset siste 12 mnd» i UngData. Tiltak: rektor får nye møblar til kontoret sitt Utfall: 12% færre oppgir å vere «beruset siste 12 mnd» Problemet? «Regresjon mot middelverdi» Delvis løysing: Ikkje identifiser utfordringar i kommunen basert på enkeltundersøkingar/enkeltvariablar/enkeltår og ver open om korleis utfordringane er identifisert. Bruk kontrollgrupper som er like «ekstreme» Ikkje innfør tiltak kun ved dei bhg/skulane/klassene som er verst (tilfeldig fordeling er alltid det beste med tanke på evaluering)