Plan for evaluering. Samling Steinkjer 1 november

Transkript

1 Plan for evaluering Samling Steinkjer 1 november

2 Trøndelagsmodellen for folkehelsearbeid Beskriver 7 steg for innhenting og omsetting av beste tilgjengelig kunnskap til målrettede tiltak gjennom: felles forståelse medvirkning forankring

3 FoU-gruppa NTNU INB/ISM, Senter for helsefremmende forskning NTNU Samfunnsforskning HUNT Forskningssenter NTNU Nord Universitet Trøndelag Forskning og utvikling KORUS Kompetansesenter rus Midt Norge, St. Olavs Hospital RKBU Midt-Norge Regionalt kunnskapssenter for barn og unge psykisk helse og barnevern RVTS Midt (Ressurssenter om vold, Traumatisk stress og selvmordsforebygging, Region Midt, St. Olavs Hospital) Statped. 3

4 Prinsipper for organisering av FoU aktiviteten En hovedansvarlig og en medansvarlig for koordinering av implementering og evalueringen: TFK+ FoU partner En hovedansvarlig (FoU partner) for prosessevalueringen andre FoU partnere medansvarlige En hovedansvarlig (FoU partner) for kvalitativ evaluering I+II andre FoU partnere medansvarlige En hovedansvarlig (FoU partner) for kvantitativevalueringen andre FoU partnere medansvarlige Jevnlige møter hovedansvarlig co-partnere Sharepoint eller lignende for deling av arbeidsdokumenter Hver hovedansvarlig lager arbeidsplan for sitt hovedområde i dialog med co-partnerne 4

5 Evaluering 1. Langsgående kvalitativ og kvantitativ evaluering av programmet som kommunene er forpliktet til å delta i ansvarlig: FoU gruppa 2. Tiltaksevaluering som skal gjennomføres i den enkelte kommune ansvarlig: kommunen med veiledning fra FoU aktørene 5

6 Tilstand sluttidspunkt Tidsakse TILTAKSEVALUERING Tilstand starttidspunkt PROSESSEALUERING Samle formelle dokumenter, samt dokumenterer alt av møter/samlinger/erfaringer Fyller ut spørreskjema/deltar på intervjuer om prosessen Forslag til evalueringsplan Kvalitativt/semistrukturert Kvantitativt Kvantitativt og/eller kvalitativt TVERRSEKTORIELT SAMARBEID Felles for alle. Kvalitativ/semistrukturert Organisering av folkehelsearbeid og tverrsektoriell samhandling i kommunene STATISTIKK OVER FOLKEHELSE/BARN OG UNGE I KOMMUNENE? - Felles for alle? Kvantitativt - Gjennomgang av eksisterende data over tilstand i alle kommunene? Ungdata KOMMUNE 1 KOMMUNE 2 KOMMUNE 3 KOMMUNE 4 Osv. Kvantitativ verktøykasse: F.eks. standardiserte spørreskjema 3 ulike tema? Foreldrestøtte, trivsel/psykisk helse/rus? Kvalitativ verktøykasse: Aktørkartlegging, fokusgruppeintervjuer, kort kvalitativ intervjuundersøkelse, m.m. Kommunene velger det som passer best for dem Ulike FoU-miljø ansvar for ulike kommuner/tiltaksevalueringer TVERRSEKTORIELT SAMARBEID Felles for alle. Tilstand etter implementering av tiltak Kvalitativ/semistrukturert Organisering av folkehelsearbeid og tverrsektoriell samhandling STATISTIKK OVER FOLKEHELSE/BARN OG UNGE I KOMMUNENE? Felles for alle? Kvantitativt - Gjennomgang av eksisterende data over tilstand i alle kommunene? Ungdata 6

7 Kvalitativ evaluering - Prosessevaluering Tverrsektorielt samarbeid Organisering av folkehelsearbeid før, under og etter Kvalitative intervjuer: 3 relevante aktører fra hver kommune (folkehelsekoordinator, politisk representant, fagperson barn/unge, el.l.) Dokumentgjennomgang av kommunenes vedtatte planer som involverer folkehelse Prosessevaluering Alle typer data som dokumenterer prosessen (hva-hvem-hvordanhvorfor) samles kontinuerlig: Møtereferater, formelle beslutningsgrunnlag, kommunikasjonsmateriell, dokumentere samlinger, erfaringer, hvilke aktører deltar etc Eventuelt også kvantitative data spørreskjema om prosess, andre kartlegginger, el.l. 7

8 Kvantitativ evaluering trend over tid Utvalgte variabler: Skole Foreldre Venner fritidsaktiviteter Nærmiljø Tobakk, snus, alkohol Rusmidler Nære relasjoner Psykiske helseplager Tanker om fremtiden Selvbilde Fornøydhet med livet Økonomi Bruk av eksisterende sekundærdata - deskriptivt FoU aktørene utarbeider en oversikt for hver kommune på gitte variabler Følge trend/utvikling over tid for hver kommune 8

9 Tiltaksevaluering 5 fundamentale spørsmål ift. tiltak: 1. Har det vært en endring? 2. Var endringen en konsekvens av tiltaket og ikke noe annet som skjedde samtidig? 3. Er endringen så stor at den oppfattes som betydningsfull av beslutningstakere? 4. Har det vært en utilsiktet endring? 5. Har tiltaket påvirket sosial ulikhet i helse i en eller annen retning? (equity impact) 9

10 Effektevaluering (resultatevaluering) Følge alderskohorter i samme kommune ungdata/ungdata junior Innsamling av primærdata (basert på Ung-data us) Ulike endepunkter Psykisk helse Livskvalitet Rusbruk Fremtidstro/utsikter (videregående) Relasjoner ungdom-foreldre Kovariater Sosiodemografiske variabler Etnisitet Bruk av eksisterende sekundærdata Ung-data (deskriptivt) 10

11 Verktøykasse for kommunene 1. Forslag til kvantitative evalueringsverktøy (basert på ungdata) 2. Forslag til kvalitative evalueringsverktøy 3. Maler for gjennomføring av kvantitativ og kvalitativ kartlegging hvordan gjør vi det 4. Opplæring i metode for evaluering f. eks. aktørkartlegging, fokusgrupper, kortere kvalitative intervjuundersøkelser, etc. 11

12 Tilstand sluttidspunkt Tidsakse TILTAKSEVALUERING Tilstand starttidspunkt PROSESSEALUERING Samle formelle dokumenter, samt dokumentere alt av møter/samlinger/erfaringer Fylle ut spørreskjema/deltar på intervjuer om prosessen Forslag til evalueringsplan Kvalitativt/semistrukturert Kvantitativt Kvantitativt og/eller kvalitativt TVERRSEKTORIELT SAMARBEID Felles for alle. Kvalitativ/semistrukturert Organisering av folkehelsearbeid og tverrsektoriell samhandling i kommunene STATISTIKK OVER FOLKEHELSE/BARN OG UNGE I KOMMUNENE? - Felles for alle? Kvantitativt - Gjennomgang av eksisterende data over tilstand i alle kommunene? Ungdata KOMMUNE 1 KOMMUNE 2 KOMMUNE 3 KOMMUNE 4 Osv. Vurdere om tiltaket har nådd målgrupper som bidrar til sosial utjevning. Kvantitativ verktøykasse: F.eks. standardiserte spørreskjema 3 ulike tema? Foreldrestøtte, trivsel/psykisk helse/rus? Kvalitativ verktøykasse: Aktørkartlegging, fokusgruppeintervjuer, kort kvalitativ intervjuundersøkelse, m.m. Kommunene velger det som passer best for dem Ulike FoU-miljø ansvar for ulike kommuner/tiltaksevalueringer TVERRSEKTORIELT SAMARBEID Felles for alle. Tilstand etter implementering av tiltak Kvalitativ/semistrukturert Organisering av folkehelsearbeid og tverrsektoriell samhandling STATISTIKK OVER FOLKEHELSE/BARN OG UNGE I KOMMUNENE? Felles for alle? Kvantitativt - Gjennomgang av eksisterende data over tilstand i alle kommunene? Ungdata 12

13