Evaluering av forebyggende og helsefremmende tiltak

Transkript

1 Evaluering av forebyggende og helsefremmende tiltak Forfattere: Grete Eide Rønningen / Rita Bergersen Enkelt uttrykt betyr evaluering vurdering. Gjennom vurdering av innsats i et prosjekt eller tiltak er målet å frembringe ny viten som bidrar til videreutvikling og forbedring av det arbeidet som gjøres, eller som grunnlag for nytt arbeid. Evalueringen handler også om vi "gjør tingene riktig" og om vi "gjør de riktige tingene". Kan læring av erfaringene føre til bedre ressursutnyttelse og tilrettelegging av innsatsen både under og i etterkant av prosjektperioden, har evalueringen en egen funksjon. Evalueringen er i denne forståelsen nyttig og målet er at resultatene blir brukt. Nyttefokusert evaluering skiller seg fra for eksempel evalueringsforskning, ved at denne formen for evaluering gjennomføres enten den er vitenskaplig interessant eller ikke, så lenge det kan tjene et nyttig formål (Sosialdepartementet/Rusmiddeldirektoratet 1992). I forbindelse med strategi for evalueringsarbeidet dukker spørsmål som hvem skal evaluere, når skal evalueringen skje, hva skal evalueres og hvordan skal vi gjøre det? Spørsmålet om hvem som skal evaluere avgjøres ofte av prosjektets størrelse, medarbeidernes kompetanse, informasjonsbrukernes forventninger og ressurser til disposisjon. Man kan velge intern evaluering eller ekstern evaluering. Tradisjonell evaluering har gjerne vært knyttet til en sluttvurdering av prosjektets resultater i forhold til mål og innsats. En annen tilnærming er å legge hovedvekten på det som skjer i prosjektet gjennom prosessevaluering. Prosessevaluering er formativ evaluering i den forstand at prosjektet vurderes kontinuerlig. Det gjør det mulig å forme tiltaket underveis og endre det som eventuelt ikke fungerer. Prosessevalueringen starter og planlegges samtid som selve prosjektet. Når evaluering blir aktuelt først etter at prosjekter er kommet i gang, innebærer det en klar begrensing av valg av design og metode. Evaluering knyttes ofte til prosjekter. Det kan med fordel brukes utenom prosjektaktiviteter. Evalueringsarbeid kan skje kontinuerlig og det gjøres mange steder. Det gir mulighet for å lære og justere kursen underveis. Gjennom samarbeid med informasjonsbrukerne kan man få svar på hva som er viktig å fokusere i evalueringsarbeidet. Målet bør være å lære av de erfaringene man gjør og at lærdommen anvendes. Noen spørsmål i evalueringsarbeidet er av generell karakter, mens det spesielle informasjonsbehovet frembringes i samarbeid med aktørene og interessentene i prosjektet. Måten man gjennomfører evalueringen på, henger gjerne sammen med de strategiske valg som ligger til grunn for prosjektet. Har prosjektene karakter av brukermedvirkning og samarbeid, bør dette også kunne gjenspeiles i metodene for evaluering. Fremgangsmåten for nyttefokusert evaluering kan ivareta dette. Det finnes andre metoder, for eksempel empowermentevaluering, som særlig vektlegger brukermedvirkning i evalueringen. 1

2 1 Hvem skal evaluere? Ekstern eller intern evaluering Det er vanlig å skille mellom intern og ekstern evaluering. Hva som skiller dem, og fordeler og ulemper ved å velge enten en intern eller ekstern evaluator til å gjennomføre evalueringen presenteres her. Inter n Ekst ern En intern evaluator f. eks en prosjektdeltaker har som regel best oversikt over alle detaljer, en oversikt som det ofte kan være vanskelig å skaffe seg for en utenforstående. Detaljrikdommen kan også være et hinder i og med at det kan være vanskelig å få avstand og helhetsperspektiv. En som står innenfor vil lettere overse strukturelle forutsetninger for det som skjer. F.eks kan faktorer en intern evaluator tar for gitt, vil en ekstern vurdere som avgjørende for tiltakets utvikling. Intern evaluering er enkelt å få til og billig. Evaluator er en utenforstående fra organisasjonen. En utenforstående kan se sider ved et tiltak som er skjult for dem som er midt oppe i det. Dette fremmer en mer systematisk evaluering. Ekstern evaluator har gjerne god kjennskap til evalueringsmetoder. Avstanden kan være et hinder for gjennomføringen ved at en ekstern vil ha liten kjennskap til feltet og evalueringen kan bli overfladisk. (Baklien 1986, Rønningen 1999) Innen empowermentevalueringen tar man til en viss grad utgangspunkt i begge alternativene, ved at den eksterne evaluator i prosessevaluering, i større grad fungerer som en konsulent i det interne evalueringsarbeidet, og bidrar og hjelper til at de rette spørsmålene stilles underveis og at resultatene fra evalueringen blir anvendt i videre planer for prosjektet. Litteratur Baklien B. (1986). Evaluering for amatører. SIFA-rapport nr 1/86. Rønningen G.E. (1999). Medvirkning fra barn og unge i helsefremmende og forebyggende arbeid. Ressurstilnærming og metode. HENÆR-rapport 12/99. 2 Når skal man evaluere? Valg av tilnærming. Man kan skille mellom to hovedtilnærminger; prosessevaluering og summativ evaluering. Prosessevaluering: Prosessevaluering er en vurdering av prosjektet fra start til slutt. Denne formen for evaluering er gjerne knyttet til formativ evaluering i den forstand at evalueringsarbeidet tjener som en feedback eller korrektiv til prosjektet i gjennomførings- og iverksettingsfasen. Formativ evaluering vil si at evalueringen er 2

3 med å forme tiltaket fra start til slutt. Helhetsperspektivet legges til grunn for arbeidet (Patton1978, 1980). Man anvender kvalitativ tilnærminger for å forstå hva som foregår. Det legges vekt på å fortolke prosessene i prosjektet som skal evalueres. Metoden innenfor denne forståelsen, knyttes gjerne til bruk av observasjoner og åpne dybdeintervju med ansatte, oppdragsgiver og eller brukere for å få et så bredt bilde som mulig av hvordan tiltaket fungerer og hvorfor eller hvordan prosjektet som evalueres, lykkes eller mislykkes i å oppnå sine målsettinger. Metodene som velges må ivareta de ulike perspektivene i forhold til deltagelse og målsetting. Metodene tilpasses informantenes forutsetninger for å bidra. Involvering av brukerne av evalueringsresultatene i evalueringsarbeidet, er en forutsetning. Målet her er at evalueringsresultater skal frembringe ny kunnskap og bli brukt. Ved å mobilisere brukerne på denne måten, oppnår en gjerne at flere blir ansvarliggjort overfor prosjektet, noe som bidra til at resultatene blir anvendt. Summativ evaluering: Summativ evaluering er en sluttevaluering av prosjektets innsats, mål og eventuelle effekt. Tilnærmingen er oppsummerende og mest opptatt av å vurdere resultatet av tiltaket og hva som førte til resultatet. Metodetilnærmingen er som ofte basert på kvantifiserbare mål. Her vil dem det gjelder i liten grad være med å påvirke gjennomføringen av evalueringen. En effektmåling som tar for seg tilstanden i en målgruppe før og etter intervensjon, er av eksperimentell karakter og fungerer summativt fordi resultatene vil foreligge en tid etter selve forsøket. Det er hevdet at det kan være kunstig å sette skille mellom summativ og formativ evaluering ( Baklien 1986). All evaluering har en tendens til å virke formativ, selv når den er ment å være summativ. Evalueringsarbeidet kan påvirke prosjektet underveis til tross for at intensjonene er å være nøytral. Dette må ikke betraktes som etisk forkastelig, men gjerne som det er uttrykt av Cronbach (1981): "Evaluatøren må ikke la sjansen til å være til hjelp gå fra seg; han blir betalt for å forbedre et tiltak, ikke for å referere en fotballkamp ". Det er også hevdet at summativ evaluering kan fungere formativt dersom kunnskapen i ettertid brukes til å justere nye prosjekter eller tiltak av tilsvarende karakter (Ogden 1989). Litteratur Baklien B. (1986). Evaluering for amatører. SIFA-rapport nr 1/86. Cronbach L.J. and Associates (1981). Toward Reform of Program Evaluation. Aims, Methods, and Institutional Arrangements. San Fransisco. Jossey-Bass Publishers. Ogden T. (1989). Prosjektevaluering - Problemer og muligheter ved valg av strategi og metoder. I tidsskrift for Norsk Psykologforening, nr 2/89. 3 Nyttefokusert evaluering 3

4 Alle former for evaluering settes i gang fordi det anses som nyttig. Det er imidlertid en tilnærming som særlig legger vekt på dette hensynet, nyttefokusert evaluering. Nyttefokusert evaluering legger vekt på at dem evalueringen angår skal lære av og bruke det som kommer fram gjennom evalueringen. Tilnærmingen tar utgangspunkt i at den skal frembringe ny viten som informasjonsbrukerne, for eksempel oppdragsgiver eller andre, har bruk for. Evalueringen i et slikt perspektiv må gjennomføres på en slik måte at den nye lærdommen som samles blir tatt i bruk. Evalueringen blir nyttig bare i den grad informasjonsbrukerne ønsker informasjonen og det settes av tid til å samarbeide aktivt med de som har ansvar for evalueringsarbeidet. Nyttefokusert evaluering kan deles inn i fem trinn: 1. Identifiser personer, grupper, organisasjoner, politikere som er opptatt av og interessert i evalueringen og den informasjonen den inneholder. 2. Hjelp informasjonsbrukerne med å identifisere og fokusere evalueringsspørsmål som er praktisk relevante. 3. Utform evalueringsdesign og foreta metodevalg sammen med informasjonsbrukerne. 4. Drøft analyser og tolkninger med informasjonsbrukerne, og rapporter funnene slik at de blir forstått 5.Utform handlingsforslag som er tilpasset informasjonsbrukernes handlingsmuligheter. Finn og bring sammen (organisere) alle som vil vite noe om prosjektet eller virksomheten, og som vil bruke informasjonen. Legg vekt på å finne de som har sterke interesser i evalueringsresultatet og som er strategisk plasserte, entusiastiske, kompetente. Vær oppmerksom på at man kan ha ulik interesse i prosjektet avhengig av posisjon og ståsted. Alle intressentene bør uttale seg. Mest interessant er den informasjon som har sannsynlighet for å bli brukt. Informasjon som er direkte svar på spørsmål fra informasjonsbrukerne er slik informasjon. I et medvirkningsperspektiv er det viktig at metoder i evalueringsarbeidet velges for å sikre bredest og best mulig svar. Er barn og unge en del av målgruppen i evalueringen må for eksempel metodene tilpasses disse. Flere tilnærminger gir gjerne best mulig bredde og nyanser i evalueringen. Kombinasjoner av ulike tilnærminger for eksempel spørreskjema til et større utvalg og dybdeintervju til et mindre utvalg, kan gi nyansert informasjon. Til grunn for ethvert analysearbeid spesielt i forhold til kvalitative tilnærminger, er fortolkning. For å kvalitetssikre arbeidet bør man drøfte resultatene med informasjonsbrukerne og eventuelt utdype eller konkretisere en del spørsmål i analysen. Sørg for at fremstillingene er klare og lettfattelige. Skal arbeidet gi retning for ny handling eller oppfølging, bør forslagene ligge innenfor de rammene som informasjonsbrukerne rår over. Ingen ting kan virke så demotiverende som urealistiske handlingsforslag som man ikke kan følge opp. 4

5 Litteratur Patton M. Q. (1978). Utilization-Focused Evaluation. Sage. Olaussen (1990). Om organisering av nyttefokusert evaluering. Norges barnevern 1:90. 4 Empowermentevaluering Empowermentevaluering brukes gjerne i forbindelse med folkehelseprosjekt, og har som mål at det er brukerne eller informasjonsbrukerne i prosjektet som selv skal foreta evalueringen sammen med evaluator. Tilnærmingen samsvarer i høy grad med prinsipper i veiledning. Evaluator er en støttespiller i prosessen, og hjelper prosjektdeltakerne til selv å evaluere. Prinsipper som presenteres bygger delvis på en artikkel av David M. Fettermann (Fetterman 1994) og delvis på en HENÆR rapport utarbeidet av Hauger og Ausland (1999) og Rønningen (1999). Hovedprinsippene i empowermentevaluering: Hjelp til selvhjelp Målet med empowermentevaluering er å bidra til at prosjektarbeiderne blir selvhjulpne til å løse de oppgaver de holder på med. Evaluator er støttespiller i prosessen. Læring underveis Evalueringen er ikke en sluttevaluering, men en kontinuerlig læringsprosess. Dette gjør det mulig å justere kursen underveis. Utvikle strategier for å komme til målet Sette seg mål Man gjør opp status underveis nå-status, setter nye mål, og legger strategier for videre arbeid. Man bør sette av god tid til evaluering ved hvert prosjektmøte, samtidig som man kan sette av tid til workshops Man vurderer aktivitetene etter en type rangering, og dokumenterer underveis. Dokumentere prosessen på veien mot målet I prosjekter som strekker seg over en lengre periode, vil det være av betydning å gjøre opp status kontinuerlig i prosjektet. Man stopper opp og gjør en vurdering av nå-situasjonen, kontrollerer og korrigerer mål, samt vurderer realismen i målene underveis i prosjektet. En viktig del av evalueringsarbeidet er å kontrollere at intensjonene for hver fase i prosjektet er nådd og at delmålene er realiserbare. På bakgrunn av status, korrigeres eventuell kurs og ambisjonsnivå, og man vektlegger arbeidet for å sikre en nødvendig logikk mellom mål og delmål. Prosjektdeltagerne vurderer hva slags dokumentasjon som er nødvendig for å synliggjøre utviklingen på vei mot målet. De ulike interessentene i forhold til et prosjekt, vil ha ulike forventninger til hvordan prosjektet eller programmet skal gjennomføres og i forhold til hvordan det skal dokumenteres. Metoder for å gjøre opp status underveis kan variere. En metode er å be deltagerne vurdere et mål eller innsats på en skala fra en til ti. Be deltagerne om å vurdere hvor man befinner seg i forhold til at målet er nådd. Be deltagerne så om å vurdere hvor man burde befunnet seg. Er det stor avstand mellom ønsket og reell plassering, 5

6 drøftes hvorfor og hvordan situasjonen er blitt, hvor man bør befinne seg innen en gitt tidsperiode og hvordan man skal komme dit. Det er vesentlig at man i en slik sammenheng også vurderer realismen i det opprinnelige målet og om målet bør justeres underveis. Arbeidet drøftes og oppsummeres slik at man kan fortsette evalueringen og vurderingen i et nært planlagt møte. Litteratur Fetterman D. (1994). Steps of Empowerment Evaluation: From California to Cape Town. Evaluation an program Planning. USA. Hanson Ausland L. m fl (1999). Forebygging av helsefremmende og forebyggende arbeid i kommunene. Bruk av Opplandsløftet som case. HENÆR-rapport 8/99. Rønnningen G. E. (1999). Medvirkning fra barn og unge i helsefremmende og forebyggende arbeid. Ressurstilnærming og metode. HENÆR-rapport 12/99. 6