Bergljot Baklien: Intern evaluering. Desember Tiltak som skal evalueres

Transkript

1 Bergljot Baklien: Intern evaluering Desember 2018 Tiltak som skal evalueres

2 Hva sier Finansdepartementet om «gjøre det selv»? Evalueringer bør være et aktivt redskap i virksomhetenes styrings- og kontrollprosesser. Særlig er det viktig å evaluere forhold virksomheten selv kan påvirke. Det kan være et argument for å gjennomføre evalueringen selv. Fordeler: God kunnskap om det som skal evalueres Lett tilgang til nødvendige data Kort vei fra evaluering til bruk av evalueringsresultatene Ulemper: Gir et ekstra tids- og arbeidspress Kan mangle evalueringskompetanse Manglende distanse til bruken av evalueringens funn

3 Finansdepartementet (og jeg) anbefaler en kombinasjon av ekstern evaluering og egen innsats «Dersom hovedstrategien er å gjennomføre evalueringen selv, kan det likevel være fornuftig å trekke inn noe ekstern bistand. Bruk av ekstern evaluator til å vurdere virkningen eller resultatet av et tiltak eller et virkemiddel kan også suppleres med en intern evaluering som fokuserer på prosess. Kombinasjonsmulighetene er mange, og nytten av slike kombinasjonsløsninger bør vurderes når en evaluering skal planlegges.».. sier Finansdepartementet

4 «Gjør døren høy, gjør porten vid» Intern evaluatør på vei ut Ekstern evaluatør på vei inn Tiltak som skal evalueres

5 Eksterne evalueringer har større troverdighet på ja/nei spørsmål: Var det vellykket? Ble målet nådd? The most important purpose of evaluation is not to prove but to improve Interne evalueringer får likevel større konsekvenser enn de eksterne. Større åpenhet for råd og anbefalinger fra interne evalueringer Informasjonen er relevant Informasjonen kan bekrefte virkelighetsoppfatninger som allerede finnes Intern evaluering gir større muligheter til å justere tiltaket underveis i prosessen.

6 Evaluering forbindes ofte med å lete etter måloppnåelse gjennom en linjær studie av årsak og virkning. Kontrollert eksperiment som den «beste» og klassiske måten for å lete etter årsak virkning sammenhenger. Forutsetter at vi kan forenkle og manipulere virkeligheten, ofte etisk utfordrende Ett eksempel

7 Det formative potensialet i intern evaluering Evalueringen skal/kan forbedre tiltaket mens det pågår: o Stille spørsmål o Skape bevissthet o Øke refleksjonsnivået Tiltak som skal evalueres Den interne evalueringen skal følge prosessen og forbedre den, gjøre den mer innovativ, advare mot fallgruver og snubletråder.

8 IKKE evaluering som noe som kommer etter planlegging og iverksetting. Å tenke evaluativt betyr blant annet å vurdere på forhånd om det vi planlegger og iverksetter er relevant for det vi ønsker å oppnå. Utnytt det formative potensialet i intern evaluering!

9 Skal evalueringen være formativ, kan den ikke henges på til slutt Skillet mellom formative og summativ dreier seg om hvordan evalueringen skal brukes. Men fordi formålet med evalueringen er forskjellig, blir naturlig nok også selve evalueringen forskjellig.

10 Mål Handling Resultat Noen vil noe Derfor gjør de noe Kanskje oppnår de noe Hvordan oppfatter de som vil noe handlingsrommet sitt? Hva gjør vi og hvorfor? Hvordan samsvarer det vi gjør med det vi ønsker å oppnå? Hvordan er relevansen? Både mål, handling og resultat er relevante tema for evalueringen.

11 Blir det i det hele tatt gjort noe? Er det noen aktivitet? Hvis ideene dør på planleggingsstadiet, bør vi finne ut hvorfor. Det behøver ikke være fordi det i og for seg var en dårlig ide. Iverksettingsanalyse Det er forskjell på at målene ikke ble nådd fordi det vi gjorde ikke egnet seg og var relevant, og at målene ikke ble nådd fordi det man skulle gjøre ikke ble noe av. Eksempel: Bedre skolebarnas helse Dele ut et eple pr skoledag Ble eplene faktisk delt ut? Ble eplene faktisk spist? Måloppnåelse

12 Visjoner Målsettinger oversettes til Virkemidler Aktivitet Hvordan konkretiseres visjonene og intensjonene gjennom iverksettingen og gjennom de virkemidlene som velges? Hvis dette er løsningen, hva er da problemet?

13 Programteori er teorien om hvordan det vi vil, det vi gjør og det vi skal oppnå henger sammen. En teori om at «gjør vi a, så oppnår vi b». Evalueringen bør stille spørsmål om programteorien Dep lager lekkert materiale om spiseforstyrrelser Dep sender materialet til alle grunnskoler og videreg. skoler Lærerne (primær målgruppe) bruker materialet Elevene (sekundær målgruppe) får økt kunnskap Den økte kunnskapen fører til atferdsendring Forebyggende, helsefremmende mål oppnås

14 Vi må altså spørre: Hvordan passer det vi vil gjøre til den konteksten vi skal gjøre det det i? Kobling av elementene context (C), mechanism (M), og outcome (O): Hvordan en bestemt mekanisme gir et bestemt resultat under bestemte betingelser i omgivelsene Hva fungerer for hvem under hvilke forhold?

15 OUTCOME (resultat) er viktig, men: Ikke vær for ensidig opptatt av måloppnåelse Tenk konsekvenser Ikke-intenderte konsekvenser er også viktige - Har tiltaket noen bivirkninger? - Positive? - Negative?

16 Context Input Process Product Innsats Kontekst og rammebetingelser Prosess Produkt

17 Innsats: Penger og folk, hvilke ressurser puttes inn i tiltaket. entusiastiske ildsjeler, eller inkompetente og uinteresserte folk Personfaktorens betydning Pionerentusiasme? Kontekst og rammebetingelser gir aktørene handlingsrom

18 Prosessen Tid: Når begynner og slutter tiden? Tegne opp tidsaksen Hva gjøres av hvem, for hvem, med hvem, hvordan, når og hvor? Føre loggbok Forutsetninger for samarbeid Produktet Hva kom ut av prosessene? En dårlig prosess KAN gi et godt produkt!

19 Målgrupper Målgruppene er viktig både i prosessen og for produktet. Husk at det kan være målgrupper på flere nivå. Folkehelseprogrammet er i hovedsak rettet inn mot universelle tiltak og arenaer. Men å måle endring i målgruppene er vanskelig

20 Hvordan skal finne det ut? Vi må spørre folk Hvilke data vi har bruk for, er avhengig av hvilke spørsmål vi vil ha svar på. Begynne med å identifisere aktørene - de involverte Snakke med dem for å finne ut noe om konteksten, innsatsen og prosessen. Hva gjør de, hva synes de er vanskelig, hva synes de at de lykkes med? Hva var det som gjorde at de fikk til noe? Hva var det som hjalp oss framover? Andre datakilder: Møtereferater, vedtaksprotokoller, skrive loggbok. Kanskje også lokale media

21 OPPSUMMERING: Fase/tema Evalueringen skal skape refleksjon rundt, eller gi svar på viktige spørsmål Vi vil noe Innsats Vi gjør noe Arena Målgrupper

22 Fase/tema Vi vil noe Innsats Vi gjør noe Arena Målgrupper Evalueringen skal skape refleksjon rundt, eller gi svar på spørsmål som: Hvorfor vil vi det? Hva er problemet? Hva investeres av penger, folk, tid og andre ressurser? Hvordan samsvarer innsatsen med ambisjonene, med det vi vil? Hvorfor? Hvordan er det forankret? Hvordan henger det vi gjør sammen med det vi vil? Hvor gjør vi det? Hvordan vil konteksten påvirke det vi gjør? Hvem og hvorfor? Er det flere nivåer, for eks ved at målgruppen fagfolk skal øke kompetansen for å jobbe bedre med ungdom - som er endelig målgruppe?

23 Fase/tema Evalueringen skal skape refleksjon rundt, eller gi svar på knyttet til prosess og produkt Prosessene Produktet

24 Fase/tema Prosesser Produktet Evalueringen skal skape refleksjon rundt, eller gi svar på temaer og spørsmål som: Dreier seg ofte om samarbeid, kompetansestyrking og kapasitetsbygging. Hvordan påvirkes prosessene av rammebetingelser og kontekst? Hva fremmer og hva hemmer en god prosess? Klarte vi å «produsere» det vi hadde bestemt oss for? Hvordan var produktkvaliteten? Eksempler fra folkehelsesatsningen: Temadager på ungdomsskolen, hjembesøk fra helsesøster til nybakte foreldre.

25 Fase/tema Evalueringen skal skape refleksjon rundt, eller gi svar på spørsmål knyttet til effekt og konsekvenser, videreføring og overføringsverdi Konsekvenser, virkning Tilbakeblikk Videreføring og overføring

26 Fase/tema Konsekvenser, virkning Tilbakeblikk Videreføring og overføring Evalueringen skal skape refleksjon rundt, eller gi svar på spørsmål som: I hvilken grad nådde vi målene? Hadde det vi gjorde noen bivirkninger, noen ikke-intenderte konsekvenser? Var de positive eller negative? Hvorfor gikk det som det gikk? Hva hjalp oss framover, Hva var suksessfaktorene? Hvilke hindringer støtte vi på? I hvilken grad er det mulig å videreføre når prosjektmidlene er slutt? I hvilken grad er erfaringene egnet til overføring, enten til andre sektorer i samme kommune, eller til andre kommuner?

27 Egenevaluering er en måte å bygge opp erfaring på, en måte som kan gi grunnlag for nye ideer. Den kan virke motiverende på egen arbeidsprosess ved å øke bevisstheten at det går noen skritt fremover. Den kan også bidra til at andre, et annet sted eller på et senere tidspunkt, kan nyttegjøre seg våre lokale erfaringer. Takk for oppmerksomheten