UTFORDRINGER OG GREP FOR GODE EVALUERINGER I OFFENTLIG SEKTOR Fagdag om evaluering for Fylkesmannen i Vestfold. JAN HØEGH 6.

Transkript

1 UTFORDRINGER OG GREP FOR GODE EVALUERINGER I OFFENTLIG SEKTOR Fagdag om evaluering for Fylkesmannen i Vestfold JAN HØEGH 6. oktober

2 Evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, et virkemiddel eller en sektor. Kilde: Veileder til gjennomføring av evalueringer, Finansdepartementet 2005 Side 2

3 NÅR BØR VI EVALUERE? Når risiko og vesentlighet er høy erfaringen er liten erfaringen er dårlig ytre og indre omstendigheter har forandret seg mye det er lenge siden sist du får beskjed om det Det dårligste alternativet finn ut hvorfor! Side 3

4 FØR, UNDER ELLER ETTER Forhånds-evaluering Er tiltaket nødvendig Er alternativer vurdert Er tiltaket forankret Mm Etter-evaluering Er målene nådd Hva er virkningene Relevans og effektivitet Mm Behov Mål Planlegge Gjennomføre Resultat Effekt Underveis-evaluering På riktig kurs Justering eller endring Mm Side 4

5 EVALUERE RESULTAT ELLER EFFEKT? Resultatevaluering Relativt enkelt Gjøres ofte Svarer ikke på behovsdekning Den lille læringssløyfen Behov Mål Planlegge Gjennomføre Resultat Effekt Den store læringssløyfen Effektevaluering Mer krevende Gjøres sjeldnere Større nytte Side 5

6 EVALUERINGSSPØRSMÅL OG ANALYSETYPER Spørsmål Analysetype Hvilke tiltak ble iverksatt for å nå målet? Tiltaksanalyse Hva ble resultatet av disse tiltakene? Effektanalyse Var det andre faktorer enn tiltakene som medvirket til resultatet? Årsaksanalyse Hvordan førte tiltakene til resultatet? Prosessanalyse Samsvarer resultatet med målet? Måloppfyllelsesanalyse Var tiltakene effektive for å nå målene? Effektivitetsanalyse Kilde: Brofoss og Stensaker 2002 (Stensaker (red.) (2002): Kunnskap- og teknologivurderinger. Perspektiver, metoder og refleksjoner. Cappelen Akademisk forlag.) Side 6

7 Hovedutfordringer 1. Evaluering uten mål og mening «Noen har bedt om det» 2. Manglende nullpunkts-måling Ikke grunnlag for å avdekke endring 3. Dårlig evalueringsmodell Gir ikke svar på kjernespørsmålene 4. Manglende læring og endring Kun tilbakeskuende hva skjedde, ikke operativt fremmadskuende hva så Grep 1. Finn ut hvorfor og hva som ønskes oppnådd 2. Mål eller beskriv før-situasjonen 3. Ikke «gjør som sist», men design en modell som passer til formålet 4. Ta læring og endring med i planleggingen Side 7

8 TRE HOVEDSTEG I EN EVALUERING Forankre og integrere evaluering i styringen av virksomheten Planlegge og gjennomføre evalueringen Formidle og bruke evalueringsresultatene i læring og styring Side 8

9 UTFORDRINGER OG GREP I FORANKRING OG INTEGRERING Få klarhet i hvorfor noe skal evalueres og hva evalueringen skal brukes til Fordi - Noe ikke fungerer som forventet - Det er lenge siden sist - Da slipper vi å gjøre noe med det på en stund Formålet kan være å - Bruke til forskning eller virksomhetsstyring - Bli bedre underveis - Bli bedre neste gang/et annet sted - Lærdom for lærdommens skyld - Gjøre de riktige tingene eller gjøre tingene riktig - Det samme for mindre eller mer for det samme? (redusere kostnader eller øke kvalitet) Tilpass planlegging, gjennomføring og formidling til beslutningsprosessene evalueringen skal inngå i Side 9

10 UTFORDRINGER OG GREP I PLANLEGGING OG GJENNOMFØRING Involver de relevante aktørene og interessentene Balanser omfanget av evalueringen med omfanget av det som skal evalueres Velg et evalueringsdesign som passer formålet Gjør nullpunkts-måling dersom du vil evaluere endring Fastsett evalueringskriterier - Gode evalueringskriterier er SMARTE: Spesifikke, Målbare, Aksepterte, Realistiske, Tidsbestemte, Enkle Sørg for at kompetanse og kapasitet er tilpasset evalueringen Side 10

11 UTFORDRINGER OG GREP I FORMIDLING OG LÆRING Uten formidling og læring har evalueringer liten verdi Integrer formidling og læring i planleggingen (og budsjetteringen) Velg formidlingskanaler som når målgruppen - Ikke sikkert at alt skal formidles til alle - eller at alle nås best via samme kanal Dokumenter læringen slik at den er tilgjengelig når det er behov for den - Og slik at den faktisk blir brukt Ta lærdommen i bruk raskt - Ser vi noe som bør endres allerede nå? Side 11

12 HUSK I HVERT FALL TRE TING 1. Vit hva du vil 2. Vit hvordan du vil 3. Hvis du vil måle bruke det endring må du først måle utgangspunktet Side 12

13 STADIG NYSGJERRIG? Ta en kikk på disse: legg/okstyring/veileder_til_gjennomforing_av_evalueringe r.pdf Eller kontakt meg: Side 13