Sjekkliste for planlegging, gjennomføring og oppfølging av evalueringar
SSØ 10/2008, 2. opplag nynorsk utgåve
Ei sjekkliste til hjelp i evalueringsarbeidet I denne foldaren viser vi korleis ei statleg verksemd kan leggje opp arbeidet med å planleggje, gjennomføre og følgje opp evalueringar. Tilrådingane er utforma som sjekklister som kan brukast både ved intern og ekstern evaluering. Dersom du ønskjer ei meir generell innføring i evaluering, sjå Finansdepartementet (2005). Oversikt over evalueringsprosessen Ein evalueringsprosess har i grove trekk fire fasar rekna frå tidspunktet ein bestemmer seg for å setje i verk ei evaluering: Fase 1: Fase 2: Fase 3: Fase 4: Utarbeide ei oppdragsbeskriving. Planleggje evalueringa. Gjennomføre evalueringa og kvalitetssikre undervegs. Følgje opp i etterkant av evalueringa og realisere gevinstar. Figuren nedanfor beskriv tre roller i dei ulike evalueringsfasane: Oppdragsgivar: Planleggjar: Evaluator: Den som utarbeider oppdragsbeskrivinga og følgjer opp i etterkant av evalueringa og realiserer gevinstar. Den som på vegner av oppdragsgivaren sørgjer for at evalueringa blir planlagd og sett i verk, og som skaffar ein evaluator. Den som gjennomfører evalueringa. I ein del tilfelle er det den same personen/dei same personane som har dei ulike rollene.
Figuren viser trinna gjennom alle fasane (1 4) av evalueringa. Figur: Trinna i ein evalueringsprosess Utarbeide oppdragsbeskriving Oppdragsgiver Fase 1 Oppdragsgivar Beskrive bakgrunn og fastsetje mål med evaluering Følgje opp undervegs og kvalitetssikre Fastsetje evalueringskriterium og beskrive resultatkjeda Utarbeide evalueringsspørsmål Vurdere databehov Utarbeide arbeidsplan, bestemme organisering og budsjett Innhente data Analysere data Planlegger Fase 2 Evaluator Fase 3 Planleggjar Evaluator Utarbeide rapport Følgje opp i etterkant og realisere gevinstar Oppdragsgiver Fase 4 Oppdragsgivar Sjølv om prosessen blir framstilt som lineær, er det i praksis ofte «tilbakekoplingssløyfer». Med det meiner vi at innhaldet i, eller krava til, eit seinare trinn blir viktig for kva som bør vere utfallet av det førre trinnet. Det kan føre til at det blir nødvendig å ta opp igjen arbeid frå tidlegare trinn. Oppgåvene i fleire av trinna vil liggje i grenselandet mellom planlegging og gjennomføring, til dømes det å utarbeide evalueringsspørsmål og vurdere databehov. Det kan variere frå evaluering til evaluering om hovudtyngda ligg i fase 2 eller fase 3. Ideelt sett bør planleggjaren sjølv ta hand om mest mogleg av dette. Dersom arbeidet inngår i oppdraget til evaluatoren, bør planleggjaren delta aktivt i denne fasen og ikkje overlate heile arbeidet til evaluatoren. Fase 1: Utarbeide ei oppdragsbeskriving Oppdragsbeskrivinga blir ofte utarbeidd som følgje av eit eksternt pålegg (frå eigar, etatsstyrar, tilsynsstyresmakt eller andre) eller som resultatet av interne strategiske vurderingar av behovet for å gjennomføre ei evaluering. Viktige element i slike strategiske vurderingar er mellom anna verksemdas eller tiltakets vesentlegheit, eigenart og risiko, sjå Finansdepartementet (2005). Oppdragsbeskrivinga, som ofte er formulert som eit mandat, bør innehalde minimum desse elementa: Formål og eventuelt avgrensing (ambisjonsnivå) med evalueringa. Tidsramme for evalueringa. Ansvarsforhold og roller og eventuelle juridiske eller organisatoriske føringar som den planleggingsansvarlege må ta omsyn til. Fastsetjing av ei ressursramme for evalueringa.
Det kan vere aktuelt at oppdragsbeskrivinga legg utfyllande føringar for innhaldet i evalueringa. Det er likevel uheldig om ei slik beskriving blir for detaljert eller skaper sterke bindingar for den som skal planleggje gjennomføringa. Dessutan er oppdragsgivaren som regel ikkje den som har dei beste føresetnadene for å leggje dei operative rammene for evalueringa. Fase 2: Planleggje evalueringa Beskriv bakgrunn og fastset målet med evalueringa Beskriv bakgrunnen for evalueringa med utgangspunkt i mandatet - identifiser eventuelle uklarheiter i mandatet Definer og avgrens formålet og fastset målet for evalueringa. Identifiser aktørane som har med tiltaka å gjere, eller som tiltaka får konsekvensar for - etabler eventuelt ein strategi for korleis du skal møte dei ulike aktørane under evalueringa Fastset evalueringskriteria og beskriv resultatkjeda Bestem evalueringskriteria (sjå til dømes OECD 1999), det vil seie kva evalueringa skal belyse. Evalueringskriteria kan til dømes vere - effektar - måloppnåing - berekraft - produktivitet Når evalueringskriteria er fastsette, kan vi bruke ulike analysetypar i evalueringa, til dømes måloppfyllingsanalyse, effektanalyse og prosessanalyse, sjå Finansdepartementet (2005). Vurder å lage ei såkalla resultatkjede - beskriv kva aktivitetar og produkt (tenester) tiltaket gir opphav til - drøft kva effektar desse aktivitetane og produkta har for brukarane og samfunnet - beskriv korleis det vil seie gjennom kva samanhengar ein kan oppnå desse effektane Utarbeid evalueringsspørsmål Formuler konkrete evalueringsspørsmål ut frå måla, evalueringskriteria, resultatkjeda og valde analysetypar. Sørg for å kvalitetssikre spørsmåla, slik at dei mellom anna er relevante, avgrensa og eintydige. Prioriter spørsmåla og vurder om det er overlappingar. Vurder databehov Kartlegg kva type informasjon som trengst. Finn ut kva datakjelder som er tilgjengelege. Finst det statistikk som er publisert? Finst det administrative register? Kan ein bruke tilsvarande studiar som er gjorde for andre typar verksemder, for andre verkemiddel, i andre land? Vurder kva metodar som passar best til å skaffe dei dataa du treng. Kva eigne spørjeundersøkingar kan det vere aktuelt å gjennomføre, og kva grupper av respondentar kan det vere aktuelt å kontakte? Vurder om tilgjengelege registerdata krev konsesjon og/eller dispensasjon frå teieplikta.
Utarbeid arbeidsplan, bestem organisering og budsjett Fastset eit omfang av evalueringa som er fagleg forsvarleg gitt kva som verkar realistisk med tanke på ressursane. Det gjeld typisk omfanget av evalueringsspørsmål og storleiken på datagrunnlaget. Anslå ressursbehovet og utarbeid eit budsjett. Lag eit tidsskjema der du fordeler dei viktigaste ressurskomponentane over tid og fastset dei viktigaste milepålane. Gjer ei kost/nytte-vurdering av evalueringsprosjektet. Sjå på kor viktig evalueringa er, og kva som er venta nytte av henne, og set det opp mot kostnadene med å gjennomføre evalueringa. Ta stilling til kva kompetanse som krevst for å gjennomføre evalueringa - fagkompetanse - metodefagleg kompetanse (særleg evalueringsmetodikk) - kunnskap om saksområdet/sektoren eller tilgrensande saksområde/sektorar Vurder fordelar og ulemper ved intern og ekstern evaluator og vel ein av delane, eller vurder ein samarbeidsmodell. Dersom ein legg sterk vekt på sakkunnskap, vil det normalt trekkje i retning av ein intern evaluator, mens sterk vekt på spesialkompetanse innanfor evalueringsmetodikk som oftast vil trekkje i retning av ein ekstern evaluator. Andre aspekt som kan leggjast til grunn, er kor viktig distansen til det som skal evaluerast er, og behovet for å byggje opp intern evalueringskompetanse. Lag oppdragsbestillinga. Det omfattar òg ei eventuell utforming av konkurransegrunnlaget ved ekstern evaluator og eventuelle kontraktførebuingar. Oppdragsbestillinga representerer mandatet til evaluatoren. I tillegg til å vere utforma slik at du kan få gode svar på evalueringsspørsmåla, må oppdragsbeskrivinga innehalde krav til kompetanse, prosjektgjennomføring, rapporteringsform, leveringsfristar o.a., og eventuelt spesifikke krav til bruk av data og metode. Fase 3: Gjennomføre evaluering og kvalitetssikre undervegs Gjennomføringa er ikkje berre avhengig av problemstilling, men òg av kvaliteten på planleggingsarbeidet, metode- og sakskompetansen til evaluatoren, disponibel tid og disponible ressursar, organisatoriske føringar o.a. Evaluatoren bør ha gode metodekunnskapar og erfaring med evalueringsarbeid. Ofte er det ved oppstarten av arbeidet fornuftig å gjere følgjande: Få ei heilskapleg oversikt over oppgåva (problemstillingar, faglege krav, leveringskrav osv.). Snakk med nøkkelpersonar og representantar for partane det gjeld. Definer ein organisatorisk struktur rundt prosjektet. Det er mellom anna sentralt å finne ei arbeidsdeling, etablere eit rapporteringssystem og lage ein kalender for fasar i gjennomføringa. Formuler evalueringsspørsmål dersom det ikkje er gjort i evalueringsplanlegginga. Innhent data Få oversikt over tilgjengelege data. Det gjeld i hovudsak data - som oppdragsgivaren har skaffa, eller som er innhenta i planleggingsfasen - som kan lastast ned frå internett, er tilgjengelege i publikasjonar, osv. - som kan bestillast frå ein dataleverandør (typisk frå offentlege register) - som kan innhentast gjennom spørjeundersøkingar, intervju og liknande Dersom det er mange datakjelder, må ein prioritere. Kva data må vi ha for å belyse evalueringsspørsmåla, og kva data kan vi eventuelt vente med å innhente? I nokre tilfelle er det nok å bruke eksisterande data (sekundærdata). I andre tilfelle er det behov for å innhente data spesielt til analyseformålet (primærdata). Ofte kombinerer vi dei to typane, typisk ved at vi i første omgang skaffar sekundærdata for så å innhente primærdata på område der problemstillinga er spissa, og der det trengst «spesialopplysningar» eller annan utfyllande informasjon.
Vel metode/metodar for datainnsamling - metoden/metodane må tilpassast mellom anna informasjonsbehov, krav til kvalitet og presisjonsnivå, rammefaktorar som budsjett, evaluatorens kompetanse og tidsfristar (også leveringstid for data og frist for ferdigstilling av evalueringsrapport) - er det behov for kvantitative data (opplysningar som er målbare i form av tal, gradert etter ein skala) eller kvalitative data (tekstlege beskrivingar og formuleringar)? Kvalitative data gir særleg god informasjon i tilfelle der det er liten kunnskap om problemstillinga. Ofte er det ein fordel å kombinere kvalitativ og kvantitativ metode Vurder ressursbehov og kostnader for dei ulike metodane. Det er som regel meir krevjande å innhente og analysere kvalitative data enn kvantitative data, spesielt dersom vi samanliknar med tilfelle der kvantitative data er lett tilgjengelege og av god kvalitet. Ved bestilling av data frå dataleverandør (register o.a.), må du - ha grundige samtalar med leverandøren om kva data som kan skaffast - be leverandøren om å skaffe ei detaljert beskriving av dei aktuelle dataa (definisjonar, avgrensingar, inndeling i underkategoriar o.a.) - finne ut kva datatekniske utfordringar du står overfor (også krav til programvare), og bli einig med leverandøren om datatekniske format, utskriftskvalitet og liknande Lag ei oppsummering av svake punkt (skeivskap, unøyaktigheit osv.) ved dataa og finn ut kva konsekvensar dei svake punkta kan ha for korleis du tolkar dataa, og for kor gyldige og realiserbare resultata er. Dokumentasjon som forskingsrapportar, offentlege utgreiingar, fagartiklar og metoderettleiarar kan gi nyttig informasjon. Analyser data Kvalitetssikre og bearbeid dataa, eliminer feil i datamaterialet og tolk informasjonsverdien til dataa. Søk etter mønster og samanhengar i datamaterialet. Set dataa inn i ein samanheng vanlegvis ein teori, ei utvikling (historikk) eller ein tilsvarande storleik for ein samanliknbar aktivitet (benchmarking etc.). Presiser kva føresetnader som ligg til grunn for analysen som skal gjennomførast. Gir resultata grunnlag for klare konklusjonar? Kvar ligg den største usikkerheita? Har resultata vesentlege manglar eller svake sider (på grunn av datamaterialet, teori- eller metodeval etc.)? Kan resultata generaliserast? Utarbeid rapport Utarbeid ein førebels struktur på sluttrapport på eit tidleg tidspunkt. Førebu eit opplegg for fagleg og språkleg kvalitetssikring av sluttrapporten. Kontroller at sluttrapporten speglar innhaldet i oppdragsbestillinga og arbeidsplanen også at han svarer på evalueringsspørsmåla. Gjer greie for korleis resultata skal tolkast, og usikkerheit knytt til resultata. Dersom det er formålstenleg, gi tilrådingar og peik på kva som kan forbetrast. Følgje opp undervegs og kvalitetssikre Kontroller framdrifta i prosjektet. Sørg for at det er nok openheit og offentlegheit. Set av nok tid til oppfølging. Ha jamleg kontakt med og gi løpande tilbakemelding til evaluatoren. Vurder heile tida rolla til ei eventuell styrings- og/eller referansegruppe.
Fase 4: Følgje opp i etterkant av evalueringa og realisere gevinstar Følgje opp i etterkant av evalueringa Gi tilbakemelding til evaluatoren. Sprei informasjon om evalueringa internt og eksternt. Informer det offentlege om evalueringa dersom det ikkje er særlege grunnar til å la vere. Anvend evalueringen ut fra formålet med den Til kontroll. Til læring for dermed å styrkje oppbygginga av kompetanse og kunnskap på saksfeltet og innanfor evalueringsmetodikk. Til oppbygging av ny kunnskap. I styringsprosessar for å - vurdere å endre verkemiddelbruken dersom det kan gi gevinst for samfunnet eller verksemda - vurdere å bruke andre verkemiddel dersom dei framstår som meir effektive eller rettferdige Litteratur Finansdepartementet (2005): Veileder til gjennomføring av evalueringer. SSØ (2007): Veileder i evaluering av statlige tilskuddsordninger. OECD (1999): Improving Evaluation Practices. Best Practice Guidelines for Evaluation and Background Paper.
Eigne notat
10
11
www.sfso.no Offentlege institusjonar kan bestille fleire eksemplar av denne publikasjonen frå: Senter for statleg økonomistyring E-post: postmottak@sfso.no Telefon: 400 07 997 12