Vedlegg 3 til internmelding om arbeidet med evaluering i UDI Hvordan utforme en evaluering? I dette vedlegget gir vi en beskrivelse av en evaluering kan utformes og planlegges. Dette kan benyttes uavhengig av størrelsen på evalueringen. Detaljeringsnivå og omfang må likevel tilpasses evalueringens størrelse og tema. Ytterligere veiledning i gjennomføring av evaluering finnes på: http://evalueringsportalen.no/ https://www.riksrevisjonen.no/revisjonsmetodikk/forvaltningsrevisjon/sider/forvaltningsrevisj on.aspx Resultatkjeden / den logiske modellen Et godt utgangspunkt for alle evalueringer uansett størrelse og tema er å bruke den logiske modellen (resultatkjeden) som en rød tråd gjennom evalueringen. Den logiske modellen kan vi bruke på mange måter: i planlegging av prosjekter og tiltak, gjennomføring og ikke minst i evalueringer av igangsatte tiltak. Den grunnleggende tanken i modellen kan illustreres slik: Ressurs Aktivitet Resultat Effekt For å illustrere logikken, kan vi bruke returfeltet som eksempel. En utfordring er at de som har fått avslag ikke returnerer raskt nok: Vi setter i gang tiltak (ressurs) for å realitetsorientere de personene som er i denne målgruppen. Ett av tiltakene er å gjennomføre samtaler (aktivitet) så tidlig som mulig for å realitetsorientere personer med avslag. Forhåpentligvis vil de som får slike samtaler over tid bli motivert til å returnere assistert (resultat). Effekten av dette tiltaket på litt lengre sikt er at vi blant annet får redusert antall lengeværende i mottak som har fått avslag. I evalueringer av tiltak og virkemidler kan den logiske modellen bidra til å peke ut hvilke evalueringsspørsmål evalueringene skal svare på, og hvilke kriterier evalueringene skal vurdere data opp mot. Modellen kan tilpasses evalueringenes størrelse. Tankegangen og systematikken kan ivaretas selv om det gjøres enklere og i mindre skala. Hvordan utforme en evaluering? Evalueringer kan gjennomføres på mange måter. Det viktigste prinsippet i en evaluering er å lage et design for evalueringen som skiller mellom evalueringskriterier, observasjoner og vurderinger. Designet vil hjelpe oss til å få tydelig fram hva som er formålet med evalueringen og gjøre oss i stand til å gjennomføre evalueringen på en systematisk og etterprøvbar måte. En klar og konsistent utforming av evalueringsdesignet er ofte det som skiller de gode fra de mindre gode evalueringene. 1
I tabellen nedenfor presenterer vi et design som angir gangen i en evaluering, og som bør følges i alle evalueringer. Den består av åtte faser. Fasene blir beskrevet under tabellen. Til slutt i vedlegget ligger en word-mal. Tabellen skal benyttes i alle evalueringer i UDI. Tabellen er: - et planleggingsverktøy (fylles ut i planleggingen av evalueringen) - et gjennomføringsverktøy (brukes for å gi retning underveis i gjennomføringen) - et kvalitetssikringsverktøy (sikrer sammenheng og helhet gjennom hele evalueringen) - et kommunikasjonsverktøy (evalueringens tema og innhold presenteres enkelt) Til slutt i vedlegget vil det bli gitt et eksempel på bruk av tabellen. HVA HVORDAN GJENNOMFØRBARHET FORMÅL Problemstillinger Kriterier Data Metode Forventede funn Gjennomføringsrisiko Hva ønsker vi å oppnå med evalueringen? Hva ønsker vi finne ut? Hva skal målestokken være? Hvilken informasjon trenger vi? Hvor finnes data, hvor innhentes og analyseres? Hvilke konklusjoner kan vi trekke? Hvilken usikkerhet finnes i designet og prosjektplanen? Presist Hvilket område er gjenstand for evaluering? Overordnet Kort og lettfattlig Dekkende ift målet Gjensidig utelukkende Samlet fullstendig Klare og entydige Formulert som åpne spørsmål Kan strukturere s på samme måte som problemstillingene Tilstrekkelig og konkrete Nødvendig og tilstrekkelig informasjon Hensiktsmessig Bygge videre på strukturen fra problemstillingene Tydelig på kilder og utvalg hvor datane finnes Tydelig på dataene skal innhentes Tydelig på dataene skal bearbeides og analyseres Konkret Formulere hypoteser Vurdere konsistens/rød tråd i designet Faglig og adm risiko Identifisering: hvor finnes risiko? Er risikoen akseptabel? Hvordan kan risikoen håndteres? Mandat Før planleggingen kan starte, må det foreligge et mandat, jf. internmeldingens punkt 5.1. Det er viktig å klarlegge hvilke behov som gjør at vi velger å sette i gang en evaluering. Vurderingen bør være kort og konsis og være tydelig på hvorfor det er riktig å sette i gang en evaluering i det enkelte tilfellet. Formål Hva ønsker vi å oppnå med evalueringen? Under formålet bør det gå klart fram hva formålet med evalueringen er. Formålet bør ta utgangpunkt i det som var målene med det igangsatte tiltaket eller prosjektet. Det vil gi riktig retning på evalueringen. Problemstillinger Hva ønsker vi å finne ut? Problemstillingene skal bidra til å operasjonalisere formålet med evalueringen. Problemstillingene skal være entydige og klare, og de bør ikke overlappe hverandre. Dette krever en ryddig struktur. Problemstillingene bør formuleres slik at de gir grunnlag for å dokumentere eventuelle resultater, belyse konsekvens av manglende resultater/svak måloppnåelse. De bør være presise begreper som reflekterer noe målbart. De bør ikke kunne besvares med ja eller nei, men formuleres åpent og starte med spørreord som for eksempel, «hvilken grad», «på hvilken måte» etc. 2
Det finnes flere verktøy som kan være til hjelp i prosessen med å operasjonalisere problemstillingene. Et ofte brukt hjelpemiddel i denne sammenheng er et såkalt spørsmålstre som strukturerer og tydeliggjør problemstillingene fra hovedproblemstillinger til underproblemstillinger. 1 Evalueringskriterier Hva skal målestokken være? Evalueringskriteriene utgjør referansepunktet og det normative grunnlaget for å vurdere måloppnåelse. Evalueringskriteriene er det man måler opp mot i analysen etter å ha fremskaffet relevante data. Når dataene sammenstilles med kriteriene, utfører vi i prinsippet selve analysen. Av og til finnes det ikke klare evalueringskriterier. Da må vi lage kriteriene selv. Det viktigste skillet går mellom kvalitative og kvantitative kriterier. Kvantitative kriterier har den fordelen at de ofte er enkle å forstå, mens kvalitative evalueringskriterier kan oppleves som mer diffuse og hever kravet til struktur. Begge typer kriterier er viktige for å dekke helheten. Eksempler på type kriterier fra utlendingsforvaltningen kan være tatt fra utlendingsloven, fra Prop 1 S og tildelingsbrevet og andre standarder. Eksempel på relevante kriterier kan være; «raskere retur», «85 prosent kapasitetsbelegg i mottakene» ol. Kriteriene må være relevante, forståelige, operasjonelle, konsistente og fullstendige. Data Hvilken informasjon trenger vi? Dataene utgjør den informasjonen vi trenger for å kunne svare på problemstillingene. Det er den informasjonen vi innhenter gjennom ulike teknikker for å kunne gjennomføre en analyse. Dataene underbygger og dokumenterer evalueringsresultatene. Metode Hvor finnes data, innhentes og analysere? Denne delen handler om vi faktisk foretar og gjennomfører datainnsamlingen og selve analysen, som ofte er det mest utfordrende i evalueringsarbeidet. Det første som bør gjøres, er å velge man skal fremskaffe relevante data. Det finnes ulike tilnærminger, men ofte er det hensiktsmessig å velge en kombinasjon av kvalitative og kvantitative metoder. Kvalitative og kvantitative data vil kunne belyse ulike forhold ved problemstillingene. I den forbindelse er det lurt å reflektere over følgende: Metoden må tilpasses blant annet informasjonsbehov (jf. evalueringsspørsmålene), krav til kvalitet og presisjonsnivå, samt rammefaktorer som budsjett, evaluators kompetanse og tidsfrister. Er det behov for kvantitative data (opplysninger som er målbare i form av tall, gradert etter en skala) eller kvalitative data (tekstlige beskrivelser og formuleringer)? Kvalitative data gir særlig god informasjon i tilfeller der det er liten kunnskap om problemstillingen. Foreligger det sekundærdata som kan brukes? Gjør en vurdering av ressursbehov og kostnader for de ulike metoder. Innhenting og analyse av kvalitative data er som regel mer krevende enn for kvantitative data, spesielt hvis man sammenlikner med tilfeller der kvantitative data er lett tilgjengelige og av god kvalitet. Triangulering av data som kommer fra ulike kilder (både kvalitative og kvantitative data) styrker evalueringen ved at funn verifiseres fra ulike hold. Dette gjør analysene mer robuste. Å triangulere betyr at man undersøker mønstre i ulike data, som for eksempel at et funn i 1 Det vil bli utarbeidet et eget vedlegg om utforme og operasjonalisere problemstillinger. 3
kvantitative data kan bekreftes med både statistikk og kvalitativ informasjon fra intervjuer. Triangulering handler om å sikre bevis fra ulike kilder. Vi kan bruke både primær- og sekundærdata, gjerne gjennom dokumentstudier, intervjuer/gruppeintervjuer, spørreundersøkelser samt analyser av relevant statistikk og annen økonomisk informasjon. En ofte brukt fremgangsmåte er å gjennomføre en kvalitativ undersøkelse og gjennom denne stille opp et sett med hypoteser som testes i en kvantitativ undersøkelse. I dette tilfellet kan også den motsatte fremgangsmåten være aktuell; dvs. bekrefte indikasjoner fremkommet gjennom kvantitative undersøkelser. Når data er fremskaffet, skal disse analyseres opp mot kriteriene. Det er da vi er i gang med selve analysen. Det viktige i analysen er å se dataene (faktagrunnlaget) opp mot kriteriene og i den sammenheng kan forventede funn (hypoteser) hjelpe oss til å strukturere analysen. Analysen skal være noe mer enn en oppramsing av funn den skal hjelpe leseren å komme fram til noen slutninger som kan ligge til grunn for eventuelle endringer på et område. Forventede funn Hvilke konklusjoner kan vi trekke? En viktig forberedelse til å utforme evalueringen er å etablere et sett med forventede funn eller arbeidshypoteser som man ønsker å få verifisert. Det er et godt verktøy for analysen. Gjennomførbarhet Hvilken usikkerhet finnes i designet og prosjektplanen? Ethvert evalueringsdesign vil ha usikkerhet knyttet til gjennomførbarhet. Disse usikkerhetsfaktorene bør identifiseres. Samtidig bør det etableres tiltak som kan bidra til å minimere gjennomføringsrisikoen. Klassiske hindringer er tilgang på informanter, konfidensialitet, anonymitet, interessekonflikter og motstandere av evalueringen. Andre hindringer er fravær av relevante data som sikrer robuste datasett og knappe rammer (tid og kostnader) som reduserer muligheten for å etablere ønsket evalueringsdesign. Skisse til evalueringsrapport Det anbefales å utarbeide en foreløpig struktur på sluttrapport på et tidlig tidspunkt. Det kan også være til hjelp underveis i evalueringen. Ellers kan det være hensiktsmessig å foreta en kontroll rundt følgende: Forbered et opplegg for faglig og språklig kvalitetssikring av sluttrapporten. Kontrollér at sluttrapporten gjenspeiler innholdet i oppdragsbestillingen, herunder svarer på evalueringsspørsmålene. Redegjør for resultatene skal tolkes og usikkerhet knyttet til resultatene. Nedenfor er en skisse til en rapportstruktur som kan benyttes i alle evalueringer. Den kan tilpasses til den enkelte evaluering, men det er viktig at det skilles mellom de ulike delene, særlig mellom observasjoner og analyse/vurderinger. 4
5
HVA HVORDAN GJENNOMFØRBARHET Formål Problem- Kriterier Data Metode Forventede Gjennomføringsrisiko stillinger funn Hva ønsker vi å oppnå med evalueringen? Hva ønsker vi å finne ut? Hva skal målestokken være? Hvilken informasjon trenger vi? Hvor finnes data, hvor innhentes og analyseres? Hvilke konklusjoner kan vi trekke? Hvilken usikkerhet finnes i designet og prosjektplanen? Her skal det legges inn et eksempel 6
7