Om evaluering av norsk bistand Av Vegard Bye, Scanteam Evalueringskonferansen 2012 5. september 1
Norads lange evalueringshistorie Norad s evalueringsenhet (Evalfo) aktiv fra 1978 Den første Evalueringshåndboka basert på LFA forelå i første halvdel av 80-tallet Kritiske, uavhengige og offentlig tilgjengelige evalueringer Med i OECD/DACs evalueringsnettverk 2
Uavhengighet Evalfo lå i Planavdelingen i Norad (Bistandsdepartementet), men rapporterte direkte til Ass.Dir. Diskusjon om Eval burde helt ut av huset (Riksrevisjonen eller annen direkte rapportering til Stortinget) Nå plassert som egen enhet i Norad, med egen instruks og rapportering direkte til ass. U-råd 3
Mål for Norads evalueringsavdeling vurdere måloppnåelse og resultater i forhold til vedtatte planer vurdere forutsette og uforutsette virkninger av bistandstiltak vurdere om ressursbruken står i rimelig forhold til oppnådde resultater systematisere erfaringer og kunnskap for å kvalitetssikre og forbedre fremtidig bistandstiltak gjennom gode læringsprosesser kartlegge kunnskapshull/ vurdere de underliggende antakelsene for ulike deler av utviklingssamarbeidet gi informasjon til dem som bevilger og utformer ny politikk, og allmennheten 4
Prosedyre Løpende 3-årsplaner ToR og offentlig anbud Omfattende konsultasjon mellom konsulent, oppdragsgiver og stakeholders Presentasjon av rapport Oppfølgingsnotat fra Eval til embetsverket Årlige rapporter med oppsummering av hovedfunn 5
Hovedproblemer sett fra en konsulent Omfattende tilbudsarbeid ofte veldig formalistiske krav (UD/Norad blant de få som følger innkjøpsreglene) Hard internasjonal priskonkurranse ønsker UD/Norad å ha en norsk konsulentbransje? Ekstremt detaljerte ToR Veldig omfattende og tidkrevende kommentar-runder merarbeid og dårlig fortjeneste 6
Eksempel MR-evalueringen The purpose of the evaluation is to acquire knowledge and draw lessons about the nature and effect of support to human rights, with a view to informing future strategies, policies and interventions in this area of development cooperation. 11 sider ToR 22 evalueringsspørsmål 53 spesifikke underspørsmål Runde på runde med kommentarer insistering på detaljspørsmål, statistiske detaljer osv. Motvilje mot å se på MR-støtte i samlet bistands- og utenrikspolitisk perspektiv 7
Motstykke: 22. juli-kommisjonen Veldig enkelt og generelt mandat på 1 side: Se nærmere på samfunnets og myndighetenes evne til: o å avdekke planer om og avverge angrep o å beskytte seg mot og redusere konsekvensene av angrep o å håndtere situasjonen under og etter slike hendelser, herunder ivaretakelse av skadede og pårørende. Kommisjonen bes også se hen til at mange av de berørte var unge 8
Spørsmål / problemstillinger Samsvar mellom forventet rapport og de ressurser som stilles til disposisjon? Akademisk forskning eller empirisk etterprøving? Forhåndsformulerte detaljspørsmål eller generelt og mer åpent mandat? Doing the things right or doing the right things (jfr. rettspsykiater-diskusjonen) Savner Eval.avd. som samtalepartner på overordnede spørsmål Selvforsvarsholdning (Norad vs. UD) 9
Kvalitet / nytte av evalueringer? Norad fikk Bedre stat -prisen (SSØ) i 2011 for bruk av evalueringsresultater i styring og beslutningsprosesser Pågående evaluering av bruk av evalueringsresultatene 10
Kommentar fra Erik Solheim Kom bare på én eval-rapport (Sri Lanka) Tvil om evalueringene stiller de grunnleggende spørsmålene Ville heller ha få og overordnede enn mange detaljorienterte evalueringer Kan tyde på 1. at det ikke lykkes å skape noen offentlig oppmerksomhet rundt evalueringene 2. at embetsverket ikke løfter evalueringene opp til politisk ledelse Exit Strategies - Bistandstorget - 29-03-2007 11
Redaktør av Bistandsaktuelt Ønsker å bruke fagbladet som del av kvalitetssikring + skape debatt Prøver å bruke eval. så langt mulig (anslår at 60-70% av rapportene omtales) Ofte vanskelig å popularisere / bruke journalistisk pga. akademisk fagterminologi (og dårlig språk) Hører det samme fra bistandsarbeidere Ofte veldig vage formuleringer, alle mulige forbehold, ufarliggjøring (kritiske men ikke for kritiske) Årsrapportene gir ikke veldig oppsiktsvekkende funn Har evalueringene blitt mer akademiske øvelser enn et praktisk lærings- og korrigeringsverktøy?? Exit Strategies - Bistandstorget - 29-03-2007 12
Mer frittstående plassering? Riksrevisjonen Verdensbanken: DFID: Independent Evaluation Group (IEG) is an independent unit within the World Bank, and it reports directly to the Bank's Board of Executive Directors. The Independent Commission for Aid Impact (ICAI) ICAI is independent from DFID, reporting directly to the International Development Select Committee in Parliament. 13