Veileder i evaluering av Riksrevisjonens bistandsarbeid

Veileder i evaluering av Riksrevisjonens bistandsarbeid En håndbok for hvordan regelmessig gjennomgang og evaluering av Riksrevisjonens bistandsengasjement skal bidra til å dokumentere måloppnåelse, ressursbruk og erfaringsbasert læring. 20 september 2014 1

Innholdsfortegnelse Side 0 Innledning 3 Del I KONSEPTER OG PRINSIPPER 4 1 Hva er en evaluering? 4 2 Formålet med evaluering av Riksrevisjonens bistandsarbeid 4 3 Evalueringskriterier 5 4. Ulike typer evalueringsaktiviteter 6 4.1 Interne gjennomganger 6 4.2 Evalueringer 7 5 Tidspunkt for evalueringsaktiviteter? 8 5.1 Evalueringsaktiviteter i gjennomføringsfasen 8 5.2 Sluttevaluering. 8 5.3 Post-prosjekt evaluering. 9 5 Evaluering av Riksrevisjonens samlede bistandsarbeid 9 Del II EVALUERINGSPROSESSEN STEG FOR STEG 10 6 Planlegging og gjennomføring av evalueringer og gjennomganger 10 Steg 1: Innledende overveielser 11 Steg 2: Forberedelse av evalueringsarbeidet 12 Steg 3: Datainnsamling 14 Steg 4: Rapportering og distribusjon 15 Steg 5: Bruk av evalueringene og ledelsesinvolvering 16 8 Referanseliste 17 Vedlegg A: Evalueringskriterier 18 Vedlegg B: ToR Reviews/Evaluations 26 Vedlegg C: Erfaringer - anskaffelser av konsulenter ved bruk av anbud 28 2

0 Innledning Riksrevisjonens Policy for bistandssamarbeid (2015) fastslår at alle riksrevisjonens bistandsprosjekter skal evalueres. Dette dokumentet skisserer overordnede prinsipper og skal fungere som en veileder for evaluering av bistandsarbeidet/- prosjekter i Riksrevisjonen. Det er en uttalt målsetting for Riksrevisjonen å dokumentere resultatene av sin bistand. I tillegg skal erfaringer fra ulike samarbeidsprosjekter bidra til forbedrede metoder og arbeidsmåter, som i sin tur kan sikre større grad av måloppnåelse for bistandsprosjektene 1. Riksrevisjonens bistandsprosjekter er relativt små i norsk bistandssammenheng, og ressurser til evaluering må gjenspeile dette. Ofte vil flere aktører være inne for å støtte en riksrevisjon, enten med finansiell støtte eller teknisk rådgivning. Evalueringer skal utføres i samarbeid med andre relevante aktører der det er naturlig. Riksrevisjonens rolle kan da variere fra å være ledende aktør og invitere inn andre, til å delta i evalueringsprosesser initiert av andre. En evaluering kan gjennomføres internt eller bestilles av en ekstern evaluator. Dersom noe annet ikke er presisert i teksten gjelder det som sies i denne veilederen uavhengig av valg av evaluator. Veilederen har to deler; del I skisseres generelle prinsipper og begreper, mens del II beskriver evalueringsprosessen steg for steg. 1 Håndbok for Riksrevisjonens utviklingssamarbeid, mars 2009 3

Del I KONSEPTER OG PRINSIPPER 1 Hva er en evaluering? Evaluering er her brukt om en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, et tiltak, en virksomhet, et virkemiddel eller en sektor. 2 Evaluering av prosjekter skiller seg fra den regulære prosjektoppfølgingen ved at det planlegges for en bredere og/eller dypere analyse av prosjektet. Dette innebærer at man får en mer objektiv vurdering av prosjektet, ved at man etablerer andre problemstillinger og stiller nye spørsmål. Evalueringer gjennomføres av personer utenfor prosjektets ledelse. I denne veilederen skilles det mellom gjennomganger, som utføres internt i Riksrevisjonen av ansatte i internasjonal seksjon (men utenfor prosjektet), og evalueringer, som utføres av eksterne evaluatorer. Gjennomganger skiller seg også fra evalueringer ved at de oftest har et snevrere fokus enn evalueringer (se også kap 4). Gjennomganger fokuserer ofte på etterlevelse av Riksrevisjonens bistandsmetodikk. Som regel vil en evaluering ønske å se på både resultater og prosess i prosjektet, men det er også mulig å ha sterkere fokus på kun ett av forholdene. Man bør være bevisst på hvor i produksjonskjeden man ønsker å ha fokus. Kompleksitet i datainnsamling og analyse tiltar ettersom man går fra venstre til høyre i begrepene nedenfor: Ressurser(input) Produkter(output) -- -- -- Resultater(outcome) Effekter(impact) Gjennomganger og evalueringer kan gjennomføres underveis i gjennomføringen, ofte omtalt som midtveisgjennomganger eller -evalueringer, eller mot avslutning av prosjektet (sluttevaluering). Evaluering kan også gjøres etter at prosjektet er avsluttet (ex post). 2 Formålet med evaluering av Riksrevisjonens bistandsarbeid Riksrevisjonens evalueringsaktiviteter har generelt to hovedformål, nemlig læring og dokumentasjon. 2 Veileder til gjennomføring av evalueringer. Finansdepartementet 2005 4

Læring: Evaluering er et verktøy for å forbedre bistandsarbeidet og prosjektene gjennom tilbakeføring av erfaring fra pågående og avsluttede aktiviteter, både til Riksrevisjonen og til samarbeidende riksrevisjon. Et viktig spørsmål er om vi er på rett vei ift å nå målene vi har satt oss for arbeidet. Evalueringer forsøker å forklare hvorfor noen tiltak fungerer og andre ikke, og læringen fra dette kan benyttes til å øke relevansen, måloppnåelsen og effekten av arbeidet og bidra til kontinuerlig faglig utvikling. Dette gjøres gjennom kontinuerlig oppdatering og justering av pågående og planlagte prosjekter. Alt engasjement som planlegges og/eller rapporteres som bistand, det være seg enkeltstående tiltak av kort varighet eller brede institusjonelle samarbeidsprosjekter, skal evalueres og dokumenteres som del av Riksrevisjonens erfaringsbaserte læring. Hensikten er kontinuerlig utvikling av den bistandsfaglige metoden som Riksrevisjonen anvender, samt forbedring av pågående og fremtidige prosjekter. Dokumentasjon: Evaluering er også et verktøy for å dokumentere resultatene av Riksrevisjonens bistandsarbeid og bruken av ressurser. Evalueringer skal slik sikre transparens og ansvarlighet. 3 Evalueringskriterier All evaluering innbefatter en vurdering av aktiviteter eller resultater i relasjon til et sett av evalueringskriterier eller standarder. Å definere kriterier og standarder for evalueringen er et grunnleggende steg i enhver evaluering. Evaluering av kapasitetsbygging innebærer særskilte utfordringer. Kapasitetsbygging er i seg selv ikke et klart definert begrep. Det er et område som er langsiktig i sin natur, utviklingen er ikke nødvendigvis lineær, og der resultater ofte avhenger av at man har tatt tilstrekkelig høyde for konteksten. Resultater vil dessuten i mange tilfeller avhenge av faktorer utenfor Riksrevisjonens direkte kontroll. Dette setter også særskilte krav til evaluering av slike tiltak, da det ofte ikke er mulig å påvise resultater av kapasitetsbygging på kort sikt. Det kan være nyttig å ta en titt på et utvalg litteratur på dette feltet. 3 Man bør søke kriterier som støtter opp under formålet med evalueringen. Eksempler på kriterier som kan være spesielt relevante for evaluering av Riksrevisjonens bistandsprosjekter er f.eks.: OECD/Development Assistance Committee (OECD/DAC)(1999): Disse er anbefalt av OECD/DAC og er ofte brukt i evaluering av utviklingsbistand. De fem kriteriene er Effectiveness, Impact, Relevance, Sustainability og Efficiency 4 3 Capacity Development Literature Review, UTV Working Paper, Sida 2014:1 4 DAC Principles for Evaluation of Development Assistance 1991. Se også Looking Back, Moving Forward. Sida Evaluation Manual (2004) for redegjørelse om bruk av disse kriteriene 5

SAI-PMF (SAI Performance Measurement Framework): som er et globalt rammeverk for å måle riksrevisjoners fungeringsevne. AFROSAI-Es Institutional Capacity Building Framework (ICBF) er eksempel på kriterier som sier noe om en institusjons modenhet Det er viktig at man allerede i design av et prosjekt legger til rette for senere evalueringer, gjennom å utarbeide klare mål og forventede resultater. Et grunnleggende spørsmål for all evaluering er hvorvidt vi har utgjort en forskjell, så dette bør gjenspeiles i målene. En plan for evaluering skrives ofte inn i grunnlagsdokumenter og flerårsplaner. Valg av evalueringskriterier og metode for datainnsamling vil ofte avhenge av hvordan prosjektet er laget og hvilke data som er tenkt brukt. For at prosjektet skal kunne monitoreres og evalueres bør det ha en baseline. Baseline er data som beskriver forholdene før prosjektet startet, og tjener som et utgangspunkt for sammenligning (benchmarking) for å måle det man ønsker å se på (f.eks utvikling, måloppnåelse, prestasjon el.l). Baseline kan oppdateres underveis, f.eks ved milepæler eller som følge av evalueringer. Sammendrag av OECDs evalueringskriterier, sammendrag av IDIs SAI-PMF rammeverk og sammendrag av AFROSAI-Es rammeverk er Vedlegg A til denne veilederen. Andre potensielle kilder til kriterier for evalueringene kan være Riksrevisjonens bistandsmetodikk 5 for å vurdere etterlevelsen av bistandsmetodikken. Dette er ofte spesielt relevant for interne gjennomganger. 4. Ulike typer evalueringsaktiviteter Hvordan de enkelte bistandsprosjektene skal evalueres bør spesifiseres i prosjektavtalen mellom Riksrevisjonen og samarbeidende riksrevisjon. Riksrevisjonens bistandsprosjekter er ulike både i fokus (smalt/bredt), i varighet og når det gjelder ressursbruk. Dette må det tas hensyn til når man velger metode og omfang av evalueringene. Evaluering av bistandsprosjektene kan ha ulikt omfang, og ha form av en full evaluering, eller en begrenset intern gjennomgang av prosjektet. Anbefalingene i evalueringene og gjennomgangene skal drøftes og følges opp av årlig møte med samarbeidende riksrevisjon. 4.1 Interne gjennomganger Interne gjennomganger er mindre omfattende enn evalueringer, og teamet vil bestå av medarbeidere i Riksrevisjonen, fra Internasjonal seksjon og/eller fra andre seksjoner i Riksrevisjonen. Gjennomganger benyttes ofte i løpet av prosjektet for å vurdere etterlevelsen av Riksrevisjonens bistandsmetodikk. 5 Veileder for styring og kvalitetssikring av Rrs bistandsprosjekter (2014) 6

Alle Riksrevisjonens bistandsprosjekter skal være gjenstand for en intern gjennomgang ca 12 måneder etter at de er startet, for å identifisere erfaringer som er høstet så langt, vurdere om prosjektet er på rett spor og gi anbefalinger om eventuelle justeringer som bør foretas i prosjektet. Men gjennomganger kan også utføres både tidligere og senere, avhengig av behov. Tidspunktet for gjennomganger bør fastsettes også med hensyn til viktige milepæler i administrasjonen av prosjektet, som for eksempel avholdelse av årlig møte. Evalueringskriteriene beskrevet i forrige kapittel følges bare til en viss grad, da man ikke foretar dybdeanalyser og ikke vurderer prosjektets virkning (på impact eller outcome-nivå). Gjennomgangen har fokus på prosess, avtaleverk, ressursinnsats og resultater (på outputnivå). Foreliggende dokumentasjon, prosjektdokument, fremdrifts- og reiserapporter, møtereferat, med videre, vil utgjøre vesentlig del av informasjonsmaterialet. Det samme vil innspill fra medarbeidere i prosjektet. I enkelte tilfeller kan man også vurdere å innhente innspill fra samarbeidende riksrevisjon, men dette er vanligvis ikke nødvendig i en intern gjennomgang. Gjennomgangene kan ha form av skrivebords-studier som ser nærmere på hvordan prosjektet følges opp fra Internasjonal seksjon og samarbeidende riksrevisjon, herunder kommunikasjonen med partner-sai og saksbehandlings- og oppfølgingsrutiner i prosjektet. Forventet ressursbruk bør ikke overstige to ukesverk. 4.2 Evalueringer I forhold til gjennomganger er evalueringer mer uavhengige og omfattende dybdevurderinger basert på grundig og systematisk innsamling av data. 6 En evaluering omfatter normalt større deler av prosjektet, og vurderer prosjektet opp mot OECD/DAC-kriteriene og eventuelt andre tilleggskriterier. Anbefalinger for innretning på videre samarbeid, eventuelt for utfasing eller avslutning og/eller videreføring av tiltakene uten Riksrevisjonens støtte vil stå sentralt. Evalueringsrapporter blir i hovedregelen offentlige dokumenter. Det skal legges vekt på at evalueringen skal være upartisk og gjennomføres av personer som kan fremføre sine synspunkter uavhengig av partene som er involvert i samarbeidsprosjektet. Teamet skal bestå av eksterne personer med bistandskompetanse, kunnskap om riksrevisjoner, institusjonsutvikling samt evalueringserfaring. Eksempler kan være konsulenter, andre riksrevisjoner, representanter for utviklingsbanker eller lignende organisasjoner, akademia eller andre riksrevisjoner. Dersom evalueringen skal gjøres av eksterne sendes oppdragsbeskrivelse på anbud til konsulenter eller akademia. Det er utarbeidet et notat der erfaringer fra anskaffelser av konsulenter ved anbud til tidligere evalueringer er oppsummert 7. Eventuelt inviteres et utvalg av andre riksrevisjoner med egen erfaring innen 6 Håndbok for Riksrevisjonens utviklingssamarbeid, mars 2009 7 Vedlegg C: Erfaringer - anskaffelser av konsulenter ved bruk av anbud 7

evalueringer og/eller bistandsarbeid til å lage et teknisk tilbud. Utvelgelse av tilbyder samt teamsammensetning skjer på grunnlag av på forhånd fastsatte kriterier. Ressursbruk ved evalueringer vil variere, men det kan f.eks tenkes at 2-3 personer bruker 2 til 3 uker hver, inklusive besøk til samarbeidslandet. 5 Tidspunkt for evalueringsaktiviteter? 5.1 Evalueringsaktiviteter i gjennomføringsfasen Alle bistandsprosjekter skal normalt være gjenstand for en gjennomgang etter 12 måneder. Det er også mulig å gjennomføre evalueringer underveis i prosjektet dersom det er behov for det. Disse vil på lik måte som gjennomgangen etter 12 måneder særlig vektlegge erfaringer så langt, og gi anbefalinger om eventuelle justeringer som bør foretas i prosjektet. Vurdering av potensialet for videre samarbeid og/eller videreføring av tiltakene uten Riksrevisjonens støtte vil også kunne vurderes. Evalueringer underveis vil i noen tilfeller også fokusere på resultatoppnåelsen om resultatene (outputs) vil kunne oppnås, og om de vil bidra til å nå prosjektets målsetting (outcome) 8. Evalueringer eller gjennomganger mot slutten av en prosjektperiode vil ofte ligge til grunn for en anbefaling hvorvidt samarbeidet med partner-sai skal videreføres eller avsluttes etter endt prosjektperiode. Hvis prosjektet besluttes videreført, skal konklusjoner og anbefalinger fra sluttgjennomgangen og sluttevalueringen være sentrale i utformingen av nytt prosjektdokument. Evalueringer er ressurskrevende prosesser. Hensiktsmessigheten av å foreta en evaluering i gjennomføringsfasen må ses i lys av hvordan prosjektdriften generelt sett forløper, men etter 5 år vil det være naturlig å vurdere om det er behov for en evaluering eller gjennomgang på prosjektet. Dette må ses i lys av prosjektets størrelse, tidligere gjennomganger, ønske fra partnerne etc. 5.2 Sluttevaluering. Det skal som hovedregel gjennomføres en evaluering av prosjektet etter at det er avsluttet. En sluttevaluering skal omfatte hele prosjektet, og vurdere prosjektet opp mot OECD/DAC-kriteriene og eventuelt andre tilleggskriterier. Sammensetning av teamet (internt, ekstern, antall, mv) vil avhenge av prosjektets omfang, hvorvidt prosjektet er evaluert/dokumentert av andre, og av om det foreligger spesielle forhold man ønsker å se på. En sluttevaluering vil ofte se nøyere på: 8 Håndbok for Riksrevisjonens utviklingssamarbeid, mars 2009 8

1. Effekt og virkning 2. Relevans og bærekraftighet Dersom prosjektet er lite 9, det er gjennomført flere evalueringer eller gjennomganger tidligere, eller det avsluttes før tiden av spesielle årsaker, kan det besluttes at det istedenfor en evaluering bare skal foretas en sluttgjennomgang eller oppsummering av lærdommer i form av et sluttdokument. 5.3 Post-prosjekt evaluering. I noen tilfeller hvor man ønsker å se på effekten eller bærekraften av et prosjekt etter at det er avsluttet, kan en post-prosjekt evaluering vurderes gjennomført ett til tre år etter prosjektets slutt. Tiltakets virkning og bæreevne er i fokus, og denne formen for evaluering har særlig stort potensial for erfaringshøsting relatert til Riksrevisjonens bistandsmetodikk. 5 Evaluering av Riksrevisjonens samlede bistandsarbeid Riksrevisjonens samlede bistandsarbeid skal i regelen evalueres en gang per strategisk planperiode i Riksrevisjonen. Hovedformålet vil være å vurdere metodisk innretning, kostnadseffektivitet samt effekt av bistandsprosjektene. Gjennomførte prosjektevalueringer og prosjektgjennomganger vil bli del av bakgrunnsinformasjonen. Relevante evalueringskriterier vil blant annet være DAC-kriteriene og/eller målsetninger i Riksrevisjonens strategi og årsplaner. Så vel prosess som resultat kan evalueres, samt RRs ressursbruk og samarbeid med Riksrevisjonens øvrige enheter. Eksempler på relevante evalueringsspørsmål er: - I hvilken grad har prosjektet oppnådd de ønskede resultater og effekter? - Er målsettingene realistiske? - I hvilken grad har arbeidet vært koordinert med andre aktører, og i hvilken grad har den landspesifikke innsatsen vært harmonisert med nasjonale prioriteringer? - I hvilken grad har arbeidet vært gjennomført på en måte som fremmer nasjonalt og lokalt eierskap, og i hvilken grad oppleves arbeidet som relevant blant sentrale aktører? 9 Et "lite" prosjekt er ikke spesifikt definert, men vil typisk bare inneholde samarbeid på ett eller to områder, ikke ha vart over tre år samt har båndlagt færre enn 1000 dagsverk. 9

Del II EVALUERINGSPROSESSEN STEG FOR STEG 6 Planlegging og gjennomføring av evalueringer og gjennomganger Det skal lages en årlig plan for når bistandsprosjektene skal gjennomgås eller evalueres. Planen gjenspeiles i internasjonal seksjons ressursplanlegging og budsjett. Beslutningen om og eventuelt når det skal gjennomføres en gjennomgang eller en evaluering fattes av leder for internasjonal seksjon i samråd med respektive prosjektkoordinator, og reflekteres i avdelingens virksomhetsplan. Evaluering av prosjektet skal være i prosjektkoordinators bevissthet allerede fra planleggingsstadiet av prosjektet, ikke minst for at det skal etableres gode (rutiner for bruk av) data egnet for monitorering og evaluering. Følgende kriterier tillegges vekt ved vurderingen av om og når evaluering skal utføres: Vurdering av risiko for at målsettingene for bistanden ikke nås (jf Riksrevisjonens strategiske plan, bistandsstrategien eller prosjektdokumentet). Er målene fremdeles relevante? Planer for evaluering i avtaleverket/årsplan med samarbeidende SAI. Er det gjennom rapportering og oppfølgingsbesøk identifisert større utfordringer i prosjektet? Prosjektets vesentlighet, særlig i forhold til prinsipielle spørsmål og økonomi Prosjektets omfang, dvs. antall områder Riksrevisjonen er engasjert i (bredden på samarbeidet), størrelsen på prosjektet (antall dagsverk STA/LTA), varigheten på samarbeidet, samarbeid med flere aktører, mv. Eksistensen av andre kvalitetssikringsprodukter, f. eks gjennomførte eller planlagte evalueringer utført av andre. Steg for steg. Hovedfasene i evalueringsprosessen kan deles inn i: 1. Innledende overveielser 2. Forberedelse og planlegging av evalueringsarbeidet 3. Datainnsamling 4. Rapportering og distribusjon av resultatene 5. Bruk av evalueringene og ledelsesinvolvering For enkelhets skyld vil evalueringer benyttes som felles terminologi for både evalueringer og gjennomganger i denne delen av veilederen, med unntak av de steder hvor fremgangsmåtene må spesifiseres fordi metodene blir ulike. Prosjektkoordinator i Riksrevisjonen ansvarlig for en gitt evaluering oppfordres til å konsultere litteraturen som refereres til i kapittel 8, "Referanseliste". 10

Steg 1: Innledende overveielser Det er en rekke forhold som bør avklares før man starter opp en evaluering. Involvering av interessenter er en første ting man bør overveie. Evalueringer bør gjennomføres i "partnerskapsånd", det vil si at Riksrevisjonens partner-sai og andre involverte parter (for eksempel donorer) bør oppfordres til å delta aktivt i evalueringene. Hvem som skal delta, på hvilken måte, og i hvilken fase må tenkes igjennom på et tidlig tidspunkt. Kvaliteten på evalueringer øker gjerne når partner-sai og andre interessenter er aktivt involvert i evalueringsprosessen. Blant fordelene med involvering er større presisjon og dybde på informasjonen, økt troverdighet og aksept av funnene, og større overensstemmelse med den faktiske virksomheten. En prosess preget av bred deltakelse av ansatte i samarbeidende SAI kan føre til økt bevissthet om prosjektet og muligheter og utfordringene som måtte finnes. Partner-SAI bør involveres ved oppstarten og gi innspill til ToR. De vil naturlig bli involvert i datainnsamlingen gjennom intervjuer, og de bør også få uttale seg om utkastet før det ferdigstilles. Det stiller seg noe annerledes når det gjelder interne gjennomganger, som ender opp i som en intern rapport i Riksrevisjonen. Partner- SAI bør uansett informeres om oppstarten og resultatene av gjennomgangen. Involvering av interessenter kan imidlertid øke både kostnader og tidsbruk, dette må også tas med i betraktningen. Definere formålet med evalueringen er en av de viktigste oppgavene i tidlig fase av evalueringsprosessen. Et klart formål gjør det enklere å formulere evalueringsspørsmål, og vil gjøre det lettere, for både eksterne og interne evaluatorer å produsere en undersøkelse som anses som relevant og nyttig. Formålet bør formuleres på en måte som spesifiserer hva man ønsker svar på med evalueringen, og konkretiseres ytterligere gjennom formuleringen av evalueringsspørsmål. Tidligere gjennomførte evalueringer kan brukes som inspirasjon eller eksempler. Organisering av evalueringsarbeidet. Det kan være nødvendig å etablere en formell organisering for å håndtere komplekse evalueringer, for eksempel gjennom å etablere en referansegruppe eller styringsgruppe i Riksrevisjonen. For interne gjennomganger er dette normalt ikke nødvendig. Mens en referansegruppe er et rådgivende organ, er en styringsgruppe opprettet for å involvere flere i viktige beslutninger i evalueringsprosessen. Saksbehandler for prosjektet kan ikke være saksbehandler for gjennomgangen eller evalueringen. Dette for å sikre habilitet og objektivitet. Saksbehandler skal normalt heller ikke sitte i referansegruppen for evalueringen. En referansegruppe bør bestå av deltakere fra int.sek og noen fra Rr fra forvaltningsrevisjonen og/eller med evalueringserfaring. 11

Typiske oppgaver for referansegrupper og styringsgrupper er å gi input til og ev. godkjenne ToR, følge opp og godkjenne rekrutteringen av eksterne evaluatorer, kommentere på rapportutkast og å godkjenne endelig rapport. Det må også utpekes ansvarlig kontaktperson(er) i partner-sai, som skal legge praktisk til rette for evalueringen. Steg 2: Forberedelse av evalueringsarbeidet Kompleksiteten i forberedelsene vil variere fra gang til gang, og vil blant annet avhenge av om det skal gjennomføres en evaluering (ekstern) eller en gjennomgang (intern). Det er ønskelig at den som er koordinator for evalueringen fra Riksrevisjonens side kjenner godt til prosjektet eller tiltaket som skal evalueres bl.a. tidsperioden prosjektet dekker, formålet med prosjektet, aktiviteter og resultater etc. Forberedelsene bør omfatte følgende aktiviteter: Identifisere evalueringskriterier Man bør søke kriterier som støtter opp under formålet med evalueringen (se kapittel 3). Normalt bør anvendeligheten av OECD/DACs standard evalueringskriterier alltid vurderes. Avhengig av formålet med evalueringen kan også andre, mer spesifikke kriterier vurderes, som SAI-PMF eller AFROSAI-Es ICBF rammeverk. Kriteriene bør ses på som redskap for å utarbeide gode evalueringsspørsmål. Formulere evalueringsspørsmål: Å avgrense fokus og omfang av evalueringen eller gjennomgangen, er viktig for å sikre en kostnadseffektiv bruk av ressursene. En vellykket evaluering forutsetter at man greier å stille gode evalueringsspørsmål. Spørsmålene tar utgangspunkt i formålet og kriteriene for evalueringen og forsøker å konkretisere og ytterligere spesifisere hva man ønsker å få svar på. Ved utarbeidelse av spørsmålene kan det være at man ser behov for å endre evalueringskriteriene. Gode spørsmål kjennetegnes ved at de er klare og entydige. Ved utviklingen av evalueringsspørsmålene må man spørre seg: - Hva ønsker man å få vite, og hvilke spørsmål skal evalueringen gi svar på? - Hvilken informasjon er nødvendig å framskaffe for å tilfredsstille formålet for evalueringen? - Er det mulig å "måle" det man ønsker? - Hvilke kriterier er relevante for undersøkelsen? - Er det andre ting som er viktige å få svar på i evalueringen (f.eks fra prosjektdokumentet)? - Hva ønsker man å lære fra evalueringen? Er det særskilte erfaringer som er spesielt relevante? 12

Ved å besvare evalueringsspørsmålene skal man oppfylle/besvare formålet med evalueringen. Det kan være utfordrende å utarbeide gode og konkrete evalueringsspørsmål. Forvaltningsrevisorer i Riksrevisjonen har ofte god kompetanse på dette, og det kan vurderes å involvere noen fra forvaltningsrevisjonen i utarbeidelsen av spørsmålene for å sikre realisme og god sammenheng mellom formål og problemstillinger. Vurdere evaluerbarheten: å vurdere i hvilken grad de foreslåtte evalueringsspørsmålene kan besvares. Dette kan i noen tilfeller føre til endringer i evalueringsdesignet. Enkelte spørsmål kan bli strøket fordi de er for krevende eller kostnadskrevende å besvare, andre vil måtte utdypes. Av faktorer som avgjør evaluerbarheten er følgende særlig viktige: - Tilgjengeligheten av og kvaliteten på relevante data er avgjørende for enhver evaluering. Baseline-informasjon er nødvendig for evalueringer som skal se på effekter, siden de tjener som "benchmark" som utvikling kan måles mot. Data om implementering av aktiviteter og resultater er viktige i alle typer evalueringer. Data som er sentrale å bruke i evalueringene er blant annet planer og rapporter, budsjett og regnskap, møtereferater, metodeveiledere, strategidokumenter etc. - En vellykket evaluering krever også at nøkkelinformanter er villige og har mulighet til å delta i datainnsamlingen. - Timing er også et viktig aspekt. Dersom prosjektet fremdeles er i implementeringsfasen, vil det være for tidlig å se på resultater og effekter. Men man kan i så fall se på sannsynligheten for at forventede effekter vil inntreffe. En utfordring dersom man skal vurdere måloppnåelsen i et prosjekt, kan være realismen i målene i prosjektdokumentet. I mange tilfeller er prosjektdokumentet partner-sais dokument, et dokument som brukes mot flere partnere, og der Riksrevisjonen har hatt begrenset innflytelse på målformuleringer. Dette må også tas høyde for her. Estimere kostnaden av evalueringen: En mer detaljert estimering av kostnadene kan være nyttig for å indikere ambisjonsnivået. Dette kan være viktig for Riksrevisjonens økonomiske planlegging og fordi dette vil være bestemmende i forhold til anskaffelsesprosedyrer. Skrive Terms of Reference (ToR): Denne summerer resultatene av forberedelsene som er gjort så langt. Den skal skissere en arbeids- og tidsplan for oppgaven, nødvendige kvalifikasjoner og sammensetningen av evalueringsteamet, og rapporter og andre outputs evaluatorene skal levere i henhold til kontrakt. ToR kan også indikere hvilken metode som skal benyttes for datainnsamling og metode, men der eksterne konsulenter brukes er det mest vanlig at dette spesifiseres i deres anbudsdokumenter (se Steg 8). 13

ToR'en er hovedverktøyet for å instruere evaluatorene om hvordan oppgaven skal utføres, og dokumenterer også de viktigste momentene i avtalen mellom Riksrevisjonen og ev. evalueringspartnere. Det er derfor viktig at den er godt gjennomarbeidet så den fremmer felles forståelse mellom Riksrevisjonen og de ansvarlige for evalueringen. Normalt vil samarbeidende riksrevisjon, og eventuelt andre relevante samarbeidspartnere, bli invitert til å kommentere på ToR. Slik kan man sikre at deres fokus også tillegges vekt, og derved høyne både relevans og utbytte av evalueringen. Eksempel på mal for ToR er Vedlegg B. Se også eksempler fra tidligere gjennomførte evalueringer. Rekruttere evaluatorer/sammensetning av team: Teamsammensetning ved interne gjennomganger foretas ut fra hensiktsmessighetsbetraktninger i forhold til teknisk samt geografisk områdekunnskap. Internasjonal seksjon vil i teamsammensetningen vurdere å trekke veksler på kompetanse fra andre enheter i Riksrevisjonen. Ved bemanning av team for eksterne evalueringer vil regelverk for offentlige anskaffelser følges. Innhenting av anbud vil følgelig som oftest være relevant. ToR kan da være godt utgangspunkt for beskrivelse av tjenesten som etterspørres. Anbudstilbudet som etterspørres kan være en "Technical Proposal" (TP), hvor tilbyder konkretiserer ToR. Detalj- og spesifiseringsnivået i TP vil være sentralt kriterium for å velge blant tilbyderne. I kontrakten med de eksterne evaluatorene vil ToR og TP være sentrale, f. eks ved at ToR inkluderes i kontraktens hovedtekst mens TP er vedlegg til kontrakt. Kontrakter kvalitetssikres av Juridisk seksjon i Riksrevisjonen. Notat om anbudsprosessen ved evalueringer finnes i vedlegg C Steg 3: Datainnsamling Oppstartsfasen I denne fasen må generelle evalueringsspørsmål fra ToR utvikles til mer konkrete, undersøkelsesbare spørsmål. For eksempel, om det i ToR spørres om effektiviteten av tiltakene, må evaluatorene utvikle indikatorer som klargjør hva som kan anses som kostnadseffektiv bruk av ressursene i det særskilte tilfellet. Uklare målformuleringer må kanskje også reformuleres eller spesifiseres for å gjøre dem empirisk etterprøvbare. Også konkret metode og arbeidsplan for undersøkelsen må videreutvikles av evaluatorene, utover det som er presentert i ToR. Andre endringer i forhold til ToR 14

må også spesifiseres. Ved interne gjennomganger utfører Riksrevisjonen dette arbeidet selv Der eksterne konsulenter brukes vil normalt ToR/TP bli ytterligere spesifisert i en Inception report. I inception-rapporten beskriver de eksterne konsulentene nærmere hvordan de forstår ToR og går i detalj på hvordan de vil gjennomføre evalueringen mht spesifikt fokus og omfang av evalueringen, konkretisering/ spesifisering av evalueringsspørsmålene, og metoder for sampling og datainnsamling, samt en konkret aktivitetsplan. Det er viktig at Riksrevisjonen og de eksterne konsulentene er omforent om inception report før undersøkelsen starter opp. Oppfølging av evaluatorene Den ansvarlige for evalueringen i Riksrevisjonen har ansvaret for å bidra til å utvikle en effektiv arbeidsrelasjon til evaluatorene, det være seg om de er interne ressurser, eller eksterne konsulenter. Fra planleggingsfasen bør begge parter ha en klar felles forståelse av hvordan evalueringen skal gjennomføres, hvem som skal gjøre hva, hva som skal produseres og når leveringer er forventet. I gjennomføringen vil oppgaven til den ansvarlige i Riksrevisjonen først og fremst være å sikre at evaluatorene får tilstrekkelig assistanse i praktiske saker, som f. eks å skaffe tilveie relevante bakgrunnsdokumenter, introduksjonsbrev, forberede feltbesøk, booke intervjuer etc. Det kan være lurt å holde kontakt med de eksterne evaluatorene underveis for å sikre at prosessen er på sporet, og at man har en felles forståelse av leveringer. Steg 4: Rapportering og distribusjon Gjennomgå rapportutkastet Rapportutkastet må gjennomgås for å sikre at rapporten oppfyller formatkravene man har blitt enige om, og for å sikre at den svarer på evalueringsspørsmålene i ToR'en på en kvalitetsmessig god måte. Hva som utgjør god kvalitet kan variere fra tilfelle til tilfelle, men generelle kvalitetskriterier er bl.a.: - Klart formulerte evalueringsspørsmål, så leserne kan forstå hvordan funnene i rapporten skal tolkes. - Klar presentasjon av kriterier og standarder som er grunnlaget for vurderingene i rapporten. - Rapporten bør klargjøre kilder for data og datainnsamlingsmetoder - Logiske argumenter, så leserne kan følge hvert steg fra evalueringsspørsmål til svaret. Fakta og underlagsmateriale bør presenteres klart - Fremstilling bør være balansert, og omfatte både styrker og svakheter 15

- Klargjøre begrensningene i undersøkelsen når både det gjelder omfang av undersøkelsen og analysen. Mal for rapport er vedlegg D Rekkefølgen for de som skal gjennomgå og kommentere på rapportutkastet til en ekstern evaluering er som hovedregel følgende: Utkastet bør først sendes til evalueringsansvarlig i int.sek og seksjonsleder for korrigering av eventuelle misforståelser eller faktafeil. Så sendes utkastet til referansegruppa, prosjektleder og partner for kommentarer Ved interne gjennomganger vil som hovedregel prosjektansvarlig få anledning til å gå igjennom utkastet før det sendes videre for kommentarer. Så sendes utkastet til referansegruppe/styringsgruppe for kommentarer og seksjonsleder for godkjenning før utkastet sendes til partner-sai for kommentarer. Kommunikasjon med partner-sai og andre parter Den ansvarlige for evalueringen skal sørge for at rapportutkastet blir delt med partner-sai og andre relevante parter. Dette kan dette sikre at nødvendig tilleggsinformasjon kommer med og at faktiske feil blir rettet. Det er viktig at nøkkelinformanter og partner-sai blir gitt muligheten til å kommentere utkastet før det ferdigstilles. God kommunikasjon i denne prosessen sikrer at rapporten blir så nyttig som mulig. Der det er mulig kan det være hensiktsmessig å ha en workshop med partner-sai der man går igjennom og diskuterer rapportutkastet i fellesskap. Dette gjelder ikke for interne gjennomganger, som er interne dokumenter i Riksrevisjonen. Distribuere resultatene Til hvem, når og hvordan resultatene av evalueringen skal bli distribuert bør diskuteres med partner-sai. Det er mange måter å distribuere funnene på, bl.a. i møter, seminarer, workshops, konferanser etc. Rapporter fra evalueringene som hovedregel offentlige dokumenter. Interne gjennomganger er derimot interne dokumenter, som i hovedsak kun deles internt i Riksrevisjonen. Steg 5: Bruk av evalueringene og ledelsesinvolvering Oppfølgingsnotat. Det lages et oppfølgingsnotat etter hver gjennomført evaluering. Notatet legges frem for avdelingsledelse. 16

Notatet skal blant annet inneholde en oppfølgingsplan, samt vise til erfaringer fra prosjektet som kan bidra til utvikling av RRs bistandsmetode. Det skal rapporteres på oppfølgingsplanen etter ett år. Dokumentasjon og tverrfaglig erfaringsoverføring. Evalueringsdokumentene skal kategoriseres og oppbevares samlet og oversiktlig for å legge til rette for erfaringsoverføring på tvers av fag- og geografiske områder. Materialet stilles til rådighet for de såkalte fagnettverkene organisert av internasjonal seksjon. 8 Referanseliste Håndbok for Riksrevisjonens utviklingssamarbeid, mars 2009 Looking Back, Moving Forward. Sida Evaluation Manual, 2004 Veileder til gjennomføring av evalueringer. Finansdepartementet 2005 Evaluation of Development Assistance. Royal Ministry of Foreign Affairs, Norway 17

Vedlegg A: Evalueringskriterier OECD/DAC Evalueringskriterier When evaluating programs and projects it is useful to consider the following DAC Criteria, as laid out in the DAC Principles for Evaluation of Development Assistance: Relevance The extent to which the aid activity is suited to the priorities and policies of the target group, recipient and donor. In evaluating the relevance of a programme or a project, it is useful to consider the following questions: - To what extent are the objectives of the programme still valid? - Are the activities and outputs of the programme consistent with the overall goal and the attainment of its objectives? - Are the activities and outputs of the programme consistent with the intended impacts and effects? Effectiveness A measure of the extent to which an aid activity attains its objectives. In evaluating the effectiveness of a programme or a project, it is useful to consider the following questions: - To what extent were the objectives achieved / are likely to be achieved? - What were the major factors influencing the achievement or non-achievement of the objectives? Efficiency Efficiency measures the outputs -- qualitative and quantitative -- in relation to the inputs. It is an economic term which signifies that the aid uses the least costly resources possible in order to achieve the desired results. This generally requires comparing alternative approaches to achieving the same outputs, to see whether the most efficient process has been adopted. When evaluating the efficiency of a programme or a project, it is useful to consider the following questions: - Were activities cost-efficient? - Were objectives achieved on time? - Was the programme or project implemented in the most efficient way compared to alternatives? Impact The positive and negative changes produced by a development intervention, directly or indirectly, intended or unintended. This involves the main impacts and effects resulting from the activity on the local social, economic, environmental and other development indicators. The examination should be concerned with both intended and unintended results and must also include the positive and negative impact of external factors, such as changes in terms of trade and financial conditions. 18

When evaluating the impact of a programme or a project, it is useful to consider the following questions: - What has happened as a result of the programme or project? - What real difference has the activity made to the beneficiaries? - How many people have been affected? Sustainability Sustainability is concerned with measuring whether the benefits of an activity are likely to continue after donor funding has been withdrawn. Projects need to be environmentally as well as financially sustainable. When evaluating the sustainability of a programme or a project, it is useful to consider the following questions: - To what extent did the benefits of a programme or project continue after donor funding ceased? - What were the major factors which influenced the achievement or non-achievement of sustainability of the programme or project? 19

SAI Performance Measurement Framework (SAI-PMF) SAI PMF is a tool for measuring, monitoring, managing and reporting the performance of a Supreme Audit Institution The SAI PMF consists of a set of measurable indicators and guidance for a qualitative performance analysis. (See the structure of the SAI PMF in figure 1.) As a first step, performance is measured by indicators in seven domains. Subsequently, linkages between the domains, issues not covered by the indicators, and external factors (like country context and political economy) are analyzed in a narrative performance report to provide an overall picture of the SAI s performance. As shown in figure 1, the seven performance domains are: A. SAI performance (audit results and annual reporting), B. independence and legal framework, C. strategy and organizational development, D. audit standards and methodology, E. management and support structures, F. human resources, and G. communication and stakeholder management. Figure 1: The Structure of the SAI Performance Management Framework 20

Overview of Indicators including Dimensions Indicator Page Domain Dimensions 35 A. SAI Reporting SAI-1 38 Financial Audit Results (i). Financial audit coverage (ii). Submission of financial audit results (iii). Publication and dissemination of financial audit results (iv). SAI follow-up on implementation of financial audit observations and recommendations SAI-2 41 Compliance Audit Results SAI-3 44 Performance Audit Results SAI-4 47 Judgment Results Additional indicator for Courts of Accounts SAI-5 51 Annual Report & Other Reports (i). Compliance audit coverage (ii). Submission of compliance audit results (iii). Publication and dissemination of compliance audit results (iv). SAI follow-up on implementation of compliance audit observations and recommendations (i). Coverage, selection and objective of performance audits (ii). Submission, publication and dissemination of performance audit results (iii). SAI follow-up on implementation of performance audit observations and recommendations (i). Number of judgments in comparison to number of output documents requiring a judgment (ii). Reduction of the output documents average time until judgment (iii). Use of powers in case of irregularities (iv). SAI monitoring and follow-up of judgments and sanctions (i). Content and submission of SAI annual report (ii). Publication and dissemination of SAI annual report (iii). Measuring and reporting on the SAIs Performance (iv). Reporting on SAI Value Added Services and Other Mandatory Functions 55 B. Independence and Legal Framework SAI-6 56 Independence of the SAI (i). Appropriate and effective constitutional and statutory legal framework (ii). Financial independence / autonomy (iii). Organizational independence / autonomy (iv). Independence of the Head of SAI and its Officials SAI-7 59 Mandate of the SAI (i). Sufficiently broad mandate (ii). Access to information (iii). Right and obligation to report (iv). Existence of effective follow up mechanisms 62 C. Strategy for Organizational Development SAI-8 63 Strategy for Organizational Development 65 D. Audit Standards and Methodology SAI-9 68 Overall Audit Planning and Quality Management SAI-10 71 Quality Assurance of Audit Processes SAI-11 78 Financial Audit Foundations (i). Content of the strategic plan (ii). Strategic planning process (iii). Content of the annual plan (iv). Annual planning process (i). Audit planning process (ii). Audit plan content (iii). Quality control system (iv). Quality assurance system (i). Quality assurance of financial audit (ii). Quality assurance of compliance audit (iii). Quality assurance of performance audit (iv). Quality assurance of outsourced audits (i). Financial Audit Standards and guidance (ii). Ethics and independence in Financial Audit 21

(iii). Quality control in Financial Audit (iv). Financial audit Team Management and Skills SAI-12 83 Financial Audit Process (i). Planning Financial Audits (ii). Implementing Financial Audits (iii). Evaluating Audit Evidence, Concluding and Reporting in Financial Audits SAI-13 89 Compliance Audit Foundations SAI-14 93 Compliance Audit Process SAI-15 97 Performance Audit Foundations SAI-16 100 Performance Audit Process SAI-17 103 Judgment Process Additional indicator for Courts of Accounts 105 E. Management and Support Structures SAI-18 106 Ethics, Management and Internal Control SAI-19 109 Asset Management and Support Services 111 F. Human Resources and Leadership SAI-20 113 Human Resource Leadership and Function SAI-21 116 Professional Development and Training 118 G. Communication and Stakeholder Management SAI-22 119 Communications Strategy and Internal Communication SAI-23 121 Communication with the Legislature, Judiciary and Executive SAI-24 123 Communication with the Media, Citizens and Civil Society Organizations (i). Compliance Audit Standards and guidance (ii). Ethics and Independence in Compliance Audit (iii). Quality control in Compliance Audit (iv). Compliance Audit Team Management and Skills (i). Planning Compliance Audits (ii). Implementing Compliance Audits (iii). Evaluating Audit Evidence, Concluding and Reporting in Compliance Audits (i). Performance Audit Standards and guidance (ii). Ethics and Independence in Performance Audit (iii). Quality Control in Performance Audit (iv). Performance Audit Team Management and Skills (i). Planning Performance Audits (ii). Implementing Performance Audits (iii). Reporting in Performance Audits (i). Accounts Judging Procedure (ii). Transparency of the Judgment Process (i). Code of Ethics and Integrity (ii). Management of Staff (iii). Financial Management (iv). Internal Control Environment (i). Planning and Effective Use of Assets and Infrastructure (ii). Administrative Support Services (i). Leadership of Human Resources (ii). Human Resources Strategy (iii). Human Resources Function and Recruitment (iv). Remuneration, Promotion and Staff Welfare (i). Plans and Processes for Professional Development and Training (ii). Professional Development and Training in Relevant Audit Disciplines (i). Communications Strategy (ii). Good Practices Regarding Internal Communication (i). Good Practices Regarding Communication with the Legislature (ii). Good Practices Regarding Communication with the Judiciary, Prosecuting and Investigating Agencies (iii). Good Practices Regarding Communication with the Executive (i). Good Practices Regarding Communication with the Media (ii). Good Practices Regarding Communication with Citizens and Civil Society Organisations 22

AFROSAI-Es ICBF Matrise AFROSAI-E Institutional Capacity Building Framework: A GENERIC FORMAT OF THE INSTITUTIONAL PERSPECTIVE Independence and Legal Framework Organisation and Management Human Resources Audit Standards and Methodology Communication and Stakeholder Management Independence of the SAI Constitutional/legal framework Financial and managerial/ administrative autonomy Appropriate human, material and monetary resources Strategic and operational planning A human resource and professional development policy including: Recruitment Remuneration Performance management system Professional development Job rotation Overall annual audit plan covering - Assessment of constraints Risk assessment in place for prioritizing audit risk Clear statement of audit coverage Activity plans for regularity and performance audits Addressing of backlogs Communication strategy covering internal and external communications based on : Legal framework Vision mission and values Stakeholder analysis (including prioritisation) SWOT or similar analysis Gap analysis considerations Independence of the head of the SAI and officials of the SAI Leadership and Direction Management Development Annual development plan aligned with a strategic plan Audit manuals: Aligned to international audit standards Connected to a training programme Reviewed and updated regularly Channels of communication between SAI and Parliament, PAC and Judiciary. 23

Independence and Legal Framework Organisation and Management Human Resources Audit Standards and Methodology Communication and Stakeholder Management Mandate and discretion to discharge its functions: Access to information Discretion in selection audit topics Freedom to decide on content, timing and publishing reports Direct submission of reports to Parliament The organisation of the SAI Organisational development Performance audit unit IT :audit unit/ function; IT support unit/function Recruitment system of all staff based on preset criteria Quality control measures and quality assurance - SAI policy and procedures Roles and responsibilities defined Type of review specified and planned, including nature, scope and frequency Implementation of a quality assurance handbook or guidance for full compliance to international standards Quality assurance processes on audits performed by others Ad hoc meetings with Ministry of Finance and oversight bodies. Effective follow-up mechanism at the SAI on its recommendations The right and obligation of the SAI to report on its work Internal control: Appropriate structures, rules, regulations and procedures Internal audit Use of resources A management information system tracking key management information A time recording system to enable reporting of all costs Performance appraisal system Filing in of vacant posts Audit techniques such as electronic working papers and computer assisted audit techniques including appropriate IT support A communication strategy with the auditee for the audit process SAI communication with Relevant experts Professional bodies Relevant journals Internal audit SAI participation in work-shops seminars to promote the SAI. This can involve - Media Public Academic institutions International community and organisations Internal communication including Alignment of staff to SAI s vision, mission, goals and objectives Implementation of effective information sharing 24

Independence and Legal Framework Organisation and Management Human Resources Audit Standards and Methodology Communication and Stakeholder Management Other public sector audit institutions practices Oversight and accountability: The Parliament or an oversight body appoints the SAI s external auditors Code of ethics and its monitoring Career progression process SAI reporting should include - Follow up on previous recommendations Standard structure of reports, user friendly with materiality considerations Audit performance Coverage Timeliness for the submission of the audit report to legislation Follow up of PAC recommendations Results Infrastructure and support services Remuneration system based on job profiles and performance Training aspects with evaluation mechanisms for - Specific considerations for performance and special engagement audits: New entrants On-the-job training Secondments to other SAIs Professional audit/ accounting quailfications Coaching and mentoring process Reports in line with guidance and manuals Report tabled in Parliament 25

Vedlegg B: ToR Reviews/Evaluations Template Terms of Reference for Reviews / Evaluations * 1. BACKGROUND AND CONTEXT Title and a short historical background of the project Short description of the project (ref. LFA matrix) 2. OBJECTIVES OF THE REVIEW/EVALUATION Why the review/evaluation is being done (ref. project document) The main purpose of the review/evaluation For whom it is intended The planned outputs of the review/evaluation (e.g. report, presentations, seminars etc.) 3. EVALUATION CRITERIA State the scope and limits of the review/evaluation including main criteria: o Relevance (Are the project objectives contributing to solving the real challenges?) o Efficiency (Where the results achieved at reasonable costs?) o Effectiveness (Do the results contribute to achieving the project purpose?) o Impact (Does the project have any effect on the project goal?) o Sustainability (Will the effects of the project continue and last after the end of the implementation?) Address some of the key questions to be studied under each criteria with particular emphasis on risk management, audit and anti-corruption measures Address some key questions, preferably linked to the main criteria specifically relevant for a Supreme Audit Institution * Whereas reviews (no: gjennomganger) might be conducted by the OAGN (no: Riksrevisjonen) staff, the evaluations are to be implemented by use of external resources. While contracting external resources, being consultants or peers from other SAIs, it is common practice to invite the consultants/team to produce a specified ToR in form of a "Technical Proposal". The TP could both serve as an instrument to select among different bidders in a competitive process, as well as a detailed work plan for the evaluation team. 26