1. HVA ER EN EVALUERINGSSTRATEGI? HENSIKTEN MED FOKUS EVALUERINGSSTRATEGI NORMER OG VERDIER NOEN DEFINISJONER OG AVKLARINGER...

Transkript

1 EVALUERINGSSTRATEGI FOR FOKUS Oslo 2013 Innhold: 1. HVA ER EN EVALUERINGSSTRATEGI? HENSIKTEN MED FOKUS EVALUERINGSSTRATEGI NORMER OG VERDIER NOEN DEFINISJONER OG AVKLARINGER EVALUERING AV PROGRAMMER ANSVARSFORDELING Evaluering av tematiske og geografiske programmer Evaluering av analyse-, pådriver- og kommunikasjonsarbeid Evaluering av medlemsbaserte programmer Evaluering av prosjekter KRITERIER FOR VALG AV EVALUERINGER FINANSIERING UTARBEIDING AV OPPDRAGSBESKRIVELSE KRITERIER FOR VALG AV EKSTERNE KONSULENTER INVOLVERING AV MEDLEMSORGANISASJONER OG SØR-PARTNERE SPRÅK OG FORM PÅ RAPPORTERING OPPFØLGING OG TILBAKEMELDING SPREDNING OG OFFENTLIGGJØRING...9 Vedlegg 1: Prosess, evaluering av tematiske og geografiske programmer...10 Vedlegg 2: Prosess, evaluering av prosjekter og medlemsbaserte programmer.. 12 Vedlegg 3: Huskeliste budsjett

2 1. HVA ER EN EVALUERINGSSTRATEGI? Dette dokumentet søker å gi en samlet framstilling av hva FOKUS forstår med evaluering, hva som er hensikten med å evaluere, og hvordan enkelte typer evalueringer skal planlegges, gjennomføres og følges opp. Med FOKUS menes både FOKUS sekretariat og FOKUS medlemsorganisasjoner i Norge. Sør-partnere som mottar prosjektstøtte fra norske medlemsorganisasjoner gjennom FOKUS omfattes også av strategien. Evalueringsstrategien peker også på hvilke typer evalueringer FOKUS skal prioritere i tiden framover (strategiperioden ). Strategien inneholder ingen oversikt over hvilke evalueringer som skal gjennomføres i løpet av et år. En slik plan utarbeides årlig og vil blant annet ligge til grunn for FOKUS rammeavtalesøknad til Norad. Dokumentet skal imidlertid være tilpasset en utvikling fra enkeltprosjekter til mer overordnede tematiske og geografiske programmer, samt FOKUS analyse-, pådriver- og kommunikasjonsarbeid. Forslaget er presentert og diskutert i FOKUS sekretariat, utvalgte medlemsorganisasjoner i Norge, samt eksterne ressurspersoner. Dokumentet inneholder en kjerne som forventes stå fast i en periode framover. På den annen side vil det uten tvil skje endringer i tenkningen om både bistand og evaluering som med jevne mellomrom bør føre til endring og tilpasning av dette dokumentet. 2. HENSIKTEN MED FOKUS EVALUERINGSSTRATEGI Hensikten med FOKUS evalueringsstrategi er: Skape en felles og forpliktende forståelse mellom FOKUS sekretariat, norske medlemsorganisasjoner og Sør-partnere for hvorfor evalueringer gjennomføres. Være et redskap for å styrke dokumentasjon av resultater. Det vil i hovedsak si de resultatene som var planlagt i prosjektene/programmene på forhånd, og i noen tilfeller uventede (uforutsette) resultater. Peke på hvilke typer evalueringer som er mest hensiktsmessig å gjennomføre, for å få størst mulig utbytte av de ressursene som er satt av til å evaluere. Klargjøre ansvarsfordelingen mellom FOKUS sekretariat, norske medlemsorganisasjoner og Sør-partnere i forbindelse med evalueringer. 3. NORMER OG VERDIER FOKUS arbeid med evalueringer skal baseres på normer og verdier som: a) Åpenhet alle involverte parter skal ha tilgang til og bli gitt informasjon om hvorfor evalueringer blir gjennomført, samt innholdet i konklusjoner og anbefalinger - så snart det lar seg gjøre. 2

3 b) Offentlighet alle eksterne evalueringer som blir gjennomført, skal være offentlig tilgjengelige, hvis ikke særskilte hensyn tilsier noe annet (jfr. kap. 15). c) Deltakelse FOKUS sekretariat, norske medlemsorganisasjoner og Sørpartnere skal delta aktivt i planlegging, gjennomføring og oppfølging av evalueringer. Deltakelse er viktig fordi evalueringen tross alt skal brukes og følges opp av Sør-partner i samråd med norske medlemsorganisasjoner og FOKUS sekretariat, og at alle kan lære noe av evalueringen. Selv om evaulatoren har et mandat til å bestemme hvordan den endelige rapporten skal se ut, skal alle parter uansett få god anledning til å kommentere konklusjoner og anbefalinger. d) Troverdighet og uavhengighet evalueringer skal gjennomføres slik at funn og konklusjoner blir oppfattet som troverdige. Dette betyr ikke nødvendigvis at alle parter må være enige i alt, men at alle opplever at evalueringen bygger på troverdige kilder. 4. NOEN DEFINISJONER OG AVKLARINGER Monitorering er en grunnleggende og kontinuerlig funksjon i alle prosjekter, hvor lokale partnere i samarbeid med norske organisasjoner har ansvar for gjennomføring og oppfølging. Det innebærer den regelmessige informasjonsinnhenting og vurdering enhver ledelse gjør av et prosjekts gjennomføring. Den løpende monitoreringen og oppfølgingen av prosjektene omfattes ikke av denne strategien. Se FOKUS prosjektforvaltningsmappe for mer informasjon. Evaluering er en systematisk og uavhengig vurdering av et prosjekt eller et program (bestående av flere prosjekter). Her tar en i bruk eksterne evaluatorer (konsulenter), som kan gjøre vurderinger på et mer uavhengig grunnlag og ser prosjektet «utenfra» med et kritisk blikk, i sammenheng med utenforliggende faktorer og forskning på feltet. Spørsmål som vurderes er for eksempel planlegging, metoder for å måle resultater og samfunnsendringer, forhold til nasjonale og lokale myndigheter, ressursbruk og bærekraft. Evalueringer kan gjennomføres i alle faser av et prosjekt eller program. Det vil være forskjell på en evaluering midtveis i et prosjekt/program, hvor formålet kan være å justere kursen og en sluttevaluering, hvor det er naturlig å se på hvorvidt prosjektet/programmet har resultert i de endringene som var planlagt på forhånd. Man kan gjennomføre evalueringer både på prosjekt- og programnivå. Et program kan være geografisk definert og bestå av flere prosjekter i et land eller en region, eller det kan være tematisk definert (for eksempel en evaluering av alle prosjekter som tar sikte på å bekjempe vold mot kvinner). Det kan også være aktuelt å gjennomføre evalueringer av FOKUS analyse-, pådriver- og kommunikasjonsarbeid for å vurdere samlet innsats og resultater innenfor et tema eller geografisk område. En evaluering kan tjene ett eller flere av følgende formål: Oppnå kunnskap om styrker og svakheter ved et prosjekt/program 3

4 Dokumentere resultatene og endringer som er oppnådd gjennom et prosjekt/program Justere kursen i et prosjekt/program Være et redskap for å videreutvikle prosjektet, i tillegg til å overføre erfaring og læring til andre Forbedre organisasjonsstrukturen, samt rutinene for prosjektforvaltning Underbygge de valg norsk organisasjon står overfor når en bestemmer om støtten skal fortsette, avsluttes eller endres. Undersøke om ressurser blir brukt mest mulig effektivt, og at de ulike parter som deltar i samarbeidet har en merverdi og gjensidig oppfyller sine forpliktelser. De ulike formål krever forskjellige former for evaluering, m.a.o. ulik vektlegging når det gjelder planlegging og gjennomføring. En realistisk avveining mellom de spørsmålene som stilles, de midlene og den tiden som avsettes til evalueringer er viktig. 5. EVALUERING AV PROGRAMMER Fra FOKUS strategi, avsnitt 8.2 Programsamarbeid: «Fokuset på resultater i programsamarbeidet og bedret dokumentasjon av disse skal videreføres. Dette skal sikres gjennom utvikling av systemer for å dokumentere resultater samt strategisk bruk av overordnede tematiske evalueringer.» Dette innebærer at tidligere praksis med å evaluere prosjekter enkeltvis, hvor en for eksempel så på måloppnåelse og organisasjonsstruktur innenfor hvert enkelt prosjekt, ikke lenger blir prioritert like høyt. I stedet er det et uttalt mål å evaluere hvordan ulike prosjekter med felles tema eller geografisk nedslagsfelt kan oppnå eller har oppnådd synergieffekter i form av styrkede resultater, og hvordan en kan styrke samarbeidet mellom ulike prosjektpartnere. Det kan også dreie seg om flere prosjekter innenfor et gitt geografisk område (land eller region) gir økt påvirkningskraft ved å samarbeide enn hvis prosjektene pågår enkeltvis. 6. ANSVARSFORDELING 6.1. Evaluering av tematiske og geografiske programmer: FOKUS sekretariat tar initiativ til og gjennomfører tverrgående evalueringer. Det vil si evalueringer av programmer hvor flere medlemsorganisasjoner og Sør-partnere er involvert. En oppdragsbeskrivelse lages av FOKUS sekretariat på bakgrunn av hvilke spørsmål som knytter seg spesielt til hvert enkelt tema eller region, samt hvilke prosjekter som er mest relevante for evalueringen. Norske medlemsorganisasjoner og Sør-partnere som velges ut inkluderes i den videre prosessen med evalueringen (se vedlegg 1, side 10). 4

5 FOKUS sekretariat gjennomfører også evalueringer av programmer som styres direkte av sekretariatet i samarbeid med partnere ute, for eksempel FOKUS program for kvinner, fred og sikkerhet i Colombia og Sri Lanka Evaluering av analyse-, pådriver- og kommunikasjonsarbeid: Videre tar FOKUS sekretariat initiativ til evalueringer av tiltak innenfor analyse-, pådriver- og kommunikasjonsarbeid. Det kan innebære evalueringer av enkelttiltak (eksempelvis bladet «Kvinner Sammen» eller web-sidene), eller satt i sammenheng med tematiske og geografiske evalueringer, som også inkluderer programvirksomhet. Hvis en evaluerer innenfor en programtilnærming kan det være for å oppnå et mer helhetlig grunnlag for å vurdere de overordnede resultatene innenfor et tema eller region. Slike evalueringer kan se på tiltak som gjøres av FOKUS sekretariat, medlemsorganisasjoner i Norge og Sør-partnere i sammenheng. Framgangsmåten vil være den samme som for tematiske og geografiske programmer, dersom evalueringen involverer medlemsorganisasjoner i Norge og Sør-partnere (vedlegg 1, side 10) Evalueringer av medlemsbaserte programmer Programmer der én norsk medlemsorganisasjon har flere prosjekter, og hvor disse er knyttet sammen i et program, tar som regel utgangspunkt i at norsk medlemsorganisasjon ønsker å gjennomføre en evaluering. Sør-partnerne skal informeres og inkluderes i planleggingen av evalueringen. Planer og budsjetter diskuteres med FOKUS sekretariat, som må gjøre en vurdering av hvorvidt det er midler til å gjennomføre evalueringen. Oppdragsbeskrivelsen utarbeides av norsk medlemsorganisasjon, mens FOKUS sekretariat bidrar med faglige råd underveis. Oppdragsbeskrivelsen skal godkjennes av FOKUS sekretariat før den (eventuelt) legges ut på anbud. FOKUS sekretariat skal i tillegg godkjenne evalueringsteam. Det er norsk medlemsorganisasjon som signerer kontrakten med konsulenten/firmaet som skal gjennomføre evalueringen. Norsk medlemsorganisasjon og Sør-partner har ansvaret for at rapporter og anbefalinger blir fulgt opp. En oppfølgingsplan skal diskuteres og utarbeides i samarbeid med FOKUS sekretariat Evalueringer av prosjekter Evalueringer av enkeltprosjekter tar utgangspunkt i at norsk medlemsorganisasjon vurderer behovet for å evaluere prosjektet, i samråd med Sør-partner. FOKUS sekretariat bistår organisasjonene med å planlegge evalueringen, foreslår konsulenter og gir opplæring og veiledning. Oppdragsbeskrivelsen og evaluator skal godkjennes av FOKUS sekretariat på samme måte som for medlemsbaserte programevalueringer. En oppfølgingsplan skal diskuteres og utarbeides i samarbeid med FOKUS sekretariat. Det må gis en tilfredsstillende skriftlig begrunnelse for ikke å gjennomføre avtalte evalueringer (f.eks. svært høy sikkerhetsrisiko eller akutt sykdom). 5

6 7. KRITERIER FOR VALG AV EVALUERINGER Det er ikke praktisk eller økonomisk mulig å evaluere alle prosjekter. Følgende kriterier skal legges til grunn for utvelgelse av evalueringer: Tema: det bør gjennomføres én større evaluering årlig innenfor ett av FOKUS seks prioriterte tematiske programområder ( ): Kvinner og klima, seksuell og reproduktiv helse og rettigheter, vold mot kvinner, kvinner, fred og sikkerhet, kvinners økonomiske deltakelse og rettigheter, og kvinners politiske deltakelse og rettigheter. Geografi: det er i økende grad viktig for FOKUS å plassere og vurdere programmene i lys av nasjonale og regionale behov, prioriteringer og planer. I land hvor flere norske medlemsorganisasjoner har stor innsats, kan det være behov for å evaluere et landprogram eller den samlede innsatsen i regionen. Det å evaluere flere prosjekter i samme geografiske område er også kostnadseffektivt med tanke på prosjektbesøk. I tillegg bør det vurderes å gjennomføre evalueringer av: Innovative (nyskapende) prosjekter og programmer med antatt høy læringseffekt for andre. Rene organisasjonsgjennomganger både ute og hjemme etter behov, samt spesielle gjennomganger av prosjekter der det har oppstått så store problemer at de ikke kan løses på andre måter. enkelte evalueringer/gjennomganger 3-5 år etter at et prosjekt er avsluttet (ex post evalueringer), for i særlig grad å vurdere langsiktige resultater og bærekraft. 8. FINANSIERING Alle evalueringer av tematiske og geografiske programmer initiert av FOKUS sekretariat finansieres av et sentralt budsjett. FOKUS tar sikte på å bruke ca. 2-4 prosent av samlede årlige bevilgninger til evalueringsarbeid. Kostnader til evalueringer initiert av medlemsorganisasjonene skal i forkant bygges inn i prosjektenes budsjetter. For at prosjektforslag skal godkjennes av FOKUS, skal planer og budsjett for evalueringer være klart reflektert. Det bør være et rimelig og realistisk forhold mellom prosjekt- og evalueringskostnader, dvs. at små prosjekter krever kostnadseffektive evalueringer. Se vedlegg 3: huskeliste budsjett. Oppdragsbeskrivelsen (Terms of Reference) må følge offentlige anbudsregler. Dette innebærer at alle oppdragsbeskrivelser (for tiden over NOK ) må legges ut på anbud. Anbud innhentes fra minst tre relevante evaluatorer/firmaer og en utvelgelse foretas blant dem. En må huske å passe på at momsen er innbakt i budsjettet som evaluator legger frem. 6

7 9. UTARBEIDING AV OPPDRAGSBESKRIVELSE: FOKUS sekretariat utarbeider som sagt oppdragsbeskrivelser for evalueringer av overordnete tematiske og geografiske programmer, mens medlemsorganisasjonene i Norge utarbeider forslag til evalueringer av medlemsbaserte programmer og enkeltstående prosjekter (se punkt 6.) Det er fort gjort å ha uklare eller for ambisiøse mål når det gjelder forventningene om hva en evaluering kan bidra med. En vanlig svakhet ved mange oppdragsbeskrivelser er ønsket om å få svar på for mange spørsmål samtidig noe som lett fører til overflatiske evalueringer. I drøftingen av oppdragsbeskrivelsene er det viktig å få de ulike partene i en evaluering til å bli enige om: Hva som er viktigst å finne ut av Hva som kan kuttes helt ut Det må også skje en realistisk avveining mellom evalueringsspørsmålene og de midlene og tiden som er avsatt til evalueringen. I noen tilfeller der prosjekter/programmer støttes av andre donorer i tillegg til FOKUS, vil det være kostnadseffektivt å samarbeide om en evaluering med felles økonomisk bidrag. FOKUS vil tilstrebe å koordinere med andre donorer, så langt det lar seg gjøre. Evaluering er ikke et mål i seg selv. All evaluering bør være rettet inn mot konkrete brukere og deres behov for informasjon. For å innfri et slikt krav må en god oppdragsbeskrivelse avklare: Hvem har tatt initiativ til/ønsket evalueringen (oppdragsgiver)? Hva er hensikten og målet med evalueringen? Hva skal evalueringen omfatte (inkludert lengde på rapporten)? Hva er de viktigste spørsmålene som ønskes besvart? Når må evalueringen være ferdigstilt? Hvilke resultater/produkter er forventet? Hvem skal bruke resultatene? Hva skal de bruke resultatene til? Hvilke metoder skal benyttes? Skal en bestemt teori ligge til grunn for evalueringen? Dette skal presiseres i en oppstartplan (inception report), som avtales mellom evaluator og oppdragsgiver. Norsk medlemsorganisasjon og Sør-partner skal få tilsendt oppstartplanen til informasjon, og i noen tilfeller vil det også være rom for å komme med innspill til inception report. Hvordan og til hvem skal evalueringen formidles? Hvordan skal evalueringsteamet være sammensatt? 10. KRITERIER FOR VALG AV EKSTERNE KONSULENTER Valg av konsulent(er) bestemmer i stor grad kvalitet og relevans på en evaluering. Det skal være en ekstern (uavhengig) teamleder i alle evalueringer. Evalueringer 7

8 gjennomføres ofte også med nasjonale konsulenter i teamet. Følgende kriterier ligger til grunn: Troverdighet konsulentene bør være akseptert og respektert av sentrale aktører. Fagkunnskap teamet bør ha en kombinasjon av relevant spesialkompetanse, evalueringsfaglig erfaring og landkunnskap. Uavhengighet konsulenter må ikke ha spesielle bindinger til tiltaket som skal evalueres (habilitet). Egnethet konsulenter må ha evne og vilje til å forstå og kommunisere sine funn og konklusjoner med personer fra andre kulturer. Balanse mellom kjønn alle team bør bestå av både kvinner og menn. Et viktig prinsipp er at teamleder ikke må være eller ha vært ansatt i den norske organisasjonen eller i det prosjektet som skal evalueres. Teamleder bør heller ikke ha deltatt i planlegging og gjennomføring av tiltakene som konsulent. Både nasjonale og/eller internasjonale konsulenter kan benyttes, men det er et mål å øke deltakelsen og bruken av nasjonale/lokale fagfolk og dermed bidra til å bygge opp evalueringskapasitet i Sør. 11. INVOLVERING AV MEDLEMSORGANISASJONER OG SØR-PARTNERE Alle involverte parter skal i god tid være informert om at evalueringer er planlagt og skal gjennomføres, inkludert i hvilket tidsrom evalueringen skal gjennomføres. Medlemsorganisasjoner og Sør-partnere skal delta i planleggingen av alle evalueringer ved å få tilsendt og gis mulighet til å kommentere på alle oppdragsbeskrivelser. Før rapporten sluttføres skal alle involverte parter være informert om konklusjonene og hatt anledning til å komme med innspill innen rimelig tid før endelig evalueringsrapport utarbeides. 12. SPRÅK OG FORM PÅ RAPPORTERING Evalueringsteamene bør gi en foreløpig oppsummering av hovedfunn, konklusjoner og anbefalinger til Sør-partner før eventuelt feltbesøk avsluttes. Det er viktig at det blir utarbeidet en skriftlig rapport på et språk som partnerorganisasjonen i Sør behersker. Som regel blir evalueringsrapporten skrevet på engelsk eller spansk. Det kan i en del tilfeller kun være ledelsen hos Sør-partner som behersker engelsk eller spansk så godt at innholdet i rapporten blir forstått godt nok. I slike tilfeller må det settes av midler i budsjettet til å oversette hele/deler av rapporten til det arbeidsspråket som brukes av Sør-partner. Dette er svært viktig med tanke på læring, kunnskapsspredning og oppfølging av de anbefalingene evalueringen peker på. 8

9 Evalueringsrapporten bør for øvrig være kjennetegnet av følgende: Klarhet hvem som er brukerne av evalueringen, hvordan resultatene vil bli brukt og hvilke spørsmål som er besvart. Relevans innholdet må på en dekkende og relevant måte besvare spørsmålene i oppdragsbeskrivelsen. Troverdig funnene og konklusjonene må oppfattes som sannsynlige og troverdige ved at de bygger på pålitelige kilder. Nyttig anbefalingene bør oppfattes som nyttige og gjennomførbare og bli levert til avtalt tid. 13. OPPFØLGING OG TILBAKEMELDING Hensikten med evalueringsrapporter er at de skal brukes. Det er derfor viktig at det lages en konkret oppfølgingsplan etter at evalueringen er gjennomført. Oppfølgingsplanen må fordele ansvar, ha klare tidsfrister og et budsjett. Som hovedregel er det de som har bestilt evalueringen som har ansvaret for diskusjonen og gjennomføringen av anbefalingene. Det kan i mange tilfeller være slik at Sørpartner, norsk medlemsorganisasjon eller FOKUS sekretariat ikke er enig i enkelte av anbefalingene, eller at det blir for kostbart å gjennomføre noen anbefalinger. Dette må diskuteres før en lager oppfølgingsplanen. Det er ikke et absolutt krav at alle anbefalinger må følges opp. Valget om å la være (eller utsette) gjennomføring av anbefalinger må uansett begrunnes og nedfelles i oppfølgingsplanen, slik at alle parter har den samme forståelsen av hva som skal følges opp, hvorfor det skal følges opp og hvordan. 14. SPREDNING OG OFFENTLIGGJØRING FOKUS skal ha tilgang til alle evalueringsrapporter. NORAD har opprettet en evalueringsdatabase hvor alle eksterne evalueringsrapporter som er finansiert av NORAD skal lagres og være tilgjengelig for organisasjonene og andre interesserte. Alle evalueringsrapporter blir dessuten publisert på FOKUS nettsider. Alle rapporter er i prinsippet offentlige, hvis ikke helt spesielle forhold tilsier noe annet. Det kan i noen tilfeller være at liv og helse blant ansatte hos Sør-partner vil stå i fare dersom deres identitet blir offentliggjort eller lett gjenkjennelig. Evaluator bør gjøres kjent med dette på forhånd, ta hensyn til det og i det minste unngå å nevne folk med navn i rapporten. I og med at databasen vil være tilgjengelig på nettet, må organisasjonene være klar over regelverket for personvern. Det er oppdragsgiveren som eier produktet/resultatene av evalueringen. Normalt er det også oppdragsgiveren som eier det analysematerialet som er samlet inn av konsulenten(e). Oppdragsgiveren kan i det minste kreve å få innsyn i 9

10 analysematerialet, bortsett fra i noen tilfeller hvor det er konfidensialitetshensyn som er avtalt på forhånd. I forbindelse med overordnete programevalueringer bør det gjennomføres et seminar i Sør, hvor ulike partnere får lagt fram funnene av evalueringsteamet, med mulighet for å diskutere evalueringen og utveksle erfaringer. Dette avhenger dog av at det finnes midler til det. FOKUS sekretariat bør dessuten ta initiativ til å organisere en «evalueringsdag» i Norge hvert år, hvor erfaringene fra ulike evalueringer kan deles og diskuteres blant norske medlemsorganisasjoner... Vedlegg 1: Prosess: Evaluering av tematiske og geografiske programmer: Evaluering av analyse-, pådriver- og kommunikasjonsarbeid. 1. Møte i evalueringsgruppen i FOKUS sekretariat: Forslag til tema for evalueringen. Hvor stort budsjett står til rådighet for å gjennomføre evalueringen? Hvilke enheter i FOKUS sekretariat skal omfattes av evalueringen (Program, kommunikasjon, analyse- og utredning). Hvilke medlemsorganisasjoner i Norge og Sør-partnere er det aktuelt å inkludere i evalueringen? I evalueringer av analyse-, pådriver- og kommunikasjonsarbeidet kan det også være aktuelt å intervjue andre målgrupper. Tidspunkt og form på involvering av relevante aktører på ulike stadier legges inn. 2. Behandling i FOKUS ledergruppe av forslag fra evalueringsgruppen. 3. Utkast til oppdragsbeskrivelse (ToR) utarbeides av fagansvarlig i FOKUS sekretariat, og behandles i evalueringsgruppen/relevant fagutvalg. 4. Sekretariatet sender ToR ut til involverte medlemsorganisasjoner og Sør-partnere for innspill. 5. Oppdragsbeskrivelsen skal inneholde: Hva er hensikten og målet med evalueringen? Hva skal evalueringen omfatte? Hva er de viktigste spørsmålene som ønskes besvart? Tidsramme. Når må evalueringen være ferdigstilt? Hvilke resultater/produkter er forventet? 10

11 Hvem skal bruke resultatene? Hva skal de bruke resultatene til? Hvilke metoder skal benyttes? Skal en bestemt teori ligge til grunn for evalueringen? (kan avtales nærmere med evaluator). Se pkt 9 inception report. Hvordan skal evalueringsteamet være sammensatt? (kan også diskuteres med evaluator på et senere tidspunkt) Budsjett (i det minste totalrammen for evalueringen) 6. ToR behandles i FOKUS ledermøte. 7. Sekretariatet sender ut endelig ToR til medlemsorganisasjoner og partnere. 8. Anbud innhentes fra minst tre relevante evaluatorer. 9. FOKUS evalueringsgruppe konkluderer på valg av evaluator. 10. Inception report (oppstartplan) avtales mellom evaluator og evalueringsgruppen. Hvilke metoder eller teori evalueringen bygger på skal presiseres. Sekretariatet sender ferdig inception report til medlemsorganisasjoner og Sør-partnere til informasjon, og i noen tilfeller vil det også være rom for å komme med innspill til inception report. 11. Evaluering gjennomføres (inkl. bli enig med medlemsorganisasjoner og Sør-partnere om gjennomføring, reiser, tidsplan etc.). 12. Utkast til evalueringsrapport presenteres for involverte medlemsorganisasjoner, Sørpartnere og FOKUS sekretariat. 13. Sør-partnere, medlemsorganisasjoner og sekretariatet gis rimelig tid til å kommentere skriftlig på utkast til rapport. 14. Endelig rapport med anbefalinger og plan for oppfølging presenteres for FOKUS sekretariat (evalueringsgruppen), relevant fagutvalg, norske medlemsorganisasjoner og Sør-partnere. En bør også tenke på om det kan være andre relevante aktører som kan ha nytte av evalueringens anbefalinger, og presentere rapporten for dem. I tillegg til selve rapporten, kan presentasjon av hovedfunn for Sør-partner med fordel gjøres på et seminar i Sør enten av teamleder selv eller av lokale deltakere i evalueringsteamet (som vil redusere kostnadene). 15. FOKUS sekretariatet legger ut evalueringen på sine nettsider, og sender den til Norads evalueringsdatabase. 16. FOKUS sekretariat er ansvarlig for gjennomføring av anbefalinger i samarbeid med medlemsorganisasjoner og Sør-partnere. 11

12 Vedlegg 2: Prosess, evaluering av prosjekter og medlemsbaserte programmer: 1. Norsk medlemsorganisasjon (evt. Sør-partner) tar initiativ til å gjennomføre en evaluering. 2. En kort beskrivelse av behovet og hvilke aspekter ved prosjektet som bør evalueres presenteres i flerårig/årlig programsøknad til FOKUS (frist: 1. september hvert år). Det må også spesifiseres en sum i FOKUS budsjett-mal under «evalueringer» i budsjettet for norsk medlemsorganisasjon. 3. FOKUS sekretariat gjør en vurdering av hvorvidt det er midler til å gjennomføre evalueringen. 4. Dersom det er midler til det, blir den planlagte evalueringen meldt inn i FOKUS årlige søknad til Norad. 5. Oppdragsbeskrivelsen (ToR) utarbeides av norsk medlemsorganisasjon. Norsk medlemsorganisasjon er ansvarlig for at Sør-partnere også får anledning til å kommentere på ToR. FOKUS sekretariat bidrar med faglige råd underveis. 6. Oppdragsbeskrivelsen skal inneholde: Hva er hensikten og målet med evalueringen? Hva skal evalueringen omfatte? Hva er de viktigste spørsmålene som ønskes besvart? Tidsramme. Når må evalueringen være ferdigstilt? Hvilke resultater/produkter er forventet? Hvem skal bruke resultatene? Hva skal de bruke resultatene til? Hvilke metoder skal benyttes? Skal en bestemt teori ligge til grunn for evalueringen? (kan avtales nærmere med evaluator). Se pkt 10 inception report. Hvordan skal evalueringsteamet være sammensatt? (kan også diskuteres med evaluator på et senere tidspunkt) Budsjett (i det minste totalrammen for evalueringen) 7. Oppdragsbeskrivelsen skal godkjennes av FOKUS sekretariat før den legges ut på anbud av norsk medlemsorganisasjon. 8. Norsk medlemsorganisasjon sender ut endelig ToR til sør-partnere. 9. Norsk medlemsorganisasjon innhenter anbud fra minst tre relevante evaluatorer (dersom evalueringen overstiger NOK ). 10. Norsk medlemsorganisasjon konkluderer på valg av evaluator. FOKUS sekretariat skal imidlertid godkjenne evaluator og eventuelt evalueringsteam. 12

13 11. Inception report (oppstartplan) avtales mellom evaluator og norsk medlemsorganisasjon. Hvilke metoder eller teori evalueringen bygger på skal presiseres. Norsk medlemsorganisasjon sender ferdig inception report til medlemsorganisasjoner og Sør-partnere til informasjon, og i noen tilfeller vil det også være rom for å komme med innspill til inception report. 12. Norsk medlemsorganisasjon signerer kontrakten med konsulenten/firmaet som skal gjennomføre evalueringen. 13. Evaluering gjennomføres (inkl. bli enig med Sør-partnere om gjennomføring, reiser, tidsplan etc.). 14. Utkast til evalueringsrapport presenteres for den norske medlemsorganisasjonen, Sør-partnere og FOKUS sekretariat. 15. Sør-partnere, medlemsorganisasjoner og sekretariatet gis rimelig tid til å kommentere skriftlig på utkast til rapport. 16. Endelig rapport med anbefalinger og plan for oppfølging presenteres for norsk medlemsorganisasjon og Sør-partnere, samt FOKUS sekretariat. En bør også tenke på om det kan være andre relevante aktører som kan ha nytte av evalueringens anbefalinger, og presentere rapporten for dem. I tillegg til selve rapporten, kan presentasjon av hovedfunn for Sør-partner med fordel gjøres på et seminar i Sør enten av teamleder selv eller av lokale deltakere i evalueringsteamet (som vil redusere kostnadene). 17. FOKUS sekretariatet legger ut evalueringen på sine nettsider, og sender den til Norads evalueringsdatabase. 18. Norsk medlemsorganisasjon står ansvarlig for gjennomføring av anbefalinger etter evalueringen, i samarbeid med Sør-partnere. FOKUS sekretariat vil etterspørre planer for oppfølging og hvorvidt disse blir fulgt opp. Vedlegg 3: huskeliste budsjett En må huske på følgende når budsjettet utarbeides (listen er ikke uttømmende): Honorar team-leder (noen spesifiserer antall arbeidstimer). Satsen varierer veldig ettersom hvilket land evaluatoren er fra. Honorar til andre i evalueringsteamet. Reise (flybilletter, lokal transport, eventuelt sjåfører) Opphold (hotell e.l.) Per diem og kompensasjonstillegg (varierer fra land til land) Honorar eksterne medhjelpere (eventuelt) Oversettelse (til andre språk enn det evalueringsrapporten blir skrevet på) Evalueringsseminar i Norge Evalueringsseminar i Sør (lokale, mat, i noen tilfeller dekkes reisen til seminardeltakere) Moms (25 prosent av totalsummen) 13