Innsikt i offentlig evalueringspraksis. Om Evalueringsportalen. Skrevet av Helene Hvidsten

Transkript

1 17. august 2012 Innsikt i offentlig evalueringspraksis Om Evalueringsportalen Denne rapporten handler om evalueringer i offentlig sektor og er skrevet sommeren 2012 på oppdrag fra Riksrevisjonen (forvaltningsrevisjon F1.1). Formålet med rapporten er å gi en oversikt over hva Evalueringsportalen inneholder og hva Riksrevisjonen kan lære av evalueringene. Skrevet av Helene Hvidsten

2 Innhold 1. Innledning Hva er evalueringer? Evalueringsportalen Om dokumentanalysen Framgangsmåte for utvelgelse av evalueringer Hva analyserer evalueringene? Datagrunnlag i utvalget Hva konkluderer evalueringene i utvalget med? Anbefalinger Avslutning... 18

3 1. Innledning Evalueringer påvirker hvilke saker aktører i politikk og forvaltning setter på dagsorden og hvordan de vurderer handlingsrom og virkninger av offentlig politikk. I Norge utføres det hvert år rundt 100 evalueringer på oppdrag fra statlige institusjoner. Til tross for dette finnes det relativt lite forskning på hvordan evalueringer praktiseres i forvaltningen (Askim, Døving og Johnsen 2012). Denne rapporten er todelt. Første del gir en kort introduksjon om evalueringer samt en presentasjon av statistikk basert på data fra Evalueringsportalen.no. Portalen forvaltes av Direktoratet for Økonomistyring (DfØ). Andre del av rapporten er skrevet på bakgrunn av en dokumentanalyse av et utvalg på 58 evalueringer hentet fra Evalueringsportalen. Det gis først en forklaring på hvordan søkene er gjort for å velge ut evalueringer. Videre blir det sett på hva evalueringene handler om, det vil si hva de analyserer. Ser evalueringene på måloppnåelsen for det evaluerte politikkområdet (analyser av måloppnåelse)? Ser evalueringene på om ressursbruken knyttet til innsatsfaktorene er lavest mulig i en virksomhet (analyser av økonomi)? Tar evalueringene for seg forholdet mellom produksjonen og de innsatsfaktorene som blir brukt (analyser av produktivitet)? Forsøker evalueringene å synliggjøre alle viktige konsekvenser før et tiltak iverksettes (Samfunnsøkonomiske analyser)? Eller blir betydningen av mål på det evaluerte politikkområdet nedtonet i evalueringene? Dette er såkalte målfrie evalueringer (Sverdrup 2002). Fokus her har vært å se på hvorvidt evalueringene ser på statlig effektivitet og måloppnåelse for den evaluerte virksomheten eller tiltaket. Nesten halvparten av evalueringene i utvalget analyserer måloppnåelse (43 prosent). I utvalget er det også en stor andel målfrie evalueringer (32 prosent). I disse evalueringene rettes oppmerksomhet mot innsatsen som gjøres i tilknytning til virksomheten eller tiltaket for å få fram så mye som mulig om konsekvenser. Tanken bak denne evalueringsformen er at ved å unnlate å rette søkelyset mot målene, vil det i støtte grad gi et bilde av de totale virkningene tiltaket eller virksomheten produserer (Sverdrup 2002). I mange tilfeller er dette rapporter som kartlegger kunnskap på et politikkområde. 1 1 Selv om evalueringene i utvalget her fordeles mellom ulike analyser, er denne inndelingen på ingen måte absolutt. Noen evalueringer er omfattende og analyserer flere områder ved det evaluerte tiltaket eller virksomheten. I disse tilfellene er det lagt vekt på det som er blitt vurdert som det mest sentrale ved inndelingen. 1

4 I dokumentanalysen er det også så langt som mulig sett på datagrunnlag, det vil si måten data som ligger til grunn for evalueringene er samlet inn. Dette kan for eksempel være via intervjuer, dokumentstudier, spørreskjema eller observasjon. Dokumentstudier og intervju er de vanligste datagrunnlagene både generelt for evalueringene i Evalueringsportalen og i utvalget. Hvilke konklusjoner og anbefalinger som er gitt i evalueringene i utvalget har også blitt undersøkt i denne dokumentanalysen. 2 Evalueringene i utvalget er gjennomført av forskningsinstitutt eller private konsulentfirma på oppdrag fra departement, direktorat eller andre statlige virksomheter. Riksrevisjonens rapporter er også tilgjengelige på Evalueringsportalen, men disse er ikke en del av denne dokumentanalysen Hva er evalueringer? Evalueringer supplerer den løpende styrings- informasjonen og bidrar til effektive beslutningsprosesser, god risikostyring og effektiv ressursbruk (Direktoratet for Økonomistyring 2012). Med evaluering menes enkeltstående eller regelmessige systematiske undersøkelser av hvor godt offentlig politikk fungerer (Sverdrup 2002). Rigsrevisjonen i Danmark beskriver evalueringer som et styringsverktøy som kan gi politikere og ledelse informasjon om resultatene av den statlige virksomheten og de prosesser som leder fram til resultatene. På den måten vil evalueringer kunne brukes til strategisk utvikling av den statlige virksomhet. Evalueringer skal fungere som et styringsverktøy i politikkutformingen (Rigsrevisjonen 2005). I Norge er kravet til gjennomføring av evalueringer fastsatt i reglement for økonomistyring i staten. Det følger av 16 at alle virksomheter skal gjennomføre evalueringer for å få informasjon om effektivitet, måloppnåelse og resultat innenfor hele eller deler av virksomhetens ansvarsområde og aktiviteter (Direktoratet for økonomistyring 2012). Norsk evalueringspraksis er lite ensartet. Det er stor variasjon i aktiviteter på ulike områder og stor variasjon i tilnærmingsmåter, metoder og aktører. Denne variasjonen gjør det også vanskelig å sette kvalitetsstandarder for evaluering som fag (Askim m.fl. 2012). De siste 30- årene har evalueringspraksis blitt styrket i Norge. Det har blitt et økende behov for målstyring og for å ha et verktøy som kan benyttes til dette i offentlig politikk og forvaltning (Sverdrup 2002). Nå fattes sjelden større politiske beslutninger uten en forutgående utredning og en påfølgende evaluering. I dag kan samtlige politikkområder, forvaltningsnivåer og offentlige tiltak, både midlertidige og permanente, være gjenstand for evaluering (Askim m.fl. 2012). 2 Hva evalueringene analyserer, datagrunnlag, konklusjoner og anbefalinger blir i denne rapporten analysert uavhengig av hverandre. Til slutt følger referanseliste og vedlegg med fullstendig liste over de 58 evalueringene som har vært med i dokumentanalysen. 2

5 1.2. Evalueringsportalen Evaluierngsportalen.no ble lansert i januar Formålet med portalen er å samle og tilgjengeliggjøre statens evalueringer på ett og samme sted. Dette skal bidra til økt bruk og gjenbruk av kunnskap og resultater fra evalueringer er viktig for legitimitet og transparens i forhold til statlig virksomhet. Per august 2012 ligger det 990 evalueringer på portalen og disse er utført på oppdrag fra departementer og andre statlige virksomheter. Evalueringene som er tilgjengelig i portalen er i hovedsak publisert fra år 2005 og frem til i dag. I tillegg er et utvalg sentrale evalueringer fra tatt med i databasen. Evaluert sektor Evaluering Oppdrags giver Utfører (evaluator) Figur 1 En oversikt over ulike deler i en evalueringsprosess. På portalen ligger ikke evalueringer utført av institusjonen eller virksomheten selv. Granskninger, akkrediteringer og tilsynsrapporter er heller ikke tatt med. Derimot regnes rapporter, utredninger, gjennomganger, analyser, kartlegginger og undersøkelser ofte som evalueringer og derfor blir dette registrert i portalen. Generelt er oppdragsgiver for evalueringene en institusjon som har administrativt eierskap til den aktuelle offentlige politikken som det er besluttet at skal evalueres. Evalueringsoppdraget gis til en ekstern aktør som utfører evalueringen. Registrerte utførere på Evalueringsportalen er i all hovedsak forskningsinstitutt og private konsulentselskap (Askim m.fl. 2012). 3

6 Arbeid og velferd (82) Bolig og eiendom (28) Energi (16) Familie og oppvekst (31) Forbruker (12) Forsvars- og sikkerhetspolitikk (5) Helse og omsorg (26) Innvandring og inkludering (31) Internasjonalt (61) Kommuner og distrikter (51) Konstitusjonelle organer (160) Kultur, fritid og livssyn (53) Likestilling (3) Lov og rett (15) Mat, fiskeri og landbruk (32) Miljø (56) Næringsliv (47) Offentlig forvaltning (106) Transport og kommunikasjon (41) Urfolk og minoriteter (1) Utdanning og forskning (104) Økonomi (26) Innsikt i offentlig evalueringspraksis Det er registrert 357 ulike utførere av evalueringsoppdrag på portalen. Et høy antall utførere skyldes blant annet at noen forskningsinstitutt og konsulentfirma er registrert flere ganger. For eksempel er Econ Pöyry og ECON Analyse ulike avdelinger under konsulentfirmaet Pöyry. Av de registrerte utførerne er det 153 som har utført mer enn ett evalueringsoppdrag for statsforvaltningen. Riksrevisjonen har klart gjennomført flest rapporter. Per august 2012 er 164 rapporter skrevet av Riksrevisjonen registret i portalen. Til sammenligning ligger NINA (Norsk institutt for naturforskning) som nummer to på listen og står oppført med 44 evalueringer. I Evalueringsportalens søkefunksjon er evalueringene delt inn etter sektor eller politikkområde. Figur 2 gir en oversikt over hovedsektor som evalueringene er registrert under. Portalen legger vekt på at de enda ikke har full dekningsgrad når det gjelder registrerte evalueringer og at registreringsfeil kan forekomme. Disse faktorene påvirker nøyaktigheten i statistikken (Evalueringsportalen 2012). Statistikken viser at konstitusjonelle organer (hvor Riksrevisjonens rapporter utgjør de aller fleste) er den største sektoren. Videre er mange evalueringer registrert under sektorene offentlig forvaltning, utdanning og forskning og arbeid og velferd Registrerte evalueringer fordelt på sektorer i Evalueringsportalen Sektorer Figur 2 Registrerte evalueringer fordelt på hovedsektor. N=987 (Kilde: Evalueringsportalen.no). 4

7 Datagrunnlag De metodene som brukes som datagrunnlag i evalueringer er i stor grad sammenfallende med generell samfunnsvitenskapelig metodeanvendelse (Sverdrup 2002). Både kvalitative og kvantitative metoder benyttes. Ved gjennomføring av en evaluering av en institusjon eller et tiltak kombineres ofte ulike datagrunnlag. Når flere typer datatilfang benyttes er muligheten større til å få tak i sentrale sider ved det evaluerte tiltaket (Sverdrup 2002). Mange av evalueringene på Evalueringsportalen bruker denne såkalte trianguleringen for å trekke konklusjoner. 80% 70% 60% 50% 40% 30% 20% 10% 0% Datagrunnlag i Evalueringsportalen Datagrunnlag Figur 3 Datagrunnlag i evalueringer fra Evalueringsportalen.no. Andel av evalueringer der hver type data er benyttet. Mange evalueringer er registrert med flere ulike datagrunnlag. N=990 (Kilde: Evalueringsportalen.no). 5

8 2. Om dokumentanalysen Denne delen av rapporten baserer seg på dokumentanalysen av utvalgte evalueringer fra Evalueringsportalen. Det er brukt et analyseskjema hvor relevant informasjon om analysemodeller, datagrunnlag, konklusjoner og anbefalinger er blitt registrert. Det har ikke vært aktuelt å gjøre et tilfeldig utvalg av evalueringer til dokumentanalysen. En del av evalueringene i portalen er mindre relevante for denne dokumentanalysen fordi de ikke handler om statlig effektivitet og måloppfyllelse. Dette er for eksempel spesifikke brukerundersøkelser og undersøkelser av midlertidige tiltak. I analysen er det valgt ut evalueringer av offentlige instanser og langvarige eller permanente tiltak. Hensikten har vært å velge ut evalueringer som ligger tett opp til det som er Riksrevisjonens mandat for forvaltningsrevisjon. Det følger en forklaring på hvordan utvalget av evalueringer ble gjort Framgangsmåte for utvelgelse av evalueringer I Evalueringsportalen søkefunksjon kan evalueringer sorteres etter: Sektor, utfører, oppdragsgiver, type (dvs. forhånds-, underveis-, etter- og tidsuavhengige evalueringer og samfunnsøkonomiske analyser) og datagrunnlag, i tillegg til fritekstsøk. Av de totalt 990 evalueringene på portalen ble de 164 evalueringene skrevet av Riksrevisjonen ekskludert fra søket ved å ta bort Stortinget som oppdragsgiver. Tidsuavhengige evalueringer, etterevalueringer og samfunnsøkonomiske analyser ble valgt, mens forhåndsevaluering og underveisevaluering ble tatt bort fra søket. På den måten ble søkeresultatet begrenset til 580 evalueringer. Med utgangspunkt i søket på 580 evalueringer ble det gjort tre separate fritekstsøk på søkeordene: økonomi, produktivitet og måloppnåelse. Disse nøkkelordene ble brukt for å gjøre en hensiktsmessig avgrensning av søket. Det ble videre søkt på utvalgte sektorer for de tre søkene. Disse var: Arbeid og velferd, kommuner og distrikter, lov og rett, offentlig forvaltning og økonomi. Disse sektorene ble valgt fordi Riksrevisjonen også gjennomfører mange revisjoner innenfor disse sektorene. Ut fra disse søkene ble det valgt ut 43 evalueringer til dokumentanalysen. Det ble videre gjort et nytt søk på forhåndsevalueringer og underveisevalueringer. Det ble også gjennomført flere søk på de sektorene som i utgangspunktet ble ekskludert (blant annet bolig og eiendom, energi, helse og omsorg og transport og kommunikasjon). Fra disse søkene ble 10 nye evalueringer valgt. 6

9 Det viste seg at ingen av disse 53 evalueringene i utvalget var analyser av produktivitet, og det ble gjort et nytt fritekstsøk på produktivitet. Fra dette søket ble det valgt 5 evalueringer. Totalt ble det valgt ut 58 evalueringer fra portalen til dokumentanalysen Hva analyserer evalueringene? Det som blir analysert i evalueringer kan sies å være det overordnede emnet eller tema. Det er utviklet mange ulike analyser for evalueringer (Finansdepartementet 2005, Foss og Mønnesland 2000). I denne rapporten er det tatt utgangspunkt i analyser av økonomi, produktivitet og måloppnåelse og virkninger for å få en oversikt over hva som er tema for evalueringene. Dette er også kriteriene Riksrevisjonens forvaltningsrevisjon reviderer etter. De tre kriteriene tilsvarer INTOSAIs tre E-er, economy (økonomi), efficiency (produktivitet) og effectiveness (måloppnåelse og virkninger). Selv om kriteriene brukes for revisjon har de overføringsverdi til evalueringer. Kriteriene er relativt sammenfallende med EUs modell for evalueringer av offentlig politikk. Evaluering i EU gjøres etter en økonomisk modell for produktivitet og effektivitet (efficiency) og måloppnåelse (effectiveness) (Vedung 1991). I tillegg er noen av evalueringene i utvalget samfunnsøkonomiske analyser, samt at en betydelig del av utvalget er blitt definert som målfrie evalueringer. Analyser for evalueringene i utvalget Målfrie evalueringer 31 % Analyser av Måloppnåelse 43 % Samfunnsøko nomiske analyser 7 % Anlyser av produktivitet 9 % Analyser av økonomi 10 % Figur 4 Analyser av måloppnåelse, økonomi, produktivitet, samfunnsøkonomiske analyser og målfrie evalueringer i utvalget. N=58. 7

10 Analyser av måloppnåelse Analyser av måloppnåelse tar utgangspunkt i myndighetenes egne målsettinger for å løse et problem på et gitt politikkområde (Røste 2007). Det blir undersøkt om målene som er satt nås og med tilfredsstillende kvalitet. I tillegg til at evalueringene ser på måloppnåelsen hos den evaluerte virksomheten eller tiltaket, legger mange av disse evalueringene også vekt på virkninger eller effektene på lengre sikt. I utvalget er nesten halvparten av evalueringene (43 prosent) analyser av måloppnåelse og virkninger. Både tiltak og virksomheter 3 er gjenstand for analyser av måloppnåelse. Arbeid og velferd, utdanning og miljø er tema som går igjen blant disse analysene. Dette stemmer bra med generell statistikk fra Evalueringsportalen; Arbeidsdepartementet, Kunnskapsdepartementet, og Miljøverndepartementet er de departementene (inkludert underliggende virksomheter) som bestiller flest evalueringer (Askim m.fl. 2012). Det er valgt ut to evalueringer som analyserer måloppnåelse på et avgrenset politikkområde. Her gis en generell oversikt over disse evalueringenes innhold. Evaluering av arbeidstilsynet Evaluering av arbeidstilsynet er gjennomført av Price Waterhouse Coopers (PwC) på oppdrag fra Arbeids- og inkluderingsdepartementet (PwC 2008). Evalueringen tar utgangspunkt i Arbeidstilsynets strategi, overordnede målsettinger og pålagte oppgaver. Mandatet er å se på hvordan Arbeidstilsynet fungerer som tilsynsmyndighet og hvordan tilsynet er rustet kompetansemessig for å håndtere utfordringer og sikre mulighetene for måloppnåelse. Samtidig avgrenses evalueringen ved at det presiseres at virkninger av arbeidstilsynets innsats ikke evalueres. Datagrunnlag er relevante dokumenter og intervjuer med personer i Arbeidstilsynet. PwC observerer og vurderer sentrale punkt ved Arbeidstilsynets virksomhet ved å se på såkalte analytiske dimensjoner. Disse dimensjonene blir drøftet i lys av måloppnåelse. Observerte styrker og svakheter ved disse trekkes fram og evaluator anbefaler tiltak for Arbeidstilsynets videre drift. De analytiske dimensjonene ved Arbeidstilsynet som blir drøftet er: Strategioppfølging Ledelse og virksomhetsstyring Organisering, oppgavefordeling og kompetanseutvikling 3 Eksempel på evaluerte tiltak (oppdragsgiver i parentes): Arbeidsmarkedstiltak (Arbeids- og inkluderingsdepartementet), Kunnskapsløftet (Utdanningsdirektoratet), Politireform 2000 (Politi- og lensmannsetaten) og miljøvernsamarbeid mellom Norge og Russland (Miljøverndepartementet, Utenriksdepartementet). Eksempel på evaluerte virksomheter: Senter for Statlig Økonomistyring (Finansdepartementet), Arbeidsmiljømyndighetene (Arbeids- og administrasjonsdepartementet), Petroleumstilsynet (Arbeids- og inkluderingsdepartementet), Politiets utlendingsenhet (Politi- og lensmannsetaten) og Havforskningsinstituttet (Fiskeri- og kystdepartementet). 8

11 Effektivitet, produktivitet og ressursramme koordinering og samhandling med eksterne parter Hovedkonklusjonen peker på vesentlige styrker ved dagens organisering av Arbeidstilsynet, samtidig som de også viser at det er klare utviklingsbehov for virksomheten. Målene for Arbeidstilsynet om å fungere som tilsynsmyndighet gjennom kompetansemessig å være rustet til å håndtere utfordringer kan derfor sies å være nådd. Ettersom det pekes på at virksomheten har utviklingsbehov betyr dette at kvaliteten ikke har vært tilstrekkelig på det tidspunktet evalueringen ble gjennomført. Nødnett: Evaluering av prosjektorganiseringen Evalueringen Nødnett: Evaluering av prosjektorganiseringen analyserer måloppnåelse for organisering av prosjektet. Oppdragsgiver er Direktoratet for nødkommunikasjon og Justis- og beredskapsdepartementet. Evaluator er Direktoratet for forvaltning og IKT (Difi 2008). Nødnett er et stort samordningsprosjekt mellom sektorene politi, brann og helse. Evalueringens formål er å se på om "organiseringen og andre styringsvirkemidler (juridiske, økonomiske, pedagogiske) er utformet og benyttes slik at de bidrar til å nå målene for utbyggingen av Nødnettet" (Difi 2008, s. 1). Dette er en underveisevaluering som vil gi grunnlag for justeringer for å sikre en formålstjenlig gjennomføring av prosjektet. Dokumentstudier og intervjuer med sentrale aktører er brukt som datagrunnlag for å underbygge vurderingen av måloppnåelse for utbyggingen av Nødnettet. For å systematisere vurderingen av funnene opp mot formålet med evalueringen benyttes et sett av kriterier (kun de to mest sentrale kriteriene er tatt med i denne gjengivelsen): Formålseffektivitet Kostnadseffektivitet Innebærer å vurdere i hvilken grad organiseringen av prosjektet har fungert og å vurdere hvilke ulike funksjoner som har bidratt eller vært til hinder for å nå målene på en effektiv måte. Omfatter vurdering av hvordan finansieringsmodellen har bidratt til eventuell måloppnåelse. De to overnevnte kriteriene drøftes og vurderes i forhold til evalueringens mål; å se på om organisering og andre styringsvirkemidler er utformet og benyttes slik at de bidrar til å nå målene for utbygging av nødnettet. 9

12 Under formålseffektivitet vises det til dagens organisering av nødnettprosjektet hvor Direktoratet for nødkommunikasjon leder prosjektet og tre etatsprosjekter (Politi, brann og helse) i tillegg er involvert i organiseringen. Evalueringen kommer videre med forslag til ulike alternative organiseringer og ansvarsfordelinger for prosjektet. Anbefaling fra evaluator er likevel at en organisering hvor en virksomhet har det overordnede ansvaret er mest formålstjenlig. Kostnadseffektivitet kan forstås som bedre måloppnåelse med eksisterende ressurser. For å vurdere kostnadseffektiviteten vises det til dagens finansieringsmodell og fordeler og ulemper med denne drøftes. Det stilles også spørsmålstegn ved om en alternativ finansieringsmodell ville vært formålstjenlig. Det konkluderes her med at en annen modell kunne gitt et mer helhetlig ansvar til alle aktørene og på den måten ville dette bidratt til en større grad av måloppnåelse for utbygging av Nødnettet Analyser av økonomi Det er 7 evalueringer i utvalget som analyserer økonomi (11 prosent). Disse ser på hvorvidt ressursbruken knyttet til innsatsfaktorene (input) er lavest mulig. Samtidig tas det hensyn til at kvaliteten på innsatsfaktorene er tilfredsstillende. 4 Et eksempel på en analyse av økonomi er Driftsanalyse av politi og lensmannsetaten perioden gjennomført av Politidirektoratet på oppdrag fra Justis- og beredskapsdepartementet (Politidirektoratet 2010). Evalueringen tar sikte på å se på ressursfordeling og disponering i forhold til politiets kjerneoppgaver. Driftsanalysen drøfter ulike områder i politiets virksomhet med utgangspunkt i hypoteser som er formulert i mandatet for evalueringen. Sentrale områder som analysen ser på er blant annet resursfordeling, politiets døgnkontinuerlige beredskap, nye pålagte oppgaver (etter Politireform 2000) og utvikling for straffesaksutgifter. Datagrunnlag for analysen er historiske data fra politi- og lensmannsetatens drift fra , kartlegginger i utvalgte politidistrikt og intervju med sentrale aktører. Analysen viser at det er behov for justering av organisasjonen, slik at ressurser kan bygges opp på en mer effektiv måte og til en hver tid kan utnyttes optimalt. Analysen viser også at det har vært en økning i politiets budsjett i perioden, mens økningen i politi- og lensmannsetatens personellressurser i perioden har vært liten. Det påpekes 4 Analyser av økonomi er for eksempel utgifter og ressursbruk knyttet til rutiner i staten (eksempelvis innrapportering), analyse av drifts- og administrasjonskostnader i en statlig virksomhet og konkurranseutsetting av statlige tjenester. 10

13 at dette er på grunn av en sterkt økende befolkning og ingen endringer i politiets bemanning og at dette har medført et økende press på en etat med svært mange oppgaver Analyser av produktivitet Fra Evalueringsportalen ble det valgt ut 5 evalueringer som analyserer produktivitet. 5 En analyse av produktivitet ser på forholdet mellom produksjonen av varer eller tjenester eller andre resultater av en gitt kvalitet i forhold til de innsatsfaktorene som er benyttet for å produsere dem. Evaluering av organisering av Økonomitjenesteområdet i Senter for statlig økonomistyring (SSØ) er utført av Pricewaterhouse Coopers (PwC) på oppdrag fra Direktoratet for Økonomistyring (PwC 2010). Organiseringen av den delen av virksomheten som leverer økonomitjenester til SSØs kunder blir evaluert og det blir sett på kvaliteten på produksjonen av økonomitjenester innenfor den gitte ressursrammen som SSØ har til rådighet. Metodisk er evalueringen kvalitativ og anvender eksisterende dokumenter i tillegg til informasjon som har fremkommet gjennom intervjuer og workshops. SSØs produksjonskapasitet, ressurser og produktivitet/ effektivitet er sentrale i analysen og forholdet mellom disse kan settes opp på denne måten: Produksjonskapasitet = Ressursramme * Produktivitet Dette betyr at skal produksjonskapasiteten økes innenfor en konstant ressursramme, må produktiviteten øke. De faktorene som da vil måtte påvirkes er ikke lett å måle. På bakgrunn av dette har evaluator satt opp følgende faktorer som alle påvirker SSØs produktivitet: Ledelse, organisering, Kultur, kompetanse, Arbeidsprosesser/ metoder og teknologiutnyttelse. Produktivitet og effektivitet i SSØs økonomitjenester kan forbedres ved at det gjennomføres tiltak innenfor hver av disse faktorene. I analysen av SSØs organisering blir det trukket frem observasjoner knyttet til de nevnte faktorene som etter deres oppfatning påvirker ytelse og produktivitet. Evaluator gir forslag til alternative organisasjonsmodeller for SSØ som kan gi økt produktivitet. Det konkluderes med at en annen organisasjonsmodell enn det SSØ har i dag vil være den beste totalt sett. Det vises til stordriftsfordeler ved å ha færre produksjonssteder (i dag er SSØ organisert med en 5 Analyser av produktivitet i utvalget, utfører i parentes: Omsorgsboliger for psykisk syke: Evaluering av Husbankens arbeid, 2009 (Norsk institutt for by- og regionforskning) Evaluering av organisering av økonomitjenesteområdet i Senter for statlig økonomistyring (SSØ), 2010 (PwC) Evaluering av senter for statlig økonomistyring, 2006 (ECON) Evaluering av SkatteFUNN - Sluttrapport, 2008 (Statistisk sentralbyrå) Evaluering av forsterket avdeling, 2008 (Agenda Kaupang) Helhetlig utlendingsforvaltning: Hvordan fungerer ansvarsforhold og samhandling mellom UDI og utenrikstjenesten? 2006 (Statskonsult). 11

14 sentralenhet i Oslo og seks regionskontorer). Dette vil gi større fagmiljøer, mulighet for større spesialisering og fleksibel ressursutnyttelse. Det vises samtidig til at dette er den modellen som gir størst omstillingsbehov for SSØ Samfunnsøkonomiske analyser De samfunnsøkonomiske analysene forsøker å gi systematisk informasjon om nytte- og kostnadsvirkningene av ulike alternative tiltak. På den måten får beslutningstaker et grunnlag til å vurdere i hvilken grad ulike tiltak er samfunnsøkonomisk lønnsomme. Analysen gir et grunnlag for å prioritere mellom ulike tiltak (DfØ 2012). Samfunnsøkonomisk analyse er en evaluering før et tiltak iverksettes. Dette er ulikt fra de andre analysemodellene som evaluerer tiltaket eller virksomheten underveis eller etter en iverksettelsesprosess. Det er 4 samfunnsøkonomiske analyser i utvalget. 6 En evaluering som kan trekkes fram er Samfunnsøkonomisk analyse av eventuell utvidet petroleumsvirksomhet i Barentshavet - Lofoten gjennomført av Vista Analyse på oppdrag fra Miljøverndepartementet (Vista Analyse 2010). Hensikten har vært å kartlegge, beskrive og systematisere de forventete virkningene for samfunnet av en eventuell petroleumsvirksomhet i Barentshavet- Lofoten. Evalueringen tar for seg et alternativ hvor dagens forvaltning av havområdet videreføres (dvs. ingen petroleumsvirksomhet), og et alternativ der de aktuelle havområdene åpnes for petroleumsvirksomhet. Fokus i evalueringen er havområdets økosystem, fiske- og havbruksnæringen og reiseliv. Analysen ser på effekter for Norge som helhet, men drøfter også regionale fordelingseffekter. Analysen har lang tidshorisont og legger til grunn at en eventuell petroleumsvirksomhet kan pågå til I samfunnsøkonomiske analyser er det vanlig først å beskrive alle relevante virkninger, tallfeste dem og deretter å verdsette dem så langt det er mulig. I denne analysen er det forsøkt å tallfeste økonomiske kostnader og gevinster (inntekter, nyttevirkninger) både ved alternativet hvor dagens forvaltning av havområdet fortsetter og alternativet med full åpning for petroleumsvirksomhet. Det blir framhevet at tallfesting av effekter kan oppfattes som kontroversielt og føre til en innsnevret framstilling. Noen effekter lar seg ikke tallfeste og er bedre tjent med en kvalitativ fremstilling. 6 Samfunnsøkonomiske analyser i utvalget, utfører i parentes: Samfunnsøkonomiske nyttevirkninger av nytt digitalt nødnett, 2009 (Nasjonalt sammensatt evalueringskomite) CO2- fangst, -transport og -lagring fra gasskraftverk på Kårstø: KS1 Kvalitetssikring, 2010 (Terramar og Asplan Viak) Samfunnsøkonomisk analyse av eventuell utvidet petroleumsvirksomhet i Barentshavet - Lofoten, 2010 (Vista analyse) Energiloven og energieffektivisering, 2007 (Econ Pöyry). 12

15 Likevel mener evaluator at analysen i sum vil bidra til klargjøring, synliggjøring og systematisering av effektene av å åpne havområdene for petroleumsvirksomhet. Beregningene viser at petroleumsutvinning i Barentshavet- Lofoten sannsynligvis vil være samfunnsøkonomisk lønnsomt, gitt at man finner drivverdige felt. Vista Analyse legger imidlertid vekt på at tallmaterialet som beregningene er basert på er mangelfullt og usikkert Målfrie evalueringer Målfrie evalueringer forstås som en undersøkelse hvor det organiserende prinsippet er resultatet av innsatsen bak tiltaket eller virksomheten og ikke dets mål. Det sentrale er altså at tiltakets eller virksomhetens formulerte målsetting ikke er styrende for evalueringen. Fokus i evalueringen blir rettet mot innsatsen som gjøres på området som evalueres. Tanken bak denne formen for evaluering er at man da får fram så mye informasjon som mulig om konsekvenser og virkninger av tiltaket eller den evaluerte virksomheten (Sverdrup 2002). 18 evalueringer (34 prosent) i utvalget er blitt regnet som målfrie evalueringer. Problemer har ikke kontortid: Akuttberedskapen i barnevernet gjennomført av NOVA på oppdrag fra Barne- likestillings- og inkluderingsdepartementet og Justis- og beredskapsdepartementet er en målfri evaluering som tar for seg akuttberedskapen i barnevernet i alle landets kommuner (NOVA 2003). Her er det gjort en landsdekkende undersøkelse for å kartlegge hvile kommuner som har denne beredskapen og hvordan den fungerer. Selv om resultatene i denne evalueringen ikke sammenlignes med forhåndsatte mål, forklares det i innledningen at forventningen fra departementene er at alle kommuner har akuttberedskap. Den eldste evalueringen i denne dokumentstudien Offentlig skjemavelde: situasjonsbeskrivelse og anbefalinger er også en målfri evaluering. Oppdragsgiver er Brønnøysundregistrene og utfører er Næringslivets skjemaråd (1994). Rapporten ser på generelle tiltak for å lette bedriftenes oppgavebyrder og for å bedre den kommunikasjonen som foregår mellom forvaltning og næringsliv ved hjelp av skjema. 13

16 2.5. Datagrunnlag i utvalget De flest evalueringene som er med i utvalget tar for seg et bredt tema og legger omfattende data til grunn for konklusjonen. Fordelingen mellom ulike datagrunnlag i utvalget er tilnærmet sammenfallende med statistikken som gir oversikt over datagrunnlag for alle evalueringene i Evalueringsportalen. Dokumentstudier er det mest brukte datagrunnlaget i utvalget og tre av fire evalueringer bruker dette. De typer dokumenter som er brukt som datagrunnlag er blant annet Stortingsdokumenter, styringsdokumenter, virksomhetsplaner, rapporter, utredninger og referater. Intervju (for eksempel dybdeintervju og fokusintervju) er også mye brukt som datagrunnlag. Omtrent halvparten av evalueringene i utvalget har brukt dette. Statistikk og observasjon er mindre brukt. Det er valgt tre evalueringer fra utvalget som har en interessant metodebruk. Her gis en generell oversikt over metodene. Det anbefales å lese evalueringene for å forstå metodebruken fullt ut Metaanalyse: Effekter av tiltak på sykefravær Evalueringen Effekter av tiltak på sykefravær fra 2008 bruker metaanalyse som datagrunnlag. Dette innebærer at dokumentstudier og statistikk kombineres. Evalueringen er gjort av Transportøkonomisk institutt på oppdrag fra Arbeids- og velferdsetaten (Transportøkonomisk institutt 2008). Det er gjort systematiske kvantitative sammenstillinger av resultater fra flere studier om sykefravær. Analysen produserer kvantitative synteser fra de studiene som oppfyller kravene som analysen stiller. De statistiske teknikkene som brukes i denne evalueringen skal motvirke at funn urettmessig blir tillagt større vekt enn hva statistisk størrelse og betydning skulle tilsi. Dette gjøres ved å vekte de enkelte undersøkelsenes bidrag til sluttresultatet. Metaanalysens sluttprodukt kan beskrives som gjennomsnittseffekter av resultatene av de studiene som inngår i analysen. Styrken med metaanalysen er at den bygger på flere undersøkelser og den får derfor et større datagrunnlag med flere tilfeller å bygge på. Evaluator begrunner også metaanalysen ut fra at i tradisjonelle tilnærminger behandles alle funn som like holdbare og små funn feilaktig vektlegges like mye som store. Det hevdes også at manglende systematikk i tradisjonelle evalueringer gjør at analysene er sårbare for subjektive inntrykk. Studiene om sykefravær som ble brukt i analysen ble hentet fra søkebasene ISI og Pubmed. 14

17 Virkningen av flytting: Evaluering av utflytting av statlig virksomhet: Sjøfartsdirektoratet Evaluering av utflytting av statlig virksomhet: Sjøfartsdirektoratet gjennomført av Asplan Viak, PwC og SINTEF på oppdrag fra Fornyings- og administrasjonsdepartementet ser på virkningen av å flytte Sjøfartsdirektoratet ut av Oslo (Asplan Viak, PwC, SINTEF 2009). Flyttingen var en konsekvens av St. melding nr. 17 ( ) Om statlige tilsyn og flytting skulle gradvis skje over en periode på tre år. Virkning av flytting blir her forstått som forskjellen med og uten flytting. Det ble sett på hvordan flyttingen virker inn på kostnader for Sjøfartsdirektoratet, virkninger for personell og hvordan det påvirker måloppnåelse. Virkningen med flytting er situasjonen for direktoratet i dag. Denne kan observeres. Dagens situasjon sammenlignes med hvordan situasjonen hadde vært hvis virksomheten hadde blitt i Oslo. Ettersom det ikke ble hentet inn data før direktoratet flyttet er dette en hypotetisk situasjon og denne kan ikke lenger observeres. Det viktigste datagrunnlaget for situasjonen før flytting blir derfor informasjon som enda er tilgjengelig. Datagrunnlag som er brukt for å kartlegge situasjonen både før og etter flytting er rapporterte kostnadstall, regnskapsrapporter, årsrapporter, intervju med nærings- og handelsdepartementet og intervju med ledelse og administrasjon i sjøfartsdirektoratet. Det vektlegges at dette er en studie som kun tar for seg enkelte virkninger av flytting Standardkostnadsmodell: Statlige krav til innrapportering fra frivillige organisasjoner og frivillighetssentraler Den tredje evalueringen som trekkes fram på grunn av interessant metodebruk er Evalueringen om Statlige krav til innrapportering fra frivillige organisasjoner og frivillighetssentraler. Den er gjennomført av Rambøll Management Consulting og oppdragsgiver her er Kulturdepartementet (Rambøll 2009). Det brukes en Standardkostnadsmodell (SKM) for kartlegging av statlige krav til innrapportering fra frivillige organisasjoner og frivillighetssentraler og det undersøkes om det finnes forenklingsmuligheter. SKM er en internasjonal anerkjent intervjumetode for å kartlegge administrative byrder. Metoden er lenge blitt brukt til å måle slike byrder i det private næringsliv. I senere år er metoden også blitt benyttet til målinger på andre samfunnsområder, for eksempel i frivillige organisasjoner. Metoden tar utgangspunkt i lovtekster og andre reguleringer som pålegger ulike aktører (organisasjoner, bedrifter eller privatpersoner) administrative byrder. Videre identifiseres såkalte informasjonskrav i de analyserte dokumentene. Et informasjonskrav pålegger aktørene minst en av tre følgende krav: (a) å 15

18 sende inn informasjon til offentlige myndigheter, (b) å sende informasjon til 3. part, eller (c) å oppbevare informasjon. Med informasjonskravene som utgangspunkt gjennomføres intervju med de aktørene som er pålagt kravene. Formålet er å identifisere tidsbruk og kartlegging av hvilke arbeidsprosesser som må gjennomføres. Etter intervjuene skal den normalt effektive virksomheten identifiseres. Det vil si en virksomhet som løser kravene i lovteksten så effektivt som det med rimelighet kan forventes. Det vil si så lang tidsbruk som en normalt effektiv virksomhet må legge ned for å utfylle informasjonskravene fullt ut. Dette sammenholdes med tidsbruk hos de evaluerte virksomhetene, i dette tilfellet ulike frivillige organisasjoner og frivillighetssentraler. Til slutt utarbeides en rapport der kartleggingens funn presenteres Hva konkluderer evalueringene i utvalget med? Konklusjonene i evalueringene er positive (det kan for eksempel være at målene som er satt for det evaluerte politikkområdet er nådd) eller negative (målene er ikke nådd). Samtidig er det mange konklusjoner som viser til både noe positivt og noe negativt ved det evaluerte politikkområdet. Omtrent halvparten av evalueringene i utvalget har positive konklusjoner og her trekkes det fram noen eksempler: Signifikant positiv effekt av opplæringstiltak (Evaluering av ordinære arbeidsmarkedstiltak påbegynt 4. kvartal: Dokumentasjon og analyse av effekter november 2005, SSB) Universell utforming er kostnadseffektivt. Programmet har bidratt til å endre holdninger blant offentlig ansatte. (Evaluering av handlingsprogram for universell utforming, Norsk institutt for by- og regionforskning, 2005) Nødnettet vil gi positive nyttevirkninger (Samfunnsøkonomiske nyttevirkninger av nytt digitalt nødnett, Nasjonalt sammensatt evalueringskomité 2009) Det et lite utvalg på i alt fire samfunnsøkonomiske analyser i denne dokumentanalysen. Tre av disse er positive og pekte på at det analyserte tiltaket vil ha positive samfunnsøkonomiske nyttevirkninger og at det vil være samfunnsøkonomisk lønnsomt. 7 Denne evalueringen har metodiske likheter med Riksrevisjonens undersøkelse av regelverksforenkling og reduksjon av skjemabelastning for næringslivet, Dokument nr. 3:10 ( ). 16

19 Flere av de positive konklusjonene viser til at det evaluerte tiltaket eller virksomheten driver kostnadseffektivt. 8 I Sluttevaluering politireform 2000 er et hovedmål en politi- og lensmannsetat som jobber mer kostnadseffektivt (bedre måloppnåelse med de ressursene politiet har tilgjengelig). Faktorer som blir trukket frem og som har ført til kostnadseffektivitet er blant annet mer samarbeid på tvers av enheter, samling og reduksjon av administrative funksjoner, bedre ressursutnyttelse og innkjøpsavtaler Anbefalinger Ved gjennomgang av evalueringene viste det seg at visse anbefalinger går igjen i mange av rapportene. Dette er tilfellet selv om evalueringene tar for seg vidt forskjellige saksområder. Her følger en liste med typiske anbefalinger fra evalueringene i dokumentanalysen: Kompetanseutvikling Informasjonsutveksling Utarbeide retningslinjer Økt samordning og samarbeid Arbeidsdeling Evalueringene har anbefalinger om overordnede og generelle emner som å øke samarbeidet med andre avdelinger eller myndigheter og utvikle og øke kompetansen blant medarbeidere. I tillegg er fokus på at det må utvikles klarere retningslinjer for den evaluerte virksomheten eller tiltaket. En rapport om evalueringspraksis i Danmark fra den danske Rigsrevisjonen viser at anbefalinger i flere av evalueringene er utgiftsøkende og kan ikke implementeres umiddelbart uten at anbefalinger konkretiseres (Rigsrevisjonen 2006). Dokumentanalysen tyder på at dette i en viss grad også er tilfellet i Norge. Både kompetanseutvikling og utarbeiding av retningslinjer er midlertidige utgiftsøkninger for virksomheten, men kan være lønnsomt på lengre sikt. Anbefalinger som økt samarbeid eller arbeidsdeling trenger ikke å være utgiftsøkende. 8 Se for eksempel: Evaluering av handlingsprogram for universell utforming (Norsk institutt for by- og regionforskning 2005). 17

20 3. Avslutning Denne rapporten har gitt innsikt i offentlig evalueringspraksis. Det er gjort en dokumentstudie av et utvalg evalueringer fra Evalueringsportalen som tar for seg økonomi og produktivitet for bedre effektivitet og måloppnåelse i statlige virksomheter og tiltak. for disse evalueringene, det vil si hva de analyserer, har blitt sett på uavhengig av datagrunnlag, konklusjoner og anbefalinger. I et senere prosjekt vil det kunne være interessant å se mer på sammenhenger. Er det noen sammenheng mellom datagrunnlag og anbefalinger, eller mellom typer evalueringer og konklusjoner? I kapittel 3.5 ble det vist til at de fleste samfunnsøkonomiske analysene hadde positive konklusjoner. Antallet evalueringer måtte imidlertid vært mye større for å kunne generalisere rundt dette. Ved et større utvalg vil det være mulig å undersøke fellestrekk og generelle linjer blant evalueringer som handler om statlig effektivitet og måloppnåelse. Et gjennomgående tema i artikler som drøfter evalueringer er ønsket om mer kunnskap om evalueringspraksis Norge. Mer forskning og bevissthet om evalueringer kan gi mange gevinster. Det er mye kunnskap som ligger i hundrevis av evalueringsrapporter og Evalueringsportalen har i seg selv forbedret tilgjengeligheten til disse. Mer kunnskap vil forbedre muligheten til å identifisere evalueringer med høy og lav kvalitet. Ved å klargjøre hva som er en godt gjennomført evaluering under ulike betingelser, gir dette et større potensial for å produsere evalueringer som har høyere legitimitet og "snakker sannhet til makten" (Wildawsky, sitert i Askim m. fl. 2012). Likevel bør det settes spørsmålstegn ved om det bør innføres standardiseringer for evalueringer. I artikkelen Fremtiden for evaluering i Norge (Akre og Bohni Nielsen 2011) blir det vist til intervju med flere evalueringseksperter i Norge og hvor informantene viser en tydelig skepsis til ytterligere standardisering i evalueringspraksis av frykt for at dette kan gå på bekostning av nytteverdien på det aktuelle fagområdet. Som følge av at kravet om gjennomføring av evalueringer er fastsatt i reglement for økonomistyring i staten, kan gjennomføringen lett få et rutinemessig preg. Det blir gjennomført en kontroll av hvorvidt fastlagte målsettinger er nådd. Den danske Rigsrevisjonen (2005) viser til at det sjelden blir satt spørsmålstegn ved gjeldene målsettinger og normer ved gjennomføring av en evaluering. De fastlagte målsettingene burde kanskje i seg selv vært mer problematisert i evalueringen. Ved gjennomføring har utfører en begrenset økonomisk ramme å evaluere innenfor, noe som innebærer at oppdragsgiver får det som bestilles og hverken mer eller mindre. En evaluering er en bestilling som skal gjennomføres på bakgrunn av fastlagte retningslinjer og er ikke det samme som et forskningsprosjekt hvor det er en videre ramme for hvordan prosjektet gjennomføres. 18

21 Et annet sentralt spørsmål for videre undersøkelser rundt evalueringspraksis er hvorvidt evalueringenes resultat får konsekvenser for det evaluerte tiltaket eller virksomheten. Per i dag er det gjort lite undersøkelser på om de virksomhetene som blir evaluert endrer praksis som følge av evalueringers konklusjoner og eventuelle anbefalinger. Det brukes anslagsvis 1,5 mrd kroner på evalueringer i Norge hvert år (Askim m. fl. 2012). Da er det viktig at evalueringer blir brukt som tiltenkt som et styringsverktøy i politikkutformingen. 19

22 Litteraturliste Bøker Askim, Jostein, Erik Døving, Åge Johnsen (2012). Evalueringspraksis i den norske statsforvaltningen I: Tendenser i Norsk Evaluering. Einar Lier Madsen (red.). Bergen: Fagbokforlaget. (Utkast per ). Foss, Olaf (2000) Evaluering- samfunnsforskning i politikkens tjeneste. I: Evaluering av offentlig virksomhet. Jan Mønnesland (red.) Oslo: NIBR (Pluss- serie, -2000). Røste, Ole Bjørn (2008) Politikk og økonomi for statsvitere. Oslo: Gyldendal Akademisk. Sverdrup, Sidsel (2002) Evaluering. Faser, design og gjennomføring. Bergen: Fagbokforlaget. Vedung, Evert (1991) Utvärdering i politikk och förvaltning. Lund: Studentlitteratur. Internettsider Akre, Benedicte og Steffen Bohni Nielsen, Rambøll Management Consulting (2011) Fremtiden for evaluering i Norge. < > [Hentedato ] Evaluering. < [Hentedato ] Evalueringsportalen. < > [Hentedato ] Evalueringsportalen etter et års drift- En erfaringsoppsummering. < > [Hentedato ] Regelverk Reglement for økonomistyring i staten fastsatt 12. desember 2003, med endringer senest 14. november 2006 (økonomireglementet). 20

23 Rapporter Rigsrevisjonen (2005) Beretning til statsrevisorne om statens anvendelse af evalueringer. Maj 2005, RB A302/05 Annen litteratur Bamberger, Michael, Jim Rugh, Linda mabry (2006). Real world evaluation. Working under budget, time, data and political constraints. Thousand Oaks, California: SAGE Publications Inc. Finansdepartementet (2005) Veileder til gjennomføring av evalueringer. Oslo: Finansdepartementet. Opstad, Leiv (2006) Økonomistyring i offentlig sektor. Oslo: Gyldendal Akademisk. Riksrevisjonen (2012) Retningslinjer for forvaltningsrevisjon. Stern, Elliot (ed.) (2012) Evaluation. The International Jornal of Theory, Reasearch and Practice. London: SAGE Publications (Vol. 18, nr.2) Sørensen, Rune J. (2009) En effektiv offentlig sektor. Organisering, styring og ledelse i stat og kommune. Oslo: Universitetsforlaget. 21

24 Vedlegg: Evalueringer i utvalget fra Evalueringsportalen.no Tittel Årstall Oppdragsgiver Utfører Analyse av ressursbruken i politiet 2008 Politi og lensmannsetaten AGENDA Kaupang CO2- fangst, -transport og -lagring fra gasskraftverk på Kårstø: KS1 Kvalitetssikring 2010 Olje- og energidepartementet, Finansdepartementet Terramar, Asplan Viak Dei administrative funksjonane i Kredittilsynet: Ei benchmarking med Konkurransetilsynet, Norad, NVE og SFT 2009 Finanstilsynet Direktoratet for forvaltning og IKT Driftsanalyse av politi og lensmannsetaten perioden Justis- og beredskapsdepartementet Politidirektoratet Effekter av tiltak på sykefravær 2008 Arbeids- og velferdsetaten Transportøkonomisk institutt Ekstern utredning om virkninger av Konkurransetilsynets håndheving 2007 Fornyings- og administrasjonsdepartementet Copenhagen Economics Energiloven og energieffektivisering 2007 Olje- og energidepartementet Econ Pöyry, ECOM Pöyry Et helhetlig risikobasert tilsyn: En evaluering av Petroleumstilsynet 2007 Arbeids- og inkluderingsdepartementet AGENDA Kaupang, Agenda utredning og utvikling, Scandpower Evaluation of SIU- Norwegian Centre for International Cooperation in Higher Education 2010 Kunnskapsdepartementet NIFU STEP Evaluering av arbeidsmiljømyndighetenes organisering og virksomhet 2002 Arbeids- og administrasjonsdepartementet Price Waterhouse Coopers Evaluering av Arbeidstilsynet 2008 Arbeids- og inkluderingsdepartementet Price Waterhouse Coopers 22

25 Evaluering av Finansdepartementets etatsstyring 2002 Finansdepartementet Direktoratet for forvaltning og IKT, Statskonsult Evaluering av fondene for Øst- Europa og Nordvest- Russland 2007 Innovasjon Norge Econ Pöyry Evaluering av forsterket avdeling 2008 Utlendingsforvaltning AGENDA Kaupang Evaluering av handlingsprogram for universell utforming 2005 Miljøverndepartementet Norsk institutt for byog regionforskning Evaluering av IA - avtalen ( ) 2009 Arbeids- og inkluderingsdepartementet SINTEF, NTNU Evaluering av interkommunalt samarbeid etter kommunelovens 27- omfang, organisering og virkemåte 2011 Kommunal- og regionaldepartementet Universitetet i Agder Evaluering av konkurranseutsetting av drift- og vedlikehold i Statens veivesen 2010 Samferdselsdepartementet Dovre Group Evaluering av miljøvernsamarbeidet mellom Norge og Russland 2007 Miljøverndepartementet Utenriksdepartementet Fridtjof Nansens Institutt Evaluering av Nasjonal Digital Læringsarena 2009 Kunnskapsdepartementet Rambøll Management Consulting Evaluering av ordinære arbeidsmarkedstiltak påbegynt 4. kvartal: Dokumentasjon og analyse av effekter november Arbeids- og inkluderingsdepartementet Statistisk sentralbyrå Evaluering av organisering av økonomitjenesteområdet i Senter for statlig økonomistyring (SSØ) 2010 Direktoratet for Økonomistyring Price Waterhouse Coopers Evaluering av Politiets utlendingsenhet 2007 Politi og lensmannsetaten Direktoratet for forvaltning og IKT, Statskonsult Evaluering av prosessen rundt dommerutnevnelser 2007 Justis- og beredskapsdepartementet Direktorat for forvaltning og IKT, Statskonsult 23

26 Evaluering av senter for statlig økonomistyring 2006 Finansdepartementet ECON/ ECOM Evaluering av SkatteFUNN - Sluttrapport 2008 Norges forskningsråd Statistisk sentralbyrå Evaluering av støtteordningen for økologisk landbruk 2000 Statens landbruksforvaltning ECON, ECOM Pöyry Evaluering av utflytting av statlig virksomhet Sjøfartsdirektoratet 2009 Fornyings- og administrasjonsdepartementet Asplan Viak, Price Waterhouse Coopers, SINTEF Forvaltningskompetansen i Luftfartstilsynet 2008 Samferdselsdepartementet Direktoratet for forvaltning og IKT Helhetlig utlendingsforvaltning: Hvordan fungerer ansvarsforhold og samhandling mellom UDI og utenrikstjenesten? 2007 Utlendingsforvaltning Statskonsult I hvilken grad bidrar Innovasjon Norge til innovasjon? En analyse av de støttede prosjektenes innovasjonsinnhold 2011 Innovasjon Norge Oxford Research Inkluderende arbeidsliv i kommunene 2011 Arbeids- og velferdsetaten SINTEF teknologi og samfunn, Exonero Kartlegging av statlige tilskuddsordninger (Postene 70-89) med miljøskadelige konsekvenser 2008 Finansdepartementet SWECO Grøner Klanderverdige forhold og varsling i norsk arbeidsliv 2008 Arbeids- og velferdsetaten Universitetet i Bergen Kunnskapsløftets forutsetninger: Sluttrapport 2011 Utdanningsdirektoratet UiO, Pedagogisk forskningsinstitutt Med håp og engasjement: En kunnskapsstatus om utfordringer og strategier i rekruttering av arbeidskraft i distriktskommuner 2011 Distriktssenteret (Kompetansesenter for distriktsutvikling) Norut Tromsø Mid-term Evaluation of the EEA Grants 2008 Utenriksdepartementet Price Waterhouse Coopers 24

27 Nødnett: Evaluering av prosjektorganiseringen 2008 Direktoratet for nødkommunikasjon, Justisog beredskapsdepartementet Direktoratet for forvaltning og IKT Offentlig skjemavelde: Situasjonsbeskrivelse og anbefalinger 1994 Brønnøysundregistrene, Registerenheten i Brønnøysund Næringslivets Skjemaråd Omfang av arbeidsmarkedstiltak: Betyr det noe? 2006 Arbeids- og inkluderingsdepartementet Institutt for samfunnsforskning Omsorgsboliger for psykisk syke- evaluering av Husbankens arbeid 2009 Husbanken Norsk institutt for byog regionforskning Problemer har ikke kontortid: akuttberedskapen i barnevernet 2009 Barne- likestillings- og inkluderingsdepartementet, Justis- og beredskapsdepartementet NOVA Resultatmåling av brukerstyrt forskning Norges forskningsråd Møreforskning Rikspolitiske retningslinjer for barn og unge: En evaluering 2006 Miljøverndepartementet Norsk institutt for byog regionforskning Samfunnsøkonomisk analyse av eventuell utvidet petroleumsvirksomhet i Barentshavet - Lofoten 2010 Miljøverndepartementet Vista Analyse Samfunnsøkonomiske nyttevirkninger av nytt digitalt nødnett 2009 Direktoratet for nødkommunikasjon Nasjonalt sammensatt evalueringskomité Samordning av statlig tilsyn og systemrevisjon som tilsynsmetode 2011 Kommunal- og regionaldepartementet Norsk institutt for byog regionforskning Sikker levering av elektrisk kraft: Grensesnittet mellom Direktorat for samfunnssikkerhet og beredskap og Norges vassdrags- og energidirektorat 2009 Olje- og energidepartementet Direktoratet for forvaltning og IKT Sluttevaluering Politireform Politi og lensmannsetaten Agenda utredning og utvikling, AGENDA Kaupang Små vannkraftverk: Evaluering av dokumentasjon av biologisk mangfold 2008 Olje- og energidepartementet Miljøfaglig utredning 25