Publisert i Evaluering. Tradisjoner, praksis, mangfold. Redigert av Anne Halvorsen, Einar Lier Madsen og Nina Jentoft. (Fagbokforlaget, 2013, ISBN: 978-82-450-1331-3) Evalueringspraksis i den norske statsforvaltningen 2005 2011 Jostein Askim, Erik Døving og Åge Johnsen Kapittelet argumenterer for at det er viktig å gjøre evaluering av offentlig politikk til gjenstand for forskning. De foreslår blant annet at en studerer nærmere hva som gjøres og hva som ikke gjøres til gjenstand for evaluering og hvorfor, under hvilke rammebetingelser ulike evalueringer gjennomføres, og hva det legges vekt på. Med utgangspunkt i data fra Evalueringsportalen ser kapittelet nærmere på evalueringspraksis i statsforvaltningen og viser at det ikke er noen enhetlig praksis.
Referanser Askim, J. (2007): How do politicians use performance information? An analysis of the Norwegian local government experience. International Review of Administrative Sciences, 73(3): 453 472. Baklien, B. (1993): Evalueringsforskning i Norge. Tidsskrift for samfunnsforskning, 34: 261 274. Balthasar, A. (2009): Institutional Design and Utilization of Evaluation: A Contribution to a Theory of Evaluation Influence Based on Swiss Experience. Evaluation Review, 33: 226 256. Bovens, M., P. T. Hart og S. Kuipers (2006): The politics of policy evaluation, i M. Moran, M. Rein og R.E. Goodin, eds., The Oxford Handbook of Public Policy. Oxford: Oxford University Press. Brofoss, K. E. (1997): Departementenes evalueringspraksis. I Statskonsult (red.), Evalueringspraksis i departementa: rapport frå Statskonsult sin konferanse om evaluering i april 1997, kapitel 5. Rapport 1997:13. Statskonsult. Oslo. Christie, C. A., and Fleischer, D. N. (2010): Insight into evaluation practice: A content analysis of designs and methods used in evaluation studies published in North American evaluationfocused journals, American Journal of Evaluation, 31(3): 326-346. Dahler-Larsen, P. (2000): Surviving the routinization of evaluation, Administration & Society, 32(1), 70-92. Dahler-Larsen, P. (2005): «Evaluation and public management, i E. Ferlie, L. Lynn og C. Pollitt (red.), The Oxford Handbook of Public Management. Oxford: Oxford University Press, s. 615-642. Døving, E., O. B. Ure, A. Tobiassen og D. Hertzberg (2006): Kompetanseutviklingsprogrammet 2000 2006. Sluttevaluering. SNF rapport nr. 32/2006. Bergen: SNF. Eriksen, B. (1990): Institutional aspects of evaluation in Norway, i Ray C. Rist (red.), Program evaluation and the management of government. Patterns and prospects across eight nations. London: Transaction Publishers. Finansdepartementet (2005): Veileder til gjennomføring av evalueringer. Oslo: Finansdepartementet. Foss Hansen, H. (2003): Evaluering i staten. Kontrol, læring eller forandring? Frederiksberg : Samfundslitteratur. Furubo, J.-E., R. C. Rist, og R. Sandahl (red.) (2002): International Atlas of Evaluation. New Brunswick, N.J.: Transaction Publ. GAO (1990): Prospective evaluation methods. The prospective evaluation synthesis. GAO/PEMD- 10.1.10. Washington: US General Accounting Office. 2
Henry, G. T. og Mark, M. M. (2003). Toward an agenda for research on evaluation. In C. A. Christie (Ed.), The practice theory relationship in evaluation. New Directions for Evaluation, No. 97 (pp. 69 80). San Francisco, CA: Jossey-Bass. Johnsen, Å. (2007). Resultatstyring i offentlig sektor: Konkurranse uten marked. Bergen: Fagbokforlaget. Jones, B. D. og F. R. Baumgartner (2005). The Politics of Attention: How Government Prioritizes Problems. Chicago: Chicago University Press. Koht, H. S. (2000): Administrative breakdown. Causal attributions in governmental investigative commission reports. HiO-report 2000 No. 8. Oslo: Oslo University College. Kvitastein, O. A. (2002): Offentlige evalueringer som styringsinstrumenter: Kravspesifikasjoner og kontrollproblemer. SNF-rapport nr 30/2002. Bergen: Stiftelsen for samfunns- og næringslivsforskning. Kvitastein, O. A. (2010): The what if in the evaluation of public programs. PhD thesis no 2010/09. Bergen: NHH. Leeuw, F. L. (2009): Evaluation: a booming business but is it adding value? Evaluation Journal of Australasia, 9(1): 3-9. Leeuw, F.L. og P.J. Rozendal (1994): Policy evaluation and the Netherlands s government: Scope, utilization and organizational learning. I Frans L. Leeuw, Ray C. Rist og Richard C. Sonnichsen (red): Can Governments learn? New Brunswick: Transaction publishers. Manski, C. F. (1996): Learning about treatment effects from experiments with random assignment of treatments. The Journal of Human Resources, 31(4): 709 733 Pawson, R. og Tilley, N. (1997): Realistic evaluation. Thousand Oaks, California: Sage. Ramberg, I. (2009): Muligheter og utfordringer ved bruk av kontrafaktisk analyse i forskningsbaserte evalueringer. Rapport 44/2009. Oslo: Nifu-Step. Rist, R. C. (1990): Managing of evaluations or managing by evaluations: Choices and concequences, i Ray C. Rist (red.), Program evaluation and the management of government. Patterns and prospects across eight nations. London: Transaction Publishers. Scriven, M. (1991): Evaluation Thesaurus. (4th ed.). Newbury Park, Calif.: Sage. Sverdrup, S. (2001): Evaluering. Faser, design, gjennomføring. Bergen: Fagbokforlaget. Vedung, E. (1998): Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Vedung, E. (2006): Evaluation research, i B.G. Peters & J. Pierre (red.), Handbook of Public Policy. London: Sage. Vining, A. R. og D. L. Weimer (2006): Efficiency and cost-benefit analysis, i B. G. Peters og J. Pierre (red.) Handbook of Public Policy. London: Sage. Weiss, C. H. (1999). The Interface between Evaluation and Public Policy, Evaluation 5(4): 468 86. 3
Wildawsky, A. (1972). The self-evaluating organization, Public Administration Review, 32(5): 509 520. I: Aaron Wildavsky (1987): Speaking Truth to Power: The Art and Craft of Policy Analysis: 212 237. 2nd edition. New Brunswick: Transaction Publishers. Wærness, M. og R. Øvrelid (2003): Departementenes bruk av evalueringer. Statskonsult notat 2003:1. Oslo: Statskonsult. Øvrelid, R. (2000): Evaluering i Norge. Nordisk Administrativt Tidsskrift, 81(2): 131 147. 4
Figurer Figur 1 Oppdragsgivere for evalueringer 2005 2011. Antall evalueringer bestilt av departementer og underliggende virksomheter. N=765 (Kilde: Evalueringsportalen) 5
Figur 2 Utførere av evalueringer for statsforvaltningen 2005 2011. Andel utførere per år (sum over 100 % pga flere utførere per evaluering), N=765. (Kilde: Evalueringsportalen) 6
Figur 3 Evalueringstyper 2005 2011. Andel typer per år (noen evalueringer dekker flere typer f.eks. både samfunnsøkonomisk analyse og forhåndsevaluering), N=765. (Kilde: Evalueringsportalen) 7
Figur 4 Datagrunnlag i evalueringer 2005 2011. Andel av evalueringer der hver type data er benyttet (flere typer data i en enkelt evaluering er mulig). N=765. (Kilde: Evalueringsportalen) 8
Tabeller Tabell 1 Utførere av evalueringer. Antall evalueringer etter år og oppdragstaker (minst 15 oppdrag i 2005 2011). Kilde: Evalueringsportalen. Utfører 2005 2006 2007 2008 2009 2010 2011 b Sum Riksrevisjonen 15 11 15 20 15 9 12 97 Norsk institutt for naturforskning 4 12 12 3 5 9 0 45 Econ Pöyry 3 4 11 10 4 6 3 41 Norsk institutt for by- og regionsforskning Direktoratet for forvaltning og IKT 9 5 3 2 1 6 1 27 3 1 8 4 4 1 0 21 Nordlandsforskning 1 3 5 3 6 1 0 19 Oxford Research 0 1 2 2 6 5 3 19 Agenda 1 2 3 2 1 5 4 18 Rambøll 2 0 1 8 5 1 1 18 Evalueringskomité a 1 4 3 1 3 3 2 17 Asplan Viak 0 1 2 3 6 1 2 15 andre 33 53 70 73 76 103 20 428 Sum 72 97 135 131 132 150 48 765 a «Evalueringskomité» er ikke en fast oppdragstaker men en samlebetegnelse for de ulike ad-hoc ekspertkomiteer nedsatt av Forskningsrådet for evaluering av Forskningsrådets egne tiltak eller av ulike vitenskapsdisipliner i Norge. b På grunn av etterslep i registrering er 2011 ikke fullstendig. 9