NKRFs fagkonferanse EFFEKTEVALUERING (og forvaltningsrevisjon) Karl R. Pedersen NHH

Transkript

1 NKRFs fagkonferanse 2014 EFFEKTEVALUERING (og forvaltningsrevisjon) Karl R. Pedersen NHH

2 SAMFUNNSØKONOMISK RAMME Utgangspunkt: God forvaltningsrevisjon bør bygge på en grunnleggende samfunnsøkonomisk forståelse av hvordan den norske blandingsøkonomien fungerer. Samfunnsøkonomi er en vitenskap som studerer hvordan samfunnets knappe ressurser blir anvendt og ikke minst bør anvendes gitt at målsettingen er høyet mulig velferd for samfunnets befolkning. 2

3 En perfekt markedsøkonomi Utgangspunkt: En perfekt markedsøkonomi gir optimal bruk av samfunnets knappe ressurser: 1. Effektivitet i produksjonen 2. Effektivitet i konsumet 3. Effektivitet i konsumsammensetningen (basert på konsumentsuverenitet) - Markedsprisene spiller en nøkkelrolle som informasjonsbærere - Liten åpen økonomi: Verdensmarkedet gir viktige rammebetingelser Resultat: Pareto-optimalitet, dvs. umulig å endre ressursbruken på en lik måte at noen får det bedre uten at andre får det verre. Myndighetenes rolle: Opprettholde lov og orden Problem: Beskatning og effektivitetstap Problem: Inntektsfordelingen 3

4 Fra en imperfekt markedsøkonomi til en blandingsøkonomi (og velferdsstat?) En virkelig markedsøkonomi er ikke perfekt: -Imperfekt konkurranse -Eksterne virkninger -Kollektive goder -Imperfekt informasjon Slik markedssvikt gir grunnlag for offentlige inngrep (økonomisk politikk), dels indirekte gjennom regulering av privat økonomisk aktivitet og dels direkte ved å ta forsyningsansvaret (og dermed finansieringsansvaret, skattefinansiering og/eller pålagt brukerbetaling) for visse typer tjenester. Viktig fortsatt å utnytte markedets positive egenskaper, bl.a. markedsprisenes rolle som informasjonsbærere. 4

5 Vurderingskriterier for offentlige inngrep Hvordan vurdere et offentlig tiltak/inngrep i markedsøkonomien? - Paretokriteriet: Et tiltak er lønnsomt dersom noen kommer bedre ut, uten at noen taper (en Pareto-forbedring) - Hicks-Kaldorkriteriet: Et tiltak er lønnsomt dersom de som tjener på det, i prinsippet kan kompensere taperne og likevel komme bedre ut (en potensiell Pareto-forbedring). Gevinster og tap måles i kroner og øre (penger): Betalingsvillighet for de som kommer bedre ut og kompensasjonsbehov for de som taper. Offentlige tiltak forutsetter en forvaltning som implementerer politiske vedtak. Effektiviteten her påvirker lønnsomheten av tiltakene på en avgjørende måte. Problem: Fordelingsspørsmålet må håndteres særskilt i lys av politiske mål. 5

6 Styringssvikt Problem: Muligheter for styringssvikt: - Uheldig utformet politikk og/eller - Uheldig implementering Forvaltningsrevisjon har hovedfokus på forvaltningens implementering av politiske vedtak (og dermed organisering, virkemiddelbruk,..): - Kunne implementeringen vært bedre (mer effektiv) i et ex post perspektiv (kontroll) og/eller - Kan implementeringen forbedres i et ex ante perspektiv (læring) Men forvaltningsrevisjonen skal også kontrollere beslutningsunderlaget politikerne baserte beslutningen på. 6

7 FORVALTNINGSREVISJON Forvaltningsrevisjon i Riksrevisjonen Stortinget har fastsatt at Riksrevisjonen skal gjennomføre systematiske undersøkelser av økonomi, produktivitet, måloppnåelse og virkninger ut fra Stortingets vedtak og forutsetninger, det vil si forvaltningsrevisjon, jf. lov om Riksrevisjonen 9. Ifølge instruks om Riksrevisjonens virksomhet 9 skal forvaltningsrevisjonen framskaffe relevant informasjon til Stortinget om iverksettelse og virkninger av offentlige tiltak eller lignende, herunder a) om forvaltningen bruker ressurser til å løse oppgaver som samsvarer med Stortingets vedtak og forutsetninger b) om forvaltningens ressursbruk og virkemidler er effektive i forhold til de målene som Stortinget har satt på området c) om regelverk fastsatt av Stortinget etterleves d) om forvaltningens styringsverktøy, virkemidler og regelverk er effektive og hensiktsmessige for å følge opp Stortingets vedtak og forutsetninger e) om beslutningsgrunnlaget fra regjeringen til Stortinget er tilstrekkelig f) om forvaltningen gjennomfører vedtatt miljøpolitikk slik at prinsippet om bærekraftig utvikling og god forvaltning av naturressursene etterleves I instruksens 9 er det presisert at forvaltningsrevisjon bør begrenses til saker av prinsipiell, økonomisk eller stor samfunnsmessig betydning, se nærmere kapittel

8 Riksrevisjonens resultatkjede 8

9 Forvaltningsrevisjon i kommunene 9

10 Kommunerevisjonens effektkjede 10

11 Oppsummering INTOSAIs resultatkjede/effektkjede synes å være tatt rett fra en lærebok i samfunnsøkonomi: Utgangspunkt: Politisk vedtak (inkl. eventuell finansiering) med formål å tilfredsstille samfunnsmessige behov. 1. Innsatsfaktorer/(real-)ressurser 2. Produksjonsaktiviteter/transformasjon 3. Produkter/tjenester 4. Brukereffekter 5. Samfunnseffekter Resultater og dermed mål på produktivitet/effektivitet kan i prinsippet studeres på hvert trinn i denne kjeden. 11

12 EFFEKTEVALUERING Metode Effektevaluering av et offentlig tiltak (et prosjekt, en regulering eller en løpende aktivitet): Hva får vi som samfunn igjen (for ressursoppofrelsen)? Svaret kan gis på ulike trinn i resultatkjeden. I en fullstendig evaluering, veies velferdsgevinstene (netto) opp mot kostnadene. Store måleproblemer, men «it is better to know what it is we should know, even if we cannot know it, than to know something that is irrelevant» (Mishan) 12

13 Metode forts. I NHHs MBA-program vektlegges Samfunnsøkonomisk lønnsomhetsanalyse (nyttekostnadsanalyse), hvor man i utgangspunktet søker å kartlegge og verdsette alle relevante effekter (gevinster og kostnader). Må da i prinsippet kjenne hele resultatkjeden. DEA-analyse og bench-marking, hvor ulike (mer eller mindre identiske) enheter sammenlignes på effektivitet i ressursutnyttelsen (et eller annet sted i resultatkjeden) Statistisk effektevaluering, hvor hovedfokus er på å identifisere kausale effekter av offentlige tiltak: Virker de, og hvor sterk er effekten? 13

14 NYTTE-KOSTNADSANALYSE En fleksibel og helhetlig innfallsvinkel til effektevaluering som med fordel kan benyttes i svært mange sammenhenger. Vurderer ulike alternativer og utforminger opp mot hverandre (og foretar en rangering). Investeringsprosjekter - En tunnel, et vinter OL Reformer - En omorganisering, konkurranseutsetting Regulatoriske inngrep - CO2 avgift, nettolønnsordningen, en importavgift 14

15 Vurderingskriterium Et tiltak er samfunnsøkonomisk lønnsomt og gir en velferdsgevinst (i Hicks-Kaldor forstand) dersom netto betalingsvillighet for alle virkningene overstiger kostnaden. - Virkninger på ulike tidspunkt må kunne sammenlignes. Bruker en diskonteringssats og finner nåverdien, sluttverdien el.l. Er denne verdien positiv, er lønnsomt. Anbefaler i et konkret tilfelle det alternativet og den konkrete utformingen som er mest lønnsom. 15

16 Sammenlikningsgrunnlaget Hvilken forskjell gjør tiltaket? Viktige spørsmål: Hva er sammenlikningsgrunnlaget (referansealternativet, nullalternativet)? - Ex ante perspektiv: Det realistiske fremtidsscenariet uten tiltaket - Ex post perspektiv: Den kontrafaktiske verden uten tiltaket - På kostnadssiden: Alternativkostnadsprinsippet, verdien av de brukte ressursene i alternativ anvendelse (i fravær av tiltaket, i nullalternativet) Problem: «Svartmaling» av nullalternativet og «pynting» av tiltaket (strategisk budsjettering av kostnader og gevinster) 16

17 Aktuelle problemstillinger (i samferdselssektoren) Bompenge- eller skattefinansiering: Bompenger fortrenger brukere og gir effektivitetstap, men det gjør også generell beskatning problemstillingen neglisjeres? Ringvirkninger: Gevinster og/eller kostnader som ikke internaliseres av brukerne, som ikke inngår i deres betalingsvillighet brukes ofte strategisk? Finansdepartementets KS-ordning: En systematisk bruk av n- k analyser i ex-ante forvaltningsrevisjon(?) Hjelper det? 17

18 Eksempel: KSGs analyse av Vinter-OL/PL i Oslo i 2022 (med ref. til Tromsø i 2018) Referansealternativet: OL i 2022 gjennomføres i et annet land og situasjonen i Oslo/Norge gitt at det skjer. Ufullstendig n-k analyse: Beregner (tallfester) netto samfunnsøkonomiske kostnader knyttet til selve gjennomføringen (17660 millioner) og supplerer med vurderinger av tallfestede (1780 millioner) og ikke-tallfestede tilleggseffekter. Konklusjonen er at beslutningstakerne (eller den norske befolkning) må vurdere de ikke-tallfestede tilleggseffektene som verdt minst millioner for at prosjektet skal være samfunnsøkonomisk lønnsomt. Det er i overkant av 3000 kroner per innbygger i Norge. Den viktigste tilleggseffekten er folkefesten. 18

19 Samfunnsøkonomiske kostnadsberegninger Utgangspunktet er forventet behov for offentlige tilskudd (netto), millioner til markedspriser, gitt opprinnelig gjennomføringsog investeringsbudsjett (noe korrigert/oppdatert). Tre viktige spørsmål: - Hva er alternativkostnaden for ressursene (verdien av bruken i referansealternativet)? - Bør noen kostnads- eller inntektsposter i budsjettet flyttes over i referansealternativet? Kan det være snakk om en fremskynding? - Er det etterbruksverdier knyttet til noen av de investeringene og utstyrsanskaffelsene som ikke er en del av referansealternativet. 19

20 Samfunnsøkonomisk regnskap 20

21 DEA-ANALYSE OG BENCH-MARKING Teori Utgangspunktet er at de mest effektive enhetene spenner ut «best-practice» smh. mellom ressursinnsats og resultat. Spørsmål: Hvor stort er effektiviseringspotensialet? Resultat Konstant skalaavkastning Variabel skalaavkastning A Ressursinnsats 21

22 Eksempler fra kommunesektoren Norske kommuner har et betydelig ansvar for individorienterte velferdstjenester: Barnehage, skole, helse, eldreomsorg,. Analyser gjort under ledelse av Lars Erik Borge, NTNU, viser at det er betydelige effektivitetsforskjeller og dermed effektiviseringspotensiale (selv når det «renses» for effekter knyttet til kommunestørrelse, slik at man har fokus på effektiviseringspotensiale for gitt kommunestruktur). 22

23 Grunnskole og eldreomsorg Effektivitet i grunnskolen (fra 2005) - Innsatsfaktorer: Lærertimer (med og uten godkjent utdanning) - Produkt/brukereffekter (steg 3 eller 4 i resultatkjeden?): Standpunkt- og eksamens karakterer (ulike varianter), korrigert for familiebakgrunn. - Gjennomsnittlig effektivitetsskår Fortolkningen er at en gjennomsnittskommune kan redusere ressursbruken med i overkant av 20% uten at det skal gå ut over resultatet. For store kommuner er tallet noe mindre, mens det er større for små. Effektivitet i eldreomsorgen: Gjennomsnittlig effektivitetsskår 0.9 og effektiviseringspotensiale på omlag 10%. 23

24 STATISTISK EFFEKTEVALUERING Spørsmål: Et offentlig tiltak, virker det og hvor effektivt og treffsikkert er det? Problem: Måling av effekter skjer typisk etter at tiltaket har virket en tid. Som regel har mange faktorer endret seg i denne perioden, som kan tenkes å ha påvirket den målte effekteindikatoren. Hvordan sikre at man måler effekten av tiltaket (den kausale effekten) og ikke effekter av andre faktorer? For å svare på dette spørsmålet, må man danne seg en oppfatning av situasjonen uten tiltaket, som er en kontrafaktisk og ikke observerbar situasjon. Et spesielt problem oppstår når det gjelder tiltak hvor folk/bedrifter/ velger om de vil benytte seg av/forholde seg til et tiltak eller ikke. Det er ofte ikke tilfeldig hvem som velger å delta (seleksjonsproblemet). Nye statistiske metoder og økt datatilfang har bidratt til mulige løsninger på disse problemene i et ex post perspektiv. Bruker som oftest regresjonsanalyse. 24

25 Eksempler Hva er effekten av økt ressursbruk i skolen forbedres elevprestasjonene, i så fall hvor mye? Hva er effekten av konkurranseutsetting av offentlig tjenesteproduksjon øker effektiviteten, i så fall hvor mye? Hva er effekten av arbeidsmarkedstreningsprogram bedres sysselsettingsmulighetene, i så fall hvor mye? Hva er effekten av støtteordninger til FOU i bedrifter øker produktiviteten, i så fall hvor mye? 25

26 Teoretisk utgangspunkt Utgangspunktet er ideen om randomiserte eksperimenter: Et utvalg av individer deles i to identiske grupper, hvor den ene «utsettes» for tiltaket, mens den andre (kontrollgruppen) holdes utenfor. Ved å sammenlikne resultatene for de to gruppene (ser som oftest på gjennomsnittet), har man et utgangspunkt for å si noe om den kausale effekten av tiltaket. Problem: Sjelden mulighet til å gjennomføre randomiserte eksperimenter knyttet til offentlige tiltak. Det betyr at gruppene man evt. sammenlikner, høyst sannsynlig ikke er identiske. 26

27 Innfallsvinkler Utgangspunkt: En enkel regresjonsananalyse gir som regel feil svar når det gjelder tiltakseffekten (korrelasjon men ingen nødvendig kausalitet). Mange typer løsninger er utviklet, bl.a. - Multippel regresjon med observerbare bakgrunnsfaktorer - Difference-in-difference - Regression discontinuity design Stor metodeutvikling de siste årene vi ser kort på Difference-in-difference metoden 27

28 Anta samme trend i de to gruppene i fravær av tiltak: DiD, Diff-in-diff, Forskjell i forskjellen 28

29 Litteraturtips: Samfunnsøkonomi: Her finnes et utall av innføringsbøker. En moderne bok på norsk er - C. Riis & E. Moen: Moderen mikroøkonomi, Gyldendal Nytte-kostnadsanalyse: Også her finnes et utall bøker, men Finansdepartementets - Veileder i samfunnsøkonomiske analyser, 2005, kan fremdeles anbefales som en introduksjon. Statistisk effektevaluering: Her er det nettopp kommet en ypperlig innføringsbok: - J. Angrist & J. Pischke: Mastering metrics. The path from cause to effect, Princeton University Press,