Bruk av indikatorer i effektmåling Eksempler fra distriktspolitikken Frants Gundersen, NIBR Olavsgaard 5.3.2009
Prosjektet Utarbeide et effektindikatorsystem for midlene over kapittel 551, post 60 Dvs den lille regionalpolitikken som går via fylkeskommunene Et samarbeid mellom Oxford Research og NIBR Tredelt: 1. Strategisk analyse 2. Case-studier 3. Indikatorsystem Aktivitet -- Resultat -- Effekt
Hovedpunkter Midlene utgjør ca 1,5 milliarder per år, dvs. forsvinnende lite i forhold til annen aktivitet med geografisk differensiering Harmoni innen vide rammer, dvs ingen målkonflikt mellom fylkeskommunal praksis og nasjonale mål. Mangelfulle rutiner for revisjon og innhenting av data.
Målhierarkiet Hovedmål Mål 1. Verdiskapning Økt verdiskapning, sysselsetting og internasjonal konkurransedyktig næringsliv gjennom næringsutvikling, innovasjon og entreprenørskap Mål 2. Rammebetingelser Gode lokale og regionale rammebetingelser for næringsliv og befolkning. Mål 3. Attraktivitet Utvikle attraktive regioner og sentra for befolkning og næringsliv. Delmål Mål 1 Styrke regionale næringsmiljøer Skal gi bedre vilkår for innovasjonsbasert verdiskapning Mål 2 Videreutvikle etablerte bedrifter Skal øke innovasjonsevnen og -takten i etablerte bedrifter Mål 3 Entreprenørskap Øke omfanget av lønnsomme etableringer Mål 4 Kompetanse Skal styrke grunnlaget for kompetanseheving for befolkningen og i samfunns- og arbeidsliv Mål 5 Infrastruktur Skal styrke fysisk infrastruktur og redusere avstandsulemper Mål 6 Tjenester Skal gi god tilgang på grunnleggende lokale tjenester til befolkningen Mål 7 Stedsutvikling Skal gjøre mindre sentra og små og mellomstore byer mer attraktive og aktuelle som bosted og som lokalisering av bedrifter
Systemet Kanal Mottaker Målemetode Målenivå Penger direkte fra FK Ymse: næringsfond, kommuner, næringshager, nettverk og lignende Survey prosjektleder Resultat (effekt) Penger gjennom IN Penger innenfor hva kap. 551 post 60 kan brukes til Survey bedrift Resultat (effekt) Kobling registerdata Resultat/effekt + et monitoringsystem
Survey til prosjektleder - Nettbasert - De sju delmålene styrer innholdet - Samkjøres med Kundeeffektundersøkelsen Utfordringer - Mangler epostadresse til prosjektlederne - Mangler rutiner for registrering av epostadresse - Er prosjektleder riktig person? Pilotundersøkelse i et utvalg fylker
Survey til bedrift - Bruke Kundeeffektundersøkelsen til IN - Har allerede flere årganger med data Utfordringer - Mangler e-postadresse til en del av bedriftene - Mangler rutiner/krav for registrering av e-postadresse - Spørsmålsstillingen er veldig konsentrert om enkeltbedriften, dvs må utvide noe for å dekke alle sju delmålene
Spørsmålstype I svært stor grad I stor grad I noen grad I liten grad Ikke i det hele tatt Vet ikke Ikke relevant Har prosjektet bidratt til å heve kompetansenivået hos ledelse/ansatte i involverte bedrifter/bransjer? Har prosjektet bidratt til å ta i bruk ekstern kunnskap i bedriften(e)/bransjen? Har prosjektet bidratt til å heve kompetansenivået i andre deler av befolkningen? Har prosjektet bidratt til økt bruk av FoU-institusjoner?
Fra resultat til effekt Hva ville skjedd med prosjektet/aktiviteten dersom fylkeskommunen ikke hadde gitt dette tilsagnet? 1. Gjennomført prosjektet/aktiviteten uten endringer; samme skala og tidsskjema 2. Gjennomført prosjektet/aktiviteten i samme skala, men på et senere tidspunkt. 3. Gjennomført prosjektet/aktiviteten i en mer begrenset skala, men med samme tidsskjema 4. Gjennomført prosjektet/aktiviteten i en mer begrenset skala og på et senere tidspunkt 5. Prosjektet/aktiviteten ville ikke bli gjennomført
Svar bedrifter Andelen bedrifter med nytt forretningsområde Etablererstipend 39 Distriktsutviklingstilskudd 29 Distriktsrettede risikolån 17 Totalt 31 0 10 20 30 40 50 60 70 80 90 100 Andelen bedrifter med økt fokus på innovasjonsvirksomhet Etablererstipend 52 Distriktsutviklingstilskudd 58 Distriktsrettede risikolån 54 Totalt 55 0 10 20 30 40 50 60 70 80 90 100
Svar fra prosjektledere Indikatorer for kompetanse Andelen prosjekter som bidratt til å øke kompetansen hos befolkningen for øvrig 21 57 5 18 Andelen prosjekter som har økt adapsjonsevnen i bedrifter 37 50 4 9 Andelen prosjekter som har økt kompetansen i bedrifter 45 43 4 9 Indikatorer for å styrke regionale næringsmiljøer 0 10 20 30 40 50 60 70 80 90 100 Bidrag Ikke bidrag Vet ikke Ikke relevant Andelen prosjekter med økt bruk av FoUinstitusjoner 16 56 14 14 Andelen prosjekter med lokalt samarbeid 29 55 1 15 Andelen prosjekter med nettverkssamarbeid 50 42 2 7 0 10 20 30 40 50 60 70 80 90 100 Bidrag Ikke bidrag Vet ikke Ikke relevant
Svar fra prosjektledere Indikatorer for infrastruktur Andelen prosjekter som har bidratt til til å bedre regionens telekommunikasjonstilbud 8 37 6 49 Andelen prosjekter som har bidratt til å redusere avstandsulempene for næringslivet 8 40 6 45 Andelen prosjekter som har bidratt til å redusere avstandsulempene for befolkningen. 8 41 7 44 Andelen prosjekter som har bidratt til å redusere generelle transportkostnader 3 43 9 46 Andelen prosjekter som bidratt til å redusere leveringstiden 5 40 9 46 Andelen prosjekter som har bidratt til å reduserte transportkostnadene for involverte bedrifter 3 42 5 50 0 10 20 30 40 50 60 70 80 90 100 Bidrag Ikke bidrag Vet ikke Ikke relevant
Porteføljedata - Koble INs portefølje for 2005 med Det sentrale bedrifts- og foretaksregisteret (BoF) - Bruke historikken i BoF til å lage indikatorer: - vekst/nedgang i sysselsettingen for bedrifter med støtte kontra de uten støtte - overlevelsesrater for bedrifter med og uten støtte - flytting for bedrifter med og uten støtte Datamateriale egnet for videre analyse Utfordringer - Bedrift kontra foretak - Relevant kun for de tre første delmålene - Kontrollgruppeproblematikk
Overlevelsesrater 100 90 80 70 60 50 40 30 20 10 0 Hele landet 1691 Trondheim 1192 Stavanger/Sandnes 0493 Elverum 0694 Hallingdal 1992 Tromsø 1291 Bergen 0892 Notodden/Bø 1891 Bodø 0391 Oslo 1791 Steinkjer 1694 Oppdal 1693 Brekstad 1897 Lofoten 2092 Hammerfest 2093 Alta 1494 Førde 1593 Ålesund 1493 Sogndal/Årdal 1591 Molde 0491 Kongsvinger 0891 Skien/Porsgrunn 2091 Vadsø 1592 Kristiansund 1495 Nordfjord 1898 Vesterålen 1792 Namsos 0492 Hamar 0594 Nord- Gudbrandsdalen 1994 Finnsnes 1894 Sandnessjøen 0494 Tynset Andelen bedrifter overlevd til 1.1.2008 uten tilsagn i 2005 Andelen bedrifter overlevd til 1.1.2008 med tilsagn i 2005
Monitoringssystemet - Som bakgrunnsinformasjon og oppslagsverk, lever sitt eget liv - Måling av generell regional utvikling knyttet til de sju delmålene - Lavt geografisk nivå - Etablerte kilder med egne kvalitetssikringssystemer -Historikk - Datamateriale egnet for videre analyse
Monitoringssystemet
Monitoringssystemet
Bruken av indikatorsystemet Tre brukergrupper: - Nasjonale myndigheter Evaluering av regionalpolitikken, satsingsområder, sentrale utredninger, sammenligning av fylker osv. - Regionale myndigheter/organisasjoner Sammenligne regioner, fordeling på satsingsområder, resultater og effekter etter delmål - Analysemiljøer Etablert datagrunnlag som kan benyttes i analyser/utredninger etter behov
Videre bruk Verdien øker med bedre administrative rutiner for tildeling og rapportering Verdien øker med bedre rutiner for datainnsamling og revisjon Verdien øker med tid Verdien øker med bruk/revisjon
Oppsummering Addisjonalitet kun delvis løst Virkemilder for små til å se effekter på samfunns- eller regionnivå Tildelings- og rapporteringssystemet ikke designet for effektmålinger eller indikatorproduksjon Kan i liten grad oppnå lavt nok geografisk nivå på indikatorene ved å følge pengestrømmen Verdi øker med bruk og over tid