Evaluering Fra kontroll i etterkant til et element i utviklingen fremover Klynge caset Knut Senneseth Utvärderingsnätverket Stockholm 27 mai 2015
Formål: Innovasjon Norge er staten og fylkeskommunenes virkemiddel for lønnsom næringsutvikling over hele landet Hovedmål: Innovasjon Norges virkemidler og tjenester skal skape flere gode gründere, flere vekstkraftige bedrifter og flere innovative næringsmiljøer Foto: Aak AS
Evalueringer Et felles rammeverk Relevance Effectiveness Efficiency Impact Sustainability Seleksjonskriteriene En avgjørelse innen rimelig tid The DAC Principles for the Evaluation of Development Assistance, OECD (1991), Glossary of Terms Used in Evaluation, in Methods and Procedures in Aid Evaluation, OECD (1986), and the Glossary of Evaluation and Results Based Management (RBM) Terms, OECD (2000).
Strategi og tjenesteutvikling basert på ny eller oppdatert kunnskap læringssløyfa Hva er utfordringene? Hva har vi lært? Endringstrekk i økonomien Behov og etterspørsel i næringslivet Teoretiske og prinsipielle begrunnelser Politiske premisser/ mandat Strategi & tjenester Empiri om effekter Hva gjør vi og hvordan?
1. Det må foreligge markedssvikt som hemmer verdiskaping og vekst i samfunnsmessig forstand. 2. Markedssviktens konsekvenser må være større enn kostnaden ved å gripe inn i markedet. 3. Virkemiddelet som implementeres må være egnet til å korrigere markedssvikten på en ønsket måte. 4. Det skal være et klart definert mål på hva virkemiddelet skal bidra til. 5. Det må ikke være alternative virkemidler som er bedre i stand til å oppfylle virkemiddelets mål. 6. Seleksjonskriteriene for når virkemiddelet vil komme til anvendelse skal være tydelige og forutsigbare. 7. Det skal være enkelt å administrere virkemiddelet, slik at kostnadene med å ta det i bruk er små i forhold til gevinstene som oppnås. 8. Aktørene som søker å komme inn under virkemiddelet må kunne forvente en klar avgjørelse innen rimelig tid. Melding til Stortinget nr. 22 (2011 2012) Verktøy for vekst om Innovasjon Norge og SIVA SF. Side 116
Ett overblikk Innovative næringsmiljøer fra 2002/03 til i dag GCE Norwegian Centres of Expertise Arena programmet Marint verdiskapingsprogram Bedriftsnettverk Ulike samarbeidsprosjekter
Hva er et "innovativt næringsmiljø"? Dette er en samlebetegnelse for ulike typer allianser mellom nærings og kunnskapsaktører. Formålet er å samspille og samarbeide om innovasjons og utviklingsprosesser. Slike allianser kan være organisert som: En klynge, i betydningen en geografisk konsentrasjon av bedrifter og kunnskapsmiljøer som er koplet sammen gjennom felles interesser. Et nettverk av bedrifter og kunnskapsaktører, organisert for å fremme felles interesser eller for å gjennomføre konkrete felles prosjekter. En organisert utviklingsprosess som samler en bredt sammensatt gruppe av både private og offentlige aktører for en felles strategisk utviklingsprosess, f.eks. en omstillingsprosess innenfor en region.
Klyngearbeidet i Innovasjon Norge Tre nivåer som skal evaluere og lære Prosjektet Programmet Delmål innovative næringsmiljøer
Oversikt over programmene Startet 1. juli 2014 Arena Norwegian Centres of Expertise Global Centres of Expertise Målgruppe Klynger i en tidlig fase Modne klynger med nasjonal posisjon Modne klynger med global posisjon Støtteperiode 3 5 år 5 10 år Inntil 10 år Årlig støtte pr. prosjekt NOK 1,5 3 mill. NOK 4 6 mill. NOK 8 10 mill. Antall klyngeprosjekt ca. 20 10 12 4 5 Utvelgelse Årlig åpen konkurranse Klare kriterier Ekstern evaluering
Klynge evalueringer noen grunnleggende elementer Teoretisk rammeverk Design programteori Aktivitet & dosering resultat effekt Informasjon
Programteorien som utgangspunktet
Programmenes effektkjede Effekter Mer lønnsomme og vekstkraftige bedrifter Økt innovasjonsevne Økt internasjonal orientering Resultater Økt synlighet og attraktivitet Økt samarbeid mellom bedrifter/med kunnskapsmiljøer Aktiviteter Aktiviteter for å oppgradere klyngen
Resultatoppfølgingsregimet Nullpunktsanalyse Underveisevalueringer Sluttevalueringer Utvelgelseskriterier> prosjektevalueringer Klyngeprosjekt og bedriftene Prosjekt Årsrapporter Program Programevalueringer Hvert 4/5 år Årlige aggregerte rapporter: Aktivitets /resultatdata Survey til bedriftene om samarbeidsrelasjoner Årlige porteføljevurderinger Årlige populariserte rapporter: 10 case + nøkkeldata Innovasjon Norges rapportering Effekt analyser SSB
Nytt rapporteringsopplegg Støttende analyser Andre aktive bedrifter Programmets rapport Programmets Programmets rapport rapport Kjernebedrifter Effektanalyser SSB Surveyundersøkelse Klyngens egne registreringer Flere innovative næringsmiljøer Klyngeorg./Klyngens rapport 15
Effektkjeden i praksis (versjon 1) Signifikant høyere vekst i omsetning og antall ansatte de første tre årene 658 felles innovasjonsprosjekter 261 internasj. prosjekter 428 Kompetanse /utdanning 1863 bedrifter ( 159 ) Hver bedrift:14 nye samarbeidsrelasjoner 331 FoU/utviklingsaktører 35 klyngeprosjekter 140 mill kr til klynger 26 mill kr til utvikling og gjennomføring 16
klynger Noe utfordringer og «løsninger» Heterogenitet Selvseleksjon og seleksjon Dynamikk Avgrensning Aktivitet resultat effekt
Mainstreaming or not?
Klynge versus klyngeprosjekt
Klyngeprosjekt noen valg i forbindelse med Mål og resultatstyring 1.0 Medlem/ikke medlem Aktiv i minst tre år Oppdaterte medlemslister Resultat Økt antall samarbeidsrelasjoner Effekt Økt salg Økt antall ansatte Økt avkastning på kapitalen
Men et annet problem består Arenamedlemmene fordelt på prosjekt og kommune
Se over rapporterings /evalueringsregimet Vi må bedre forstå effektene hvem og hvorfor Vi må bedre forstå de lokale og regionale utviklingskonsekvensene
Programmets effektkjede behov for å synliggjøre og måle øvrige effekter Utvidet forståelse av effekter av klyngesatsingen noen dimensjoner: Nyetableringer og investeringer Regionaløkonomiske ringvirkningseffekter Effekter for bransjens innovasjonsevne Bedre kunnskapsinfrastruktur/ kvalifisert arbeidskraft Holdninger til/kultur for omstilling/nyskaping
To evaluate or not to evaluate is not the question The effect of support from Innovation Norway on firm performance By Ådne Cappelen, Erik Fjærli, Diana Iancu and Arvid Raknerud
«Metaevalueringer»
Problemet er ikke mangel på evalueringer Fra at hvert prosjekt er unikt til større grad av standardisering Fra å kontrollere at det ble gjort riktig til å se aktivitet resultat og effekt i sammenheng Fra å fokusere på enkelt resultatet av enkelt innsatser til forstå hvor ulike innsatser virker sammen Fra enkelt evalueringer på «slutten» til som en kontinuerlig prosess hvor evaluering er et element
Takk for oppmerksomheten