Notat 2012-035 Norwegian Centers of Expertise - Måle og resultatsystem
Econ-notat nr. 2012-035, Prosjekt nr. 5Z090002.11 SAA/RAR, 30. mars 2012 Ikke offentlig Norwegian Centers of Expertise - Måle og resultatsystem Utarbeidet for Innovasjon Norge Econ Pöyry Pöyry AS, Postboks 5, 0051 Oslo. Tlf: 45 40 50 00, Faks: 22 42 00 40, http://www.econ.no
Innhold: 1 SAMMENDRAG... 1 2 HENSIKT MED NOTATET... 2 3 BEHOV FOR INFORMASJON PÅ TO NIVÅER... 2 3.1 Utvikling i klyngemiljøet... 2 3.2 Oppfølging av prosjektet... 4 3.2.1 Målhierarki og klare mål... 4 3.2.2 Indikatorer og kilder... 5 3.3 Ansvarsdeling for innhenting og oppdatering... 6 3.3.1 Data på prosjektene oppdateres av prosjektleder... 6 4 PRAKTISKE IMPLIKASJONER... 7 \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26
1 Sammendrag Vi anbefaler at måle- og resultatsystemet revideres slik at det klart skiller mellom mål på klyngemiljøet og mål på prosjektenes aktiviteter og resultater. Det er behov for robuste aktørdatabaser på prosjektnivå og for miljøet som helhet, der siste mengde i de fleste tilfeller vil være større en første. Innenfor sistnevnte er det etter vårt syn mindre viktig å skille mellom ulike typer prosjektdeltakere for målehensyn selv om slike inndelinger kan være operasjonelt hensiktsmessige på prosjektnivå. Det kan skilles mellom på den enes iden bedrifter og på den andre assosierte aktører som omfatter forskningsmiljøer, utdanningsaktører og offentlige institusjoner For å følge miljøets utvikling uavhengig av NCE programmets aktiviteter anbefaler vi en årlig oppdatering av nøkkeldata basert på en aktørdatabase som vedlikeholdes og oppdateres av prosjektleder i samråd med programledelsen. I aktørdatabasen inngår bedrifter og assosierte, der sistnevnte omfatter forskningsmiljøer, utdanningsaktører og offentlige institusjoner. Nøkkeltall for bedriftene i databasen oppdateres årlig med data fra Brønnøysundregistrene. Dersom man ønsker mer dybdeanalyse av klyngemiljøet kan en grundigere analyse ca hvert femte år gjøres på bakgrunn av intervjuer med bedriftene som inngår og innsamling av førstehåndsdata. Der kan også vurderes en spørreundersøkelse til disse bedriftene på et utvalg av variablene som i dag inngår i nullpunktsanalysens spørreundersøkelse. Vi anbefaler videre at NCE prosjektene får assistanse i å utvikle robuste målhierarkier med utgangspunkt i egne og programmets mål og at indikatorer som er Spesifikke, Målbare, Aksepterte, Realistiske og Tidsbestemte (SMART) utvikles på grunnlag av dette og brukes i NCE prosjektenes årsrapporter. Prosjektleder kan rapportere på disse gjennom årsrapportene og programledelsen kan utpeke en MRS ansvarlig som samler og sammenstiller data. Oppfølging av aktiviteter og resultater i henhold til mål og strategier kan danne grunnlag for en årlig styringsdialog mellom NCEs Programledelse og NCE prosjektene. \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 1
2 Hensikt med notatet Hensikten med dette notatet er å avklare noen behov og avgrensninger for måle og resultatsystemet til programmet Norwegian Centres of Expertise (NCE). Notatet er utarbeidet på oppdrag fra Innovasjon Norge i kjølvannet av Econ Pöyrys evaluering av seks NCE prosjekter. 3 Behov for informasjon på to nivåer Hvilken informasjon som bør samles inn avhenger av hva informasjonen skal brukes til. På den ene siden har programmet et behov for å følge utviklingen i de næringsmiljøene som er plukket ut som NCE miljøer. Vi kaller dette nivået miljøene. På den andre siden støtter programmet utvalgte aktiviteter og har noen målsettinger på program- og prosjektnivå som krever oppfølging og styring. Vi kaller dette nivået programmet. Et måle- og resultatsystem skal bidra på begge disse nivåene. 3.1 Utvikling i klyngemiljøet Et jevnlig oppdatert bilde av klyngens utvikling kan være relevant, både for klyngene selv og virkemiddelapparatet. Miljøene er valgt ut nettopp fordi de er unike i Norge og vurderes som de mest konkurransedyktige og utadrettede norske næringsmiljøene på sine områder. Både for virkemiddelapparatet og for NCE programmet er det på selvstendig grunnlag nyttig å følge disse miljøenes utvikling over tid. En begrenset datamengde kan gjerne oppdateres årlig og vil kunne være nyttig både for miljøene selv og for virkemiddelapparatet. I tillegg kan grundigere studier av miljøene gjøres noe sjeldnere, helst på bakgrunn av førstehåndsinformasjon. Noen konkrete løsninger skisseres under: Studier av miljøet kan ha flere kompleksitetsnivåer, gjerne i kombinasjon med hverandre. Jevnlig oppdatering av sysselsetting, verdiskaping og produktivitet. Et minimum er å følge utviklingen i sysselsetting, verdiskaping og produktivitet på årlig basis for alle miljøene og med grunnlag i data fra Brønnøysund. Dette er en enkel operasjon og kan gjøres årlig for alle miljøene med utgangspunkt i deres egen bedriftsdatabase (se nedenfor). Grundigere analyse av miljøet basert på førstehåndskilder. En grundigere analyse av miljøene kan foretas ca hvert fjerde/femte år. Det er to svakheter ved bruk av annenhåndsdata fra Brønnøysundregistrene slik ovennevnte oppdatering og dagens nullpunktsanalyse gjør. For det første er det risiko knyttet til datakvaliteten i informasjon hentet fra Brønnøysundregistrene. Det vil alltid foreligge enkelte feil i slikt tallmateriale, og i noen tilfeller er dette vanskelig å oppdage. For det andre vil enkelte miljøer også ha bedrifter som bare har en liten del av omsetningen innenfor det aktuelle miljøet. StatoilHydro er et slikt eksempel. Her vil ikke miljøspesifikke tall på omsetning, resultater og sysselsetting være tilgjengelig i Brønnøysundregistrene. Tilsvarende problemstilling forekommer for utenlandsregistrerte foretak. Som et supplement \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 2
til årlige oppdateringer av tilnærmede tall for miljøets utvikling, kan derfor grundigere studier være nyttige. En modell for dette eksisterer i dag i form av Møreforskings arbeid på Sunnmøre. I disse studiene samles førstehåndsinformasjon inn gjennom intervjuer med bedriftene som inngår i klyngen. For de fleste NCE miljøene ville et slikt studie være langt mindre omfattende enn Møreforskings studier, ettersom miljøene eksempelvis på Raufoss, Kongsberg, Horten og i Trøndelag er mindre i omfang og lar seg lettere avgrense. En slik undersøkelse kan gjennomføres for eksempel hvert fjerde/ femte år og vil kunne kontrollere resultatene fra de årlige oppdateringene. Der undersøkelser av klyngen allerede foreligger, som for NCE Maritime, er det ikke hensiktsmessig å duplisere denne med en ny omfattende undersøkelse. Her kan det imidlertid være interessant å gjøre noen sammenlikninger mellom funnene fra Møreforsking og de årlige oppdateringene av nøkkeltall. Begrenset spørreundersøkelse til alle bedriftene i miljøet. Det kan i tillegg være ønskelig å samle inn informasjon på relasjoner mellom bedrifter og på omfang og natur av FoU virksomhet i tilknytning til miljøet som en del av dybdestudiet. Dette kan gjøres i form av en spørreundersøkelse inspirert av den som allerede foreligger i nullpunktsanalysen. Vi anbefaler at den kortes kraftig ned og sendes til alle bedrifter som inngår i miljøet, uavhengig av prosjektdeltakerstatus. Informasjon relatert til prosjektet bør samles inn adskilt og diskuteres nedenfor. Forslag 1: En årlig oppdatering av nøkkeldata, mindre hyppige dybdestudier av klyngemiljøene og eventuelt en enkel spørreundersøkelse til alle klyngemiljøets bedrifter brukes til å følge miljøets utvikling. Avgrensning av miljøet bør eies og oppdateres av prosjektleder. En slik bedriftsdatabase foreligger i dag, men skiller ikke mellom miljø og prosjektdeltakelse, er i minst ett tilfelle ikke delt av prosjektledelsen, og er videre ikke oppdatert, for eksempel med nedleggelser og nyetableringer En aktørdatabase opprettes av prosjektleder, godkjennes av programledelsen for NCE og oppdateres av prosjektleder. Denne databasen bør skille mellom miljøet og prosjektdeltakerne. Innenfor begge skilles det også mellom bedrifter og assosierte aktører, som forskningsmiljøer, utdanningsaktører og offentlige institusjoner. Hvilke underkategorier av prosjektdeltakere som finnes, er av mindre betydning for rapporteringen, selv om skillet mellom partnere, medlemmer osv kan ha stor betydning for prosjektleder og styringsgruppe. Til grunn for listen bør ligge noen kriterier knyttet til kommersielle relasjoner mellom bedriftene og at de inngår i en næringskjede innenfor klyngens definerte fagfelt. Kriterier for innlemmelse kan utarbeides av programledelsen og avhenger av miljøets avgrensning og natur. Operasjonaliseringen av denne avgrensningen foretas skjønnsmessig på bakgrunn av prosjektleders vurdering, forelegges programledelsen for godkjenning og oppdateres deretter jevnlig av prosjektleder. Bruken av NACE koder bør revurderes. Internasjonal offentlig statistikk baserer sin nomenklatur på såkalte NACE koder. Disse har vist seg i liten grad å gi en god nok avgrensning av de aktuelle miljøene. I nullpunktsanalysen ble enkelte NACE koder valgt ut blant flere, og i mange av dem utgjør disse kun en begrenset andel av miljøet. En mer reell avgrensning kan være å basere seg fullt ut på klyngens egen avgrensning slik prosjektsøknad oppgir den. Denne avgrensningen kan være forskjellig fra listen over prosjektdeltakere, og vil i de fleste tilfeller representere en større mengde bedrifter. Ett av argumentene for å \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 3
anvende NACE koder var å kunne sammenlikne miljøene med tilsvarende næringer. Evalueringen av de seks første prosjektene fant imidlertid at slik sammenlikning er lite hensiktsmessig ettersom de aktuelle miljøene er i særklasse i norsk sammenheng og at relevansen dermed kan være like stor i å sammenlikne de respektive miljøene med norsk næring generelt. Forslag 2: Nye bedriftsdatabaser opprettes av prosjektleder og godkjennes av programledelsen. To lister for hvert NCE: 1) Miljøet/ klyngen og 2) prosjektdeltakerne. Differensieringen mellom ulike typer prosjektdeltakere defineres av prosjektene selv 3.2 Oppfølging av prosjektet Informasjon om programmet og prosjektet skal være operasjonelt relevant og bidra til å følge opp prosjektene og justere kurs underveis om nødvendig. 3.2.1 Målhierarki og klare mål Programmets mål kan forstås som mål og delmål. Som påpekt i evalueringsrapporten, kan programmets mål forstås som et hovedmål (økt konkurransekraft og verdiskaping) med flere delmål. Eksplisitte delmål er knyttet til innovasjonstakt og internasjonalisering via samarbeid og infrastruktur. I tillegg har flere av NCE prosjektene vektlagt kompetanseutvikling som et viktig delmål for å styrke konkurransekraft og øke verdiskaping i klyngen. Til grunn for et operasjonelt måle- og resultatsystem kan det være hensiktsmessig å legge et strukturert målhierarki der også suksessfaktorer og risiko inngår. Figur 1 illustrerer et slikt målhierarki. Et godt målhierarki forenkler styring og oppfølging. Vi foreslår at programledelsen bistår NCE-prosjektene i utarbeiding av gode målhierarki, og reviderer sine rapporteringssystemer i samsvar med disse. Flere av søknadsvurderingene i 2006 påpekte forbedringsområder for prosjektenes egne mål. Et verdifullt bidrag fra programledelsen kan være å fasilitere en prosess i hver enkelt klynge der NCE-prosjektets egne mål ble satt inn i en ramme av gode målhierarkier og målbare indikatorer. En slik assistanse betinger en avklaring innad i programledelsen av hvilken virkemiddelaktør som er ansvarlig for slik oppfølging. Kostnaden ved en slik støtte vil begrense seg til en eller to personer i en til to dager i hver klynge, men kan likevel ha store konsekvenser for styring av prosjektenes framdrift og for framtidig dokumentasjon av aktiviteter, resultater, og effekter. Slike forbedrede målformuleringer sammen med et lite utvalg av felles indikatorer kan forbedre rapporteringssystemet. Vår anbefaling er at rapportering i hovedsak gjøres til prosjektleders ansvar, da denne har den beste oversikten over klyngen. Rapporteringen vil, dersom den kobles mot prosjektenes egne mål, også være nyttig informasjon for prosjektleders egen prosjektstyring. Før man igangsetter en slik prosess ute i miljøene kan det være nyttig med en gjennomgang på overordnet nivå der man ser på (i) hvordan programmets målhierarki er utformet og (ii) ansvarsdeling i programledelsen for oppfølging og rapportering i henhold til måle- og resultatsystemet. \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 4
Taktisk/operativt nivå Strategisk nivå - Econ Pöyry - Figur 1: Eksempel på detaljert målhierarki Mål Kritiske suksessfaktorer Konkretisering av hva vi skal oppnå innen strategiske områder På strategisk nivå tydeliggjøres programmet mål og kritiske suksessfaktorer Betegner områder som er kritiske for måloppnåelse Tiltak Risikoelement Aktivitet som understøtter mål og kritiske suksessfaktorer Målindikator Faktor som kan påvirke aktørenes måloppnåelse negativt. Tiltak På operasjonelt nivå viser målindikatorene og risikoelementer om vi har kontroll Kvantifiserer om vi har kontroll på de kritiske suksessfaktorene Aktivitet som reduserer sannsynligheten eller konsekvensen av en risiko. 3.2.2 Indikatorer og kilder Vi anbefaler at en begrenset mengde av indikatorer som er relevante for programmets og prosjektenes mål oppdateres relativt hyppig av prosjektleder. I oppfølging av aktiviteter, resultater og effekter for prosjekt- og programstyringsformål bør datamengden begrenses, samtidig som det sikres at den genererer relevant informasjon tilpasset den enkelte klynge og at den er sammenliknbar på tvers. Gode indikatorer er Spesifikke, Målbare, Aksepterte, Realistiske og Tidsbestemte (SMART). Vi legger også vekt på å skille mellom prosessindikatorer og resultatindikatorer. Prosessindikatorer er for eksempel nyttige for å beskrive aktivitetsnivå, mens fremdrift og resultater på mål og kritiske suksessindikatorer best synliggjøres gjennom resultatindikatorer. Et lite utvalg indikatorer bør baseres på (i) NCE-prosjektenes egne mål, kvalitetssikret i form, og (ii) felles indikatorer som er relevante for alle NCE-prosjektene. Figur 2 er hentet fra evalueringsrapporten for de seks første NCE prosjektene og illustrerer noen mulige indikatorer. Disse vil måtte justeres på bakgrunn av utarbeidede målhierarki på prosjekt- og programnivå. \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 5
Figur 2: Eksisterende indikatorsett og forslag til revisjoner Nullpunktsanalysen (med antall indikatorer) Kritisk masse (13) Foreslått revidert system Klyngebeskrivelse Eksempler på indikatorer Verdiskaping, produktivitet og sysselsetting Innovasjonsaktivitet (14) Arbeidskraft (5) Innovasjonskraft Resultater Nye bedrifter Patentsøknader produkter/ prosesser Aktiviteter Fasilitering av tilgang på kapital Støtte til IPR Kunnskapsressurser (4) Kapital (5) Innovasjonspress (6) Kompetanse Nye etablerte utdanningsløp Mobiliserte FoU midler % av arbeidskraft med høyere utdanning Antall studenter i nye utdanningsløp, trainees, ansatte i opplæring Utvikling og spredning av kunnskap (4) Gjensidig (kollektiv) læring (3) Internasjonal kontakt (8) Internasjonalisering Nye internasjonale kontakter (eiere, kunder, FoU institusjoner) 3.3 Ansvarsdeling for innhenting og oppdatering 3.3.1 Data på prosjektene oppdateres av prosjektleder Prosjektleder er ansvarlig for rapportering til en spesifikt ansvarlig innenfor programledelsen. En egen database for indikatorrapportering og statistikk utpekes i programledelsen som genererer årlige oppdateringer på bakgrunn av prosjektenes egne rapporter. Disse rapportene danner grunnlag for årlig styringsdialog mellom prosjektleder og programledelse der aktiviteter og resultater diskuteres i lys av programmets og prosjektets mål. Denne informasjonen er også tilgjengelig for eksterne evalueringsteam i forbindelse med prosjekt- og programevalueringer. Den årlige oppdateringen, tre- og seksårsevalueringene og eventuelle dybdestudier gjøres av eksterne analysemiljøer. Forslag 3: NCE prosjektene tilbys assistanse i strukturering av målhierarki i lys av egne mål og programmets mål. På bakgrunn av dette arbeidet defineres max 10 indikatorer som er felles for de seks NCEene og max fem som er spesifikke for det enkelte NCE prosjekt. Prosjektleder rapporterer på disse gjennom årsrapportene og programledelsen utpeker en MRS ansvarlig som samler og sammenstiller data. Oppfølging av aktiviteter og resultater i henhold til mål og strategier danner grunnlag for en årlig styringsdialog mellom NCEs Programledelse og NCE prosjektene. \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 6
4 Praktiske implikasjoner o Treårsevalueringen kan i den skisserte modellen gjøres mer kvalitativ og tone ned spørreundersøkelse og datainnsamling. Dette betinger klare målformuleringer og jevnlig rapportering på utvalgte indikatorer. o Selv om en klar todeling mellom miljøene og prosjektene er hensiktsmessig, kan det også være nyttig å avpasse dem i forhold til hverandre av praktiske gjennomføringshensyn og for å ha et bakteppe for prosjektevalueringene. De årlige oppdateringene av nøkkeltall utgjør imidlertid etter vårt syn et tilstrekkelig bakteppe for kunnskap om miljøet for treårsevalueringene. o Seksårsevalueringene kommer i skissert modell ett år etter dybdestudiet av miljøet. I tidsbestemmelsen av disse er det flere hensyn å ta. På den ene siden kan det være en fordel å gjøre alle studier samtidig slik at respondentene får et kortere tidsintervall av intervjuer og eksterne studier å forholde seg til. Med andre ord er det viktig å unngå respondenttretthet. På den annen side vil mengden bli lik ettersom det i liten grad er overlapp mellom dybdestudiet av miljøet og evalueringen av prosjektet. Slik sett kan respondenttrettheten bli like stor dersom disse utføres parallelt og respondenter må forholde seg til to prosesser samtidig. Det er videre en stor fordel om dybdestudiet av miljøet er ferdigstilt før seksårsevalueringen påbegynnes, slik at resultatene derfra lar seg anvende i både utforming og gjennomføring av prosjektevalueringene. Vår vurdering er likevel at samordning i tid framstår som mest effektivt. Seksårsevalueringen må i så fall organiseres slik at den kan nyttiggjøre seg dybdestudiet av miljøet. o Det bør avsettes ressurser til å utvikle solide målhierarki for alle NCE prosjektene o Databasene på to nivåer utvikles begge innenfor prosjektene. For avgrensningen av miljøet utformes kriterier som danner grunnlaget for en skjønnsmessig vurdering av klyngen i samråd mellom prosjektleder og programledelsen. Avgrensningen vil preges av type klynge, for eksempel om den er kompetanseeller bransjedefinert. \\innovation\data\users$\knsen\n-2009-035 NCE måle og resultatsystem Innspill- endelig.doc\knsen\30.03.12\12:26 7