NHDs arbeid med evalueringer og kunnskapsbehovet sett i lys av arbeidet med virkemiddelgjennomgangen og handlingsplan for innovasjonspolitikk

Transkript

1 EVA-Forum-tale-september NHDs arbeid med evalueringer og kunnskapsbehovet sett i lys av arbeidet med virkemiddelgjennomgangen og handlingsplan for innovasjonspolitikk (Tema: Evalueringenes rolle i omleggingen av innovasjonspolitikken) 1. Innledning Konsentrere meg om NHDs forhold til evalueringer. Se på de ti siste årene og frem til dagens to store prosjekter og ut fra dette si litt om hvilke behov og utfordringer vi ser fremover. 2. Evalueringspraksis over tid i NHD Bakgrunn Vi har i NHD over lang tid hatt relativt mye fokus på og aktivitet knyttet til evalueringer. Jeg kjenner perioden spesielt perioden fra 1992, men det var vel på slutten av 80-tallet at det for alvor tok seg opp. Så hadde vi en periode på midten av 90-tallet med særlig mye oppmerksomhet rundt dette. Både etableringen av Evalueringsforumet i 1994 og Statens økonomireglement i 1996 som knyttet evalueringer direkte til departementets styrings og kontrollfunksjon var viktige i denne sammenheng. Hva var utgangspunktet? Hva fikk vi igjen for pengene? Kontrollfunksjonen. Grunnlag for justeringer av tiltak? Kanskje også for å beskytte eller legitimering? Først mye senere har læringsaspektet blitt vektlagt og så kunnskap for politikkutforming. Fokus har stort sett vært på enkelt-tiltak og institusjoner. Altså forholdsvis ensidig eller snever forståelse av evaluering. Mål- og resultatstyringen Tidlig på 90-tallet ble det også økt oppmerksomhet om Mål- og resultatstyring. Dette ble raskt nært knyttet til budsjettstyringen. Både Finansdepartementet og Statskonsult var aktive i å utvikle dette og få det innført i departementene. Hos oss, spesielt på forskningsbudsjettet. vårt, arbeidet vi mye for å få satt dette i system. Noen av oss hadde også tanker om å koble mål- og resultatstyring med bruk av evaluering. Imidlertid kom Mål- og resultatstyringen etter hvert noe i bakgrunnen, etter at diverse systemer var innført og erfaringene begynt å komme.. Om arbeidet med evalueringer Det ble etter hvert tydelig at departementet hadde flere behov som evalueringene skulle eller kunne dekke. Det var i utgangspunktet styrings- og kontrollbehovet, men etter hvert ble også behovet for kunnskap om virkemidlene og kunnskap som grunnlag for politikkutforming mer sentralt. Både bestillerrollen og brukerrollen ble viktig. Det viste seg imidlertid å være krevende å integrere arbeidet med evalueringer og utnytte resultatene av evalueringene i departementet. Dette er fortsatt en stor utfordring. Det ble lett slik at de som hadde ansvar (budsjettansvar) for en ordning sørget for at den ble evaluert. Da var det stadig nye personer som fikk ansvar for å få utført evalueringer.

2 Mønsteret var at institusjoner og tiltak ble evaluert enkeltvis og litt tilfeldig. Vi fikk likevel litt system på dette og bygget opp noe kompetanse på oppdragsgiverrollen. Strategisk bruk av evalueringer Med hensyn til strategisk kunnskapsinnhenting var det vanskeligere. Evalueringer var en av flere kilder til kunnskap. I tillegg har vi resultater fra politikkforskningsprogrammene (FAKTA, KUNI osv.), eksterne utredningsoppdrag og ulke andre prosesser hvor departementet skaffer seg kunnskap. Det hele var ganske desentralisert og egentlig lite koordinert. Samtidig var det vanskelig å absorbere og ta i bruk resultatene av evalueringene fra dette store tilfanget av kunnskap. Bakkgrunnen for de enkelte evalueringene lå mest i at det var lagt inn forpliktelse om evaluering ved oppstart eller etablering. Jeg tror praksis her i større grad skyldes egen læring enn akkurat kravene som er gitt oss gjennom statens økonomireglement. Jeg har knapt eksempler på at vi har satt i gang evalueringer bare fordi det er gått en viss tid siden sist noe ble evaluert. Hva har vi gjort? Det er utført en lang rekke evalueringer av virkemidler de siste årene. De fleste av virkemidlene og institusjonene under Nærings- og handelsdepartementet er evaluert. Det er imidlertid ikke alltid departementet har vært oppdragsgiver. Ansvars- og arbeidsdelingen mellom departement og institusjon har heller ikke vært helt klar eller fulgt opp konsekvent. Her er i alle fall en oversikt over de evalueringer som NHD har vært involvert i, enten som oppdragsgiver eller som vesentlig premissgiver eller deltaker i styringen. Oversikt over alle evalueringer (foil) Hvilke spørsmål har vært vektlagt (foil): Jeg mener vi kan se en utvikling over tid mht. hvilke spørsmål som lå bak og som ble vektlagt i evalueringene: - Hva har vi fått for pengene?( Økonomisk kalkyle ) - Har tiltaket oppfylt målet? - Hva er konsekvensene? - Er det riktig organisert? - Hvordan virker systemet? (utover selve tiltaket) - Hva er total virkning - Fokus på prosess og samspill - Hvor er det potensial eller forbedringsmuligheter? Samtidig har nok egen læring blitt vektlagt mer etter hvert, men opplagt ikke i samme grad som for eksempel i forskningsrådet. Bruk av evaleringsbasert og annen kunnskap (foil) I utgangspunktet kan vi peke på noen ulike hensikter eller former for bruk: Læring, kunnskapsoppbygging Dokumentasjon, legitimering

3 Grunnlag for styring Grunnlag for endringer Grunnlag for politikkutvikling Jeg vil si at alle disse variantene har forekommet hos oss, uten at det er noe klart mønster eller linje i det. Det vanskelig å si noe om hvilken som har betydd mest. Generelt sett er evalueringen underbrukt. Likevel kan jeg si at den siste grunnlag for politikkutforming har betydd mer i det siste. Ikke minst den siste SND-evalueringen var meget nyttig i forbindelse med virkemiddelgjennomgangen. Ulike kunnskapskilder Det er den sist nevnte bruk av evalueringer vi har gjort minst på, og som jeg tror vi bør jobbe mer systematisk med. Men det også flere kunnskapskilder enn evalueringer. Hvilke kunnskapskilder har vi for politikkanbefalinger på dette området? (Foil). Ved siden av typisk evalueringsmateriale, har vi: - Forskning (ulike relevante problemstillinger) - Periodisk statistikk og benchmarking ( Best i test, Det Norske Forskningssystemet osv.) - Rapportering fra virkemiddelinstitusjoner og andre offentlig finansierte aktører - Erfaringsbasert kunnskap og andre innspill fra næringslivet/brukere - Uformell kunnskapsbase i departementene - Dokumentasjon på hva andre land gjør. Det som ikke står på denne listen er Foresight-studier/prosesser. Dette er for øvrig mer enn kunnskapskilde. det er også legitimering og forankring av politikken. Det er et interessant faktum at departementene aldri har satt i gang slike prosesser i forhold til næringslivet slik som det er gjort i mange andre land. Arbeidsdeling med virkemiddel-institusjoner Vi har hatt en arbeidsdeling mellom departementet og virkemiddelapparatet, herunder, NFR, som gikk på at virkemiddelinstitusjonene evaluerte programmer og ordninger, mens departementet hadde ansvar for institusjonsevalueringer og større tiltak initiert fra departementet. I praksis ble likevel en del av departementets evalueringsoppgaver delegert nedover, men da gjerne departementet med i en styringsgruppe. Veilederen Som man forstår har aldri fått arbeid med evalueringer inn i skikkelig system, selv om vi har hatt ambisjoner om det lenge. Nå har vi omsider utarbeidet en egen veileder for evalueringer i NHD. Det er noe vi har hatt planer om i flere år. Hvilke erfaringer har vi gjort? Her er litt i stikkordsform noen av de viktigste erfaringene vi har gjort: - Evalueringer gir mye kompetanse til involverte. - Vanskelig å følge opp økonomireglementet. - Vi fokuserer på det som er lettest å måle. - Vanskelig å bygge opp kompetanse på bestiller og oppdragsgiverrollen og å få brukt denne når det skal gjøres konkrete evalueringer. - Mangler system for å sammenligne evalueringer og dermed objektene - Vanskelig å gjøre ting i riktig rekkefølge

4 - For lite kritiske evalueringer og vi er for forsiktige - Mangler portefølge- og sektorevalueringer. - For dårlig kobling mellom evalueringer og andre kunnskapskilder. - For lite faglig diskusjon i departementet, men EVA har vært et nyttig forum. De to store prosjektene Da vi satte i gang med virkemiddelgjennomgangen hadde vi en fersk SND-evaluering, men vi manglet kunnskap om hvordan resten av apparatet fungerte og helheten. Vi visste egentlig lite om hvordan våre virkemidler presterte og hvordan hele apparatet virket ikke minst i forhold til tilsvarende i andre land. Noe kompenserte vi ved å gå bredt ut og be om vurderinger og erfaringer fra eksterne brukere, organisasjoner og virkemiddelinstitusjonene selv. Vi hadde i som nevnt god bruk for SND-evalueringen. Noe av det samme har vi opplevd under HIP-arbeidet (HIP=Handlingsplan for helhetlig innovasjonspolitikk) men på et mer overordnet eller aggregert nivå Hva visste vi egentlig om det norske innovasjonssystemet hvor var svakhetene og styrkene og hvordan var det i forhold til sammenlignbare land? Dette hadde vi ikke noe helhetlig eller systematisk kunnskap om! Vi har selvsagt et omfattende kunnskapstilfang, men dette var allikevel et klart savn i begge disse prosessene. 3. Hva er dagens behov? Jeg tror at disse to store prosjektene på mange måter har vist oss behovet for evaluering men at det er andre typer evalueringer vi særlig har behov for. Her tror jeg vi trenger å utvide vokabularet vårt også. Vi bruker evaluering for alt mens internasjonalt skiller en mellom en rekke former. Vi bør nok bli mer nyansert på dette området. Jeg vil si at hovedproblemet - det generelle problemet - er det store kunnskapstilfanget og at vi ikke klarer å absorbere og bruke all kunnskapen. Samtidig er utfordringen å få til koblingen av ulike aktiviteter for styring og kunnskapsinnhenting i departementet, slik at evalueringer kan brukes mer effektivt og mer strategisk. Da må vi også satse mer på tilegnelse og bruk av kunnskapen. Jeg vil si at dette ar av økende betydning. - Det synes som tilfanget eller strømmen av relevant kunnskap i form av evalueringer, utredninger, analyser, forskning osv. bare øker Innovasjonspolitikk har konsekvenser for bruk av evalueringer. - Akkurat som ny politikk krever nye virkemidler Innovasjonspolitikk forutsetter brede perspektiver og tilnærminger. Det innebærer mer portefølge, sektor- og systemevalueringer. Dette krever også bedre samarbeid mellom departementene. Vi har allerede fått et bedre grunnlag nå med det nye virkemiddelapparatet, og ved at benchmarking nå blir satt mer i system ( Best i Test ). Jeg tror også det er viktig å se evaluering som en kilde til fornyelse. Derfor burde evaluering større grad kanskje i innarbeides som faste aktiviteter. Altså institusjonalisere det.

5 Vi trenger mer og bedre sammenligninger av tiltak - over tid og på tvers av sektorer. Dessuten tror jeg vi burde bruke Foresight-studier i større omfang. Samtidig hadde det vært ønskelig om vi klarte å bruke de ulike kunnskapskildene mer koordinert og strategisk. Her kan imidlertid forvaltningsstrukturen i og mellom departementene være et problem, særlig når det er snakk om bredere portefølgeevalueringer. Spesielt tror jeg vi bør bli bedre på å koble evaluering, benchmarking og utredning (forskning og analyse) på ulike områder, pluss foresight-prosesser! Dette innebærer at man i større grad får utført og utnytter portefølge og sektor-/systemevalueringer. Det som blir min konklusjon er at det nå trengs økt fokus på evaluering kunnskapsgrunnlag for politikkutformingen. Jeg antar at man i planen for innovasjonspolitikk vil legge opp til en mer systematisk og strategisk bruk av evalueringer fremover. Kanskje som en integrert del av innovasjonspolitikken og primært for å måle fremgang i politikken? I mellomtiden får vi vente på planen. Vedlegg: Evalueringer i 10 år: TI og VINN, 1991 Veiledningstjenesten, 1991 OFU, 1991 Verkstedprogrammet, 1992 Hovedinnsatsområdene 1992/93 EUREKA, 1993 (NFR?) SVO,? Designrådet Fremtek, 1994 OFU IFU Brukerstyrt forskning, 1996 Miljøteknologisatsingen, 1996 SND I, 1997 IT-planen, 1997 Nordisk Industrifond, 1997 FORNY-programmet, 1997 EUs rammeprogram deltakelse, 1997 Veiledningstjenesten (Brukerundersøkelse), 1997 Deltakelse i venturefond, 1998 Forskningsparker, 1999

6 EU s program for SMB, 2000 INFO 2000-programmet, 2000 OFU og IFU, 2000 SND II, 2000 EXPO 2000, 2001 Haldenprosjektet, 2001 Justervesenet, 2001 Patentstyret, 2001 Svensk-Norsk Industrifond, 2001 SMB-ordningen (NE), 2002 Sjøfartsdirektoratet 2002 Norsk Romsenter 2003 Såkornordningen 2003 Norges Turistråd, 2004