Notat Emne ENERGIX underveisevaluering 2016 ekspertgruppens vurderinger og anbefalinger Bakgrunn Formål ENERGIX er et av Forskningsrådets løpende store program og ble startet opp i 2013. Alle program skal evalueres med jevne mellomrom, og Divisjonsstyret for energi, ressurser og miljø bestilte derfor underveisevaluering av ENERGIX våren 2016 (Sak 09/16). Evalueringen har vært gjennomført i perioden mai til september 2016. Den har hatt fokus på om administrasjonen og programstyret i sine prioriteringer og valg av virkemidler styrer programmet på en slik måte at faglige og strukturelle mål i programplanen oppnås. Problemstillinger som berører programmets faglige innhold og kvalitet er ikke en eksplisitt del av evalueringens mandat. Evalueringen er videre avgrenset ved at den ikke har fokusert på de vitenskapelige, næringsmessige, kommersielle og øvrige samfunnsmessige resultatene og effektene av FoU-prosjektene, samt at den vurderer ENERGIX egenutviklede støtteform Nye konsepter, men ikke Forskningsrådets ordinære støtteformer. Rapporten fra evalueringen er ett av flere underlag som vil bli brukt i revisjon av ENERGIX programplan i 2017. Parallellt gjennomfører programstyret og administrasjonen en tematisk evaluering og oppfølging av resultater fra FoU-prosjektene. Evalueringenes vurderinger og anbefalinger vil også være et viktig kunnskapsgrunnlag for det nye programstyret for ENERGIX som oppnevnes høsten 2016. Gjennomføring Arbeidet har vært organisert med et eksternt sekretariat og en ekstern ekspertgruppe på 4 personer. Innkjøp av eksternt sekretariat ble foretatt i henhold til retningslinjer for offentlige anskaffelser og Oxford Research AS ble valgt i denne prosessen. Sekretariatets oppgave har vært innsamling av data for å vurderer prosesser, arbeidsformer og tiltak innen programmets strategiske arbeid, programadministrasjon og kommunikasjon. Det er gjennomført spørreundersøkelser og dybdeintervjuer med utvalgte personer fra departement, programstyret og andre viktige 1
interessenter, samt gjennomgang av skriftlig materiale og oppsummering av resultatene i en rapport 1. Følgende medlemmer av ekspertgruppen ble oppnevnt av Forskningsrådets administrasjon: Nicolai Zarganis, Uddannelses- og Forskningsministeriet, Danmark, ekspertgruppens leder Hanne Marit Bjørk, avdelingsleder forskning og utvikling, Statkraft Anne Karin T. Hemmingsen, seniorforsker, Sintef energiforskning Tommy Johnsen, daglig leder, Næringslivets NOx-fond Ekspertgruppens hovedoppgave har vært å vurdere Oxford Research funn og anbefalinger. Gruppen har også vært forelagt skriftlig materiale, blant annet programplan, handlingsplan, en porteføljeanalyse utarbeidet av ENERGIX administrasjonen og Energi21-strategien. Ekspertgruppen har hatt tre møter. To av møtene har vært gjennomført sammen med det eksterne sekretariatet. Ekspertgruppens vurderinger og anbefalinger er i hovedsak basert på ovennevnte dokumenter og rapporten fra Oxford Research. Oxford Researchs resultater fra dybdeintervjuene og spørreundersøkelsene er grundig redegjort for i rapporten. Svarprosenten for spørreundersøkelsen vurderes som tilfredsstillende. Ekspertgruppen finner at prosessen har vært grundig og profesjonell. På bakgrunn av dette og ekspertgruppens egen erfaring med ENERGIX og energisektoren generelt, har gruppen ikke funnet behov for ytterligere direkte dialog med omverdenen. Representanter fra ENERGIX administrasjon; programkoordinator Ane T. Brunvoll og Katrine Wyller har tilrettelagt arbeidet, deltatt i møtene og fungert som sekretariat for ekspertgruppen. Hovedfunn og vurderinger Overordnede kommentarer ENERGIX er et velfungerende program, både strategisk, operativt og når det gjelder kommunikasjon med premissgivere og brukere. Resultatene som er dokumentert i rapporten fra Oxford Research synliggjør gjennomgående stor tilfredshet blant brukerne. Programmets interessenter oppfatter at de har en god dialog, at programmets prosesser er transparente og at kommunikasjonen med de enkelte brukere generelt er tydelig. Det fremkommer at programmet nyter høy anerkjennelse og har stor troverdighet blant søkerne, og at det anses som en anerkjennelse å få prosjektfinansiering fra ENERGIX. Energisystemet og energimarkedene gjennomgår store endringer som vil påvirke økonomi, sysselsetting og samfunnet generelt. Det er satt ambisiøse klimamål som skal nås i løpet av de neste tiårene. ENERGIX har en sentral rolle i å bygge opp ny kunnskap som underbygger en bærekraftig omstilling innen sektoren. Slik ekspertgruppen ser det, ivaretar ENERGIX som et stort program med et bredt spekter av virkemidler denne oppgaven på en meget god måte. Programledelsen evner godt å balansere krav og forventninger fra ulike interessenter og samtidig jobbe for å realisere programmets overordnede mål. Det er bygget opp gode administrative styringsfunksjoner og programmets virkemidler treffer godt programmets spekter av målsettinger. 1 Underveisevaluering av ENERGIX Sekretariatets rapport til ekspertgruppen, 2016, Oxford Research. 2
Likevel synliggjør funnene i Oxford Research undersøkelse noen områder der det er et forbedringspotensial. Dette innebærer blant annet behov for gjennomgang av programmets målhierarki og behov for å kommunisere tydeligere programmets strategi for bruk av de ulike søknadstypene og prioriteringer i utlysningene. Ekspertgruppens kommentarer og anbefaling om hva ENERGIX programledelse bør ta tak i den neste tre til femårsperioden er utdypet nedenfor. Ekspertgruppen finner at programstyret og administrasjonen er utviklingsorientert og fortløpende har tatt grep som har gitt gode resultater. Programledelsen har vist at den evner å implementere de korrektive tiltakene som skal til for å gjennomføre endringer. Ekspertgruppens anbefalinger kan således bidra til den løpende utvikling av programmet. Anbefalinger knyttet til styrets og administrasjonens strategiske arbeid Målstruktur Oxford Research finner at ENERGIX programplan "..forholder seg i begrenset grad til ulike målnivåer" 2 og at "..en programteoretisk artikulering av målnivåer i programplanen [vil kunne] knytte programplanen og handlingsplanen bedre sammen" 2. Oxford Research påpeker i diskusjon med ekspertgruppen at det i arbeid med målformulering kan være nyttig å gjennomføre en programteoretisk øvelse for de ulike søknadstypene tilsvarende den som er gjennomført for programmet som helhet. Ekspertgruppen anbefaler programmet å gjennomgå målhierarkiet i tråd med anbefalingene, og peker på noen momenter: Programplanen bør inneholde en bedre beskrivelse av sammenhengen mellom målene og programmets individuelle virkemidler. Blant annet bør det utvikles effektmål på mellomlang sikt som binder resultatmål og langsiktige effektmål sammen. Sammenhengen mellom målene og kriteriene som legges til grunn for vurdering og valg av prosjekter kan synliggjøres enda tydeligere. Ekspertgruppen opplever at prioriteringer i både utlysninger og finansiering av prosjekter er basert på en gjennomtenkt og balansert vekting mellom ulike kriterier, men disse er ikke skriftlig uttalt og beskrevet i programplanen. Programmet kan definere mål som ligger nærmere det programmet selv påvirker; virkemiddelbruken, tildelinger, etc. Det bør defineres både prosessmål og resultatmål. Målene bør legge vekt på (prioritere) at den nye teknologien og den nye kunnskapen fases inn videre i virkemiddelapparatet og i samfunnet. Fordelene ved et tydeligere målhirarki bør balanseres opp mot behovet for fleksibilitet i utlysninger og kriterier. Målene bør ikke etterstrebes å bli kun kvantitative, og heller ikke trekkes ned på indikatornivå som igjen medfører for stort fokus og ressursbruk på detaljert rapportering på og styring etter tellekanter. Programledelsen anbefales også å se på i hvor stor grad programmet har frihet til selv å definere de overordnede målene og om disse også bør revurderes. Det pekes blant annet på at noen av de strukturelle målene kan sees på som middel for å nå programmets strategiske mål. 2 Underveisevaluering av ENERGIX Sekretariatets, 4.1.6. 3
Forskningsrådet bør vurdere en mer enhetlig tilnærming til hvordan målhierarkiene for de ulike programmene settes opp. Dette vil gjøre det enklere for omverdenen å se sammenhengen mellom de ulike programmene. ENERGIX tematikk og balanse i porteføljen Som nevnt innledningsvis, er problemstillinger som berører programmets faglige innhold og kvalitet ikke en eksplisitt del av evalueringens mandat. Samtidig fremkommer det i Oxfords rapport synspunkter på det underlaget som ENERGIX benytter for strategiutforming og informanter trekker frem konkrete fagfelt som synes underrepresentert i programmet; naturgass, byggenæringen og samfunnsfag 3. Oxford Research anbefaler "En videre vurdering av hvordan man jobber med tematikker som så langt ser ut til å være underrepresentert i programmet" 4. Ekspertgruppens oppfatning er at forskningen innen energisektoren har vært kjennetegnet ved fokus på de ulike og allerede kjente (eller veletablerte) teknologiområdene. ENERGIX har en viktig rolle i å åpne opp for helt nye løsninger utenfor - og i samspillet mellom, de ulike teknologiområdene. På samme måte har programmet en sentral rolle når det gjelder å bidra til samspill mellom samfunnsfaglige problemstillinger og ny teknologi innenfor energisektoren. Forøvrig mener ekspertgruppen at den samfunnsvitenskapelige energiforskningen synes godt ivaretatt samlet sett når man ser hele ENERGIX portefølje i sammenheng med porteføljen av samfunnsvitenskapelige FME-er og de samfunnsvitenskapelige arbeidspakkene i FME-sentrene som starter opp i 2016. Når det gjelder naturgass, er dette ikke en del av ENERGIX programplan og et valg som er tatt på nivåer over programmet. Oxford Research konkluderer med at ENERGIX "..har funnet en god balanse mellom grunnforskning og anvendt forskning" 5 og at ".. det er hensiktsmessig at ENERGIX som et stort program spiller på alle søknadstypene" 3. ENERGIX palett av virkemidler gjenspeiler Forskningsrådets plass tidlig i innovasjonskjeden i samspill med andre aktører i virkemiddelapparatet. Samtidig er det viktig å sikre relevans i prosjektene gjennom involvering av brukere fra næringsliv og samfunnet forøvrig. Ekspertgruppen mener at det legges godt til rette for det ved at ENERGIX er et stort program med ansvar for et bredt spekter av temaer og virkemidler. Ekspertgruppen har diskutert om ENERGIX profil er kommersiell nok og vil trekke frem PILOT-E tilnærmingen 6, der aktørene som sitter i førersetet forventes å ta prosjektet hele veien frem til anvendelse, som et positivt tilskudd til porteføljen av virkmidler progammet har til rådighet. Ekspertgruppens anbefaling er at ENERGIX bør: opprettholde bredden, både tematisk og når det gjelder bruk av virkemidler i ulike faser fra grunnforskning til anvendt forskning og pilotering jobbe for å utfordre søkerne på hvordan resultatene fra prosjektene skal tas i bruk og kommer til nytte gjennom kommersialisering eller implementering 3 Underveisevaluering av ENERGIX Sekretariatets, 5.4. 4 Underveisevaluering av ENERGIX Sekretariatets, 7.4. 5 Underveisevaluering av ENERGIX Sekretariatets, 5.1. 6 Ny søknadstype utviklet i samarbeid mellom Innovasjon Norge, Enova og ENERGIX, se http://www.pilot-e.no/ 4
gjennom kriteriene sikre, at bedrifter får en aktiv og gjerne ledende rolle i de store prosjektene med henblikk på å øke sannsynligheten for påfølgende kommersialisering/verdiskaping fremme innovasjonskraften i forskningsinstitusjoner og i næringslivet og øke effekten av programmets finansiering ved å være i tett dialog med andre aktører og finansieringskilder kommunisere tydeligere hvordan programmet prioriterer mellom de ulike søknadstypene og føringer for disse, som at Energi21 strategien følges ved lik kvalitet på kompetanseprosjekter og at forskerprosjekter åpnes for områder der programstyret og administrasjonen vurderer at det er behov for grunnleggende kunnskap. synliggjøre tydelig begrunnelse for hvorfor utvalgte tematiske felt er åpne/prioritert synligjøre bedre i programplanen at andre føringer enn Energi21-strategien også legges til grunn (f.eks strategier for bygg og områder som ikke dekkes av Energi21, men er innenfor mandatet til ENERGIX) stimulere til kompetanseoverføring mellom de samfunnsvitenskapelige og de teknologiske prosjektene Internasjonalt samarbeid Nettverksanalysen 7 viser at det er 118 ulike internasjonale aktører med som partnere i ENERGIX prosjekter. Informantene er positive til samarbeid med internasjonale aktører, men noen peker også på at der er uklare forventninger fra Forskningsrådet til internasjonalt samarbeid, blant annet når det gjelder om målet er mobilitet, utviklingsstøtte eller reelt forskningssamarbeid. Oxford Research anbefaler "..å kommunisere mer presist/ utdype hva ENERGIX prioriteringer på nasjonalt og internasjonalt samarbeid er." 3 Ekspertgruppen peker på at det synes som om ulike formål driver fokuset innenfor internasjonalt samarbeid. Feltet er dels politisk drevet, med valg av samarbeidspartnere som ikke nødvendigvis er i overenstemmelse med forskningsbehovet og de reelle forskningsutfordringene innen energifeltet. Feltet er drevet av Norges ambisjoner knyttet til deltakelse i Horisont2020, av næringslivets behov for tilgang til internasjonale markeder og forskningsmiljøenes behov for et samspill med ledende miljøer innen fagfeltene. Slik ekspertgruppen ser det, bør det å sikre samspill med verdensledende forskningsmiljøer og bidra til markedsintroduksjon av norske aktører/teknologi være den primære målsettingen med internasjonalt samarbeid i prosjekter finansiert av ENERGIX. Ekspertgruppen slutter seg til anbefalingen om mer presisjon i målformuleringene rundt internasjonalt samarbeid og en tydeligere prioritering fra ENERGIX sin side. Andre innspill som i hovedsak handler om programmets kommunikasjon er at ENERGIX bør: tydeliggjøre formålet med internasjonalt samarbeid i de ulike utlysningene tydeliggjøre når nasjonalt samarbeid er best og når søker bør legge opp til internasjonalt samarbeid beskrive hvordan kriteriet for internasjonalt samarbeid brukes i søknadsvurderingen tydeliggjøre hvilke utlysninger som er i tillegg til og hvilke som finansieres av samme budsjett som de ordinære nasjonale utlysningene 7 Underveisevaluering av ENERGIX Sekretariatets, 4.2. 5
formulere en holdning til om forskergruppene skal trekke inn mange partnere eller prioritere å bygge forhold over tid Anbefalinger knyttet til operative prosesser Samarbeidsrelasjoner Informantene uttrykker et behov for mer samarbeid på tvers og flere fellesutlysninger. Oxford Research finner at "ENERGIX samspiller godt med tilgrensende programmer" 4, men at "Samspillet mellom programmene internt i Forskningsrådet er [ ] mindre kjent og forstått blant interessentene..." 4 Ekspertgruppen slutter seg til Oxfords anbefaling om at den tette dialogen mellom Forskningsrådets programmer bør synliggjøres bedre i programmets kommunikasjon. Det er en "no wrong door"-praksis innebygd i ENERGIX og tilgrensende programmers arbeidsprosesser som i dag ikke er godt nok kjent for brukerne og som bør videreutvikles. Det vurderes at denne type samarbeid er en nyttig og mindre ressurskrevende løsning enn gjennomføring av fellesutlysninger. Søknadstypen Nye konsepter Informantene beskriver Nye konsept-prosjekter (NYK) som "svært krevende og prestisjefylt å få" og at "NYK fyller et hull mellom de resterende søknadstypene". 8 Det fremkommer imidlertid at det er uklarhet omkring bruken av begrepet "risiko" som er et sentralt og definerende element i søknadstypen. Det påpekes også at "Flaggingen av NYK som en prosjekttype med høy risiko, kan potensielt også signalisere at man ikke ønsker risiko i de andre søknadstypene" 9. Oxford Research anbefaler "tydeligere avklaring av hvor mye risiko det skal være i NYK-prosjekter og de øvrige søknadstypene herunder strategisk vurdering av hva som er høy/lav risiko" 4. Ekspertgruppen anbefaler at ENERGIX viderefører tilbudet om finansiering av NYK-prosjekter. Som foreslått av Oxford, bør administrasjonen gjennomgå kommunikasjon, begrepsbruk og kriteriene for søknadstypen. Begrepet "risiko" må defineres eller erstattes av andre begreper som bedre kommuniserer formålet med NYK-prosjekter og avgrensing mot Forskningsrådets standard søknadstyper. Kommunikasjon, møteplasser og formidling En stor andel av respondentene i spørreundersøkelsen oppgir at programmet håndterer informasjonsarbeidet i programmet bra. 9 Mange av ekspertgruppens anbefalinger i dette notatet handler likevel om tydeligere kommunikasjon, de viktigste har fremkommet i teksten over. I tillegg vil ekspertgruppen trekke frem noen andre momenter. Hele 92 prosent av respondentene som har fått avslag opplyser at prosjektet ble avslått fordi det "..var utenfor tematikken som den aktuelle utlysningen var åpen for". 10 Dette understreker behovet for å kommunisere de strategiske valgene som tas i utformingen av utlysningen bedre. Eventuelt kan det skyldes utformingen av begrunnelsen som gis til søkere som får avslag. Søkere som får avslag bør i større grad oppfordres til å ta kontakt med ENERGIX i etterkant for utdyping av begrunnelsen. Ekspertgruppen slutter seg til Oxford Research anbefaling om "Tydeligere og mer spisset kommunikasjon mot ulike målgrupper i mobiliseringsøyemed. 4 " Nettverksanalysen 7 synliggjør mangfoldet av aktører som deltar i ENERGIX-finansierte prosjekter. Oxford finner at mange av 8 9 Underveisevaluering av ENERGIX Sekretariatets, 5.2. Underveisevaluering av ENERGIX, figur 34. 10 Underveisevaluering av ENERGIX, figur 37. 6
søkerne, særlig de som har rollen som prosjektansvarlige, finnes både på listen over innvilgede og avslåtte prosjekter. Dette kan tyde på at ikke enkeltaktører forfordeles. Samtidig tar denne evalueringen for seg en definert gruppe; alle som har søkt ENERGIX og er ikke representativ for de som i dag ikke er brukere av programmet. Arbeide for å nå aktører som ikke har kjennskap til programmet og sikre at nye brukere når opp i konkurransen om midlene må videreføres. Oxford foreslår sektorrelevante skreddersydde møteplasser. 11 Ekspertgruppen mener at det er utfordrende, spesielt for næringsaktører, å skaffe seg oversikt over alt som skjer. ENERGIX oppfordres til å se på muligheten for synergier med sektorenes etablerte møteplasser, heller enn å etablere flere. Videre bør kommunikasjonen skreddersys til målgruppene, spesielt den som er rettet mot næringsaktører. Konklusjon Det er en ambisiøs norsk klimapolitikk som ligger til grunn for etableringen av ENERGIX. Ekspertgruppen mener derfor det er viktig og riktig at programmet er et stort forskningsprogram som dekker et bredt spekter av temaer og virkemidler. Det gir rom for at det jobbes både bredt og langsiktig med mange teknologier og samfunnsmessige endringer som skal bidra til at vi lykkes med den grønne omstillingen både hjemme og ute. Ekspertgruppen opplever at ENERGIX er relevant, heldekkende og ambisiøs når det gjelder sine strategiske mål. Både ekspertgruppens egne erfaringer slik disse kommer frem i diskusjonene i løpet av arbeidet, og Oxford Research grundige analyse basert på brukerundersøkelse og intervjuer understøtter helhetsinntrykket av et velorganisert og veldrevet forskningsprogram som nyter stor anseelse og tillit hos sine brukere. Vi finner at: programledelsen preges av å inneha høy kompetanse, gode og ryddige søknadsprosesser og godt tilpassede administrative rutiner programmet har god balanse i både utlysninger og virkemidler som brukes for å mobilisere forskningsaktører og næringsliv til å ta del i den ønskede utviklingen innenfor fornybar energi programmet får gjennomgående svært gode tilbakemeldinger på dialog og samvirke med alle relevante stakeholdere, inkludert øvrige programmer i Forskningsrådet og resten av virkemiddelapparatet Ekspertgruppen opplever også prosessen med selve evalueringen av programmet som svært ryddig, profesjonell og positiv i seg selv. Dette reflektere seriøsiteten i programmets eget arbeid med kontinuerlig forbedring og utvikling av ENERGIX. Ekspertgruppen er spesielt opptatt av å formidle at vi anbefaler en videreføring av ENERGIX på linje med den som allerede har vært og pågår. De forbedringsforslagene vi kommer med i dette evalueringsnotat er dermed utformet med henblikk på å styrke effekten av et allerede velfungerende program. 11 Underveisevaluering av ENERGIX Sekretariatets, 7.3. 7