Har instituttevalueringene gitt en bedre teknisk-industriell instituttsektor? Hvordan bør Norge bruke instituttevalueringer i fremtiden? J. M. Döderlein Instituttevalueringer 1995-2001 Formål, kriterier Metoder Resultater Evaluering av evalueringene Formål Metaevalueringsprosjektet, metode Resultater Evaluering mellom tradisjon og fornyelse JMD 9/03 1
Den teknisk-industrielle instituttsektoren 14 institutter, 2600 årsverk, 2600MNOK, ca 3% Grunnbevilgninger og programmer ca 8% Instituttenes 3 roller 1. Oppdragsrollen: driftsøkonomi, markedsinngrep, økonomisk sikkerhet, bedrifts/forvaltningsorientering 2. Forskningsrollen: vitenskapelig kvalitet og produksjon, kompetanse, internasjonalisering 3. Samfunnsrollen: teknologispredning, forskerutdannelse, grunnutdannelse. JMD 9/03 2
Evalueringsformål For Forskningsrådet styrke kvaliteten av instituttenes virksomhet utvikle instituttene videre som oppdragsforskningsinstitutter påvirke instituttenes satsingsområder med sikte på en nasjonal arbeidsdeling supplerende underlag for vurdering av den faglige innretning og størrelsen av basisbevilgningene For instituttene tilbud i forbindelse med instituttenes utvikling av strategi og arbeid med kvalitetssikring bidrag for å øke instituttenes evne til å betjene sine brukere i forvaltning og næringsliv del av instituttenes underlag for drøfting av basisbevilgninger i neste periode. JMD 9/03 3
Metode OS-beslutning: inst. budsj. mandat Administrasjonen: kom. personvalg, kom. instruks, kundeunders. OS-leder: personvalg OK Komité: planlegging, inst.besøk, møter, rapport OS: foreløpig drøftelse rapporter Instituttene Adm: høringer Organisasjoner bedrifter OS: forslag til tiltak, frist 10-12 md Instituttene: tiltaksapportering OS: vurdering av tiltakene JMD 9/03 4
Komitéenes mandat Quality and relevance of research activities, cooperation with universities and other research bodies in Norway and abroad, The role of the institute in the national research framework, The function of the institute as a professional contract research organisation and its ability to serve the needs of the customers, The quality of leadership and management of the institute. Assess the financial support mechanisms provided to the institute: Basic funding User-driven programmes Strategic institute programmes Scholarships for visiting scientists and Ph.D. students. JMD 9/03 5
Evalueringsoversikt Tema Institutt/avdeling Gjennomføringsår Informasjonsteknologi NR 1995-96 NORUT SINTEF Delab SINTEF Industriell matem. SINTEF Informatikk SINTEF Instrumentering SINTEF Reguleringsteknikk Bygg/anlegg NBI 1996 NGI SINTEF Bygg & Miljø NORUT Petroleumsteknologi NORSAR 1997 CMR IKU AS RF Petroleumsteknologi IFE IFE petroleum 1999 Energi IFE 1998 SINTEF Energiforskning Material/kjemi IFE 1998-99 SINTEF anv. Kjemi SINTEF materialteknologi TelTek Marin og offshore teknologi MARINTEK 1999-2000 Teknologiledelse SINTEF teknologiledelse 1999-2000 Medisinsk teknologi SINTEF Unimed 2000 Nukleær virksomhet Haldenprosjektet 2000 Sum Eva-objekter 26 Sum Eva-temaer 9 Sum komitéer 10 JMD 9/03 6
Resultater For instituttene Gjennomgående god, men varierende, faglig kvalitet God kundekontakt, forståelse og gjennomføring Øk kontaktene seg imellom og med U&H Mere internasjonalt samarbeid Øk publikasjonsraten Gjennomgående god økonomisk ledelse For lave basisbevilgninger For Forskningsrådet Økt interesse og forståelse for instituttene Påvirkning av instituttpolitikken Manglende bevilgninger ingen innflytelse av evalueringene på bevilgningenes størrelse Noen mindre endringer i instituttenes faglige prioriteringer JMD 9/03 7
Metaevalueringsprosjektet Formål Oppsummére evalueringserfaringene Om evalueringsmetode Om resultatbruk Anbefale justeringer i formål, metode og opplegg Metode Komitésekretærs vurderinger (rapport) Hva forteller eva-rapportene? (NIFU rapport) Instituttenes vurderinger av evalueringene (NIFU rapport) Om kundeundersøkelsene? (Møreforsk rapport) Intervjuer med stab i Forskningsrådet (prosjektleder) Intervjuer med stab i 3 departementer (prosjektleder) Gjennomgang av høringsuttalelser, instituttenes oppfølging etc (prosjektleder) Samlerapport (prosjektleder) JMD 9/03 8
Meta-eva resultater Evalueringene oppfylt formål på en god måte 2/3 av instituttene gjennomført en del anbefalinger, tiltakene lette å spore Kritikk: Instituttene ser ingen endringer i basisbevilgninger. Mange eva-anbefalinger hadde instituttene selv tenkt på forhånd Problem: Resultatene vanskelige å spore i FRs beslutninger, små virkninger Observasjon: I instituttenes høringsuttalelser; 16 høringer sier eva nyttig, 3 ikke nyttig. I NIFUs intervjuer; 40% sier eva har liten eller ingen verdi?? Hovedkonklusjoner: Eva i hovedsak nyttige for instituttene og Forskningsrådet, formål og forventninger stort sett oppfylt, god evalueringsmetode, lag noen justeringer i komitémandater Anbefalinger: Nedprioritér tradisjonelle evalueringer, tilpass eva-formål til utviklingen JMD 9/03 9
Realistiske forventninger Hva har eva bidratt til: Bedre FoU og institutter Ja Bedre Forskningsråds-politikk Tja* Endre bevilgninger til FoU Nei Bedre innovasjonspolitikk Nei Bedre FoU-politikk på regjeringsplan Nei *Politisk overstyring JMD 9/03 10
Omgivelsesendringer Nisjifisering Spesialisering for disipliner Norske spesialiteter Sektorprinsippet for departementene? Centres of Excellence Konkurranse, samarbeid, internasjonalisering U&H oppdragsforskning Konkurranse Kostnads- og bevilgningsfordeling Samarbeid, arbeidsdeling Raskere internasjonalisering Større FoU-markeder og konkurranse EU-FoU Samarbeid Etiske krav Næringslivets styring Forvaltningens styring CoE, U&H og etiske krav krever tilpasningstid JMD 9/03 11
Nye evalueringsbehov Nye mål og krav til eva bør klargjøres Nye overgripende politiske mål og strategier for FoU-sektoren (blir det noe av??) Endringer i forholdet institutter-coe og -U&H og internasjonalt Endringer i instituttroller Endringer i instituttmål Evalueringsformål Mere eva-vekt på Høy faglig kvalitet U&H, CoE og internasjonalt samarbeid, disses metoder og resultater Ønsket struktur/organisering av instituttsektoren Kutt eva av ledelse og økonomi, inst. gjøre selv JMD 9/03 12
Evalueringsmetoder Evalueringer, hva og når? Internasjonale komitéer for fag og internasjonalt samarbeid Vekt på innovasjonspotensial Evalueringsstart etter 2005-6 med grunnlag bl.a. i CoE-evalueringer Gi eva-kriterier 2 år før evalueringen startes Forskningsrådet task force for sektororganisering JMD 9/03 13
Evaluering mellom tradisjon og fornyelse Realistiske forventninger: hva kan eva bidra til: Mere kvalitets-fou, bedre institutter Ja Bedre Forskningsråds-politikk, mere strategisk Ja* Endre bevilgninger til FoU Nei? Bedre innovasjonspolitikk Nei? Bedre FoU-politikk på regjeringsplan Nei? Bedre etikk??? * Hvis redusert politisk overstyring JMD 9/03 14