Internett: bibliotek@forskningsradet.no X.400: S=bibliotek;PRMD=forskningsradet;ADMD=telemax;C=no; Hjemmeside: http://www.forskningsradet.

(YDOXHULQJHUDYGH WHNQLVNLQGXVWULHOOHLQVWLWXWWHU JMHQQRPI UWLSHULRGHQ

1RUJHVIRUVNQLQJVUnG Norges forskningsråd Postboks 2700 St. Hanshaugen 0131 OSLO Telefon: 22 03 70 00 Telefaks: 22 03 70 01 Publikasjonen kan bestilles via internett: http://www.forskningsradet.no/bibliotek/publikasjonsdatabase/ eller grønt nummer telefaks: 800 83 001 Internett: bibliotek@forskningsradet.no X.400: S=bibliotek;PRMD=forskningsradet;ADMD=telemax;C=no; Hjemmeside: http://www.forskningsradet.no/ Trykk: Norges forskningsråd Opplag: 250 Oslo, oktober 2002 ISBN 82-12-01803-2 2

$QEHIDOLQJHURJVDPPHQGUDJ De gjennomførte evalueringene har hatt som formål å klarlegge instituttenes roller, FoUbehovene og markedene i 1990-årene. Forhold er under endring, og evalueringene i sin nåværende form bør avsluttes inntil videre. Et situasjonstilpasset evalueringssystem med endrede formål og innhold bør etableres. Situasjonen for norsk teknisk-naturvitenskapelig forskning og utvikling (FoU) er i forholdsvis rask endring. Dette skyldes i noen grad reduksjonene over de senere år av det offentliges og næringslivets finansiering av forskningsinnsats i Norge, og den reduserte tilgangen på kompetent norsk teknisk-vitenskapelig personell. Andre vesentlige faktorer kan være: a) de offentlige og private FoU-kundenes økte kompetanse til å gjennomføre egen FoU, b) forvaltningens og næringslivets økende avhengighet av nyere teknologier og dermed sammenhengende FoU, c) fortsatt utvikling av et relativt åpent internasjonalt marked for kjøp av FoU, og d) endringer i universitetenes rolle i norsk FoU, som i økt grad bringer dem inn som konkurransedyktige tilbydere i FoU-markedet. Punkt d) kan antakelig gi den mest direkte og umiddelbare innflytelse på instituttenes situasjon. Disse forholdene vil endre instituttenes roller og muligheter på lengre sikt. Endringer i Naturvitenskap og teknologis (NTs) instituttpolitikk blir nødvendige. Dette vil kunne ha nytte av et nytt evalueringssystem med andre mål og endret utforming. Det bør legges økt vekt på blant annet analyser av innvirkningen av FoU på forvaltningens og næringslivets effektivitet og konkurransedyktighet. Det bør løpende vurderes hvilke bidrag instituttene best kan gi i et styrket og mer helhetlig samspill mellom forvaltningens og næringslivets egenutførte FoU, universitetene og instituttene. FoU-behovene og markedene varierer betydelig mellom de forskjellige samfunnssektorene. Separate analyser av de ulike sektorenes FoU-behov og muligheter, og instituttenes tilpasning til disse, kan være nyttige. Det bør undersøkes hvilke muligheter og ønsker som ligger til grunn for at NT kan påvirke instituttstrukturen innen de enkelte FoU-sektorer, eventuelt med vurderinger av Forskningsrådets eksisterende og mulige nye virkemidler. Dette arbeidet bør vektlegge samspillet mellom instituttene og universitetene. Som vurderingene i denne rapporten viser, holder instituttene på mange områder et godt internasjonalt faglig kvalitetsnivå, har i det store og hele god organisasjon og god ledelse, god markedskontakt, og tilfredsstillende økonomi. Evalueringene ser ut til på mange punkter å ha gitt nyttige bidrag til at denne situasjonen har utviklet seg. På denne bakgrunn er det nå mindre viktig med tradisjonelle evalueringer som har vært rettet mot å bidra til og styrke instituttenes faglige kvalitet, FoU-utførende evne, markedstilpasning, og organisasjon og ledelse. Fortsettelse av de tradisjonelle evalueringene bør derfor nedprioriteres i forhold til nye typer mer overordnede evalueringer. Innen rammen av sine formål har evalueringenes nytteverdi for NT og instituttene vist seg på en rekke områder. For NT gjelder dette spesielt forståelsen for instituttenes situasjon, inklusive deres faglige virksomhet og arbeidsdeling. Et viktig eksempel gjelder planlegging 3

og prioritering av strategiske instituttprogram (SIP) i et samarbeid mellom NT og instituttene. Alle evalueringene peker på at SIP har vært et viktig virkemiddel. Imidlertid har de betydelig reduserte bevilgningene til NT over perioden ført til en mindre utnyttelse av evalueringene til klare bevilgningsmessige prioriteringer enn det som er ønskelig. Dette har skuffet instituttene slik at noen av dem stiller spørsmål ved verdien av å gjennomføre evalueringer. Antakelig burde NT her ha gitt bedre informasjon og kanskje ha fremmet en åpnere beslutningsprosess. Tross aksept av evalueringenes nytteverdi, gir flere institutter uttrykk for at en del anbefalinger i evalueringene gjelder forhold som de selv på forhånd hadde tenkt å ta opp uavhengig av evalueringene. Hvorvidt dette reduserer verdien av evalueringene for instituttene er vanskelig å si. Enkelte institutter mener arbeidsbelastningen ved evalueringene har vært for høy. Ett institutt har gitt sterk kritikk av evalueringen av en del av instituttets virksomhet. Både NT og instituttene anser at selve evalueringsprosessen har vært god. En del mindre justeringer bør gjennomføres ved senere evalueringer hvis de skal ha de samme formålene. Komitéene har vist høy internasjonal fagkompetanse og i hovedsak god forståelse for instituttenes arbeid. Over 75% av komitémedlemmene var utenlandske. Enkelte institutter har ment at komitésammensetningen har hatt en for sterk akademisk profil. Gitt de reduserte FoU-bevilgningene og de derav følgende begrensede prioriteringsmuligheter, har evalueringene og brukerundersøkelsene oppfylt de formål og forventninger NT la til grunn ved etableringen av evalueringssystemet i 1995. 4

,QQKROGVIRUWHJQHOVH $EHIDOLQJHURJVDPPHQGUDJ,QQKROGVIRUWHJQHOVH %DNJUXQQRJIRUXWVHWQLQJHU,QVWLWXWWHQHRJ1DWXUYLWHQVNDSRJWHNQRORJL17 (YDOXHULQJHQHVIRUPnO (YDOXHULQJVRYHUVLNW 2SSVXPPHULQJDYHUIDULQJHQHIUDHYDOXHULQJHQH (YDOXHULQJHQHVSURVHVVRJRUJDQLVHULQJ 17VSURVHVV.RPLWpHQHRJVHNUHWDULDWHW +RYHGWUHNNYHGNRPLWpHQHVDUEHLGRJUHVXOWDWHU.RPLWpVHNUHW UHQVHUIDULQJHU 1,)8VYXUGHULQJHUDYUDSSRUWHQH +RYHGWUHNNYHGNXQGHXQGHUV NHOVHQHDUEHLGRJUHVXOWDWHU +RYHGWUHNNYHGLQVWLWXWWHQHVRJDQGUHVYXUGHULQJHU,QVWLWXWWHQHVK ULQJVXWWDOHOVHU,QVWLWXWWHQHVVWDWXVUDSSRUWHU 1,)8VLQWHUYMXHUPHGLQVWLWXWWHQH $QGUHK ULQJVXWWDOHOVHU,QVWLWXWWHQHVEHW\GQLQJIRU)R8LQ ULQJVOLYHW 17VKnQGWHULQJRJEUXNDYHYDOXHULQJVUHVXOWDWHQH 'HSDUWHPHQWHQHVEUXNRJYXUGHULQJHU 3URVMHNWOHGHUVKRYHGV\Q (YDOXHULQJVSURVHVVRJUHVXOWDWHU 1\HHYDOXHULQJVEHKRY *UXQQODJIRUVDPPHQGUDJRJNRQNOXVMRQHU 9HGOHJJ (YDOXDWLRQ&RPPLWWHH0DQGDWH 9HGOHJJ (YDOXHULQJVRYHUVLNW 2YHUVLNWRYHUHYDOXHULQJVUDSSRUWHU 'HOSURVMHNWUDSSRUWHU.RQNOXVMRQHURJHUIDULQJHUIUDHQHYDOXHULQJVSURVHVV,QJH-RKDQVHQ &XVWRPHULQTXLULHVRI1RUZHJLDQ7HFKQLFDO5 'LQVWLWXWHV0 UHIRUVNLQJ (YDOXHULQJHUDYGHQDWXUYLWHQVNDSHOLJHWHNQRORJLVNHLQVWLWXWWHQH1,)8 5

6

%DNJUXQQRJIRUXWVHWQLQJHU,QVWLWXWWHQHRJ1DWXUYLWHQVNDSRJWHNQRORJL17 Til sammen 14 institutter får sine grunnbevilgninger fra Naturvitenskap og teknologi (NT) (NT-instituttene). Disse instituttene utførte i 2001 til sammen ca 2600 årsverk, hadde en samlet omsetning på ca. 2600 mill. kr og et resultat på ca 3%. Av omsetningen utgjorde grunnbevilgninger og SIP-bevilgninger ca. 8%. Utover dette mottar instituttene spesielle bevilgninger fra Forskningsrådet, og oppdrag innen brukerstyrte prosjekter fra næringslivet med delfinansiering fra Området for industri og energi (IE). Instituttene er organisert som selvstendige juridiske enheter, aksjeselskaper eller stiftelser. NT oppnevner ett eller flere styremedlemmer i instituttenes styrer og eventuelle råd. Instituttenes roller og formål er gitt flere beskrivelser. I sammendrag har instituttenes roller vært beskrevet 1 med indikatorer som f.eks. 1. Oppdragsrollen: Driftsøkonomi, markedsinngrep, økonomisk sikkerhet, bedrifts/forvaltningsorientering 2. Forskningsrollen: Vitenskapelig kvalitet og produksjon, kompetanse, internasjonalisering 3. Samfunnsrollen: Teknologispredning, forskerutdannelse, grunnutdannelse. Instituttene spiller også en viktig rolle ved nyskapning (patentering og nyetableringer). NTs strategiske ansvar for instituttene er å fastlegge og gjennomføre en instituttpolitikk, herunder prinsipper for og gjennomføring av bevilgninger til instituttene, å medvirke til en rasjonell arbeidsdeling instituttene imellom og å drøfte instituttenes roller og bevilgninger med bevilgende myndigheter. Forskningsrådets sentrale oppgaver omfatter 2 : oppnevne eller foreslå minst ett medlem til instituttets styre (hvis relevant) oppnevne minst to medlemmer til instituttets rådsorgan (hvis relevant) vurdere instituttets strategiske planer og forskningsprogrammer vurdere større saker som vedkommer instituttets basisbevilgninger vurdere instituttets årsrapporter og regnskap vurdere instituttets budsjettforslag, og bevilge midler innenfor Nærings- og handelsdepartementets (NHDs) rammebetingelser ta initiativ til evaluering av instituttets faglige virksomhet ta initiativ til evaluering av instituttets organisatoriske forhold, både når det gjelder instituttet internt og instituttet som del av en større struktur å plassere instituttets forskning inn i en større sammenheng og sikre erfaringsoverføring mellom instituttet og andre forskningsmiljøer 1 Resultatindikatorer for instituttene. Intern rapport NT 2/99. 2 Om statlig finansiering av forskningsinstitutter. Rapport nr. 1 fra prosjekt om instituttpolitikk i Norges forskningsråd, Strategi 1994. 7

For å kunne gjennomføre disse oppgavene har NT gjennomført en relativt omfattende innsamling av instituttdata, satt i verk spesielle finansieringsordninger for instituttene og deres arbeid, og satt i verk kommunikasjonsprosesser og beslutningsprosesser. Disse forholdene danner grunnlaget for utformingen av instituttpolitikken, herunder spesielt bevilgningene over de ulike støtteordningene/virkemidlene. Instituttevalueringene danner delgrunnlag for denne utformingen, og legger vekt på vurderinger i henhold til de siste tre punktene i listen ovenfor. Instituttevalueringer er en viktig oppgave for NT. De omtales blant annet i Forskningsrådets vedtekter, i Stortingsmeldinger og i flere Stortingsproposisjoner. I sin evaluering av Forskningsrådet 3 har Technopolis fremhevet betydningen av evalueringer. (YDOXHULQJHQHVIRUPnO Forskningsrådets rapport Prosjekt instituttpolitikk 4 har følgende formål: )RU)RUVNQLQJVUnGHW å bidra til å sikre kvaliteten av instituttets virksomhet å bidra til å utvikle instituttene videre som oppdragsforskningsinstitutter for næringsliv og forvaltning å påvirke instituttenes satsingsområder slik at de får en ulik profil for sitt arbeid, med sikte på en nasjonal arbeidsdeling mellom instituttene å få et supplerende underlag for vurdering av faglige innretning og størrelsen av basisbevilgningene til de aktuelle institutter )RULQVWLWXWWHQH et tilbud i forbindelse med instituttets utvikling av strategi og arbeid med kvalitetssikring et bidrag for å øke instituttets evne til å betjene sine brukere i forvaltningen og i næringslivet en viktig del av instituttets underlag for drøfting av størrelse av grunnbevilgning og strategiske instituttprogrammer i neste periode Utover dette omtales 4 evalueringenes omfang, gjennomføring og konsekvenser. NT har gitt noen senere presiseringer av formålene og hva evalueringene kan brukes til. )RU)RUVNQLQJVUnGHW internasjonale innspill til videreutvikling av instituttpolitikken råd om spesielle tiltak overfor instituttene eller enkeltinstitutter uhildet syn på tidligere resultater av støtteordninger/virkemidler, herunder ideer til videreutvikling av disse kommunikasjon med departementer, regjering osv. bidrag til NTs/Forskningsrådets egenevaluering delunderlag for fastsettelse av grunnbevilgninger og andre bevilgninger A Singular Council. Technopolis 2001. Prosjekt instituttpolitikk. Rapport fra Strategi 1997. 3 4 8

)RULQVWLWXWWHQH vurdering av egne faglige og administrative utviklingsstrategier, og ideer til endringer vurdering av egen faglig virksomhet som kan gi økt trygghet, med inspirasjon ned på avdelings-/gruppenivåer til forbedringer, med faglige tilbakemeldinger på spesialområder, og dermed bidrag til faglig og markedsmessig utvikling økt forståelse av kundenes syn på instituttets produkter og deres kvalitet Disse formålene og presiseringene er benyttet av NT i utforming av evalueringsmandater. I 1995 vedtok områdestyret i NT at alle NT-instituttene skulle evalueres av internasjonale ekspertkomitéer i løpet av en 6 års-periode. Et eksempel på komitéenes mandat er gitt i vedlegg 1. (YDOXHULQJVRYHUVLNW Evalueringene ble sluttført i 2000, med siste behandling i NTs områdestyre i 2001. Det er gjennomført 10 evalueringer av til sammen 26 institutter/avdelinger. For alle evalueringene er det gjennomført kundeundersøkelser. Evalueringene og brukerundersøkelsene er rapportert i separate rapporter. Evalueringen av Institutt for energiteknikks (IFEs) virksomhet i Halden er gitt i oppdrag og mandat fra NHD i samråd med Forskningsrådet, men for øvrig er evalueringen gjennomført etter de samme prinsippene og prosedyrene som for de andre instituttene. De samlede budsjettene for evalueringene over perioden var ca 8 mill. kr. De ti komitéene hadde til sammen 47 medlemmer, hvorav 11 var norske. 2SSVXPPHULQJDYHUIDULQJHQHIUDHYDOXHULQJHQH Etter to områdestyrebehandlinger ble det i juni 2001 vedtatt at administrasjonen skulle oppsummere erfaringene fra evalueringene, og gi anbefalinger om det videre arbeid med instituttevalueringene. Som delunderlag for dette har NT i samråd med IE og Strategi gjennomført et prosjekt med tittel Vurdering og videreutvikling av evalueringene av de teknisk-industrielle institutter gjennomført i perioden 1995-2000. Prosjektet har følgende hovedinnhold: Delprosjekt 1 De foreliggende komitéarbeidene og evalueringsrapportene gjennomgås med sikte på å samle generelle konklusjoner og trekk ved evalueringene. Så vel evalueringenes innhold som evalueringsprosessene analyseres. Ansvarlig: Inge Johansen. Delprosjekt 2 De foreliggende rapportene om kundeundersøkelsene gjennomgås med sikte på å samle generelle konklusjoner og trekk ved resultatene for alle instituttene. Så vel rapportenes innhold og resultater som undersøkelsesprosessene analyseres. Ansvarlig: Møreforsking. Delprosjekt 3 Instituttenes syn på evalueringene og deres innflytelse på interne beslutninger kartlegges. Dette gjøres ved intervjuer av instituttledere og annet personell ved instituttene, som en fullføring av arbeidet påbegynt av NIFU etter oppdrag fra Strategi (NIFU U-notat 5/99 Forskningsrådets instituttevalueringer 1995-99). Ansvarlig: NIFU. 9

Delprosjekt 4 Dette omfatter prosjektledelse, og dessuten administrasjonens egne analyser. Prosjektleder: Jan M. Döderlein. Prosjektet skal være fullført senest i 2. kvartal 2002 med en oversiktsrapport. Prosjektleder samler generelle trekk og viktige syn fra alle høringsuttalelsene til evalueringene og kundeundersøkelsene, og alle instituttenes oppfølgings-/statusrapporter Prosjektleder kartlegger NTs beslutningsprosess og evalueringenes innflytelse på beslutningene Prosjektleder undersøker departementenes syn (Nærings- og handelsdepartementet (NHD), Utdannings- og forskningsdepartementet (UFD), Olje- og energidepartementetet (OED)) på evalueringene og deres nytteverdi Prosjektleder fremlegger en samlet oversiktsrapport, inklusive hovedpunkter fra delprosjektrapportene (YDOXHULQJHQHVSURVHVVRJRUJDQLVHULQJ Hver evaluering gjennomføres av en internasjonal ekspertkomité med 4-6 medlemmer og norsk leder og sekretær. I tillegg utpekes en koordinator fra NTs administrasjon. Evalueringen tar vanligvis 8-10 måneder frem til trykt rapport foreligger. Det er NTs områdestyre som beslutter evalueringene, deres budsjetter og mandater. Styreleder får fullmakt til å oppnevne komitéene. Det gjennomføres en undersøkelse blant instituttenes kunder som presenteres på komitéenes første eller andre møte. Komitéene skal ha norsk leder og sekretær, og for øvrig i hovedsak utenlandske medlemmer. Leder skal ha forutsetninger for å evaluere institutter i en nasjonal industriell sammenheng og forståelse for anvendt FoU. Det sentrale kravet til komitésammensetningen er at de relevante fagområdene dekkes av personer med høy internasjonal ekspertise. Medlemmene oppnevnes på personlig basis, ikke som representanter for organisasjoner. Medlemmene skal ha FoUerfaring og være økonomisk og faglig uavhengige av instituttene. Kvinnelige medlemmer søkes aktivt. Vanligvis søkes medlemmene blant universitetsprofessorer, ledere av FoUinstitutter og ledere av FoU-avdelinger ved bedrifter. Evalueringsrapportene legges frem for NTs områdestyre av komitéleder. Områdestyret vedtar forslag til tiltak hos instituttene. Disse gir etter ca 10 måneder en statusrapport som fremlegges for områdestyret til orientering. 17VSURVHVV 1. Administrasjonen legger frem forslag om evaluering og kundeundersøkelse med budsjett for områdestyret til vedtak. Kopi av forslag og vedtak sendes andre relevante områder. Styreleder får fullmakt til å godkjenne administrasjonens forslag til valg av komitémedlemmer. 2. Administrasjonen oppnevner sekretær for komitéen. 3. Administrasjonen ved direktør, koordinator og komitésekretær møter de relevante instituttlederne/stabene for gjennomgang av formål og prinsipper for evalueringen. 10

4. Administrasjonen ber instituttene om forslag til komitémedlemmer. IE og andre relevante områder bes om forslag til komitémedlemmer. Administrasjonen utnytter også Forskningsrådets nettverk for å finne egnede komitémedlemmer. Komitéleder velges før de andre medlemmer, slik at han/hun kan konsulteres. 5. Administrasjonen starter kundeundersøkelsen ved å inngå kontrakt med en konsulent. Konsulenten presenterer kundeundersøkelsen på komitémøte nr. 1 eller 2. 6. OS-leder oppnevner komitéen etter forslag fra administrasjonen. Koordinator informerer andre områder om komitésammensetningen. Alt arbeid i komitéene betraktes som fortrolig frem til evalueringsrapportene er trykket. Deretter gis disse en bred distribusjon uten restriksjoner. 7. I et innledende møtet med komitéene understreker NTs ledelse og koordinator komitéenes rolle som uavhengige av Forskningsrådet og instituttene, og betydningen av å få frem kritiske observasjoner. Det gis en oversikt over NTs instituttpolitikk. 8. Komitésekretæren driver komitéen i samråd med komitéleder og koordinator (kap. 2.2). Som del av arbeidet oversendes vanligvis instituttfaktadelen av rapporten på forhånd til instituttene for kvalitetskontroll. 9. Den ferdige rapporten sendes på høring til de evaluerte instituttene, til andre områder og til relevante organisasjoner. 10. Evalueringsrapporten, kundeundersøkelsen og høringsuttalelsene oversendes områdestyret med et saksfremlegg fra administrasjonen. Fremlegget inneholder forslag til tiltak ved instituttene. Evalueringsrapporten presenteres av komitéformannen. Saksfremlegget og områdestyret-vedtaket sendes relevante områder. Instituttene anmodes om å gi en statusrapport på oppfølging av forslag til tiltak, og får en frist på 8-10 måneder. 11. Områdestyret behandler/blir orientert om instituttenes statusrapporter, administrasjonen kvitterer saken i brev til instituttene. En mer detaljert fremstilling er gitt i intern rapport NT 4/99: Intern rutinebok for instituttevalueringer. 3URVMHNWOHGHUVNRPPHQWDUHU NT har benyttet samme sekretær for alle evalueringene og samme koordinator for alle evalueringene unntatt den første.dette har sikret kontinuitet, systematikk og erfaringstilførsel til evalueringene. NT ønsket å utvikle et FoU-miljø for kundeundersøkelser, og har av denne grunn benyttet samme konsulent, Møreforsking, for alle undersøkelsene. Dette sikrer også felles metode og legger grunnlag for en viss sammenlignbarhet mellom undersøkelsene. Evalueringene gir en rekke overordnede så vel som mer detaljerte forslag. Disse spenner fra instituttenes organisasjon og ledelse og ned på avdelingsnivå, med relativt detaljerte faglige anbefalinger. 11

.RPLWpHQHRJVHNUHWDULDWHW Sekretæren drøftet evalueringen på forhånd med de involverte institutternes ledelse. Instituttene ble bedt om å gi en egenevaluering, et relativt omfattende skriftlig underlagsmateriale. På sitt første møte fikk komitéene en gjennomgang av evalueringens formål og NTs forventede bruk av resultatene, vanligvis ved områdedirektør. Komitéen gjennomgikk deretter evalueringsprinsippene og kriteriene, evalueringsprosessen og tidsplanen. Sentralt i komitéens arbeid stod møter mellom komitéen og hver enkelt av instituttenes avdelinger samt instituttenes ledelse. Hvert møte var på 1-2 timer, hvor ledelse og forskere fremla strategier og FoU-prosjekter til diskusjon. En mer detaljert beskrivelse er gitt i intern rapport NT 5/99: Evaluation Procedures for the Technical-Industrial Research Institutes. +RYHGWUHNNYHGNRPLWpHQHVDUEHLGRJUHVXOWDWHU.RPLWpVHNUHW UHQVHUIDULQJHU Komitésekretærens erfaringer er gitt i rapporten.rqnoxvmrqhurjhuidulqjhuiudhq HYDOXHULQJVSURVHVV (Februar 2002) og omfatter en gjennomgang av alle evalueringsrapportene, samt syn på evalueringsprosessen. Et utdrag av de viktigste konklusjoner er gitt i det følgende..ydolwhwhqliruvnqlqjhq De fleste komitéene har brukt publiseringsfrekvens, oppstart av nye forskningsfelter basert på egne ideer og samarbeid med universitetsinstitutter om doktorutdanning som mål på kvalitet. Noen data for disse forholdene er lagt frem, men ikke brukt til en rangering av institutter og avdelinger. Det er stor spredning i kvalitet fra institutt til institutt og fra avdeling til avdeling innen samme institutt. Enkelte komitéer anbefaler instituttene å konsentrere seg om områder der de kan utmerke seg, og å trekke opp en strategi som fremmer kvaliteten ved alle avdelinger ved instituttet. Det finnes flere eksempler på forskningsinnsats av høy internasjonal kvalitet. Norges Geotekniske Institutt (NGI) og NORSAR er blitt karakterisert som institutter av særlig høy kvalitet. Blant de andre instituttene er det mange enkeltavdelinger som utmerker seg. 5ROOHUHOHYDQVRJWHNQRORJLRYHUI ULQJ Instituttene oppfyller sin rolle som oppdragsinstitutt for industrien på en god måte. Komitéene mener de har hatt og har en viktig funksjon for den næringen de betjener. Flere komitéer peker på at instituttene i for stor grad konkurrerer med konsulentselskaper og at slik virksomhet bør avskalles og eventuelt kommersialiseres. Kommersialisering av moden virksomhet og av forskningsresultater bør styrkes. Komitéene ser overføring av egenutviklet teknologi fra instituttene til samfunnsliv og næringsliv som instituttenes mest sentrale oppgave. Denne teknologioverføringen skjer ved samarbeid om forskningsoppdrag, ved mobilitet og ved å utnytte forskningsresultater som basis for industrielle nyetableringer. 12

6DPDUEHLGPHGDQGUHIRUVNQLQJVLQVWLWXVMRQHU Komitéene anbefaler at det internasjonale forskningssamarbeidet bør styrkes, og peker på viktigheten av deltakelse i EUs forskningsprogrammer. Samarbeidet mellom de teknisk-industrielle forskningsinstituttene bør økes. 2UJDQLVDVMRQRJOHGHOVH Komitéene gir instituttledelsene honnør for en effektiv økonomisk ledelse. Komitéene anser at ledelsen ved mange av instituttene bør legge større vekt på sin oppgave som forskningsledere og strategiske ledere. Flere komitéer anbefaler at instituttene legger større vekt på avklaring og utnyttelse av sine intellektuelle rettigheter, ikke minst innen de brukerstyrte prosjektene, men også ved rene oppdragsprosjekter. De viktigste erfaringene fra selve evalueringsprosessen er at: 17VDGPLQLVWUDVMRQ Definerte oppgaven overfor evalueringskomitéene godt. Sørget for et bra administrativt opplegg. Understreket komitéenes uavhengighet. Sørget for å holde seg oppdatert om komitéenes arbeid.,qirupdvmrqvlqqkhqwlqjiudlqvwlwxwwhqh Instituttene tok på seg de oppgavene de var pålagt i forbindelse med evalueringen på en forbilledlig måte. 9XUGHULQJDYHYDOXHULQJVPnWHQ Evalueringsmåten anses som effektiv og verdifull. Komitésammensetningen gjør komitéene kompetente til å evaluere de forhold som Forskningsrådet ber om. En kan imidlertid ikke forvente at komitéene skal sette spørsmålstegn ved et institutts eksistens. Komitéene har tatt som utgangspunkt at instituttene fortsatt skal eksistere og gir kritikk og anbefalinger som vil sette instituttene best mulig i stand til å fylle sin oppgave under de gitte formål. Det anbefales at den samlede instituttstrukturen og instituttenes oppgaver evalueres. Her bør instituttenes oppgaver vurderes i forhold til universitetsforskningen og i forhold til behovet for forskning og nyskaping i næringslivet. 3URVMHNWOHGHUVNRPPHQWDUHU En samlet vurdering av instituttstrukturen og en parallell strategisk vurdering av instituttenes forhold til næringslivet og universitetene bør bygge på en klarere FoU-politikk for universiteter, høgskoler, institutter og næringsliv enn slik det er i dag. Fordi instituttene har en så høy andel av sin finansiering fra markedet (næringsliv og offentlige organer), som igjen er avhengig av det internasjonale markedets utvikling, må en samlet strategisk vurdering ta hensyn til den internasjonale situasjonen. En spesiell styrke ved den norske instituttsektor er antakelig god markedstilpasning. En rekke detaljerte anbefalinger fra komitéene fremgår av rapportene, men er ikke tatt med her. Mest fremhevet er anbefalinger om økte basisbevilgninger, og den høye nytteverdien av SIP. Noen evalueringer sier at SIP er små og bør enkeltvis ha større bevilgninger. 13

Forskningsrådet burde i større utstrekning kunne bruke basisbevilgninger og SIP er relatert til behov for styrking av avanserte miljøer og samarbeide med UoH-sektoren. Én komité innførte en spesiell sesjon under møtet ved instituttet. Etter de vanlige møtene ble forskere intervjuet uten ledelsen til stede. Sentrale spørsmål fra komitéen var f.eks. Hva er det beste du har gjort ved instituttet?, Hvilke er de største hindringer for deg i din FoU?, Hvilke forbedringer ved instituttet ville bety mest for ditt arbeid?. Komitéen fant at denne sesjonen var meget nyttig, og ga en dypere forståelse for og et tilleggsperspektiv på instituttets FoU og ledelse. 1,)8VYXUGHULQJHUDYUDSSRUWHQH Vurderingene er gitt i NIFUs rapport (2002) (YDOXHULQJHUDYGHQDWXUYLWHQVNDSHOLJH WHNQRORJLVNHLQVWLWXWWHQH+YDIRUPLGOHUGH"+YRUGDQEOLUGHEUXNW" og omfatter to hovedpunkter: - Gjennomgang av innholdet i evalueringene hva disse forteller om forskning og annen faglig virksomhet ved instituttene i forhold til kvalitet og brukernytte, og - hvordan de evaluerte instituttene vurderer evalueringene, bruken og effekten av dem. Det første hovedpunktet dekker mye av det som er drøftet i komitésekretærens vurderinger ovenfor. Underlagsmaterialet har i hovedsak vært evalueringene. Det andre hovedpunktet omtales i kap. 5.3. NTs systematiske evalueringsopplegg, med i hovedsak de samme kriteriene for alle instituttene, gir gode sammenligningsmuligheter mellom evalueringene. Dette skyldes også at NT-området med ett unntak har brukt den samme evalueringssekretæren i de ulike evalueringene. Dette har vist seg å være et vellykket grep. Tross dette er det variasjoner mellom evalueringene på flere punkter. Denne variasjonsrikdommen er stort sett uproblematisk, men den har som konsekvens at NTområdet bør være varsomme med å sammenlikne på tvers av evalueringene. Det vil si at sammenlikninger mellom institutter i samme segment og vurdert av samme komité er relativt uproblematiske. Sammenlikninger på tvers av evalueringene er mer tvilsomt. NIFU gir en gjennomgang av kriterier og indikatorer for basisbevilgningene. En gjennomgang av evalueringsmandatene viser at NT eksplisitt har bedt om en vurdering av ulike finansieringskanalers betydning, herunder basisbevilgninger, brukerstyrte programmer og strategiske instituttprogrammer, i de evalueringene som er gjennomført etter at instituttpolitikken ble vedtatt. Derimot har en ikke eksplisitt bedt evalueringsutvalgene vurdere effekten av bevilgningssystemet for instituttenes virksomhet generelt med hensyn til kvalitet og relevans. NIFUs analyse viser at det ikke er foretatt systematiske vurderinger av kvalitet og relevans av de aktiviteter som dekkes av grunnbevilgningene og SIPbevilgningene. Det er derfor vanskelig å si noe om hvorvidt det nye finansieringssystemet fører til de ønskede effekter, også for de evalueringene som er gjennomført etter at det nye systemet ble iverksatt. Vår konklusjonen er således at det evalueringsregimet NT-området har etablert for instituttsektoren i utgangspunktet ikke er særlig velegnet i en basisbevilgningssammenheng. 14

En ting er hvorvidt evalueringene direkte kan og bør knyttes direkte til basisbevilgningsspørsmålet, noe annet er det hvorvidt evalueringene kan bidra med innsikt som kan brukes i en slik sammenheng. Her er NIFU langt mer optimistisk. NT-instituttene har gjennomgående en god og til dels meget god faglig kvalitet. Internasjonal publisering oppfattes som for svak. To tredjedeler av instituttene sies å ha en dårlig eller meget dårlig publisering i internasjonale tidsskrifter. Instituttene har gjennomgående etablert gode ledelsessystemer. Flere av evalueringskomitéene reiser imidlertid spørsmål om ledelsen på mellomnivå og prosjektledernivå er god nok. Samarbeidet med UoH-sektoren, samarbeid med andre institutter, og det internasjonale samarbeidet er for svakt. På disse områdene er forbedringspotensialet stort. NIFU anser at den viktigste faktoren for å heve den faglige kvaliteten er å styrke samarbeidet mellom universitets- og høyskolesektoren og instituttsektoren. Det anbefales at NT spiller en mer aktiv rolle ved å sikre instituttene et styrket økonomisk fundament. Det er ønskelig med en bedre koordinering mellom næringslivets og instituttenes forskningsvirksomhet. Instituttenes relevans for samfunnets generelle kunnskapsbehov og kundenes spesifikke kunnskapsbehov vurderes som god av både evalueringskomitéene og kundene. Brukerundersøkelsene viser at instituttene ivaretar formidlingsoppgaven på en meget tilfredsstillende måte. 3URVMHNWOHGHUVNRPPHQWDUHU NIFU peker på potensial og svakheter for vurdering av basisbevilgningenes størrelse. I kap. 6 blir det påpekt at evalueringsresultatene er en viktig informasjonskilde for NT, og noen grunner til at basisbevilgningene ikke er justert med utgangspunkt i evalueringene blir nevnt. NT har benyttet disse i vurderinger av SIP, men i mindre grad ved vurderinger av grunnbevilgningene. Én viktig grunn til at NT bør være forsiktig med å sammenligne instituttene, i tillegg til NIFUs observasjoner, er at med høy oppdragsandel er instituttene økonomisk avhengige av kundenes markeder som varierer sterkt mellom kundesektorene over tid og påvirker kundenes holdninger til oppdragsforskning. +RYHGWUHNNYHGNXQGHXQGHUV NHOVHQHDUEHLGRJ UHVXOWDWHU Kundeundersøkelsene 5 ble gjennomført som del av evalueringene for blant annet å gi underlag for en vurdering av instituttenes evne til å fylle sin oppgave som næringsrettede oppdragsforskningsmiljøer, og som en støtte til instituttenes videreutvikling av sitt samarbeid med næringslivet. Undersøkelsene omfatter en rekke forhold, som f.eks. kundenes generelle tilfredshet, deres oppfatning av oppdragenes forskningsinnhold, og oppfatningen av oppdragsresultatenes betydning for kundenes økonomi. 5 Customer inquiries of Norwegian Technical R&D institutes 1996-2000. Møreforsking 2002. 15

En sammenlikning av instituttenes ytelser overfor næringslivet er vanskelig av mange grunner. Møreforsk har derfor forsøkt å utvikle en noenlunde operativ felles målestokk i sin utførelse og gjennomgang av brukerundersøkelsene. Underlaget er intervjuer (spørreskjemaer og samtaler) med instituttkunder og instituttpersonell. *HQHUHOW Kundene anser at de direkte økonomiske virkningene av oppdragsforskningen er lavere enn den generelle nytten av samarbeidet. Samtidig er det en høy rate (73%) av tilbakevendende kunder. Dette viser betydningen av indirekte samarbeidseffekter, inklusive kunnskapsoverføring. Høyt forskningsinnhold i prosjektene korrelerer med høy kundetilfredshet. Avansert rådgivning og anvendt forskning gir høy score, mens innhold av grunnleggende forskning gir lavere kundescore. Det er store forskjeller mellom instituttenes avdelinger i kundeundersøkelsenes resultater, spesielt når det gjelder kvaliteten på oppdragsutføringen. )RUVNMHOOHUPHOORPNXQGHURJLQVWLWXWWVWDE Instituttstaben ser et høyere forskningsinnhold i prosjektene enn kundene. I denne sammenheng er det imidlertid store forskjeller mellom instituttene. 2PRIIHQWOLJVW WWHGHSURVMHNWHU Kundene anser at det er et betydelig høyere forskningsinnhold i arbeid med støtte fra brukerstyrte prosjekter enn i rent næringslivsfinansierte prosjekter. Instituttpersonell har samme syn. 3URVMHNWOHGHUVNRPPHQWDUHU Kundenes kommentarer om de økonomiske virkningene av oppdragsforskningen bør ses i lys av en utredning utført av STEP-gruppen for NT 6. Konklusjonene i rapporten er at det blant annet er meget vanskelig å beregne bedrifts- og samfunnsmessige avkastninger av FoU, og at slike beregninger er beheftet med grunnleggende problemer. NTs satsing på å bygge opp et FoU-miljø for kundeundersøkelser ved Møreforsk gjennom 6 års- perioden synes vellykket. Kundeundersøkelsene synes å ha høy kvalitet og god nytteverdi. Virksomheten her har gitt én internasjonal publikasjon og internasjonale konferansebidrag. Flere publikasjoner er planlagt. +RYHGWUHNNYHGLQVWLWXWWHQHVRJDQGUHVYXUGHULQJHU,QVWLWXWWHQHVK ULQJVXWWDOHOVHU Det er kommet inn 19 uttalelser. Disse finnes som vedlegg til saksfremleggene til NTs områdestyre for de respektive evalueringene. Stort sett har instituttene gitt omfattende høringsuttalelser, i en del tilfeller har disse vært behandlet i instituttenes styrer. Uttalelsenes lengde varierer fra vel én side til 11 sider, med et gjennomsnitt på 5 sider. Flere av instituttene gir større omtale av sin egen strategi og planer enn av sine syn på evalueringen. Seksten av uttalelsene mener at evalueringene var nyttige eller meget nyttige, tre peker på ingen eller liten nytteverdi. Tolv uttalelser sier at evalueringsprosessen var god. Én uttalelse 6 Måle avkastning på FoU en umulig oppgave? Intern rapport NT 3/99. 16

som gjelder evalueringen av ett (av mange) fagområde ved vedkommende institutt er sterkt kritisk til hele evalueringsrapporten og alt komitéens arbeid, og velger helt å se bort fra alle anbefalinger i evalueringen, mens kundeundersøkelsen blir ansett som verdifull. Noen hovedsyn forekommer i flere vurderinger. Mange hevder at instituttene på forhånd selv hadde kommet frem til de samme forbedringspunkter som komitéene anbefalte. Flertallet av uttalelsene støtter komitéenes anbefalinger om økte basisbevilgninger og verdien av SIP. Flere mener komitéene ikke har klart for seg instituttenes spesielle rolle i Norge, med lave basisbevilgninger, noe som skaper en mye større markedsavhengighet enn for institutter i andre land og gir instituttene begrensede økonomiske muligheter for mer grunnleggende forskning og internasjonal publisering. Instituttene peker på at en del rapporter gjelder oppdrag med konfidensialitetskrav. Flere komitéer la for stor vekt på publisering, og for liten vekt på andre rapporter og konferanserapporter som instituttene ser som viktigere for sin markedsføring. Gjennomgående ble komitéene ansett som faglig kompetente, men enkelte institutter peker på at deres faglige bredde ikke kunne dekkes i en komité med 4-6 medlemmer. Noen mente at komitéene hadde et for akademisk preg. Flere institutter peker på faktafeil i evalueringsrapportene, men sier også at de ikke kan se at feilene hadde betydning for komitéenes konklusjoner og anbefalinger. For de evalueringene som omfattet flere institutter hevdet noen at komitéene hadde for liten tid, særlig under instituttbesøkene, til å sette seg inn i hele bredden av instituttvirksomheten. Enkelte institutter mener evalueringen ga dem en stor arbeidsbyrde som ikke sto i forhold til resultatenes nytteverdi, ikke minst i lys av at instituttene, som nevnt ovenfor, på forhånd hadde kommet frem til de samme syn som komitéene. Et par institutter beklager at evalueringsrapporten ble sendt på høring. Begrunnelsen er i hovedsak at rapporten gir et feilaktig eller dårlig inntrykk av instituttet og inneholder faktafeil. Åtte uttalelser sier at kundeundersøkelsen var nyttig eller meget nyttig, fem at den hadde liten verdi, én av disse sier undersøkelsen (én av de første) var uprofesjonell. For noen institutter var det et problem at kundeundersøkelsen kunne inneholde informasjon som burde vært konfidensiell på grunn av konkurranseforhold. Flere fant at kommunikasjonen med Møreforsking om undersøkelsene var nyttig i seg selv. 3URVMHNWOHGHUVNRPPHQWDUHU Det var flest negative uttalelser i forbindelse med de tidligste evalueringene. Så vel prosessen som metodene har utviklet seg på en del detaljer fra 1995 til 2000. Denne utviklingen er blant annet basert på institutthøringenes kritiske kommentarer. Til kommentarer fra instituttene om stor arbeidsbyrde med evalueringen, gis to betraktninger som bør telle med i en vurdering: På den ene side vil fremstilling av skriftlig underlag og presentasjoner av instituttets faglige virksomhet for komitéen kreve en innsats som i hovedsak allerede er gjort eller burde vært gjort som en del av løpende forskningsvirksomhet og markedsføring. På den annen side vil krav og kommentarer fra en kompetent komité kunne ha en direkte nytteverdi for både det faglige innholdet og markedsføringen utover innholdet i den senere komitérapporten. Enkelte institutter har funnet faktafeil i rapportene. Disse er små, og har ikke hatt betydning for komitéenes drøftelser og konklusjoner. 17

Noen høringsuttalelser inneholder tilsynelatende selvmotsigelser ved at evalueringen betraktes som generelt nyttig, fulgt av kritiske kommentarer som kan tyde på det motsatte.,qvwlwxwwhqhvvwdwxvudssruwhu Det er kommet inn til sammen 13 statusrapporter, noen mer enn ett år etter evalueringens avslutning. Statusrapportene varierer fra 2 til 8 sider med et gjennomsnitt på nesten 4 sider. De mest gjennomgående trekk er at: a) alle instituttene sier at mange/en del komitéanbefalinger er fulgt opp, b) flere av disse hadde instituttene selv satt i gang før evalueringsrapportene var tilgjengelige, enda flere hadde instituttene allerede vurdert selv på forhånd, begge med dypere analyser enn komitéene hadde gjort (som også ble bemerket i høringsuttalelsene), c) evalueringene var nyttige. Flere av rapportene ble styrebehandlet, og de enkelte komitéanbefalingerne ble detaljert gjennomgått. Instituttene gir flere eksempler på tiltak som bygger direkte på anbefalinger fra komitéene. Noen komitéanbefalinger bygger på feil i faktaunderlaget hos komitéene, f.eks. forslag til reorganisering der dette allerede var gjennomført. Én uttalelse sier seg tilfreds med NTs oppfølging av evalueringen. En annen mener at det gikk for lang tid fra rapporten til NTs oppfølging. Én savner klarere tilbakemelding fra NT om hvorledes evalueringsresultatene blir utnyttet. 3URVMHNWOHGHUVNRPPHQWDUHU Både i høringsuttalelsene og i statusrapportene anbefaler instituttene større SIP-bevilgninger. Det gis ikke rettledning om ønskene gjelder flere SIP eller større bevilgninger per SIP. Det gis ikke vesentlige kommentarer til SIP-bevilgningenes tidsspenn. Ingen bemerker at rapporteringsperioden er for kort til å kommentere tiltakene. Til noen påstander om at komitéen vurderte instituttet på grunnlag av feil organisasjonskart bør det påpekes at alle komitéene bygger på den organisasjonsformen som instituttene selv presenterte på møter med komitéen. 1,)8VLQWHUYMXHUPHGLQVWLWXWWHQH Underlagsmaterialet er i hovedsak intervjuer med instituttpersonell 7. Disse bygger blant annet på et spørreskjema utarbeidet av NIFU som tar opp instituttenes faglige kvalitet, ledelse, samarbeid, formidling og relevans. (YDOXHULQJVSURVHVVRJYXUGHULQJHU Evalueringsmandatene oppfattes gjennomgående som klare og dekkende, og komitéene oppfattes stort sett som kompetente til å foreta evalueringene. Det stilles imidlertid spørsmål ved om komitéene har forutsetninger for å vurdere instituttenes spesielle norske rammebetingelser og om deres kompetanse til å vurdere organisatoriske forhold. Instituttene har hatt god kontakt med evalueringskomitéene, og de opplevde gjennomgående evalueringsprosessen som effektiv. To tredjedeler av instituttene har gitt uttrykk for at evalueringsrapportenes konklusjoner er tilstrekkelig empirisk underbygget. 7 Evalueringer av de naturvitenskapelige/teknologiske instituttene. Hva formidler de? Hvordan blir de brukt? NIFU 2002. 18

2SSI OJLQJ Drøyt to tredjedeler av instituttene har fulgt opp evalueringsresultatene lokalt innen den faglige og organisatoriske virksomheten. Det er imidlertid bare en fjerdedel av instituttene som foretar faktiske endringer i faglig virksomhet og/eller organisatoriske forhold som følge av evalueringene. (YDOXHULQJHQHVYHUGLIRULQVWLWXWWHQH Nær 40% av instituttene gir uttrykk for at evalueringene har liten eller ingen verdi for dem. Av instituttene rapporterer 70% at de har hatt glede av evalueringene internt, men de er frustrert over at NT ikke har fulgt opp anbefalingene om økning av basisbevilgningene. +YDEHWLQJHUQ\WWHYXUGHULQJHQHDYHYDOXHULQJVYLUNVRPKHWHQ" Instituttenes vurderinger av evalueringene avhenger for det første av om de stemmer med instituttenes eget syn. For det andre avhenger vurderingene av den "karakter" instituttet er gitt av evalueringskomitéen. For det tredje påvirkes vurderingene av hvorvidt instituttet selv har foretatt en oppfølging av evalueringene. 3URVMHNWOHGHUVNRPPHQWDUHU NIFUs resultater avviker på noen punkter fra andre instituttuttalelser. Ett eksempel er instituttenes syn på nytteverdien av evalueringene. NIFUs undersøkelse sier at 40% av instituttene mener evalueringen har liten nytteverdi, mens et klart flertall av instituttene gir uttrykk for det motsatte i høringsuttalelser og statusrapporter. Det er flere mulige forklaringer på dette forholdet, én av dem kan være den store forskjellen i datainnsamlingsmetoder. $QGUHK ULQJVXWWDOHOVHU Evalueringsrapportene ble sendt på høring til de instanser som ble sett på som særlig relevante for de enkelte instituttsektorene/instituttene. Disse omfattet departementer, direktorater, bedrifter, internasjonale organer, områder i Forskningsrådet og programstyrer, til sammen 26 instanser. Uttalelsene foreligger som vedlegg til saksfremlegg til områdestyret for de respektive evalueringer. De aller fleste instansene mente at evalueringene var nyttige, hadde interessante synspunkter og støttet evalueringenes konklusjoner og anbefalinger. Flere støtter evalueringenes og instituttenes ønsker om større basisbevilgninger og legger vekt på SIP som virkemiddel. Noen støtter også henstillinger til Forskningsrådet om å arbeide for nasjonale FoU-strategier. Enkelte gir detaljkommentarer og peker på spesielle områder som ble ønsket bedre belyst. Én høring ønsket klarere og skarpere (mer kritiske?) formuleringer og konklusjoner i rapportene. Én enkelt uttalelse hevdet at så vel komitémandat som -sammensetning var diskutabel. Det ble samtidig hevdet at evalueringen manglet fremstilling av koplingen til brukerne. Noen peker på verdien av evalueringenes gjennomgang og beskrivelse av situasjonen i Norge for de relevante næringene, og de omfattende arbeidene komitéene har utført. Få uttaler seg om evalueringenes formål, mandat og form, men det er pekt på at prosessen var god og komitéen kompetent. Én høringsuttalelse peker på at instituttets kunder i dette tilfellet er klart positive til instituttet, mens de bedrifter som ikke er/har vært kunder er mer kritiske til instituttet. 19

I noen av høringsuttalelsene var en stor del av innholdet beskrivelser av vedkommende institusjons FoU-strategi og -behov. 3URVMHNWOHGHUVNRPPHQWDUHU De henstillingene til Forskningsrådet som ber om utarbeidelse av nasjonale strategier gir ikke begrunnelser for dette og peker ikke på hvilke formål og nytteverdier slike strategier kan ha. En del uttalelser synes å vise lite engasjement og var til dels overfladiske. Evalueringsrapportene og kundeundersøkelsene burde kunne være et middel til å øke interessen for FoU hos organisasjonene, men dette synes å kreve en holdningsendring. Forskningsrådet bør vurdere om en bør søke å påvirke denne situasjonen.,qvwlwxwwhqhvehw\gqlqjiru)r8lq ULQJVOLYHW Området for industri og energis (IEs) program Faktagrunnlaget for nærings- og teknologipolitikken (FAKTA) har gjennomført prosjekt: Instituttenes betydning for FoU i næringslivet. Prosjektets føste delrapport 8 bygger på undersøkelser av virksomheter ved 40 institutter, inklusive blant andre landbruk-, fiskeri- og miljøinstitutter. Studiens resultater er derfor bare delvis deskriptive for NT-instituttene. 3URVMHNWOHGHUVNRPPHQWDUHU Rapporten og det videre arbeid kan få betydning for vurderinger av Forskningsrådets strategi og instituttpolitikk, men gir ikke direkte relevant underlag innen rammen av Oppsummeringsprosjektets mål. Evalueringsrapportene og kundeundersøkelsene fra instituttevalueringene er ikke referert og synes ikke å ha vært en del av underlaget for de to delrapporter. 17VKnQGWHULQJRJEUXNDYHYDOXHULQJVUHVXOWDWHQH Utvalgte personer i NTs administrasjon, nåværende og tidligere, er intervjuet muntlig om sin bruk og utnyttelse av evalueringene, primært evalueringsrapportene. Evalueringsrapportene, høringsuttalelsene og statusrapportene er lest av NTs ledelse og behandlet i NTs områdestyre, og delvis av de rådgiverne som behandler saker med relevans for instituttene. Evalueringsrapportene gir en meget god faktabase og er en sentral informasjonskilde for NTs administrasjon og områdestyre. Sentrale punkter her er rapportenes oversikt over de respektive institutters markedsområder, forskningens kvalitet i et internasjonalt FoUperspektiv, og pålitelige nøkkeltall. Underlaget gir viktig delgrunnlag for NTs utforming av instituttpolitikken. NT utnytter evalueringsrapporten og de andre evalueringsdokumenter som underlag i sine skriftlige og muntlige kontakter med departementer og politikere for å øke forståelsen for instituttenes betydning i FoU-systemet, og for å styrke prioriteringen av instituttbevilgninger i forhold til annen bruk av offentlige bevilgninger. 8 Forskningsinstituttene og næringslivet. Delrapport 1: Aktørene i samspillet. NIFU skriftserie 30/2001. 20