Vedlegg 1 Evalueringen av samfunnsvitenskapelig forskning i Norge 2016 (UTDEVAL/SAMEVAL) Oppdragsbeskrivelse for personal- og publiseringsanalyse Bakgrunn Forskningsrådet vil i løpet av de neste to årene gjennomføre en evaluering av hele det samfunnsvitenskapelige fagområdet. Forskning og utdanning skal ses i sammenheng, og det skal ses spesielt på samfunnsbidragene fra forskningen. Formål med evalueringen Forskningsrådets fagevalueringer har som mål å foreta en kritisk gjennomgang av norsk forskning sett i et internasjonalt perspektiv, samt å fremskaffe anbefalinger om tiltak som kan fremme kvalitet og effektivitet i forskningen. Evalueringen av samfunnsvitenskapelig forskning i Norge skal utføres av internasjonale fagfeller med god kunnskap om de aktuelle fagområdene. Evalueringens anbefalinger vil bli rettet mot institusjonene selv, Forskningsrådet og politiske myndigheter. Evalueringens struktur Evalueringen gjennomføres i to sekvensielle og delvis parallelle prosesser. - Evaluering av utdanningsforskning (UTDEVAL), som ble satt i gang våren 2016 og omfatter ulike fagmiljøer som forsker på utdanning inkl. lærerutdanningene. - Evaluering av de øvrige samfunnsvitenskapene (SAMEVAL), som settes i gang høsten 2016. Evalueringen er inndelt i en tverrfaglig komité for utdanningsforskning og seks paneler for de øvrige samfunnsvitenskapelige fagdisiplinene. Panelinndelingen er basert på faginndelingen i nasjonale råd og fagråd i under det norske Universitets- og høgskolerådet (UHR). Se paneloversikt i tabell 1 bakerst i vedlegget. Hvert panel vil lage en delrapport for sine fag, og lederne for panelene og komiteen for utdanningsforskning vil til slutt utarbeide en samlet rapport for hele det samfunnsvitenskapelige fagområdet. Den endelige rapporten forventes ferdig i juni 2018. Når vi i fortsettelsen omtaler evalueringens paneler i flertall omfatter dette også komiteen for utdanningsforskning, som altså vil bli betraktet som et av panelene i den samlede evalueringen av samfunnsvitenskap i Norge. Institusjonene vil selv fordele sine forskere på evalueringens paneler. Som utgangspunkt for fordelingen av forskere på paneler i SAMEVAL har Forskningsrådet fått laget en oversikt over forskere som er registrert med publikasjoner i samfunnsvitenskapelige tidsskrift i databasen Current Research Information System in Norway (CRIStin). Disse oversiktene vil bli formidlet til institusjonene som et utgangspunkt for deres fordeling av forskere på evalueringens paneler. Koplingen mellom tidsskrift og nasjonale fagråd er basert på UHRs lister over vitenskapelige tidsskrift, som årlig oppdateres i forbindelse med vurdering av nivå på vitenskapelige publiseringskanaler (nivå 1 eller 2). 1
Nærmere beskrivelse av personal- og publiseringsanalysen Forskningsrådet ønsker å bestille to analyser: 1) Personal- og publiseringsanalyse for UTDEVAL 2) Personal- og publiseringsanalyse for SAMEVAL Det er mulig å gi tilbud på en av disse eller begge. Hvis en tilbyder velger å gi bud på kun en del av oppdraget må det samtidig forklares hvordan tilbyder vil gå fram for å sikre best mulig sammenliknbare data for de to evalueringene UTDEVAL/SAMEVAL Personal- og publiseringsanalysene skal gi et samlet bilde av forskningsproduksjon innen samfunnsvitenskapelig forskning i Norge og ved de evaluerte institusjonene. Personal- og publiseringsanalysen skal videre gi evalueringspanelene grunnlag for å vurdere produktivitet, vitenskapelig relevans og kvalitet av den vitenskapelige produksjonen for hvert av fagene ved institusjonene som blir evaluert. Den nasjonale publiseringsdatabasen CRIStin skal være hovedkilde for publiseringsanalysen. Videre ønsker Forskningsrådet at tilbyder inkluderer andre datakilder, blant annet for å innhente siteringsdata, vurdere relevans og foreta internasjonale sammenlikninger. Sammenlikninger med de såkalte barometerlandene er av særlig interesse (Danmark, Finland, Nederland, Sverige og Østerrike). Aktuelle supplerende datakilder for publiseringsanalyse, siteringsanalyse og internasjonale sammenlikninger skal drøftes i tilbudet. Publiseringsanalysen skal knyttes til data om vitenskapelige årsverk ved de evaluerte institusjonene. Data om forskerpersonale finnes i DBH og i NIFUs forskerpersonaleregister. Det skal tas hensyn til variasjon i forskerpersonalets FoU-tid i analysene. Forskningsrådet ønsker at resultatene av analysene kommenteres og forklares for å synliggjøre relevante forskjeller mellom institusjoner og fagfelt. Videre vil det være interessant om tilbyder på basis av analysen kan identifisere sammenhenger mellom forskningskvalitet (som f.eks. definert gjennom siteringer) og andre faktorer som publiseringsvolum, organisasjonstype, samarbeid og internasjonalisering. Det kan være aktuelt å vise slike sammenhenger både i tekstlige kommentarer og i grafiske sammenstillinger. Avgrensningen av publiseringsanalysen kan gjøres på flere måter og bør drøftes i tilbudet. Forskningsrådet ønsker i utgangspunkt publiseringstall for to ulike populasjoner: Forskerpopulasjon for bestemte forfatteradresser Aggregerte publikasjonstall for forfatteradresser i CRIStin tilsvarende institusjonelle enheter som omfattes av evalueringen av samfunnsvitenskapelige fag. Analysene basert på denne forskerpopulasjonen bør inneholde informasjon om antall forskerårsverk som ligger til grunn for publikasjonene, slik at produktiviteten kan beregnes på bakgrunn FoU-årsverk. Forskerpopulasjon spesifisert i evalueringen Forskningsrådet har bedt institusjonene i UTDEVAL om å identifisere sine vitenskapelig ansatte pr 1.05.16 med fagtilhørighet og stillingskode. Tilsvarende vil bli gjort for SAMEVAL 1.10.16. For hver institusjon utgjør denne populasjonen en delmengde av de forskere som er registrert i CRIStin med denne institusjonen som forfatteradresse. Fordi noen forskere har flere 2
institusjonelle tilknytninger, f.eks. gjennom bistillinger, er medlemmene i populasjonen definert som 'forfatter med forfatteradresse'. Innsamling av supplerende publiseringsinformasjon Forskningsrådet vil samle inn noe supplerende informasjon om publisering fra den enkelte institusjon i forbindelse med egenevalueringer. Følgende data vil bli gjort tilgjengelig for tilbyder: Et utvalg av de viktigste publikasjonene for forskergrupper og forskergruppemedlemmer som er meldt inn til evalueringen. Forskere i forskergrupper som er meldt inn til evalueringen kan i tillegg levere inn én publikasjon i fulltekst til vurdering av ekspertpanelet. En liste over de 10 viktigste publikasjonene per panel per institusjon som deltar i evalueringen. Institusjonene kan levere et kort sammendrag for disse publikasjonene. Det vil også bli åpnet for at institusjonene kan levere et begrenset antall publikasjoner fra forskere som ikke deltar i noen gruppe. Tidsintervall for analysen Tidsintervall for publiseringsanalysen skal tilpasses tilgjengelig data og formål med analysen. Tilbyder inviteres til å drøfte hva som er et formålstjenlig og robust tidsintervall for publiseringsanalysene. Analyser av utviklingen over tid er ønskelig. Stillingsnivåer og -kategorier For de vitenskapelig ansatte som er meldt inn til evalueringen er det oppgitt stillingskoder (med noen få unntak). Det kan være gode grunner til å skille mellom ulike stillingstyper i analysen. Det kan f.eks. være hensiktsmessig å ekskludere doktorgradsstipendiater fra mål på forskningsproduktivitet. Tilsvarende kan være aktuelt for lektorstillinger. Faginndeling Analysen skal framskaffe data for det enkelte fag ved den enkelte institusjon og nasjonalt. SAMEVAL benytter den nasjonale fagrådsstrukturen som faginndeling, og denne kan også benyttes i analysen. I UTDEVAL er faginndelingen spesifisert nærmere, og denne kan benyttes i analysen evt. spesifiseres ytterligere. Forskningsrådet ser for seg at faginndelingen kan operasjonaliseres på tre måter: Med utgangspunkt i forskerpopulasjonen som er meldt inn til evalueringen. Denne populasjonen er inndelt etter fagråds-/disiplintilknytning. Med utgangspunkt i fagfordeling av publiseringskanaler. En slik operasjonalisering forutsetter at tilbyder foretar en faginndeling av alle publiseringstyper, ikke bare tidsskriftsartikler. Med utgangspunkt i forfatteradresser ved de evaluerte institusjonene, eventuelt kombinert med fagfordeling av publiseringskanaler Tilbyder inviteres til å diskutere disse alternativene faginndelingene i sitt tilbud. Identifikasjon av publiseringskanaler Evalueringspanelenes vurdering av forskningen ved de evaluerte institusjonene vil delvis være basert på publiseringsprofiler for det enkelte fag og institusjon. For å gi et felles utgangspunkt for slike vurderinger er det ønskelig at hver publiseringskanal blir identifisert på bakgrunn av noen relevante variabler som utgivelsessted, forfatterkrets og distribusjon. 3
Antall forskere og institusjoner som inngår i evalueringen I følge norsk FoU-statistikk er det noe over 5000 ansatte innen samfunnsvitenskap i UHsektoren. Disse utfører til sammen 3000 FoU-årsverk. I tillegg kommer de samfunnsvitenskapelige instituttene som bidrar med om lag 800 forskningsårsverk. Basert på NIFUs kartlegging av norsk utdanningsforskning i 2013 ble en rekke enheter i universitets- og høyskolesektoren og instituttsektoren invitert til å delta i UTDEVAL. Av disse har 17 institusjoner meldt inn 1528 forskere til evalueringen per dags dato. Evalueringen omfatter 26 evalueringsenheter, hvorav 14 lærerutdanninger. Forskningsrådet vil invitere øvrige institusjoner med forskning innen samfunnsvitenskap til å delta i evalueringen i oktober 2016 med frist for å melde inn forskere i begynnelsen av november. Data fra CRIStin for perioden 2011-15 viser at det er 133 institusjoner som hadde 20 eller flere publikasjoner registrert i samfunnsvitenskapelige tidsskrifter. (se vedlegg) Problemstillinger Følgende problemstillinger med tilhørende indikatorer vil være av interesse for evalueringen. Tilbydere oppfordres til å gi en kost/nytte vurdering for disse indikatorene og eventuelt foreslå andre eller supplerende indikatorer. Problemstillinger og indikatorer blir her oppgitt på engelsk, som er ønsket språk for publiseringsanalysen. Publication patterns Publication types (article/book chapter/monography) Journal frequency (most used journals for the defined population) Publisher frequency (most used publishers for the defined population) Journal location, contributors and distribution (Norwegian, Nordic, rest of the World) Publisher location, profile and distribution (Norwegian, Nordic, rest of the World) Publication languages (Norwegian/Scandinavian, English, other) Type of journal with regard to open access Co-authorship (Within and outside of Norway) The analysis should provide a basis for comparison of publication patterns for the following units Evaluation unit (institutions) Academic discipline as defined by the division of Academic councils (Nasjonale fagråd) Institutions per academic discipline International comparisons per academic disciplines (depending on available data) Productivity and quality Number of publications per FTE Publication points per FTE Publication level as defined in CRIStin (0/1/2) Citations (if avalible) 4
The analysis should provide a basis for comparison of these indicators for the following units: Evaluation unit (institutions) Academic disciplines as defined by the division of Academic councils (Nasjonale fagråd) Institutions per academic discipline Academic position, gender & age International comparisons per academic discipline (depending on available data) Personnel & mobility Academic staff per position, gender & age Academic staff per PhD-granting institution and discipline Time reserved for research as fraction of position Mobility (international and sectorial) The analysis should provide a basis for comparison of these indicators for the following units: Evaluation unit (institutions) Academic disciplines as defined by the lists of personnel included in the evaluation Institutions per academic discipline Academic position, gender & age Leveranser og frister Publiserings- og personalanalysen for UTDEVAL skal leveres innen 1.2. 17. Publiserings- og personalanalysen for SAMEVAL skal leveres innen 15.5.17. De første leveransene skal inneholde publiseringstall opp til 2015. For både UTDEVAL og SAMEVAL er det ønskelig at analysene suppleres med 2016-tall så snart disse er tilgjengelige. Tilbyder inviteres til å foreslå hvordan slike supplerende data kan leveres på en kostnadseffektiv måte innenfor prosjektets budsjettramme. Supplerende rapporter med tall for 2016 skal leveres innen 15.6.17 Mulighet for oppdatering av analysen med nye data Analysen skal utføres på en slik måte at den legger til rette for oppdatering med nye personal- og publiseringsdata hvert annet år. Tilbyder skal angi arbeidsomfang for en eventuell senere oppdatering av analysen. Generelle føringer Tilbyder må kunne lese norsk språk. Publiseringsanalysen skal skrives på engelsk. 5
TABELL 1 Paneloversikt Panel 1 Panel 2 Panel 3 Panel 4 Panel 5 Panel 6 Panel 7 Geography Economics Political science Sociology Social anthropology Economic-administrative research Educational research 1 1 The evaluation of educational research is organized in a separate evaluation process using the same methods and evaluation data as the other panels. Whereas the evaluation of social science research is organized under the Division for Science, the evaluation of educational research is organized under the Division for Society and Health and its result will be reported to that board. At the same time the evaluation of educational research will be considered as a panel under the evaluation of social science research and thus be included in the report of the principal committee to the board of the Division for Science. 6