Bibliometri i finansiering og evaluering av forskning

2,0 % 1,8 % 1,6 % Sverige 1,4 % 1,2 % Danmark 1,0 % 0,8 % 0,6 % Finland 0,4 % 0,2 % Norge 0,0 % Gunnar Sivertsen: Bibliometri i finansiering og evaluering av forskning

Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i 2013 5. Videreutvikling av indikatoren

Forskning må publiseres. Altså kan forskning studeres der den «kommer til syne» i publikasjonene Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Language and societal relevance How do the sciences «speak» to society?

Language and societal relevance How do the humanities and social sciences speak to society?

Publications for a general audience Shares of researchers at Norwegian universities with at least one such publication during three years.

Publications contributing to public debate Shares of researchers at Norwegian universities with at least one such publication during three years.

Kunsterisk utviklingsarbeid (forskning)

Vitenskapelig publisering Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Fordelingen mellom publikasjonsformer pr. fagområde Tidsskriftsartikler Bokartikler Bøker Humaniora Samfunnsfag Medisin og helse Naturvitenskap Teknologi 0 % 20 % 40 % 60 % 80 % 100 %

Andeler av tidsskriftene og artiklene som utgis på norsk Basert på 42 264 artikler i 9 926 vitenskapelige tidsskrifter, norske U&H 2005-2011 50% 40% 30% Tidsskrifter Artikler 20% 10% 0% Hum Samf Med Nat Tekn

Prosentandel publikasjoner på norsk pr. fagområde 100% 90% Humaniora 80% 70% Samfunnsfag 60% 50% 40% 30% Medisin og helse Naturvitenskap 20% 10% Teknologi 0% 2005 2006 2007 2008 2009 2010

Andel publikasjoner på norsk pr. fag: Samfunnsfag Rettsvitenskap Kjønnsforskning Pedagogikk og utdanning Sosiologi Medier og kommunikasjon Økonomisk-administrative fag Statsvitenskap Sosialantropologi Geografi Samfunnsøkonomi Bibl- og informasjonsvit Utviklingsstudier 0% 20% 40% 60% 80% 100%

Norske artikler 2005-2013 pr. tidsskrift i sosiologi Sosiologisk Tidsskrift Sosiologi i dag Sosiologisk Årbok Journal of Risk Research Acta Sociologica European Sociological Review Social Indicators Research Sociological Review Journal of Critical Realism Journal of Youth Studies Ethnic and Racial Studies Sociology Sociologisk forskning Leisure Studies Qualitative Sociology Review Asian Journal of Social Science European Journal of Social Theory Procedia - Social and Behavioral Sciences International Journal of Social Research Methodology International Journal of Sociology Journal of Classical Sociology Qualitative Inquiry Comparative Sociology Sociologia Ruralis Pakistan Journal of Criminology European Societies: The Official Journal of the European Work, Employment and Society Dansk Sociologi 53 andre tidsskrifter 0 20 40 60 80

Norske artikler 2005-2013 pr. tidsskrift i gastroenterologi Scandinavian Journal of Gastroenterology Colorectal Disease World Journal of Gastroenterology Alimentary Pharmacology and Therapeutics Inflammatory Bowel Diseases Journal of Hepatology Diseases of the Colon & Rectum Gut Digestive Diseases and Sciences Gastroenterology BMC Gastroenterology Neurogastroenterology and Motility Hepatology Current Opinion in Gastroenterology Journal of Pediatric Gastroenterology and Nutrition - JPGN European Journal of Gastroenterology and Hepathology Comparative Hepatology American Journal of Gastroenterology Endoscopy 33 other journals 0 20 40 60

The dual funding system (Public sources) Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

Impact template as Word file (6,975 submissions)

The balance? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

The mix? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

Same aims, methods, and effects? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

Research Evaluation and Performance Indicators Bibliometrics may inform, but not replace peer review

A. Research Evaluation without funding implications Bibliometrics informs the evaluation. Evaluation results are not translated into funding Bibliometrics may inform, but not replace peer review

B. Research Evaluation with funding implications (PBF) Bibliometrics informs the evaluation. Evaluation results are translated into funding Bibliometrics may inform, but not replace peer review

Examples of B: Evaluation-based models Bibliometrics informs the evaluation. 2018? Evaluation results are translated into funding 1986 2010 2018? 2003

C. Performance-based funding (PBF) without Research Evaluation Bibliometrics is translated into funding. Often combined with other indicators.

Examples of C: Indicator-based models Bibliometrics is translated into funding. Often combined with other indicators. 1990

Delvis resultatbasert finansiering av høyere utdanningsinstitusjoner ble innført med «Kvalitetsreformen» i 2002

Behov for mer vekt på forskning i den overordnete budsjettmodellen for universiteter og høgskoler Studiepoeng siden 2002 Budsjett for U&H Basis: 60% Utdanning: 25% Forskning: 15% Strategiske midler Resultatbasert 2002-2005: Vitenskapelige stillinger. Fra 2006: Publiseringspoeng 1,8 prosent av sektorens samlede budsjett omfordeles ut fra siste års publiseringspoeng Vitenskapelig publisering Doktorgrader Ekstern finansiering

Resultatindikatorene i grunnbevilgningene til universiteter og høgskoler, forskningsinstitutter og helseforetak Universiteter og høgskoler Tildelte doktorgrader Tildelinger fra EU Tildelinger fra NFR Vitenskapelig publisering Helseforetak og institutter Utførte doktorgrader Tildelinger fra EU Tildelinger fra NFR Vitenskapelig publisering

Midler over statsbudsjettet til medisinsk forskning (Forenklet modell) Kunnskapsdepartementet Helse- og omsorgsdepartementet NFR frie midler NFR prioriterte midler Fire samarbeidsorganer Medisinske fakulteter Sykehus FHI Rammebevilgninger Delvis resultatbasert (i konkurranse) Søknader i konkurranse

Diffusion of the Norwegian model Bibliometrics based on complete data is translated into funding. Often combined with other indicators.

2004 2008 2010-2013 - 2016

«The Norwegian model» The model has three components: A. A complete representation in a national database of structured, verifiable and validated bibliographical records of the peer-reviewed scholarly literature in all areas of research; B. A publication indicator with a system of weights that makes field-specific publishing traditions comparable across fields in the measurement of Publication points at the level of institutions; C. A performance-based funding model which reallocates a small proportion of the annual direct institutional funding according the institutions shares in the total of Publication points. Direct grants Historical, Political Strategic Performance based

Ufullstendig dekning av internasjonale tidsskrifter. Veldig begrenset dekning av vitenskapelige bøker. Tilfeldig eller manglende dekning av vitenskapelig publisering på nasjonalspråkene. Books Indexed journals Journals and series Coverage of 70,500 scholarly publications from the higher education sector in Norway 2005-2012. 100% 90% 80% Scopus Web of Science 70% 60% 50% 40% 30% 20% 10% 0% Health Sciences Natural Sciences Engineering Social Sciences Humanities

En felles definisjon av vitenskapelig publikasjon Publikasjonen må: 1. presentere ny innsikt 2. være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning 3. være i et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den 4. være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering*) *) Lokale kanaler inkluderes ikke (2/3 eller mer av forfatterne er fra samme institusjon)

Referenser importert fra eb of Science

Egenrapporterte referanser

Principles behind the use of institutional data in a shared national Current Research Information System Completeness: All scholarly publications and other results from research are included Transparency: Every institution can see and check all other institutions data. The national database is also online and open to society at large. Multiple use of the data: CV s, applications, evaluations, annual reports, internal administration, bibliography for Open Archives, links to full text, etc.

«The Norwegian model» The model has three components: A. A complete representation in a national database of structured, verifiable and validated bibliographical records of the peer-reviewed scholarly literature in all areas of research; B. A publication indicator with a system of weights that makes field-specific publishing traditions comparable across fields in the measurement of Publication points at the level of institutions; C. A performance-based funding model which reallocates a small proportion of the annual direct institutional funding according the institutions shares in the total of Publication points. Direct grants Historical, Political Strategic Performance based

Three main publication types 1) Article in ISSN-title 2) Article in ISBN-title 3) ISBN-title Channel Type E.g. scientific article in Nature or scholarly ISBNtitle on Oxford University Press.

Dynamic records of scientific and scholarly ISSN-titles og ISBNpublishers 20,000 ISSN-titles and 1,000 book publishers so far 0001-9887 Africa Today 0001-9909 African Affairs 1062-4783 African American Review 0263-0338 African Archaeological Review 0001-9933 African Arts 1017-6772 African Development Review 0145-2258 African Economic History 1021-3589 African Entomology 1472-5843 African Identities 1684-5315 African Journal of Biotechnology 1021-9730 African Journal of Crop Science 0141-6707 African Journal of Ecology 1438-7890 1684-5378 African Journal of Environmental Assessment and Management African Journal of Food, Agriculture, Nutrition 1015-8618 African Journal of Neurological Sciences 0065-4000 African Literature Today CABI Publishing Cambridge University Press Cappelen Akademisk Forlag Carfax Publishing Carl Heymanns Verlag Carlsson bokförlag Catholic University of America Press Central European University Press Channel View Publications Chinese University Press Christian Ejlers s Forlag

All channels can be searched, and new channels can be suggested

Publication channels on two levels Level 2 represents the most prestigous channels and is defined in collaboration with the national councils in each field Level 2: Higher points to 20 % of the publications Level 1: Normal points to 80 % of the publications

Norske artikler 2005-2013 pr. tidsskrift i gastroenterologi Scandinavian Journal of Gastroenterology Colorectal Disease World Journal of Gastroenterology Alimentary Pharmacology and Therapeutics Inflammatory Bowel Diseases Journal of Hepatology Diseases of the Colon & Rectum Gut Digestive Diseases and Sciences Gastroenterology BMC Gastroenterology Neurogastroenterology and Motility Hepatology Current Opinion in Gastroenterology Journal of Pediatric Gastroenterology and Nutrition - JPGN European Journal of Gastroenterology and Hepathology Comparative Hepatology American Journal of Gastroenterology Endoscopy 33 other journals Nivå 2 0 20 40 60

Publication points Publication type Level 1 Level 2 Article in ISSN-title 1 3 Article in ISBN-title 0,7 1 ISBN-title 5 8 Publication points are fractionalized if the publication originates from more than one institution Publication Author 1 Author 2 Author 3 Institution A Institution B Institution C Institution C

Evaluering publisert 16. januar 2014 Utført i 2013 av Dansk Center for Forskningsanalyse, Aarhus Universitet for Universitets- og høgskolerådet finansiert av Kunnskapsdepartementet

Publiseringspoeng i universitets- og høgskolesektoren 2004-2014 16 000 14 000 12 000 Nivå 2 (%) Nivå 1 Nivå 2 (%) 25% 20% 10 000 15% 8 000 6 000 10% 4 000 2 000 5% 0 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 0%

Antall artikler i Web of Science 1980-2013 Kilde: Web of Science (Thomson Reuters) hos CWTS, Leiden Universitet 30 000 25 000 Sverige 20 000 Danmark 15 000 10 000 Finland 5 000 Norge 0

Andel artikler i Web of Science 1980-2013 Kilde: Web of Science (Thomson Reuters) hos CWTS, Leiden Universitet 2,0 % 1,8 % Sverige 1,6 % 1,4 % 1,2 % Danmark 1,0 % 0,8 % 0,6 % Finland 0,4 % 0,2 % Norge 0,0 %

Overordnete positive virkninger Mer fokus på og prioritering av de ansattes forskningsvilkår Forskning oppfattes i større grad som et felles, ikke bare et individuelt ansvar Nye publikasjoner får intern oppmerksomhet og anerkjennelse, ikke bare ute blant spesialister Diskusjon av vitenskapelige standarder og publiseringsmønstre på tvers av fag- og avdelingsgrenser Bedre, sammenlignbar informasjon om egen virksomhet

De tre I ene 1. Informasjon: Oversikt over og synliggjøring av forskningen 2. Indikator: Statistikk, å kunne følge utviklingen 3. Incentiv: Verdsetting av forskning

Manglende fagfeltsnøytralitet

Balanse er viktig fordi indikatoren bidrar til finanseringen av institusjoner med ulike fagprofiler 100 % 90 % Tekn 80 % 70 % MatNat 60 % 50 % Helse 40 % 30 % Samf 20 % 10 % Hum 0 % NTNU UiO NMBU

Den nye indikatoren Publication type Level 1 Level 2 Article in ISSN-title 1 3 Article in ISBN-title 0,7 1 ISBN-title 5 8 Brøkdeling av publikasjonen ved mer enn én institusjon Publication Institusjonens andel erstattes med kvadratroten av institusjonens andel Author 1 Institution A Institution B Author 2 Institution C Author 3 Institution C

Simulering i NVI-data fra 2011-2012 Gjennomsnittlig antall publikasjoner og poeng Fagområde Forskere Antall publikasjoner Nåværende poeng Nye poeng Humaniora 1074 3,7 3,9 4,6 Medisin og helsefag 5724 6,3 1,5 4,5 Naturvitenskap 3594 5,4 1,8 4,7 Samfunnsvitenskap 1882 4,5 3,1 4,7 Teknologi 2157 5,5 2,1 4,4

Konsekvensene En mer fagnøytral publiseringsindikator Økt stimulans til samarbeid om vitenskapelig publisering mellom institusjoner og land En fortsatt motvirkning av et mulig ønske om å føre opp flere forfattere enn rimelig i publikasjonen Større vanskeligheter enn før med å bruke indikatoren på individnivå

«The Norwegian system is inherently corrupt»

Oppslag på toalettene ved Senter for fremragende forskning (lingvistikk) ved Universitet i Tromsø

Oppdragsrapport til Kunnskapsdepartementet levert 15. juni 2016 På institusjonsnivå: Siteringshyppighet (gjennomsnitt for tre foregående år) brukes til å justere publiseringspoeng. Avhengig av institusjonens fagprofil: Innvirkningen svekkes i samme grad som fagprofilen mangler dekning i siteringsbaser. Humaniora og enkelte samfunnsfag holdes utenfor beregningen og beholder publiseringspoeng uten justering. Ment å balansere fokus ved publisering: Produktivitet balansert med hensynet til potensiell vitenskapelig betydning.

Et uttrykk for forskningskvalitet? Man antar at publikasjoner som ofte opptrer i senere publikasjoners referanselister, har hatt en særlig nytte, innflytelse eller gjennomslagskraft i forskningen (citation impact). Dette kan være et tegn på at publikasjonen presenterer forskning av spesielt høy kvalitet og originalitet.

Et uttrykk for forskningskvalitet? Men publikasjonen kan også være hyppig sitert fordi den presenterer en mye brukt metode eller en god oversikt over annen forskning på feltet, såkalte oversiktsartikler. Det kan også være andre grunner til at en publikasjon siteres ofte. Den kan være utsatt for kritikk, avstandstaken eller korrigering. Den kan være nevnt som en feilkilde. Studier har imidlertid vist at «negative» siteringer forekommer i et relativt lite omfang.

Problemer med en siteringsindikator Dekker bare ett aspekt ved forskningskvalitet Avhengig av fag og emne Tilbakeskuende Manipulerbar

Hvorfor utvide publiseringsindikatoren med en siteringsindikator? Kan balansere fokus ved publisering: Produktivitet balanseres med hensynet til potensiell vitenskapelig betydning. Fokus på det enkelte arbeid, ikke bare på kanalen. Kan bidra til regjeringens målsetting om økt kvalitet i norsk forskning. Kan rette opp en negativ omfordeling av ressurser til institusjoner som i utgangspunktet var forskningsintensive. Kan erstatte indikatorens multiplikator for internasjonalt samarbeid. Kan fremme åpen tilgang.

Simulation of publication points modified by a citation indicator Universitetet i Oslo NTNU Universitetet i Bergen Universitetet i Tromsø NMBU Universitetet i Stavanger Universitetet i Agder Høgskolen i Oslo og Akershus Norges idrettshøgskole Høgskolen i Buskerud og Vestfold Høgskolen i Bergen Norges handelshøyskole Universitetet i Nordland Handelshøyskolen BI Høgskolen i Telemark Høgskolen i Gjøvik Høgskolen i Hedmark Høgskolen i Sør-Trøndelag Høgskolen i Lillehammer Høgskolen i Østfold Høgskolen i Ålesund Høgskolen Stord/Haugesund Høgskolen i Molde Høgskolen i Nord-Trøndelag Høgskolen i Sogn og Fjordane Høgskolen i Narvik After modification Before modification 0 1000 2000 3000 4000 5000 6000

Parallelle forslag til endring av publiseringsindikatoren «Vi foreslår som et minimum at fagrådene gir prioritet til kanaler med åpen tilgang til nivå 2 dersom de har valg mellom flere kanaler med omtrent samme kvalitet» (Ser sterke argumenter for å fjerne nivåinndelingen) (Kan også tenke seg radikal kvotering av åpen tilgang på nivå 2 i alle fag) «Et viktig insentiv er å innføre en egen faktor for åpen publisering i publiseringsindikatoren» «Deponering er en forutsetning for at artiklene skal telle i den resultatbaserte omfordelingen.»

Dette har vi gått gjennom 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i 2013 5. Videreutvikling av indikatoren

Spørsmål til diskusjon 1. I hvilke sammenhenger bruker Norge a. Fagpaneler til å evaluere forskning b. Fagpaneler til å vurdere tidsskrifter c. Fagpaneler til å fordele forskningsmidler d. Indikatorer til å fordele forskningsmidler 2. Drøft fordeler og ulemper med å bruke fagpaneler og/eller indikatorer i de fire sammenhengene 3. I hvilke sammenhenger bør man unngå å bruke publiseringsindikatoren?