Bibliometri i finansiering og evaluering av forskning

Transkript

1 2,0 % 1,8 % 1,6 % Sverige 1,4 % 1,2 % Danmark 1,0 % 0,8 % 0,6 % Finland 0,4 % 0,2 % Norge 0,0 % Gunnar Sivertsen: Bibliometri i finansiering og evaluering av forskning

2 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

3 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

4 Forskning må publiseres. Altså kan forskning studeres der den «kommer til syne» i publikasjonene Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

5 Language and societal relevance How do the sciences «speak» to society?

6 Language and societal relevance How do the humanities and social sciences speak to society?

7 Publications for a general audience Shares of researchers at Norwegian universities with at least one such publication during three years.

8 Publications contributing to public debate Shares of researchers at Norwegian universities with at least one such publication during three years.

9 Kunsterisk utviklingsarbeid (forskning)

10 Vitenskapelig publisering Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

11 Fordelingen mellom publikasjonsformer pr. fagområde Tidsskriftsartikler Bokartikler Bøker Humaniora Samfunnsfag Medisin og helse Naturvitenskap Teknologi 0 % 20 % 40 % 60 % 80 % 100 %

12 Andeler av tidsskriftene og artiklene som utgis på norsk Basert på artikler i vitenskapelige tidsskrifter, norske U&H % 40% 30% Tidsskrifter Artikler 20% 10% 0% Hum Samf Med Nat Tekn

13 Andeler av tidsskriftene og artiklene som utgis på norsk Basert på artikler i vitenskapelige tidsskrifter, norske U&H % 40% 30% Tidsskrifter Artikler 20% 10% 0% Hum Samf Med Nat Tekn

14 Prosentandel publikasjoner på norsk pr. fagområde 100% 90% Humaniora 80% 70% Samfunnsfag 60% 50% 40% 30% Medisin og helse Naturvitenskap 20% 10% Teknologi 0%

15 Andel publikasjoner på norsk pr. fag: Samfunnsfag Rettsvitenskap Kjønnsforskning Pedagogikk og utdanning Sosiologi Medier og kommunikasjon Økonomisk-administrative fag Statsvitenskap Sosialantropologi Geografi Samfunnsøkonomi Bibl- og informasjonsvit Utviklingsstudier 0% 20% 40% 60% 80% 100%

16 Norske artikler pr. tidsskrift i sosiologi Sosiologisk Tidsskrift Sosiologi i dag Sosiologisk Årbok Journal of Risk Research Acta Sociologica European Sociological Review Social Indicators Research Sociological Review Journal of Critical Realism Journal of Youth Studies Ethnic and Racial Studies Sociology Sociologisk forskning Leisure Studies Qualitative Sociology Review Asian Journal of Social Science European Journal of Social Theory Procedia - Social and Behavioral Sciences International Journal of Social Research Methodology International Journal of Sociology Journal of Classical Sociology Qualitative Inquiry Comparative Sociology Sociologia Ruralis Pakistan Journal of Criminology European Societies: The Official Journal of the European Work, Employment and Society Dansk Sociologi 53 andre tidsskrifter

17 Norske artikler pr. tidsskrift i gastroenterologi Scandinavian Journal of Gastroenterology Colorectal Disease World Journal of Gastroenterology Alimentary Pharmacology and Therapeutics Inflammatory Bowel Diseases Journal of Hepatology Diseases of the Colon & Rectum Gut Digestive Diseases and Sciences Gastroenterology BMC Gastroenterology Neurogastroenterology and Motility Hepatology Current Opinion in Gastroenterology Journal of Pediatric Gastroenterology and Nutrition - JPGN European Journal of Gastroenterology and Hepathology Comparative Hepatology American Journal of Gastroenterology Endoscopy 33 other journals

18 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

19 The dual funding system (Public sources) Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

20

21

22

23 Impact template as Word file (6,975 submissions)

24

25 The balance? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

26 The mix? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

27 Same aims, methods, and effects? Government Research Councils Projects and Programmes Competition Research Evaluation Direct grants Historical, Political Strategic Performance based Research institutions

28 Research Evaluation and Performance Indicators Bibliometrics may inform, but not replace peer review

29 A. Research Evaluation without funding implications Bibliometrics informs the evaluation. Evaluation results are not translated into funding Bibliometrics may inform, but not replace peer review

30

31 B. Research Evaluation with funding implications (PBF) Bibliometrics informs the evaluation. Evaluation results are translated into funding Bibliometrics may inform, but not replace peer review

32 Examples of B: Evaluation-based models Bibliometrics informs the evaluation. 2018? Evaluation results are translated into funding ? 2003

33

34 C. Performance-based funding (PBF) without Research Evaluation Bibliometrics is translated into funding. Often combined with other indicators.

35 Examples of C: Indicator-based models Bibliometrics is translated into funding. Often combined with other indicators. 1990

36 Delvis resultatbasert finansiering av høyere utdanningsinstitusjoner ble innført med «Kvalitetsreformen» i 2002

37 Behov for mer vekt på forskning i den overordnete budsjettmodellen for universiteter og høgskoler Studiepoeng siden 2002 Budsjett for U&H Basis: 60% Utdanning: 25% Forskning: 15% Strategiske midler Resultatbasert : Vitenskapelige stillinger. Fra 2006: Publiseringspoeng 1,8 prosent av sektorens samlede budsjett omfordeles ut fra siste års publiseringspoeng Vitenskapelig publisering Doktorgrader Ekstern finansiering

38 Resultatindikatorene i grunnbevilgningene til universiteter og høgskoler, forskningsinstitutter og helseforetak Universiteter og høgskoler Tildelte doktorgrader Tildelinger fra EU Tildelinger fra NFR Vitenskapelig publisering Helseforetak og institutter Utførte doktorgrader Tildelinger fra EU Tildelinger fra NFR Vitenskapelig publisering

39 Midler over statsbudsjettet til medisinsk forskning (Forenklet modell) Kunnskapsdepartementet Helse- og omsorgsdepartementet NFR frie midler NFR prioriterte midler Fire samarbeidsorganer Medisinske fakulteter Sykehus FHI Rammebevilgninger Delvis resultatbasert (i konkurranse) Søknader i konkurranse

40 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

41 Diffusion of the Norwegian model Bibliometrics based on complete data is translated into funding. Often combined with other indicators.

42

43

44

45

46 «The Norwegian model» The model has three components: A. A complete representation in a national database of structured, verifiable and validated bibliographical records of the peer-reviewed scholarly literature in all areas of research; B. A publication indicator with a system of weights that makes field-specific publishing traditions comparable across fields in the measurement of Publication points at the level of institutions; C. A performance-based funding model which reallocates a small proportion of the annual direct institutional funding according the institutions shares in the total of Publication points. Direct grants Historical, Political Strategic Performance based

47 Ufullstendig dekning av internasjonale tidsskrifter. Veldig begrenset dekning av vitenskapelige bøker. Tilfeldig eller manglende dekning av vitenskapelig publisering på nasjonalspråkene. Books Indexed journals Journals and series Coverage of 70,500 scholarly publications from the higher education sector in Norway % 90% 80% Scopus Web of Science 70% 60% 50% 40% 30% 20% 10% 0% Health Sciences Natural Sciences Engineering Social Sciences Humanities

48 En felles definisjon av vitenskapelig publikasjon Publikasjonen må: 1. presentere ny innsikt 2. være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning 3. være i et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den 4. være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering*) *) Lokale kanaler inkluderes ikke (2/3 eller mer av forfatterne er fra samme institusjon)

49

50 Referenser importert fra eb of Science

51 Egenrapporterte referanser

52 Principles behind the use of institutional data in a shared national Current Research Information System Completeness: All scholarly publications and other results from research are included Transparency: Every institution can see and check all other institutions data. The national database is also online and open to society at large. Multiple use of the data: CV s, applications, evaluations, annual reports, internal administration, bibliography for Open Archives, links to full text, etc.

53

54

55 «The Norwegian model» The model has three components: A. A complete representation in a national database of structured, verifiable and validated bibliographical records of the peer-reviewed scholarly literature in all areas of research; B. A publication indicator with a system of weights that makes field-specific publishing traditions comparable across fields in the measurement of Publication points at the level of institutions; C. A performance-based funding model which reallocates a small proportion of the annual direct institutional funding according the institutions shares in the total of Publication points. Direct grants Historical, Political Strategic Performance based

56 Three main publication types 1) Article in ISSN-title 2) Article in ISBN-title 3) ISBN-title Channel Type E.g. scientific article in Nature or scholarly ISBNtitle on Oxford University Press.

57 Dynamic records of scientific and scholarly ISSN-titles og ISBNpublishers 20,000 ISSN-titles and 1,000 book publishers so far Africa Today African Affairs African American Review African Archaeological Review African Arts African Development Review African Economic History African Entomology African Identities African Journal of Biotechnology African Journal of Crop Science African Journal of Ecology African Journal of Environmental Assessment and Management African Journal of Food, Agriculture, Nutrition African Journal of Neurological Sciences African Literature Today CABI Publishing Cambridge University Press Cappelen Akademisk Forlag Carfax Publishing Carl Heymanns Verlag Carlsson bokförlag Catholic University of America Press Central European University Press Channel View Publications Chinese University Press Christian Ejlers s Forlag

58 All channels can be searched, and new channels can be suggested

59 Publication channels on two levels Level 2 represents the most prestigous channels and is defined in collaboration with the national councils in each field Level 2: Higher points to 20 % of the publications Level 1: Normal points to 80 % of the publications

60

61

62 Norske artikler pr. tidsskrift i gastroenterologi Scandinavian Journal of Gastroenterology Colorectal Disease World Journal of Gastroenterology Alimentary Pharmacology and Therapeutics Inflammatory Bowel Diseases Journal of Hepatology Diseases of the Colon & Rectum Gut Digestive Diseases and Sciences Gastroenterology BMC Gastroenterology Neurogastroenterology and Motility Hepatology Current Opinion in Gastroenterology Journal of Pediatric Gastroenterology and Nutrition - JPGN European Journal of Gastroenterology and Hepathology Comparative Hepatology American Journal of Gastroenterology Endoscopy 33 other journals Nivå

63 Publication points Publication type Level 1 Level 2 Article in ISSN-title 1 3 Article in ISBN-title 0,7 1 ISBN-title 5 8 Publication points are fractionalized if the publication originates from more than one institution Publication Author 1 Author 2 Author 3 Institution A Institution B Institution C Institution C

64 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

65 Evaluering publisert 16. januar 2014 Utført i 2013 av Dansk Center for Forskningsanalyse, Aarhus Universitet for Universitets- og høgskolerådet finansiert av Kunnskapsdepartementet

66 Publiseringspoeng i universitets- og høgskolesektoren Nivå 2 (%) Nivå 1 Nivå 2 (%) 25% 20% % % % %

67 Antall artikler i Web of Science Kilde: Web of Science (Thomson Reuters) hos CWTS, Leiden Universitet Sverige Danmark Finland Norge 0

68 Andel artikler i Web of Science Kilde: Web of Science (Thomson Reuters) hos CWTS, Leiden Universitet 2,0 % 1,8 % Sverige 1,6 % 1,4 % 1,2 % Danmark 1,0 % 0,8 % 0,6 % Finland 0,4 % 0,2 % Norge 0,0 %

69 Overordnete positive virkninger Mer fokus på og prioritering av de ansattes forskningsvilkår Forskning oppfattes i større grad som et felles, ikke bare et individuelt ansvar Nye publikasjoner får intern oppmerksomhet og anerkjennelse, ikke bare ute blant spesialister Diskusjon av vitenskapelige standarder og publiseringsmønstre på tvers av fag- og avdelingsgrenser Bedre, sammenlignbar informasjon om egen virksomhet

70 De tre I ene 1. Informasjon: Oversikt over og synliggjøring av forskningen 2. Indikator: Statistikk, å kunne følge utviklingen 3. Incentiv: Verdsetting av forskning

71 Oversikt 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

72

73 Manglende fagfeltsnøytralitet

74 Balanse er viktig fordi indikatoren bidrar til finanseringen av institusjoner med ulike fagprofiler 100 % 90 % Tekn 80 % 70 % MatNat 60 % 50 % Helse 40 % 30 % Samf 20 % 10 % Hum 0 % NTNU UiO NMBU

75 Den nye indikatoren Publication type Level 1 Level 2 Article in ISSN-title 1 3 Article in ISBN-title 0,7 1 ISBN-title 5 8 Brøkdeling av publikasjonen ved mer enn én institusjon Publication Institusjonens andel erstattes med kvadratroten av institusjonens andel Author 1 Institution A Institution B Author 2 Institution C Author 3 Institution C

76 Simulering i NVI-data fra Gjennomsnittlig antall publikasjoner og poeng Fagområde Forskere Antall publikasjoner Nåværende poeng Nye poeng Humaniora ,7 3,9 4,6 Medisin og helsefag ,3 1,5 4,5 Naturvitenskap ,4 1,8 4,7 Samfunnsvitenskap ,5 3,1 4,7 Teknologi ,5 2,1 4,4

77 Konsekvensene En mer fagnøytral publiseringsindikator Økt stimulans til samarbeid om vitenskapelig publisering mellom institusjoner og land En fortsatt motvirkning av et mulig ønske om å føre opp flere forfattere enn rimelig i publikasjonen Større vanskeligheter enn før med å bruke indikatoren på individnivå

78

79

80 «The Norwegian system is inherently corrupt»

81

82

83 Oppslag på toalettene ved Senter for fremragende forskning (lingvistikk) ved Universitet i Tromsø

84 Oppdragsrapport til Kunnskapsdepartementet levert 15. juni 2016 På institusjonsnivå: Siteringshyppighet (gjennomsnitt for tre foregående år) brukes til å justere publiseringspoeng. Avhengig av institusjonens fagprofil: Innvirkningen svekkes i samme grad som fagprofilen mangler dekning i siteringsbaser. Humaniora og enkelte samfunnsfag holdes utenfor beregningen og beholder publiseringspoeng uten justering. Ment å balansere fokus ved publisering: Produktivitet balansert med hensynet til potensiell vitenskapelig betydning.

85 Et uttrykk for forskningskvalitet? Man antar at publikasjoner som ofte opptrer i senere publikasjoners referanselister, har hatt en særlig nytte, innflytelse eller gjennomslagskraft i forskningen (citation impact). Dette kan være et tegn på at publikasjonen presenterer forskning av spesielt høy kvalitet og originalitet.

86 Et uttrykk for forskningskvalitet? Men publikasjonen kan også være hyppig sitert fordi den presenterer en mye brukt metode eller en god oversikt over annen forskning på feltet, såkalte oversiktsartikler. Det kan også være andre grunner til at en publikasjon siteres ofte. Den kan være utsatt for kritikk, avstandstaken eller korrigering. Den kan være nevnt som en feilkilde. Studier har imidlertid vist at «negative» siteringer forekommer i et relativt lite omfang.

87 Problemer med en siteringsindikator Dekker bare ett aspekt ved forskningskvalitet Avhengig av fag og emne Tilbakeskuende Manipulerbar

88 Hvorfor utvide publiseringsindikatoren med en siteringsindikator? Kan balansere fokus ved publisering: Produktivitet balanseres med hensynet til potensiell vitenskapelig betydning. Fokus på det enkelte arbeid, ikke bare på kanalen. Kan bidra til regjeringens målsetting om økt kvalitet i norsk forskning. Kan rette opp en negativ omfordeling av ressurser til institusjoner som i utgangspunktet var forskningsintensive. Kan erstatte indikatorens multiplikator for internasjonalt samarbeid. Kan fremme åpen tilgang.

89 Simulation of publication points modified by a citation indicator Universitetet i Oslo NTNU Universitetet i Bergen Universitetet i Tromsø NMBU Universitetet i Stavanger Universitetet i Agder Høgskolen i Oslo og Akershus Norges idrettshøgskole Høgskolen i Buskerud og Vestfold Høgskolen i Bergen Norges handelshøyskole Universitetet i Nordland Handelshøyskolen BI Høgskolen i Telemark Høgskolen i Gjøvik Høgskolen i Hedmark Høgskolen i Sør-Trøndelag Høgskolen i Lillehammer Høgskolen i Østfold Høgskolen i Ålesund Høgskolen Stord/Haugesund Høgskolen i Molde Høgskolen i Nord-Trøndelag Høgskolen i Sogn og Fjordane Høgskolen i Narvik After modification Before modification

90 Parallelle forslag til endring av publiseringsindikatoren «Vi foreslår som et minimum at fagrådene gir prioritet til kanaler med åpen tilgang til nivå 2 dersom de har valg mellom flere kanaler med omtrent samme kvalitet» (Ser sterke argumenter for å fjerne nivåinndelingen) (Kan også tenke seg radikal kvotering av åpen tilgang på nivå 2 i alle fag) «Et viktig insentiv er å innføre en egen faktor for åpen publisering i publiseringsindikatoren» «Deponering er en forutsetning for at artiklene skal telle i den resultatbaserte omfordelingen.»

91 Dette har vi gått gjennom 1. Hvordan publiseres forskning? 2. Hvordan finansieres og evalueres forskning? 3. Den norske publiseringsindikatoren 4. Evalueringen av indikatoren i Videreutvikling av indikatoren

92 Spørsmål til diskusjon 1. I hvilke sammenhenger bruker Norge a. Fagpaneler til å evaluere forskning b. Fagpaneler til å vurdere tidsskrifter c. Fagpaneler til å fordele forskningsmidler d. Indikatorer til å fordele forskningsmidler 2. Drøft fordeler og ulemper med å bruke fagpaneler og/eller indikatorer i de fire sammenhengene 3. I hvilke sammenhenger bør man unngå å bruke publiseringsindikatoren?