Bibliometri i studier av forskning

1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 3,0 2,5 Sweden 2,0 Denmark 1,5 1,0 Finland 0,5 Norway 0,0 Bibliometri i studier av forskning Gunnar Sivertsen

Til pensumlisten som innføring i bibliometri Denne er ført opp: Kärki, R., Kortelainen, T., Eriksson, K., & von Ungern-Sternberg, S. (1998). Introduktion till bibliometri (No. 41). Nordinfo. Hentet fra http://www.abo.fi/student/media/10046/bibliometribok.pdf Kan evt. erstattes av to nyere alternativer som supplerer hverandre på en fin måte: Rehn, C., Gornitzki, C., Larsson, A., & Wadskog, D. (2014). Bibliometric Handbook for Karolinska institutet. https://kib.ki.se/sites/default/files/bibliometric_handbook_2014.pdf Puuska, H.M. (2014). Scholarly Publishing Patterns in Finland. A comparison of disciplinary groups. Dissertation, University of Tampere. https://tampub.uta.fi/bitstream/handle/10024/95381/978-951-44-9480- 2.pdf?sequence=1 Den første gir en god praktisk innføring i Web of Science-basert bibliometri. Den siste har en usedvanlig klar kortfattet introduksjon til publiseringstradisjoner og bibliometri i forbindelse med evaluering og finansiering av forskning. Se s. 36-65, fra s. 25 kan også være relevant.

Oversikt første forelesning 1. Hva er bibliometri? Historisk innledning En enkel, illustrert definisjon 2. 25 år med bibliometri i Norge 1991-2016 3. Bibliometriske datakilder Web of Science og Scopus og det som faller utenfor Nødvendige informasjonselementer en siteringsindeks 4. Om å undersøke Forskningsaktivitet Fagprofiler Gjennomslagskraft i senere forskning Forskningssamarbeid 5. Gruppearbeid/spørsmål til samtale

Oversikt første forelesning 1. Hva er bibliometri? Historisk innledning En enkel, illustrert definisjon 2. 25 år med bibliometri i Norge 1991-2016 3. Bibliometriske datakilder Web of Science og Scopus og det som faller utenfor Nødvendige informasjonselementer i en siteringsindeks 4. Om å undersøke Forskningsaktivitet Fagprofiler Gjennomslagskraft i senere forskning Forskningssamarbeid 5. Gruppearbeid/spørsmål til samtale

Pionerer innenfor bibliometri Alfred J. Lotka (1880-1949) demonstrated in 1926 that the productivity differences of authors follow a fixed ratio. Lotka s law: 1/n a

Pionerer innenfor bibliometri Samuel C. Bradford (1878-1948) demonstrated in 1934 the exponentially diminishing returns of extending a search for references in science journals. Bradford s law of scattering is the basis for the notion of core journals

Pionerer innenfor bibliometri Robert K. Merton (1910-2003) demonstrated the Matthew effect (accumulated advantage) in (the sociology of) science by using bibliometrics

Pionerer innenfor bibliometri Derek J. de Solla Price (1922-1983) demonstrated the exponential growth and the structure of modern science by partly using bibliometrics

Pionerer innenfor bibliometri Eugene Garfield (b. 1925) launched the Science Citation Index in 1964 as a tool for information retrieval, not as a tool for research evaluation Citations are the formal, explicit linkages between papers that have particular points in common. A citation index is built around these linkages. Citation Indexing, 1979.

Pionerer innenfor bibliometri Eugene Garfield (b. 1925) developed the Journal Impact Factor as a management tool for libraries (journal selection), not as a tool for research evaluation

De tidligste definisjonene av bibliometri Pritchard (1969) explained the term bibliometrics as the application of mathematical and statistical methods to books and other media of communication. Nalimov and Mulchenko (1969) defined scientometrics as the application of those quantitative methods which are dealing with the analysis of science viewed as an information process.

Internasjonale tidsskrifter og konferanser Tidsskrifter (viktigste) Scientometrics Journal of Informetrics Journal of the American Association of Information Science and Technology Konferanser (viktigste) ISSI (International Society for Scientometrics and Infometrics STI ENID (Science & Technology Indicators)

NIFU STEP Studies in Innovation, Research and Education www.nifustep.no

Oversikt 1. Hva er bibliometri? Historisk innledning En enkel, illustrert definisjon 2. 25 år med bibliometri i Norge 1991-2016 3. Bibliometriske datakilder Web of Science og Scopus og det som faller utenfor Nødvendige informasjonselementer i en siteringsindeks 4. Om å undersøke Forskningsaktivitet Fagprofiler Gjennomslagskraft i senere forskning Forskningssamarbeid 5. Gruppearbeid/spørsmål til samtale

Bibliografiske datakilder brukes vanligvis til å søke og gjenfinne forskningslitteratur Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Kan også brukes til å studere den forskningen som ligger bak publikasjonen Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

I studier av forskning er bibliometri: Kvantitative studier av forskning som benytter bibliografiske datakilder Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Forskning må publiseres. Altså kan forskning studeres der den «kommer til syne» i publikasjonene Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Forskere må oppgi relevante referanser. Altså kan vi studere i hvilken grad forskning har nytte i videre forskning. Bibliografiske datakilder Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

Når flere forskere publiserer sammen, kan vi også studere forskningssamarbeid Publikasjoner Publikasjoner Forskere som forfattere Forskere som lesere

NAVFs utredningsinstitutt 1991

Google Scholar is of great help to the scientist as reader but not to the bibliometrician: No control over data and methods

Harzing s Publish or Perish

Journal of Advanced Nursing Journal of Clinical Nursing Nursing Ethics Pflege Scandinavian Journal of Caring Sciences International Journal of Nursing Studies Vård i Norden Nordisk Sygeplejeforskning

Ufullstendig dekning av internasjonale tidsskrifter. Veldig begrenset dekning av vitenskapelige bøker. Tilfeldig eller manglende dekning av vitenskapelig publisering på nasjonalspråkene. Books Indexed journals Journals and series Coverage of 70,500 scholarly publications from the higher education sector in Norway 2005-2012. 100% 90% 80% Scopus Web of Science 70% 60% 50% 40% 30% 20% 10% 0% Health Sciences Natural Sciences Engineering Social Sciences Humanities

Pionerer innenfor bibliometri Eugene Garfield (b. 1925) launched the Science Citation Index in 1964 as a tool for information retrieval, not as a tool for research evaluation Citations are the formal, explicit linkages between papers that have particular points in common. A citation index is built around these linkages. Citation Indexing, 1979.

Referenser importert fra eb of Science

Egenrapporterte referanser

If scholarly publication channels are properly defined, the world of scholarly journals and book publishers is not endless

International collaboration on definitions and quality criteria for scholarly books and book publishers

Coverage beyond WoS and Scopus

Other examples of independent quality-assured registers and indexing services

ERIH PLUS Making the social sciences and humanities visible, searchable and available

Criteria for inclusion 1. Explicit procedures for external peer review. 2. Academic editorial board, with members affiliated with universities or other independent research organizations. 3. Valid ISSN code, confirmed by the international ISSN register. 4. All original articles should be accompanied by abstracts in English and/or another international language relevant for the field. 5. Information about the affiliations and addresses of the authors should be published for each article. 6. Minimum national level: No more than two thirds of the authors published in the journal are from the same institution.

The ambitions of ERIH PLUS Continue to challenge the limited coverage of the SSH in the commercial data sources. Become increasingly important as a resource for the running of CRIS-systems worldwide. Guide a more proper coverage of the SSH in performance-based funding systems. Become an agreed standard and resource in the development of a proper evaluation methodology for the SSH. Become an important information source for supporting Open Access and research quality in OA journals. Develop from being a "list" to becoming an enriched information resource - through European collaboration.

Data i en siteringsindeks: 1. Vanlige metadata

Data i en siteringsindeks: 2. Samtlige forfatteradresser!

Data i en siteringsindeks: 3. Klassifisering av fag, språk og dokumenttype

Data i en siteringsindeks: 4. Hele referanselisten!

Noen referanser kan lenkes til allerede indekserte artikler

Andre referanser kan ikke lenkes

Data i en siteringsindeks: 5. Siteringer fra senere artikler!

Forfattere og forfatteradresser

Andeler av verdens artikler (ISI Web of Science 2000-2013) Source: National Science Indicators (NSI), Thomson Reuters 40,0 % 35,0 % USA 30,0 % 25,0 % UK 20,0 % 15,0 % Germany 10,0 % 5,0 % China 0,0 %

Andeler av verdens artikler (ISI Web of Science 2000-2012) Source: National Science Indicators (NSI), Thomson Reuters 2,5 % 2,0 % Sweden 1,5 % Denmark 1,0 % Finland 0,5 % Norway 0,0 % 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Artikler pr. 1000 innbyggere (ISI Web of Science 1981-2012) Source: National Science Indicators (NSI), Thomson Reuters 3,0 2,5 Sweden 2,0 Denmark 1,5 1,0 Finland 0,5 Norway 0,0

1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 World production in Web of Science 1980-2013 1 600 000 1 400 000 1 200 000 1 000 000 800 000 600 000 400 000 200 000 0

Fordeling av forskningsaktivitet i U&H-sektoren. Publiseringspoeng 2005-2010 UiO NTNU UiB UiT 72 prosent UMB UiS UiA UiN 8 promille 9 vit høgskoler 50 høgskoler 0 5000 10000 15000 20000 25000

Fordeling av forskningsaktivitet i U&H-sektoren. Publiseringspoeng 2005-2010 UiO NTNU UiB UiT 72 prosent UMB UiS UiA UiN 9 vit høgskoler 50 høgskoler 8 promille HiOA: 2,4 prosent 0 5000 10000 15000 20000 25000

Basert på 13 630 publikasjoner fra 17 314 forskere i CRIStin 2011 alle tre sektorer Figure 1. Age and women's share of Norway's researchers and their total scientific publication output in 2011 60% 50% 40% 30% 20% Publications 10% Researchers 0% 2728293031323334353637383940414243444546474849505152535455565758596061626364656667 Age (years) Page 63

Data i en siteringsindeks: 3. Klassifisering av fag, språk og dokumenttype

1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Web of Science 1989-2012: Artikler fra Norge i internasjonale tidsskrifter i sykepleievitenskap 180 160 140 120 100 80 60 40 20 0

Universiteter og høgskoler 2005-2010: Vitenskapelig publisering i sykepleievitenskap 160 140 120 100 80 60 40 20 0 2005 2006 2007 2008 2009 2010

Universiteter og høgskoler 2005-2010: Vitenskapelig publisering i sykepleievitenskap Høgskolen i Oslo og Akershus Universitetet i Oslo Universitetet i Bergen Universitetet i Stavanger Høgskolen i Buskerud Høgskolen i Bergen Universitetet i Tromsø Høgskolen Stord/Haugesund Høgskolen i Vestfold Høgskolen i Gjøvik Lovisenberg diakonale høgskole Universitetet i Agder Høgskolen i Hedmark 0 50 100 150 200

Artikler pr. tidsskrift fra norske universiteter og høgskoler 2005-2012: Sykepleievitenskap Journal of Clinical Nursing Scandinavian Journal of Caring Sciences Journal of Advanced Nursing Vård i Norden Sykepleien Forskning Nursing Ethics Norsk tidsskrift for sykepleieforskning International Journal of Nursing Studies Klinisk Sygepleje Cancer Nursing Journal of Nursing Management Nordisk sygeplejeforskning Scandinavian Journal of Caring Sciences Nurse Education Today Nursing Inquiry Nursing and Health Sciences International Journal of Older People Nursing Nursing Philosophy Journal of Psychiatric and Mental Health Nursing Intensive & Critical Care Nursing Nurse Education in Practice 73 andre tidsskrifter 0 100 200 300

Fagprofiler i forskningen ved tre norske universiteter 100 % 90 % Tekn 80 % 70 % Nat 60 % 50 % Helse 40 % 30 % Sam 20 % 10 % Hum 0 % NTNU UiB UMB

Data i en siteringsindeks: 5. Siteringer fra senere artikler!

Books Indexed journals Journals and series 100% 90% 80% Scopus ISI Web of Science 70% 60% 50% 40% 30% 20% 10% 0% Health Sciences Natural Sciences Engineering Social Sciences Humanities

Referanseadferd og dekning i Web of Science - eksempler History Linguistics Sociology Economics Gastroenterology References 41 55 64 31 57 Average age of cited work References to journals References to WoS journals Average citation rate in field (5 yrs) 23 years 14 years 13 years 12 years 10 years 17 % 27 % 56 % 74 % 96 % 2 % 20 % 50 % 68 % 93 % 0,27 1,69 1,90 2,36 6,78

Gjennomsnittlig antall siteringer varierer mellom fagfelt Nødvendig å sammenligne innen fagfelt, eller å normalisere: dividere på gjennomsnittet innen vedkommende fagfelt, eller beregne andeler på tvers CELL BIOLOGY NUCLEAR PHYSICS IMMUNOLOGY BEHAVIORAL SCIENCES GEOLOGY PSYCHOLOGY ECONOMICS POLITICAL SCIENCE MATHEMATICS LINGUISTICS PHILOSOPHY HISTORY 0 10 20 30

1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235 244 253 262 271 280 289 298 307 316 325 334 343 352 361 370 379 388 Fordelingen av 2193 siteringer t.o.m. 2009 mellom 393 ISI-artikler fra 2007 ved Med Fak, Universitetet i Tromsø 160 140 120 100 80 60 45 artikler (11 prosent) har mottatt halvparten av siteringene. Halvparten av artiklene er sitert null til to ganger 40 20 0

Fordelingen av 8215 siteringer til en forfatters 162 WoSartikler 500 450 400 350 300 250 200 150 100 50 0

Fordelingen av 8215 siteringer til en forfatters 162 WoSartikler 500 450 400 350 300 250 200 150 H-index = 49 100 50 0

405 396 387 381 369 359 354 343 338 330 317 311 301 291 279 259 268 243 252 224 233 200 209 218 181 190 151 160 169 122 131 140 90 99 108 117 62 71 80 89 9 18 27 36 45 Fordelingen av 4845 siteringer mellom 405 artikler publisert siden 1992 i Science, Technology & Human Values 300 250 200 150 40 artikler (10 prosent) har mottatt halvparten av siteringene. Gjennomsnitts-impact er 10 siteringer. 100 50 0

405 396 387 381 369 359 354 343 338 330 317 311 301 291 279 259 268 243 252 224 233 200 209 218 181 190 151 160 169 122 131 140 90 99 108 117 62 71 80 89 9 18 27 36 45 Fordelingen av 4845 siteringer mellom 405 artikler publisert siden 1992 i Science, Technology & Human Values 300 250 200 150 Journal Impact Factor 100 50 0

1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Relativ siteringsindeks 1981-2011 Source: National Science Indicators (NSI), Thomson Reuters 1,7 1,5 Danmark Finland 1,3 Norge 1,1 Sverige 0,9 Verden 0,7 0,5 0,3

Field normalized citation rates 2008-2011. Major universities Technical Univ of Denmark Aarhus Univ Stockholm Univ Univ of Copenhagen Karolinska Institutet Univ of Southern Denmark Swedish Univ of Agricultural Sci Univ of Helsinki Univ of Gothenburg Uppsala Univ Lund Univ Univ of Oslo Chalmers Univ of Technology Norwegian Univ of Sci and Tech Aalborg Univ Linköping Univ Umeå Univ Royal Institute of Technology Univ of Bergen Aalto Univ Univ of Iceland Univ of Jyväskylä Univ of Tromsø Univ of Eastern Finland Univ of Turku Univ of Oulu 0,00 0,20 0,40 0,60 0,80 1,00 1,20 1,40 1,60 1,80

Data i en siteringsindeks: 2. Samtlige forfatteradresser!

1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Norske Web of Science-artikler med og uten internasjonalt samarbeid 1993-2012 12000 10000 8000 Med internasjonalt samarbeid Uten internasjonalt samarbeid 6000 4000 2000 0

1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Hvor er samarbeidet? 4000 3500 3000 2500 EU utenom Norden Nord-Amerika Andre Norden internt 2000 1500 1000 500 0

Fire ting som ofte måles og undersøkes i bibliometriske studier av forskning Forskningsaktivitet Fagprofil Gjennomslagskraft Publikasjoner pr. forskningsenhet Publikasjoner pr. fagfelt Siteringer til publikasjonene Forskningssamarbeid Adresser i publikasjoner

Oversikt første forelesning 1. Hva er bibliometri? Historisk innledning En enkel, illustrert definisjon 2. Bibliometriske datakilder 3. Om å undersøke Forskningsaktivitet Fagprofiler Gjennomslagskraft i senere forskning Forskningssamarbeid 4. Gruppearbeid 5. Oppsummering

Spørsmål til gruppearbeid 1. Hva kan bibliometri brukes til? Bruk de fem bildene til å begynne å lage en kort oversikt Hvilke datakilder og hvilke målemetoder eller type indikatorer kan være aktuelle i hvert tilfelle? 2. Hvorfor er Journal Impact Factor nyttig i biblioteket, men misvisende når man skal evaluere forskning? 3. Hva forteller dette bildet om kvinners mulighet for å bli forskere før og nå?

Pionerer innenfor bibliometri Robert K. Merton (1910-2003) demonstrated the Matthew effect (accumulated advantage) in (the sociology of) science by using bibliometrics

Universiteter og høgskoler 2005-2010: Vitenskapelig publisering i sykepleievitenskap Høgskolen i Oslo og Akershus Universitetet i Oslo Universitetet i Bergen Universitetet i Stavanger Høgskolen i Buskerud Høgskolen i Bergen Universitetet i Tromsø Høgskolen Stord/Haugesund Høgskolen i Vestfold Høgskolen i Gjøvik Lovisenberg diakonale høgskole Universitetet i Agder Høgskolen i Hedmark 0 50 100 150 200

1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 Hvor er samarbeidet? 4000 3500 3000 2500 EU utenom Norden Nord-Amerika Andre Norden internt 2000 1500 1000 500 0

1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 Relativ siteringsindeks 1981-2011 Source: National Science Indicators (NSI), Thomson Reuters 1,7 1,5 Danmark Finland 1,3 Norge 1,1 Sverige 0,9 Verden 0,7 0,5 0,3

Spørsmål til gruppearbeid 1. Hva kan bibliometri brukes til? Bruk de fem bildene til å begynne å lage en kort oversikt 2. Hvorfor er Journal Impact Factor nyttig i biblioteket, men misvisende når man skal evaluere forskning? 3. Hva forteller dette bildet om kvinners mulighet for å bli forskere før og nå?

Pionerer innenfor bibliometri Eugene Garfield (b. 1925) developed the Journal Impact Factor as a management tool for libraries (journal selection), not as a tool for research evaluation

405 396 387 381 369 359 354 343 338 330 317 311 301 291 279 259 268 243 252 224 233 200 209 218 181 190 151 160 169 122 131 140 90 99 108 117 62 71 80 89 9 18 27 36 45 Fordelingen av 4845 siteringer mellom 405 artikler publisert siden 1992 i Science, Technology & Human Values 300 250 200 150 40 artikler (10 prosent) har mottatt halvparten av siteringene. Gjennomsnitts-impact er 10 siteringer. 100 50 0

Spørsmål til gruppearbeid 1. Hva kan bibliometri brukes til? Bruk de fem bildene til å lage en kort oversikt 2. Hvorfor er Journal Impact Factor nyttig i biblioteket, men misvisende når man skal evaluere forskning? 3. Hva forteller dette bildet om kvinners mulighet for å bli forskere før og nå?

Basert på 13 630 publikasjoner fra 17 314 forskere i CRIStin 2011 alle tre sektorer Figure 1. Age and women's share of Norway's researchers and their total scientific publication output in 2011 60% 50% 40% 30% 20% Publications 10% Researchers 0% 2728293031323334353637383940414243444546474849505152535455565758596061626364656667 Age (years) Page 111