U N I V E R S I T E T E T I B E R G E N Bibliometriske indikatorer på forskning Susanne Mikki Førstebibliotekar ved UB 13.11.2014
Agenda Publiseringsdata og databaser Problemstillinger ved evaluering Verktøy for evaluering Formidling og rapportering av forskningsresultater
Siteringsstatistikk i
Publiseringsdata og databaser Datagrunnlag for analyser CRIStin (UiB) WoS (siteringer) Scopus (siteringer) Google Scholar (siteringer) Flere Forskjellig grad av kvalitetssikring Dubletter Tvetydighet av navn, adresser Ukorrekt referering (kildeartikkelen blir ikke gjenkjent og siteringen teller ikke)
Problemstillinger - evaluering Publikasjoner og evaluering Forskjellig dekningsgrad av databasene Hvilke type publikasjoner indekseres og telles? Forskjellig grad av kvalitetssikring av publiseringsdata Siteringer og evaluering Siteringer brukes gjerne i evaluering av forskning Siteringer eller referanser har som funksjon Å vise at man deltar i en vitenskapelig debatt Å gi anerkjennelse til andres arbeid Å oppgi kilde, slik at tredjepart kan etterprøve utsagn I tillegg til å gi faglig anerkjennelse kan siteringer også uttrykke Kritikk av tidligere forskning Vennskapstjenester Takknemlighetsgjeld Selvprofilering Det skilles ikke mellom type siteringer, alle inngår på lik basis i evalueringsmodellene Siteringer har en selvforsterkende effekt, også kalt Ikke alt som teller er tellbart, og det som er tellbart teller ikke alltid. Matteus effekt i akademia: De som har skal få...
Bibliometriske indikatorer ved evaluering Antall publikasjoner Hele publikasjoner Forfatterandeler (Cristin) Antall siteringer Hele siteringer, ikke siteringsandeler Absolute tall eller relative (fagfelt-normaliserte) H-indeks (antall h mest siterte artikler med minst h siteringer hver) G-indeks (antall g mest siterte artikler med i snitt g siteringer, tar hensyn til aktuelle siteringstall) IF (gjennomsnittlig siteringsrate for tidsskrifter)
Hvilket tall? Er det mulig å bestemme en forskers impact gjennom ett tall? Gjennomsnitt Median h-indeks g-indeks Hvordan korrigerer man for samforfatterskap? h publikasjoner med minst h siteringer
Skjevfordelinger og gjennomsnitt 100 90 En lang horisontal hale presser median (1) ned. En lang vertikal hale presser aritmetisk gjennomsnitt (10) opp. h-indeks (5) kutter begge halene. g-indeks (12) kutter lang horisontal hale. (Antall g mest siterte artikler med i snitt g siteringer. g- indeksen tar hensyn til de aktuelle siteringstall, sit g 2 ) siteringer (sit) 80 70 60 50 40 30 20 10 0 sit g² siteringer gjennomsnitt median f(r) = r r = h når sit(r) r r = g når sit(r) r² 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Publikasjoner etter rang (r)
Impact factor (IF) Siteringsindikator for tidsskrifter Indeksert i WoS Gjennomsnitt = sit/publ Kun siteringer i gjeldende år til artikler de to forutgående år inngår (2-års siteringsvindu) IF 2011 =1500/300=5
IF kritikk IF er et mål for tidsskrift men blir brukt som mål på artikler (for eksempel i World Rankings og i land man ikke har Nasjonale bibliometriske indikatorer) De fleste artikler blir aldri sitert men kan gjennom IF låne status IF er ikke fagfeltnormalisert IF har mistet noe av statusen Alternative indikatorer Mindre tydelig link mellom høy IF og antall siteringer på artikler
Hvor publiseres de mest siterte artiklene? 47 % Nesten 50 % av de mest siterte artiklene er publisert i ikke-elite tidsskrifter. 27 % Acharya, A., Verstak, A., Suzuki, H., Henderson, S., Iakhiaev, M., Lin, C. C. Y., & Shetty, N. (2014). Rise of the Rest: The Growing Impact of Non-Elite Journals. arxiv preprint arxiv:1410.2217.
Bibliometriske indikatorer og manipulerbarhet Sies å være objektive men kan til en viss grad manipuleres for å oppnå optimal gjennomslag Siteringsadferd bevisst sitering og selvsitering Publiseringsadferd Salamisering Valg av populære fagfelt (mainstream forskning) Samforfatterskap Publiseringstidspunkt av artiklene (tidlig i året) Valg av tidsskrift/utgiver Åpen tilgjengelighet Elitetidsskrift (tidsskrift med stor leserskare) Tidsskrift som man vet leses i fagkretsen Tidsskrift med internasjonalt utbredelse, engelsk språk Markedsføring Forfatterprofiler Nettverkdeltagelse (sosiale medier) Spredning og deling Måling kan har uønsket effekt Flytter fokus fra forskning til publisering og profilering Påvirker valg av forskningsfelt mot mer populære forskningsfelt Universitetsbiblioteket i Bergen
Suksessoppskrift God forskning + Synliggjøring = Sant Synliggjøring OA Deling, formidling Nettverkdeltaking Profilering
Entydige forfattere og profiler Nødvendig for identifisering og gjenfinning Homonymer er en uløst problemstilling i databasene Databasene indekser på bakgrunn av informasjon på publikasjonen Verifikasjon av id og opprettelse av forfatterprofiler må gjøres av forfatteren selv, eventuelt institusjonen forfatterne tilhører Forfatterprofiler CRIStin (personløpenummer) Kontroll skjer sentralt Planer om å knytte det til ORCID ORCID (Open Researcher and Contributor ID) Kontroll skjer av forfatter eller institusjon Mange institusjoner samarbeider med ORCID WoS Researcher ID (integrert med ORCID) Kontroll skjer av forfatter eller institusjon SCOPUS ID (integrert med ORCID) Kontroll skjer av forfatter eller institusjon Google Scholar Profile Kontroll skjer av forfatter Mendeley, ResearchGate Kontroll skjer av forfatter
Jill Walker eller Jill Walker Rettberg?
Søkeverktøy og ferdige statistikker Når det ikke finnes profiler eller når profilene ikke er verifisert; baser statistikk på søk i WoS: Citation Report Google Scholar: Publish or Perish, Scholarometer CRIStin Rapport Egne analyser basert på filen NVI kontrollert (UiB)
Distinct Author Records Universitetsbiblioteket i Bergen
Jill Walker Rettberg i Scholarometer(GOOGLE Scholar) (wtk_bc7v6eaj&hl)
jw rettberg i PoP(GOOGLE Scholar)
Formidling av forskningsresultater CRIStin Rapportering Formidlingsbidrag (ufullstendig) Lærebøker Kronikker Mediebidrag Populærvitenskapelige Krav om OA OA-kanaler Budsjettpost for åpen publisering Lagring av og tilgang til forskningsdata Formidling via sosiale medier Opprette konto/profiler Deltar og del Det samfunns- vitenskapelige fakultet Det humanistiske fakultet Det matematisk-naturvitenskapelige fakultet Det medisinsk-odontologiske fakultet Det psykologiske fakultet Det juridiske fakultet Universitetsmuseet 6% 250 200 150 100 50 0 5% 3% 9% 19% 35% 23% Ren OA 2005 2006 2007 2008 2009 2010 2011 2012 2013 HUM MED-ODO MN PS SV UM
Formidling via sosiale medier Diskusjonen om publikasjonene foregår på nettet Facebook Twitter Mendely Research gate Google+ Omtalene ble fanget opp av Altmetric Plugin i nettleseren Impact Story Plums Analytics Sosiale medier er egnet som samfunnskontakt Sosiale medier relativt lite brukt ved UiB
Altmetric it! - Bookmarklet
Bibliotekets rolle Støtte til publisering Veilederrolle Kursholder Praktisk tilrettelegger Bestilling av bibliometriske analyser