Den norske model" Et bidrag til diskusjonen i Sverige. Gunnar Sivertsen. NIFU-STEP Studier av innovasjon, forskning og utdanning, Oslo

Transkript

1 Den norske model" Et bidrag til diskusjonen i Sverige Gunnar Sivertsen NIFU-STEP Studier av innovasjon, forskning og utdanning, Oslo Page

2 Disposisjon Bakgrunn og formål Modellen: Avgrensning og innsamling av publikasjonsdata Vekting av publikasjoner i en budsjettmodell Resultater Diskusjonen i SOU 007:8 Resurser för kvalitet

3 Behov for mer vekt på forskning i den overordnete budsjettmodellen for universiteter og høgskoler Student-taxameter siden 00 Budsjett for U&H Basis: 60% Utdanning: 5% Forskning: 5% Strategiske midler Resultatbasert : Antall vitenskapelige stillinger. Fra 006: Publiseringspoeng,8 prosent av sektorens samlede budsjett omfordeles ut fra siste års publiseringspoeng Vitenskapelig publisering Doktorgrader Ekstern finansiering

4 Hvorfor dokumentere og vekte publikasjoner? Vitenskapelige publikasjoner ble valgt som indikator på forskningsaktivitet fordi: Vitenskapelig publisering finner sted på en åpen arena med felles publiseringskanaler hvor hver institusjon kan observere egne og andres bidrag Bibliografiske data er enkle å samle inn og kan sammenlignes med uavhengige datakilder i bibliotekene En bibliografisk referanse inneholder ikke subjektive vurderinger Fokus på publisering og vekting av publiseringskanaler kan stimulere forskningskvalitet

5 Behovet for komplette publikasjonsdata (Publikasjoner i og utenfor Web of Science) Total output at the University of Oslo in by publication type (Fractionalized publication counts) Non-ISI ISI ISSN-articles ISSN-articles ISBN-articles ISBN-titles

6 Fagbestemte publikasjonsmønstre Publication types in the Norwegian HE sector Engineering Natural Sci Clinical Sci Health care Education Social Sci Law Humanities ISI ISSNarticles Non-ISI ISSNarticles ISBNarticles ISBNtitles 0 % 0 % 40 % 60 % 80 % 00 %

7 Fagbestemte publikasjonsmønstre Language of publications in the Norwegian HE sector Engineering Natural Sci Foreign Norwegian Clinical Sci Health Care Education Social Sci Law Humanities

8 Forskningsdokumentasjon på internettet

9 Ansvar og oppgaver i 004 Oppgaver Mandat og finansiering av prosjektet. Økonomisk modell og implementering Prosjektledelse og -ansvar, faglige konsensusprosesser, høringer hos institusjonene, informasjonsarbeid Forslag til modell, analyser og simulering, rapportering Nytt felles dokumentasjonssystem Ansvar Kunnskapsdepartementet Universitets- og høgskolerådet NIFU STEP Institusjonenes (BIBSYS og USIT) Ajourhold av registre, import av bibliografiske data, årlig statistikk til departementet Norwegian Social Sciences Data Services

10 Teknisk oppdrag: Et felles, flerfunksjonelt dokumentasjonssystem for institusjonenes vitenskapelige publisering Mulighet for interne, tilpassede modeller med samme eller utvidete data Interne formål Departementet Evalueringer Bibliometrisk forskning Primærdata Søknader til forskningsråd, etc. Personlig CV Årsrapporter, nettsider

11 Faglig oppdrag: Sammenlignbare institusjonsdata av god kvalitet Universitets- og høgskolesektoren i Norge: Oppdraget: forskere vitenskapelige publikasjoner årlig Fra teologi til geologi, fra indremedisin til utenrikspolitiske studier, fra klassisk filologi til nanoteknologi Seks universiteter og førti høgskoler med ulike fagprofiler og oppgaver Skaff objektive, verifiserbare og analyserbare data for alle vitenskapelige publikasjoner! Lag en felles modell for avgrensning og vekting av publikasjoner som samtidig stimulerer god forskning! Skap enighet i sektoren om modellen!

12 Faglig utvalg i 004 (I tillegg: Randi Taxt (leder for teknisk utvalg), Berit Hyllseth (UHRs sekretariat), Sander Tufte (observatør fra departementet) og Gunnar Sivertsen (konsulent, NIFU STEP)) Anne-Brit Kolstø, leder Prorektor, Oslo Farmasøytisk mikrobiologi Asbjørn Rødseth, Dekan for samfunnsvitenskap, Oslo Samfunnsøkonomi Petter Aaslestad, Dekan for humaniora, Trondheim Nordisk litteratur Robert W. Vaagan, Profesjons- og tverrfag, H i Oslo Biblioteks- og informasjonsfag Knut Fægri, Dekan for naturvitenskap, Oslo Kjemi Nils Erik Gilhus, Dekan for medisin, Bergen Nevrologi

13 Disposisjon Bakgrunn og formål Modellen: Avgrensning og innsamling av publikasjonsdata Vekting av publikasjoner i en budsjettmodell Resultater Diskusjonen i SOU 007:8 Resurser för kvalitet

14 En felles definisjon av vitenskapelig publikasjon Publikasjonen må:. presentere ny innsikt. være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning 3. være i et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den 4. være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering

15 Vitenskapelig publiseringskanal Kan være periodika, serier og nettsteder (ISSN) eller utgivere av ISBN-titler Editorial organization Manuscripts Publications Authors Peer review Readers

16 Prinsippet om fagfellevurdering ble formulert i Fiolstræde, København, i 750 ( Den norske model er dansk) Forskere skal communicere hinanden deres Tanker, saaledes, at enhver lader sine Inventioner og Skrifter see og corrigere af det heele Societet. De skal derfor lade deres Skrifter examinere ved publisering, skriver Ludvig Holberg i Epistel 365 (750) om Aarsagerne til videnskabelige Fremskridt, hvor han trekker linjen fra Royal Society (660) til Videnskabernes Selskab i København (74), som han støttet ved å publisere en samfunnsøkonomisk artikkel om kvegsyke i første årgang av Skrifter (745)

17 Avgrensning av tre publikasjonsformer ) Artikkel i ISSN-tittel ) Artikkel i ISBN-tittel 3) ISBN-tittel Kanal Form For eksempel vitenskapelig artikkel i Nature eller vitenskapelig ISBN-tittel på Oxford University Press.

18 Dynamiske registre over vitenskapelige ISSN-titler og ISBN-utgivere Foreløpig 5 87 ISSN-titler og 89 utgivere. Brukes til å kvalitetssikre, analysere og vekte referanser Africa Today African Affairs African American Review African Archaeological Review African Arts African Development Review African Economic History African Entomology African Identities African Journal of Biotechnology African Journal of Crop Science African Journal of Ecology African Journal of Environmental Assessment and Management African Journal of Food, Agriculture, Nutrition African Journal of Neurological Sciences African Literature Today CABI Publishing Cambridge University Press Cappelen Akademisk Forlag Carfax Publishing Carl Heymanns Verlag Carlsson bokförlag Catholic University of America Press Central European University Press Channel View Publications Chinese University Press Christian Ejlers s Forlag

19 Ajourhold av register over publiseringskanaler (nivå ) Nye forslag innmeldes på egen hjemmeside (se nedenfor) Tvilstilfeller legges frem av NSD (driftsansvarlig) for publiseringsutvalget i UHR ( fagligt udvalg ) fem ganger i året (/ times diskusjon og beslutninger hver gang)

20 Import fra bibliografiske datakilder NORART: Norske tidsskriftartikler Forskeren som forfatter Publikasjon Referanse i biblioteksystem Forskeren som leser Forskeren som ansatt Forskningsdatabase Publikasjonsdata = Importerte referanser verifisert av forfatteren + Referanser supplert av forfatteren

21 Fra ISI Fra Norart

22 Disposisjon Bakgrunn og formål Modellen: Avgrensning og innsamling av publikasjonsdata Vekting av publikasjoner i en budsjettmodell Resultater Diskusjonen i SOU 007:8 Resurser för kvalitet

23 Utelatelse av lokalt publiseringsnivå Publikasjoner i lokale kanaler teller ikke med i budsjettmodellen. Nivå defineres av forfatterkrets i kanalen. Nivå: Definisjon: Internasjonalt Nasjonalt Lokalt Forfattere fra flere land; internasjonalt språk Mer enn /3 av forfatterne fra samme land (ikke nødvendigvis Norge) Mer enn /3 av forfatterne fra samme institusjon

24 Publikasjoner brøkdeles når flere institusjoner medvirker til dem En publikasjon telles bare gang! Publikasjon Forfatter Forfatter Forfatter 3 Institusjon A Institusjon B Institusjon C Institusjon C Kriteriet for tilknytning av publikasjonen til institusjon(er) er adressen(e) som står i selve publikasjonen

25 Hvorfor inndele publiseringskanaler i to nivåer med ulik uttelling? Modell for virkningen av en budsjettmodell på det generelle publiseringsmønsteret Uten resultatfinansiering A: Krevende publikasjoner B: Normale publikasjoner C: Mindre krevende publikasjoner Alle publikasjoner får samme uttelling Med kvalitetsnivåer

26 Publiseringskanaler på to nivåer Nivå består av utvalgte kanaler som de nasjonale fagråd nominerer etter visse kriterier Kanalene på nivå kan ikke publisere mer enn 0 prosent av publikasjonene i et fagfelt Nivå : 0 % av publikasjonene gis høyere uttelling Nivå : 80% av publikasjonene gis normal uttelling

27 Ulikt publiseringsmønster: Ulike kriterier for nominering for nominering til nivå i fire faggrupper (A-D) Fysikk Kun de mest prestisjetunge internasjonale tidsskrifter og serier. Økonomi Ledende tidsskrifter, serier og bokutgivere med internasjonal forfatterkrets. Internasjonalt språk avhengig av fag Litteraturforskning pluss viktigste norske eller nordiske tidsskrifter. Historie og jura

28 Eksempler på kanaler på nivå

29 0 mest frekvente bokutgivere på nivå Utgiver Routledge Cambridge University Press Oxford University Press Ashgate Walter de Gruyter Edward Elgar Publishing Brill Academic Publishers Martinus Nijhoff Publishers Harrassowitz Verlag Palgrave Macmillan Blackwell Publishing Columbia University Press Waxmann Verlag Lawrence Erlbaum Associates LIT Verlag Mouton de Gruyter Praeger Mohr Siebeck Sage Publications Publikasjoner 87,6 57, 47,6 46, 43,8 33,9 30,5 3,0 9,5 9,3 5,5 5,5 4,5,0,0,8,,0,0

30 0 mest frekvente bokutgivere på nivå Utgiver Universitetsforlaget Fagbokforlaget Tapir Akademisk Forlag Gyldendal Akademisk Cappelen Akademisk Forlag Unipub forlag Høyskoleforlaget Novus Forlag Springer Verlag Pax Forlag Det Norske Samlaget Abstrakt forlag IEEE Computer Society Aschehoug & Co Peter Lang Elsevier Oplandske Bokforlag IEEE conference proceedings Wiley - IEEE press Publikasjoner 46,8 396,6 346,7 94,9 80, 6,8 38, 35,3 0,4 08,5 98,6 93, 8, 79,0 75, 63,4 53,0 5,0 47,

31 De 6 mest frekvente tidsskrifter i biomedisin (ISI-tidsskrifter med blått) Tittel The FEBS Journal Journal of Biological Chemistry Scandinavian Journal of Immunology Applied and Environmental Microbiology Journal of Physiology Nucleic Acids Research Scandinavian Journal of Clinical and Laboratory Investigation APMIS Journal of Immunology European Journal of Clinical Nutrition British Journal of Nutrition American Journal of Physiology. Heart and Circulatory Physiology Journal of Bacteriology Chemical Senses Biochemical and Biophysical Research Communications American Journal of Clinical Nutrition Nivå Artikler 8,5 6, 4,6 3,7,9,0 0,0 9,7 9,5 8,9 8,9 8,7 8,3 8,0 7,5 7,5

32 De 6 mest frekvente tidsskrifter i odontologi (ISI-tidsskrifter med blått) Title Den norske tannlegeforenings tidende Acta Odontologica Scandinavica European Journal of Oral Sciences International Journal of Paediatric Dentistry Journal of Clinical Periodontology Community Dentistry and Oral Epidemiology Journal of Periodontology European Journal of Orthodontics Tandläkartidningen Oral Diseases Archives of Oral Biology Journal of Dental Research Clinical Oral Investigations Community Dental Health American Journal of Orthodontics and Dentofacial Orthopedics Journal of Periodontal Research Level Publications 45,8,4 8,8 4,7 3,7 3,6 3,6 3,5 3,5 3, 3,0,4,3,3,3,

33 De 6 mest frekvente tidsskrifter i sosiologi (ISI-tidsskrifter med blått) Title Sosiologisk Tidsskrift Sosiologi i dag Sosiologisk Årbok Acta Sociologica Journal of Risk Research Ethnic and Racial Studies European Journal of Social Theory Sociological Review European Sociological Review Leisure Studies Sociologisk forskning Journal of Critical Realism Sociologia Ruralis International Journal of Social Research Methodology Research in Social Stratification and Mobility Social Indicators Research Level Publications 7,0,3 9,0 5,0 4,9 3,0,5,5,0,0,0,0,5,3,3,

34 Kontrolldata statsvitenskap som eksempel Tittel Internasjonal Politikk Norsk Statsvitenskapelig Tidsskrift West European Politics Scandinavian Political Studies Journal of European Public Policy Democratization European Journal of Political Research International Organization Marine Policy European Integration Online Papers Totalitarian Movements and Political Religions Journal of Peace Research Global Social Policy Journal of Conflict Resolution Security Dialogue Comparative European Politics Nivå Norge 37,3 8,3 0,3 8,0 7,0 7,0 6,7 4,5 4,3 4,0 4,0 4,0 3,0,6,5,5 Verden Impact 0,,7 0,9,, 4,78,35,8 3,3 0,79

35 Publikasjonspoeng til budsjettene Publikasjonsform Artikkel i ISSN-tittel Artikkel i ISBN-tittel ISBN-tittel Nivå 0,7 5 Nivå 3 8 Publikasjonspoeng beregnes ved at institusjonsbrøken for publikasjonen multipliseres med tallet i tabellen.

36 Disposisjon Bakgrunn og formål Modellen: Avgrensning og innsamling av publikasjonsdata Vekting av publikasjoner i en budsjettmodell Resultater Diskusjonen i SOU 007:8 Resurser för kvalitet

37 Publiseringspoeng pr. fagområde i U&H-sektoren 006. Totalt og i ISI-tidsskrifter Naturvitenskap Kliniske fag Teknologiske fag Samfunnsfag Humaniora Helse- og sosialfag Ped og lærerutd Juss ISI-tidsskrifter Totalt

38 Research activity measured by publication output at 7 Norwegian universities and 45 other HE institutions Publications Level (%) 5 % 0 % % % % Oslo Trondheim Bergen Tromsø Ås Stavanger Agder Other 45 0 %

39 Institutional research profiles 00 % 90 % Engineering 80 % Natural Sciences 70 % Clinical Sciences 60 % Health Care 50 % 40 % Education 30 % Social Sciences 0 % Law 0 % 0 % Humanities Oslo Trondh. Bergen Tromsø Ås Stav. Agder 45 Others

40 Specialization profile of the University of Bergen (Shares of all publications in the Norwegian HE sector) Engineering Natural Sci Clinical Sci Health Care Education Social Sci Law Humanities 0 % 5 % 0 % 5 % 0 % 5 % 30 %

41 Viktigste U&H i samfunnsforskningen Universitetet i Oslo NTNU Universitetet i Bergen Handelshøyskolen BI Norges handelshøgskole Universitetet i Tromsø Høgskolen i Agder Høgskolen i Oslo Høgskolen i Bodø Universitetet i Stavanger UMB Høgskolen i Volda Høgskolen i Lillehammer Høgskolen i Molde Høgskolen i Sør-Trøndelag Høgskolen i Nord-Trøndelag Høgskolen i Finnmark Høgskolen i Østfold Høgskolen i Vestfold 0 andre Samfunnsfag Alle fag 0 % 5 % 0 % 5 % 0 % 5 % 30 % 35 %

42 Generelle resultater Oppnådd: Økt fokus på og prioritering av forskningen ved institusjonene Forskning som institusjonelt ansvar Felles, tverrfaglige diskusjoner av vitenskapelighet og publiseringspraksis Dokumentasjon og synliggjøring av forskningen innad og utad Utfordringer: Oppfattes (foreløpig) som et individuelt evalueringssystem av mange forskere Gir (foreløpig) ikke grunnlag for internasjonale sammenligninger Måler forskningsaktivitet kan kun fremme forskningskvalitet indirekte

43 Disposisjon Bakgrunn og formål Modellen: Avgrensning og innsamling av publikasjonsdata Vekting av publikasjoner i en budsjettmodell Resultater Diskusjonen i SOU 007:8 Resurser för kvalitet

44 Sitater fra SOU 007:8 En preliminär bedömning är att det skulle vare möjligt at införa en adapterad modell i Sverige, men att den medför stora kostnader (39) Det troliga är att modellen har en barnsjukdom som behöver arbetas bort och frågan är om det finns flera (40) (Bilaga 7) (Bilaga 8: Waringsvärdet ) Ämnesindelningen er anledningen till att vi inte kan använda monografier och nationella databaser (som man gör i Norge) (39) (ISI som standard, Ambio) Även om man inte explicit använder Journal Impact Factor i den norska modellen innebär det norska systemet att man har valt att tilldela vissa tidsskrifter högre poäng oavsett om norska artikler i tidsskriften blir uppmärksammade eller inte (394) (Sitat: Seglen)

45 Sitater fra SOU 007:8 - II Inom samhällsvetenskapliga områden har forskarna tenderat att gynna tidskrifter som de själva har kontroll över och inom humaniora finns överhuvudtaget inga prioriterade tidskrifter (395) Sammantaget riskerar det norska systemet att snarare låsa fast forskningen i dess nuvarande publikationstraditioneer (395) Systemets största svaghet är at det inte heller omfördelar några medel (395, note til Sivertsens presentation i Köpenhamn september 007) Konklusionen är att det norska systemet verkar vara ett förhållandevis kostsamt sätt att komma fram til något ganska trivialt. Något annat var inte heller att förvänta. I så måtto är den norska modellen ganska oförarglig, men det kan också riktas en skarpare kritik mot det norska förslaget (395)

46 Sitater fra SOU 007:8 - III Mycket riktigt är det ingeniörsvetenskaparna (NTNU) som förlorar i det norska systemet (396), pluss: matematik, odontologi, ekonomi, allmän samhällsvetenskap, kan hävdas att t.ex. medicin och kemi sannolikt underskattas i det norska systemet (Se også note 9, s. 396) Vår kanske mest kritiska synspunkt på den norska modellen är att den medför arbetskrävande moment. Det förefaller oekonomiskt att införandet av incitament för med sig stora kostnader. Det är ressurser som istället kan användas för forskning (398)

47 Noen problemer med den svenske modellen Bestemmer en større del av budsjettene, men er ikke utviklet i samarbeid med institusjonene Kompenserer den svake representasjonen av humaniora, samfunnsvitenskap og teknologi i Web of Science med kunstige estimater Gir ingen transparens for svensk forskning, og ingen intern styringsinformasjon, men overlater justeringen av milliardene til en ugjennomsikt og komplisert bibliometrisk modell Bygger på siteringsmåling som kan gi kraftige omfordelinger fra år til på grunn av sterk skjevfordeling, men bygger på løse statistiske estimater av de siterte publikasjonenes institusjonstilknytning

48 Den svenske modellen fra dansk synspunkt Man bør overveje, hvor mange avancerede og uigennemskuelige bibliometriske korrektioner, det er hensigsmæssigt at lave. Den svenske model bevæger sig relativ langt i denne retning på bekostning af overskueligheden og dermed legitimiteten Et andet og væsentligt argument for at vælge det norske bibliometri set-up er, at nok er der tale om en administrativ tung øvelse initialt. Men andre lande, der følger efter, kan drage stor fordel af det norske udviklingsarbejde Herudover betyder etableringen af nationale fyldestgørende og konsistente publikationsdatabaser, at universitetsledelserne får bedre redskaber til at sammenligne på tværs både internt og eksternt, ligesom de giver forbedrede muligheder for at forske i forskningadfærd og mønstre

49 Noen avsluttende refleksjoner etter å lest SOU 007:8 Sverige går mot en belgisk modell (Flandern) i kombinasjon med en britisk modell (RAE), mens Belgia (Flandern) og andre land går mot den norske modellen og britene leter etter gode bibliometriske modeller Dialogen, samarbeidet og vitenskapeligheten i nordisk bibliometri og innenfor svensk bibliometri erfarer et midlertid sammenbrudd Men dramaet blir selvfølgelig mer spennende og underholdende når det kommer en Otello på scenen!