25. OKTOBER Forskningsevaluering. Nils Pharo

Transkript

1 Forskningsevaluering Nils Pharo

2 Dagens tekst Hva, hvem når? Hva skal evalueres? Hvem skal evalueres? Når skal evalueringen skje? Kvalitative metoder Kvantitative metoder Leidenmanifestet

3 Hva skal evalueres Kvalitet? Effekt?

4 Evaluering av kvalitet Kvalitet på Ideer? Metoder? Gjennomføring? Resultater?

5 Evaluering av effekt Effekt på Samfunnet? Næringslivet? Lover og regler? Læring? Vitenskapelige framgang? Hvordan kan man «måle» dette?

6 Hvem skal evalueres? Et forskningsarbeid En forsker En forskergruppe Et forskningsprosjekt En organisasjon En disiplin Et land

7 Når skal evalueringen skje? Før Under forskningen Etter

8 Tradisjonell forskningsevaluering Av Vitenskapelige tekster (artikkelmanus, avhandlinger) Ansettelser Prosjektsøknader

9 Metoder for forskningsevaluering Fagfellevurdering Forskningsindikatorer Relevansvurderinger Integrerte metoder

10 Fagfellevurdering Klassisk fagfellevurdering Åpen fagfellevurdering Modifisert fagfellevurdering Utvidet fagfellevurdering Hansen (2009). Forskningsevaluering: Metoder, praksis og erfaringer

11 Klassisk fagfellevurdering Av publikasjoner og individer Kvalitet på mikroplanet Publisering, ansettelse, finansiering Eksempel Information research Stillingsutlysning ved HiOA Innovative Training Networks (Horisont 2020)

12 Fagfellevurdering, eksempel 1

13 Fagfellevurdering, eksempel 2

14 Åpen fagfellevurdering Vurderingene gjøres offentlig tilgjengelige Fagfellene er navngitt Eksempel: BMC Medicine

15 Modifisert fagfellevurdering Evaluering av forskningskvalitet på organisatorisk nivå (forskergruppe, institutt, program mm) Ofte organisert som panelarbeid med medlemmer fra flere miljøer Lesing av organisasjonens egenrapportering, publikasjonslister, statistikk mm Intervjuer og institusjonsbesøk

16 Utvidet fagfellevurdering Evaluering av kvalitetsrelaterte aspekter på organisasjonsnivå: struktur, strategi, ledelse mm Materiale og metoder som i modifisert fagfellevurdering: dokumentasjon av organisasjonen, beøk og intervjuer

17 Fordeler og ulemper ved fagfellevurdering Diskutér i grupper (10 minutter)

18 Forskningsindikatorer Kvantitative mål på forskningens gjennomslagskraft Kaloudis, A., Slipersæter, S., Sundnes, S.L. (2010). Indikatorer for prioritering i norsk forskning (side 15 og 39) Hansen skiller mellom: Inputindikatorer som f.eks. måler forskningsinstitusjoners evne til å tiltrekke seg finansiering, rekruttere anerkjente forskere med mer Strukturindikatorer som måler anseelse knyttet til bl.a. forskernes status i nettverk, roller som redaksjonsmedlemmer, komitémedlemmer med mer Prosessindikatorer: forskeres deltakelse i konferanse o.l. Resultatindikatorer som måler output i form av publikasjoner, siteringer, utdannede PhD-kandidater mm

19 Norsk publiseringsindikator «har til mål å fremme god forskning og skape oversikt over og innblikk i forskningsaktivitetene» ( Brukes i resultatbasert omfordeling av forskningsbudsjettene fra Kunnskapsdepartementet til UH-sektoren Indikator for vitenskapelig publisering Nivådeling av publiseringskanaler: Nivå 1: vitenskapelige fagfellevurderte publikasjoner med tilstrekkelig spredning. ISBN eller ISSN-nummer er nødvendig Nivå 2: «faglig ledende» publiseringskanaler. Skal utgjøre ca 20 % av den totale publikasjonen innen faget

20 Publiseringsindikatoren på individnivå? «Selv om indikatoren er et rimelig godt mål på aggregert nivå, er det et usikkert mål på individnivå. Dette innebærer at indikatoren bør brukes med forsiktighet og i samspill med annen informasjon jo lenger ut i institusjonen man kommer. En indikator er kun en indikasjon på noe.» (

21 Resultatindikatorer Publikasjonstelling: enkelt produktivitetsmål med mulighet for å vekte for «kvalitetsforskjeller» Disiplinforskjeller Siteringstelling: mål for hvor ofte publikasjoner siteres Disiplinforskjeller Er en sitering uttrykk for kvalitet?

22 Siteringsbaserte mål Journal Impact Factor (tidsskriftnivå) H-indeks (individnivå) Mer bibliometri i uke 44 og 45

23 Relevansvurderinger Forskningen relevans for Samfunnsmessig kvalitet Betydning for næringsliv/industri Utdanning mm Nødvendig med en kombinasjon av metoder Forskningsrådet: SAMEVAL og HUMEVAL

24 Integrerte metoder Hentet fra Danmarks Forskningspolitiske Råd (2006). Et værktøj til vurdering af forskningens kvalitet og relevans

25 Leidenmanifestet Reaksjon på bibliometriske måleregimer Initiert av bibliometriske forskere 10 prinsipper: 1. Quantitative evaluation should support qualitative, expert assessment. 2. Measure performance against the research missions of the institution, group or researcher. 3. Protect excellence in locally relevant research. 4. Keep data collection and analytical processes open, transparent and simple. 5. Allow those evaluated to verify data and analysis. 6. Account for variation by field in publication and citation practices. 7. Base assessment of individual researchers on a qualitative judgement of their portfolio. 8. Avoid misplaced concreteness and false precision. 9. Recognize the systemic effects of assessment and indicators. 10. Scrutinize indicators regularly and update them.