Benchmarking av. Oppsummering av funn fra rangeringer, benchmarking og anbefalinger

Transkript

1 1 Benchmarking av forskningsledelse Oppsummering av funn fra rangeringer, benchmarking og anbefalinger

2 2 Universitetsrangering Det finnes en rekke ulike ordninger/ leverandører for vurdering og rangering av universiteter De mest anerkjente og siterte er: Times Higher Education - QS World University Rankings Shanghai Academic Ranking of World Universities The Leiden Ranking Webometrics Ranking of World's Universities

3 3 Times University Ranking Publiserer årlig en liste over de 500 høyest rangerte universiteter i verden. Listen inkluderer typisk flere europeiske universiteter enn mange andre rangeringer. Kritiseres for å være basert på mer subjektive kriterier; bygger i stor grad på et peer review system med akademiske.

4 4 Times kriterier

5 5 Times rangering

6 6 Shanghai Academic Ranking Listen settes sammen av Shanghai Jiao Tong University og publiseres årlig i The Economist. Publiserer årlig en liste over de 500 høyest rangerte universiteter i verden. Kritikken mot denne bygger på favorisering av naturvitenskap og engelskspråklige tidsskrifter.

7 7 Shanghai kriterier

8 8 Shanghai rangering

9 9 The Leiden Ranking Rangering basert på utelukkende bibliometriske data, utviklet av The Centre for Science and Technology Studies (CWTS), Leiden University Dekker alle universiteter med mer enn 700 Web of Science-registrerte publikasjoner per år

10 10 Leiden kriterier Leiden gjennomfører en avansert analyse av publiseringsdata Dette leder til ulike ranking-varianter: Yellow ranking by size, i.e. number of publications (P) Green ranking by the size-independent, field-normalized average impact Orange ranking by the size-dependent 'brute force' impact indicator, the multiplication of P with the university's s fieldnormalized average impact Blue ranking by the 'simple' citations-per-publication indicator (CPP)

11 11 Leiden rangering Leiden Europa Globalt Oxford MIT Cambridge Berkeley Lausanne Stanford Dublin Harvard Durham CalTech ETH Chicago Leiden Universitet Plassering DTU 8 Syddansk 18 Aarhus 48 København 52 Gøteborg 63 Uppsala 66 Linköping 103 Helsinki 111 NTNU 115

12 12 Webometrics Ranking Lansert som et åpent og nettbasert alternativ til de etablerte rangeringene. Har som mål å måle bredden universitetenes i nettsynlighet og -aktivitet, dvs. Både tidsskrifter og mer uformell publisering. Denne rangeringen favner også bredere i antall universiteter som vurderes enn de andre rangeringene.

13 13 Webometrics kriterier Size; antall sider synlig i søkemotorer. Visibility; totalt antall unik eksterne lenker (Yahoo Search). Rich Files; filer publisert i formater som pdf, ppt, osv. Scholar; antall papers og andre publikasjoner Google Scholar.

14 14 Webometrics rangering

15 15 Konklusjoner om kriterier Om NTNU skal klare å klatre i de ulike rangeringene, er følgende faktorer som må forbedres: Publikasjoner/siteringer e Vurderinger av peers, dvs. øke kjennskapen og anseelsen til NTNU hos ansatte ved andre universiteter Vurderinger av arbeidsgivere i for studentene t Nobel- og Fieldspriser Øke forholdet ansatte/studenter Rik nettpublisering

16 16 Bakgrunn ETH er et anerkjent universitet som ligger svært høyt på internasjonale rankinger Samtidig er ETH sammenlignbart med NTNU Hva kan vi lære av ETH?

17 17 Generelt om ETH studenter, hvorav 3300 PhD-studenter 80% og stabil basisfinansiering fra myndighetene President og 4 Vice Presidents (hvorav en er rektor) 16 institutter innen 5 fagområder 370 professorer og 9000 ansatte. Professorene er dermed omgitt av 5000 andre vitenskapelige ansatte, og bunnfinansieringen dekker 3-5 assistenter til hver (i ulike kategorier) Har to campuser, med 8 km fra hverandre Har 23 bachelor-programmer og 40 master-programmer 800 PhD-studenter tatt inn i 2008 Stor internasjonal andel 80% av de internasjonale a e er EU

18 18 Ranking, publikasjoner, prestasjonsmåling, evaluering av vitenskapelige grupper, benchmarking Det er en gruppe under Finance and control som arbeider med dette (13 personer) Har management reporting årlig, samt noe kvartalsvis En del av dette blir tilgjengelig for instituttene De har regelmessige spørreundersøkelser fra tidligere studenter, med 50-60% svar De har nasjonalt survey annethvert år De spør fakultetene om mange tall (avtaler med industri, patenter, publisering, spinn-offs, mediadekning), men først går de gjennom sentrale tall (slik at ting ikke må rapporteres flere ganger) De har rapporteringssystem for publisering, men ikke på nivå I og II som på NTNU De benchmarker seg på støtte fra forkningsråd og EU De sammenligner tilslagsprosent på søknader (i kroner) Ikke så mye konkurranse mellom fakultetene enda De har få virkemidler til å pushe fakultetene Målinger påvirker ikke finansieringsmodellen

19 19 Evalueringer Selv-evalueringevaluering Peer review hvert 6. år Eksternt review. Fakultetet kan foreslå, men administrasjon utpeker En ukes review Muntlig oppsummering og skriftlig rapport I tillegg forekommer det med jevne mellomrom nasjonale evalueringer av et fagområde Kursevaluering Evaluering fra ferdigutdannede Evaluering fra tidligere studenter Ansatte har nå blitt mer positive til evalueringsordningen i

20 20 Mulige årsaker til høy ranking Rykte Mye publisering Tiltrekker seg flinke folk. 60% utenlanske ansatte Attraktivt forskermiljø Gode rammebetingelser. En mellomting mellom tysk hierarki og skandinavisk flat struktur Tutor-system Rankingresultatene er hovedsaklig et resultat av publisering samt internasjonal andel studenter og ansatte

21 21 Bakgrunn Delft er et anerkjent universitet som ligger svært høyt på internasjonale rankinger Samtidig er Delft sammenlignbart med NTNU Hva kan vi lære av Delft?

22 22 Om TU Delft Etablert i Fikk sitt nåværende navn i Utdanning: Førsteårstudenter Studenter Master- og doktorstudenter 1679 Internasjonale studenter 14% Bachelor-program14 Master-program 41 Forskning Vitenskapelig ansatte 2762 PhD uteksaminert 236 Vitenskapelige publikasjoner Publikasjoner i fagtidsskrift 1380 Patenter 41

23 23 Målesystem Alle ansatte fyller inn data om: Bøker PhD uteksaminert Vitenskapelig publisering. Dette legges inn i Metis, som tilsvarer Frida, men har flere kategorier Det som legges inn kvalitetssikres Alle vitenskapelige ansatte har et målekort som fylles inn årlig. Dette er en slags selv- evaluering. Dette er åpent I årlig medarbeidersamtale gjennomgås selv-evalueringen. Her gjennomgås også timer. Denne samme mekanismen foregår på alle nivå (rektor, fakultet, institutt, medarbeider), tilsvarende styringsdialogen IVT har med instituttene Systemet er nå blitt akseptert blant de ansatte Det er et incentiv-basert målesystem som skaper en konkurranseorientert prestasjonskultur Forskningsgrupper får midler basert på publisering I følge eks-rektoren har dette vært et sentralt virkemiddel for å skape en kulturendring ved TU Delft, til gode publiseringsresultater og klatring på internasjonale rankinger

24 24 Selv-evalueringen Selv-evalueringen evalueringen er et mål i seg selv, da det bidrar til en prestasjonskultur Det som legges inn er blant annet: Publisering på ulike nivå (3 nivå i Metis) Veiledning g( (master og PhD) Undervisning Konferanser, invitert foredragsholder etc Selv-evalueringen gjenspeiles ikke direkte på lønn, men har blant annet betydning ved opprykk

25 25 Rangeringer Som det fremgår nedenfor benytter TU Delft ulike rangeringer til å sammenligne seg:

26 26 Peer review System etablert tidlig på 90-tallet Alle universiteter i Nederland har nå dette (ordningen kalles QANU) Bruker internasjonale komiteer (som kjenner det nederlandske systemet), gjerne med nasjonal koordinator Organiseres etter fag Noen ganger er det flere universiteter som blir evaluert samtidig Det er 8-10 i evalueringskomiteen. Det er ofte vanskelig å finne komité, da den skal tilfredsstille mange kriterier.

27 27 Peer review (2) Først lager universitetet sin selv-evaluering basert på definerte kriterier, i måltall ll og overskrifter. Dette samles i en omfattende bok. Komiteen får tilsendt materialet 6 uker før. De har også en ukes besøk (med stramt program). Besøket brukes til å validere det som står i rapporten Komiteen lager deretter en draft versjon av rapporten som universitetet kan kommentere på Til slutt lages det en endelig rapport Overskriftene i rapporten er kvalitet, produktivitet, relevans og levedyktighet. Får hvert område får man karakterer for hver faggruppe Dårlig evaluering (lave karakterer) gir interne diskusjoner og interne aksjoner.

28 28 Peer review (3) Peer review gjennomføres separat for forskning og undervisning Evalueringen gjennomføres hvert 6 år for forskning. For forskning har TU Delft gjennomført peer review evalueringer i 1993, 2000 og Egentlig skal det også være en midtterm review for forskning etter 3 år. Denne organiseres internt. Evalueringen gjennomføres hvert 6 år for undervisning. Denne er mindre omfattende enn for forskning I tillegg er den nasjonal

29 29 Generelt om målesystem Målesystemet må gjennomsiktig Målesystemet må være konsistent Ledelsen må følge opp målesystemet Målinger må få konsekvenser

30 30 Hovedpunkter fra benchmarking Skape en prestasjonsorientert kultur, basert på transparens og synlighet Regelmessig måling på alle nivåer og konsistens i det som måles Samholde prestasjoner med mål/strategier og bruke målinger til å skape bevissthet Viktig å nå et punkt der man kommer forbi initiell motstand/forsvarsmekanismer slik at målingene brukes som et aktivt virkemiddel for forbedring Helhetlig målesystem som dekker alle nivåer av organisasjonen Viktig med lederskap som følger opp både vinnere og tapere i den interne konkurransen Det ER mulig å endre en organisasjonskultur/fokus, på relativt kort tid Erfaringene fra spesielt TU Delft og ETH Zürich viser at også NTNU kan lykkes med dette

31 31 Prestasjonsledelse/fremming av fremragende faggrupper Vår anbefaling: Regelmessig evaluering av fagmiljøer ved fakultetet, helst på nivået formelle/uformelle faggrupper Overordnede mekanismer (disse utdypes på senere lysark): Personlig selv-evaluering, evaluering, som grunnlag for medarbeidersamtaler, årlig og basert på fast mal Selv-evaluering av faggruppene hvert 3. år Ekstern peer review hvert 6. år Løpende måling av utvalgte prestasjonsindikatorer med årlig gjennomgang av status og intern benchmarking mellom faggrupper

32 32 Hensikt Skape bevissthet rundt strategi og prestasjoner Innretting av enkeltpersoner og faggrupper mot NTNU/IVT sine overordnede mål Ha faktabasert grunnlag for styringsdialog og ledelse av faggruppene Stimulere konkurranse mellom faggrupper Hjelpemiddel til personlig utvikling Brukes som innspill i budsjettmodeller

33 33 Personlig selv-evaluering Hver vitenskapelig ansatt fyller årlig ut et skjema for selv-evaluering (dette kan gjerne baseres på mal fra TU Delft) Brukes som grunnlag for medarbeidersamtaler Dekke områder som: Forskning/publisering Undervisning Kommersialisering/nyskapning i i Administrasjon/ledelse Personlig utvikling I medarbeidersamtale: Gjennomgang av mål definert for siste år Måloppnåelse og andre prestasjoner Avtale mål for neste år

34 34 Selv-evaluering Baseres på de personlige selv-evalueringene samt diskusjon/refleksjon i gruppen Hver faggruppe må gjøre opp status: Nivå og utviklingstrender på prestasjonsindikatorene Status vs. ambisjoner og definerte målsetninger Vurdering av strategi relevans, progresjon i forhold til realisering i Faglig utvikling videre Bemanningssituasjon og fremtidige behov Dokumenteres i en kortfattet rapport Grunnlag for styringsdialog mellom fakultet og institutt

35 35 Ekstern evaluering Gjennomføres minimum i hvert 6. år Baseres på en relativt omfattende selv-evaluering som gjøres tilgjengelig 6-8 uker før (eksempel på en slik finnes fra TU Delft), og disse bygger naturlig på de årlige selvevalueringene Dette forarbeidet er i seg selv verdifullt gjennom bevisstgjøring og intern forståelse av status Kan gjennomføres som en felles evalueringsuke for mange/alle faggruppene eller separat for 1-2 faggrupper Mer rasjonelt med en evalueringsuke der et samlet panel med medlemmer fra nasjonal og internasjonal akademia og industri deltar Komiteens besøk består av intervjuer, demonstrasjoner, omvisninger, osv. og utfyller selv-evalueringer og verifiserer opplysninger gitt i disse Faggruppene kan gjerne foreslå medlemmer av panelet, men fakultetet utnevner disse komiteen skal i størst mulig grad være uavhengig Panelet vurderer status t for gruppene, hensiktsmessighet i h t av definerte strategier t og mål, osv., i den hensikt å rangere gruppene og gi konstruktiv tilbakemelding for gruppenes videre utvikling Evalueringene munner ut i en muntlig presentasjon av funn samt en sluttrapport Der relevant bør panelet etterstrebe god praksis for audit (ISO-19011) Kan evt. samkjøres med Nordic5Tech eller andre samarbeidende/konkurrende universiteter for å oppnå benchmarking

36 36 Løpende, årlig oppfølging av prestasjonsindikatorer t Viktig å måle forhold det finnes lett tilgjengelig g g data for slik at man unngår omfattende administrasjon rundt ordningen Det må lages et enkelt innsamlingssystem der både enkeltpersoner, institutt og fakultet bidrar med data Ordningen må ha en verifikasjonsmekanisme som unngår juks med rapporteringene For å sikre rettferdig og balansert måling bør det brukes en viss bredde i områder som dekkes av indikatorer Målesystemet vil aldri kunne måle alt som kan oppfattes som viktig, men må søke å fange opp viktige dimensjoner som understøtter NTNU/IVT sine ambisjoner, for eksempel i forhold til å være internasjonalt ledende Målingene må være åpent tilgjengelig og gjøres kjent, gjerne i form av grafer/tabeller/eller lignende, og presenteres i ulike relevante fora dette gir åpenhet, oppmerksomhet og logikk mellom resultater og belønning Konsekvenser i form av budsjett må også være transparent, men brukes for å aktivt stimulere ønsket fokus og adferd

37 37 Prestasjonsindikatorer (1) Indikator/ område Formel (alle tellinger av antall bør også omregnes til per vitenskapelig ansatt) Datakilde Publisering Publiseringspoeng per faggruppe Publiseringspoeng per fast vitenskapelig ansatt Citation index Antall publikasjoner sammen med forskere ved internasjonale universiteteter høyere rangert enn NTNU Frida Scopus/Google Scholar/ISI/egenrapportering Populærformidling Øvrige vitenskapelige bidrag Antall mediaoppslag per faggruppe Antall populærvitenskapelige publikasjoner per faggruppe Antall redaktørroller i internasjonale tidsskrifter Antall oppdrag som medlem i vitenskapelige komiteer ved internasjonale konferanser Antall oppdrag som evaluator for EU-søknader eller reviewer for EU- prosjekter Egenrapportering per faggruppe Egenrapportering per faggruppe Priser/ utmerkelser Antall nasjonale priser Antall internasjonale priser Informasjon fra faggruppe

38 38 Prestasjonsindikatorer (2) Indikator/ område Formel (alle tellinger av antall bør også omregnes til per vitenskapelig ansatt) Datakilde Antall studenter Antall aktive masterstudenter per vitenskapelig ansatt Antall aktive PhD-studenter per vitenskapelig ansatt Antall uteksaminerte masterstudenter per vitenskapelig ansatt Antall uteksaminerte PhD-studenter per vitenskapelig ansatt FS/studiesystemer Produksjon Antall studiepoeng produsert per vitenskapelig ansatt FS/studiesystemer Internasjonale studenter Andel internasjonale masterstudenter Andel internasjonale PhD-studenter FS/studiesystemer Internasjonale vitenskapelige ansatte Andel internasjonale vitenskapelige ansatte Personalsystem Ekstern forskningsfinan sering Kroner ekstern nasjonal forskningsfinansiering per vitenskapelig ansatt Kroner ekstern internasjonal forskningsfinansiering per vitenskapelig ansatt Maconomy