Det helsevitenskapelige fakultet Marita Pedersen / rådgiver /

Transkript

1 2014 Det helsevitenskapelige fakultet Marita Pedersen / rådgiver /

2 BAKGRUNN Hva er FRIPRO FRIPRO er en åpen, nasjonal konkurransearena som favner alle fag. Den skal fremme vitenskapelig kvalitet i internasjonal forskningsfront, dristig og nyskapende forskning, karriere for unge forskertalenter og mobilitet for forskere tidlig i sin karriere. FRIPRO skal ikke støtte videreføring av pågående prosjekter med liten grad av fornyelse, selv om forskningen som sådan har god kvalitet og er godt begrunnet. Konkurransen i FRIPRO er hard, og kun de beste forskerne med spesielt gode prosjekter og svært godt skrevne søknader har mulighet til å nå opp. Å motta støtte i FRIPRO er derfor ansett som veldig prestisjetungt. Innvilgelsesprosenten pleier å ligge mellom 5 og 15 % for forskningsprosjektene. I 2014 var innvilgelsesprosenten i FRIMEDBIO 6 % og i 2013 var den 7 %. Det finnes seks søknadstyper i FRIPRO: forskerprosjekt, unge forskertalenter, personlig postdoktorstipend, FRIPRO mobilitetsstipend, utenlandsstipend og arrangementsstøtte. Søknadsfristen for FRIPRO-midler er i mai/juni hvert år, med tildeling i desember samme år. Søknadsfrist i 2014 er FRIPRO ved Helsefak I 2013 gjennomførte Helsefak den første analysen av innsats og uttelling i FRIPRO (2013/383-14). Analysen var et svar på Avdeling for forskning og utvikling (AFU) sin gjennomgang av UiTs suksessrate i FRIPRO-utlysningen for 2012, der Helsefak ikke fikk innvilget noen prosjekter. Konklusjonen av FRIPROanalysen ved Helsefak for 2012 utlysningen var at prosjekter som skal ha mulighet til å får innvilget finansiering må være av internasjonal kvalitet, ha en godt beskrevet vitenskapelig del, ha en PI og en PG med dokumentert tidligere suksess, ha en tydelig sammenheng mellom prosjekt og budsjett og ha konkret, realistiske, men ambisiøse planer for formidling. Instituttene og fakultetet satte i gang en rekke tiltak i forkant av 2013-utlysningen og det er gjort en egen oppsummering av tiltakene med en kvalitativ vurdering på hvordan instituttene syntes tiltakene fungerte. Denne rapporten (2013/383-22) konkluderte med at det har blitt oppfattet som positivt at det ble satt fokus på og gjort tiltak for å øke kvaliteten på FRIPRO-søknadene. Tiltakene er gjennomført med ulik hell ved de forskjellige instituttene, og innledende analyser tyder på at snittkarakterene ikke har økt signifikant. I denne rapporten er det gjennomført en grundigere analyse av karakterene oppnådd i tildelingen. Årets karakterer er sammenholdt med fjorårets karakterer og det er gjort en sammenfatning av de kvalitative tilbakemeldingene for søknadene i 2014-tildelingen. Denne rapporten er ment for forskere og forskningsledere til hjelp for å se hva som kreves for å oppnå gode karakterer i FRIPRO. METODE Data Helsefak var i 2013 delaktig i 28 søknader til FRIPRO. To av disse er ikke inkludert i den kvantitative delen, da disse søknadene hadde andre institusjoner eller fakultet som avsender. Alle 28 søknaders evalueringer er lagt til grunn for sammenfatningen av tilbakemeldingene på delkarakterene. 2

3 Analyse av Helsefaks karakterer og evalueringer i FRIPRO-tildelingen for 2014 Årets analyse ser nærmere på karakterfordelingen i 2013 vs. 2014, på karakterfordelingen mellom instituttene i 2014-tildelingen og mellom Helsefak og et annet fakultet ved UiT, NT-fak. Analysene består av deskriptiv statistikk, one-way ANOVA, Kruskal-Wallis test og two-tailed t-test. Det er også gjort en kvalitativ sammenfatning av de skriftlige tilbakemeldingene for delkarakterene «overordnet», «vitenskapelig», «dristighet og fornyelse», «prosjektleder og prosjektgruppe» og «gjennomføring». Nytt i utlysningen 2013 (tildeling i 2014) var at unge talenter kom inn som ny søknadstype, det er derfor gjort en sammenligning av karakteroppnåelse mellom de tre søknadstypene forsker-, postdoktor- og unge talenter prosjekt. Analysene består av deskriptiv statistikk og one-way ANOVA. RESULTATER Delkarakterer i 2014 I 2014 tildelingen hadde Helsefak 26 prosjekter til vurdering mot 25 prosjekter i 2013-tildelingen. Det er en svak tendens mot at de overordnede karakterene blir høyere og at det blir noe mindre spredning i karaktergivningen. Samme tendens ser man også for karakterene for vitenskap, PI og PG, formidling og internasjonalisering, men ikke for gjennomføring, internasjonalt og nasjonalt samarbeid. Det er likevel ingen karakterer som er signifikant forskjellig i 2014 fra karakterene i 2013 når man ser samlet på alle instituttene. Tabell 1: Gjennomsnittlige karakterer i 2013 vs Gjennomsnitt SD Min/maks Gjennomsnitt SD Min/maks Overordnet 4,48 1,19 2/6 4,58 1,07 3/6 Vitenskapelig 4,59 1,22 2/6 4,69 1,05 3/7 PL/PG 2 4,68 1,29 2/7 5,11 0,88 3/6 Gj.føring 2,27 0,63 1/3 2,23 0,71 1/3 Formidling 2,09 0,61 1/3 2,35 0,63 1/3 Internasj 2,23 0,75 1/3 2,5 0,65 1/3 Inter-samarb 2,45 0,67 1/3 2,42 0,64 1/3 Nasj-samarb 2,41 0,67 1/3 2,42 0,64 1/3 1 For karakterene gjennomføring, formidling, internasjonalisering, internasjonalt og nasjonalt samarbeid er kar. 1 = C, 2 = B og 3 = A, der A er beste karakter. For de øvrige går skalaen fra 1-7, der 7 er beste karakter. 2 For karakteren PL/PG er ikke søknader til unge forskertalenter tatt med, da de hadde egen karakterskala for dette. Overordnet karakter Gjennomsnittlig karakter i 2014 var 4,58 (SD=1,07) mot 4,48 (SD=1,19) i I 2014 fikk Helsefak flere prosjekter med overordnet karakter 6 svært godt (26,9 % vs. 16 %). Andelen i karakter 5 meget godt gikk derimot ned fra 48 % til 19,2 % og andelen i kar.4 godt økte fra 12 % til 38,5 %. Andelen i kar. 3 mindre godt er så å si uforandret (16 % i 2013 og 15,4 % i 2014) og kar. 2 svakt er ikke med i 2014 (8% i 2013). De beste prosjektene er vurdert til å være særdeles innovative og banebrytende. Søknadene er godt skrevet og har et stort detaljnivå som også inkluderer hva samarbeidspartnerne konkret skal bidra med 3

4 i prosjektet. Prosjektet støttes av preliminære data. Prosjektgruppen er multidisiplinær og internasjonal. De middels gode prosjektene er også godt skrevet, er ambisiøse og har noe sannsynlighet for å være nyvinnende. Disse prosjektene trekkes for å ikke diskutere confounders, for å ha en begrenset tilnærming og for å mangle back-up planer. Ofte mangler det også henvisning til preliminære data som kan støtte mer kontroversielle hypoteser. PI får trekk dersom denne har begrenset erfaring og publisering og dersom det er for tett kobling til tidligere veileder i det foreslåtte prosjektet. De svakeste prosjektene har søknader som er vanskelig å lese, som har store metodeproblemer og som ikke kan vise til preliminære data. PI og PG vurderes til å være for svak og det mangler planer for hva samarbeidspartnere skal bidra med. Vitenskapelig karakter Gjennomsnittlig karakter i 2014 var 4,69 (SD=1,05) mot 4,59 (SD=1,22) i Helsefak fikk i 2014 ett prosjekt med vitenskapelig karakter 7, som utgjør 3,8 % av våre søknader. Andelen som får kar. 6 svært godt er stort sett lik med 22,7 % (2013) og 23,1 % (2014). Også for denne karakteren går andelen med kar. 5 meget godt ned fra 40,9 % (2013) til 19,2 % (2014). Andelen med kar. 4 godt øker fra 18,2 % til 46,2 %. Andelen med kar. 3 mindre godt går litt ned (fra 9,1 % til 7,7 %) og i 2014 er det ingen som får kar. 2 svakt mot 9,1 % i De aller beste prosjektene ut i fra overordnet karakter får under vurderingen av den vitenskapelige kvaliteten pluss for å være aktuell, banebrytende og interdisiplinær. Prosjektene bygger på anerkjente, men nye metoder, de har godt definert forskningsspørsmål og støtter seg på preliminære data. Prosjektet er organisert WP er og milepæler kommer tydelig frem. PG vurderes til å være eksepsjonell i nasjonal og internasjonal målestokk og til å ha gode internasjonale samarbeidspartnere. Disse prosjektene kan få trekk for å ha utelatt relevant litteratur eller for å mangle detaljer i beskrivelsen av metode, som gjør det uklart om metodeforslag vil fungere og resultere i ny viten. De middels gode prosjektene får trekk for å ha for smalt fokus, ha en for standard tilnærming, ha mangler i beskrivelsen av metode eller for ikke å vise preliminære data, som alle bidrar til uavklarte aspekter som øker risikoen ved prosjektet. Også her trekkes det for ikke å ha beskrevet samarbeidspartners rolle. I de lavest rangerte prosjektene er det teoretiske grunnlaget for dårlig, prosjektet har en dårlig beskrivelse og begrunnelse for valg av design og metode. Det skal brukes tester og metoder som er utdatert eller ikke er validert. Det mangler styrkeanalyse og preliminære data. Det er lite beskrivelse av hva som faktisk skal gjøres. Disse prosjektene har heller ikke ambisjoner om å være nyvinnende. Prosjektleder og prosjektgruppe Gjennomsnittskarakteren for PL/PG var i ,11 (SD=,88) mot 4,68 (SD=1,29) i I 2014 er det ingen som får karakter 7 fremragende, mot 4,5 % i 2013 (n=1), derimot var det 36,8 % av søknadene som oppnår karakter 6 Svært godt mot 18,2 % i Nesten like mange fikk karakter 5 Meget godt og karakter 4 Godt disse årene med hhv. 45,5 % i 2013 og 42,1 % i 2014 og 13,6 % (2013) og 15,8 % (2014). Det er en nedgang i andelen som fikk karakter 3 Mindre godt (fra 9,7 % til 5,3 %) og det er ingen som i 2014 får karakter 2 svakt, mot 9,1 % i Gjennomsnittskarakteren for unge forskertalenter var for PI 4,14 og for PG 2,29 (tilsvarer B+). De beste søknadene innen forskerprosjekt blir vurdert til å ha en PI og en PG som er internasjonal og har relevant ekspertise. De har eksellente tidligere publikasjoner å vise til og PI har et eget nasjonalt og internasjonalt nettverk uavhengig av tidligere veiledere. For søkere under unge forskertalenter har de beste prosjektene en PI med bakgrunn fra anerkjente miljø, med gode publikasjoner, og et prosjektforslag som definerer han/henne vekk fra tidligere veileder. De har også en sterk PG med komplementær ekspertise. Det gis trekk til disse dersom det er lite planlagt internasjonalt samarbeid. 3 I 2013 er det 3 missing, og valid prosent er brukt som grunnlag for sammenligning. 4

5 De dårligste forskerprosjektene/postdoktorprosjektene vurderes til å ha en for svak PI f.eks. ved å kun ha erfaring fra UiT, ha en svak publisering, mangle erfaring med metoden i prosjekt og fordi prosjektet i seg selv er for krevende for PI en. De dårligste prosjektene innen unge forskertalenter får trekk for å ha en PI med for lite kjennskap til litteratur, metode og teknikk, som har lav produksjon og som ikke har et internasjonalt nettverk Dristighet og fornyelse Dristighet og fornyelse er en ny karakter i 2014-tildelingen og sammenlignes derfor ikke mot tall fra 2013-tildelingen. Seks prosjekter fikk beste karakter på dristighet og fornyelse kar. A. Av disse var det fem som hadde overordnet kar. 6 og ett prosjekt som hadde overordnet kar. 5. To prosjekter med overordnet karakter 6 og fire prosjekt med overordnet kar. 5 fikk kar. B på dristighet og nytenkning. Ingen av prosjektene med høy overordnet karakter har fått C svakt på dristighet og fornyelse. I analysen av 2013-tildelingen så vi at den vitenskapelige karakteren er den karakteren som har størst sammenheng med den overordnede karakteren. Dristighet og fornyelse kan tenkes å ha sammenheng med den vitenskapelige karakteren all den tid det er potensiale for å gi vitenskapelig fornyelse, kreativ tenkning, nye teorier og metoder som skal bedømmes. Resultatene tyder på en viss samvariasjon mellom de to karakterene, de som har fått karakter A på dristighet og fornyelse har fått karakter mellom 5 og 7 på det vitenskapelige. Karakter C for dristighet og fornyelse er kun gitt for vitenskapelige karakter under 4, mens karakter B gis til alle karaktermuligheter for vitenskapelig karakter. Prosjektene med høy overordnet karakter vurderes under dette kriteriet for å være særdeles ukonvensjonelle og kreative, men også velfunderte, gjerne basert på etablerte metoder med en original tilnærming. De har gode muligheter for å revolusjonere forskningsfeltet og gi gode publiseringer. De beste prosjektene kan få trekk for å ha ambisjoner som ikke samsvarer med tid til rådighet og for å mangle back-up planer. De middels gode prosjektene vurderes til å ha moderat eller høy risiko med potensiale for teoretisk, teknisk og/eller vitenskapelig nyvinning. De er ukonvensjonell og kreativ, men har metodemessig lav risiko. Dersom de får trekk i denne karakteren er det fordi de baserer seg på en kontroversiell tilnærming eller metode uten at dette støttes i preliminære. Dette øker risikoen til at prosjektet mislykkes. De svakeste prosjektene vurderes enten til å være for konvensjonelle eller til å ha for høy risiko på grunn av begrensninger i søknadens beskrivelse av design og metode. Gjennomføring Gjennomsnittskarakteren på gjennomføring i 2014 var 2,23 og i ,27 (1=C, 3=A) som tyder på en svak, men nesten ubetydelig nedgang på denne karakteren. Det er noe økning på kar. A meget godt, med en andel på 38,5 % i 2014 mot 36,4 % i På karakteren B Godt var det noen nedgang i 2014 fra 54,5 % til 46,2 % og det er noe økning på karakteren C svakt (15,4 % i 2014 mot 9,1 % i 2013). Det er altså en liten økning både i andelen som får den beste karakteren og den dårligste karakteren, samtidig som majoriteten får middels karakter, B. De beste og de middels gode prosjektene (på overordnet karakter) får stort sett samme vurdering. De er realistiske, de har godt definert forskningsprogram presentert i WP er, de har klare milepæler, de har et fornuftig budsjett og gjerne en erfaren PI og PG. Det gis trekk for disse prosjektene dersom vitenskapelige svakheter gjør gjennomføringen usikker, dersom det er en utydelig arbeidsfordeling, dersom arbeidsmengde ikke tilsvarer ressurser inn i prosjektet og dersom det er mangler i budsjettet. De dårligste prosjektene får trekk for at beskrivelsen av gjennomføringen er så svak at det gjør det vanskelig å vurdere gjennomføringsevne i prosjektet, dette være seg f.eks. lavt detaljnivå for milepæler, tidsplan, organisering og ansvar. 5

6 Formidling Gjennomsnittlig karakter for formidling var i ,35 mot 2,09 i Det er en god økning i andelen som fikk beste karakter A Meget godt fra 22,7 % i 2013 til 42,3 % i For karakteren B Godt er det en nedgang fra en andel på 63,6 % (2013) til 50 % (2014) og for karakter C svakt er det en nedgang fra 13,6 % (2013) til 7,7 % (2014). Internasjonalisering Gjennomsnittlig karakter for internasjonalisering var i ,50, det er en økning fra 2013 da gjennomsnittet var 2,23. Det er en markant økning i andelen som får karakteren A Betydelig i 2014, med 57,7 % mot 40,9 %. Det er en liten nedgang i de som fikk kar. B Noe (34,6 % i 2014 mot 40,9 % i 2013) og det er en nedgang i de som fikk kar. C Ubetydelig (7,7 % i 2014 mot 18,2 % i 2013). Internasjonalt samarbeid Gjennomsnittskarakteren for internasjonalt samarbeid var i ,42, det er så å si den samme karakteren som i 2013 da gjennomsnittet var 2,45. Det er en liten nedgang i de som fikk karakter A Meget godt (fra 54,5 % til 50 %) og en liten økning i de som fikk kar. B Godt (fra 36,4 % til 42,3 %). Det er også en nedgang i de som fikk karakteren C Svakt (fra 9,1 % til 7,7 %). Nasjonalt samarbeid Gjennomsnittlig karakter for nasjonalt samarbeid i 2014 var 2,42 mot 2,41 i Like mange fikk karakteren A Meget godt i 2014 og i 2013, 50 %, og noen flere fikk karakteren B Godt i 2014 (42,3 % mot 40,9 %). Noen færre fikk også karakteren C Svakt i 2014 (7,7 % mot 9,1 %). Instituttvise forskjeller Det er til dels stor variasjon i oppnådd karakterer innad på instituttene og det er heller ingen signifikant forskjell mellom instituttene når man ser på 2013 og 2014 samlet og 2014 alene. Det er heller ingen statistisk signifikante forskjeller av betydning innad i instituttene fra 2013 til IKM og IMB sender hvert år så mange søknader at det gir mening å se på endringer fra år til år. Begge disse instituttene har en svak tendens mot bedre karakter på overordnet og vitenskapelighet i Tabell 2 viser de instituttvise fordelingene. Tabell 2: Karaktergjennomsnitt i FRIPRO ved instituttene 2013 og Skala 1-7 (1=dårligst, 7=best) og C(1) A (3) (1=dårligst, 3=best) Institutt Karakter (skala i parantes) N Gjennomsnitt SD N Gjennomsnitt SD IKM Overordnet karakter (1-7) 5 4,40 1,82 7 4,71 1,38 Vitenskapelig karakter (1-7) 5 4,60 1,67 7 5,00 1,41 Dristighet og fornyelse (1-3) ,14 0,69 PL og PG (postdok og forsker) (1-7) 5 4,60 2,07 5 4,60 0,89 PL (unge forskertalenter) (1-7) ,50 0,71 PG (unge forskertalenter) (1-3) ,00 0,00 Gjennomføring (1-3) 5 2,20 0,84 7 2,14 0,90 Formidling (1-3) 5 2,00 0,71 7 2,00 0,82 Internasjonalisering (1-3) 5 2,20 0,84 7 2,71 0,49 Internasjonalt samarbeid (1-3) 5 2,60 0,55 7 2,57 0,53 Nasjonalt samarbeid (1-3) 5 2,20 0,84 7 2,57 0,79 IFA Overordnet karakter (1-7) 4 4,25 1,26 4 4,00 0,82 Vitenskapelig karakter (1-7) 4 4,25 1,26 4 4,00 0,82 6

7 Dristighet og fornyelse (1-3) ,00 0,00 PL og PG (postdok og forsker) (1-7) 4 4,50 0,58 2 5,50 0,71 PL (unge forskertalenter) (1-7) ,00 1,41 PG (unge forskertalenter) (1-3) ,50 0,71 Gjennomføring (1-3) 4 2,25 0,50 4 2,25 0,96 Formidling (1-3) 4 1,75 0,50 4 2,75 0,50 Internasjonalisering (1-3) 4 2,50 1,00 4 2,00 0,82 Internasjonalt samarbeid (1-3) 4 2,75 0,50 4 1,75 0,50 Nasjonalt samarbeid (1-3) 4 2,50 0,58 4 1,75 0,50 ISM Overordnet karakter (1-7) 3 5,00 0,00 2 4,50 0,71 Vitenskapelig karakter (1-7) 2 5,00 0,00 2 4,50 0,71 Dristighet og fornyelse (1-3) ,00 0,00 PL og PG (postdok og forsker) (1-7) 2 5,00 0,00 2 5,50 0,71 PL (unge forskertalenter) (1-7) PG (unge forskertalenter) (1-3) Gjennomføring (1-3) 2 2,50 0,71 2 2,00 0,00 Formidling (1-3) 2 2,00 0,00 2 2,00 0,00 Internasjonalisering (1-3) 2 2,00 0,00 2 2,50 0,71 Internasjonalt samarbeid (1-3) 2 2,00 0,00 2 3,00 0,00 Nasjonalt samarbeid (1-3) 2 2,00 0,00 2 2,00 0,00 IPS Overordnet karakter (1-7) 2 4,00 1,41 1 4,00 - Vitenskapelig karakter (1-7) 1 3,00-1 4,00 - Dristighet og fornyelse (1-3) ,00 - PL og PG (postdok og forsker) (1-7) 1 4, PL (unge forskertalenter) (1-7) ,00 - PG (unge forskertalenter) (1-3) ,00 - Gjennomføring (1-3) 1 2,00-1 3,00 - Formidling (1-3) 1 2,00-1 3,00 - Internasjonalisering (1-3) 1 2,00-1 1,00 - Internasjonalt samarbeid (1-3) 1 3,00-1 2,00 - Nasjonalt samarbeid (1-3) 1 2,00-1 2,00 - IHO Overordnet karakter (1-7) 2 5,00 1,41 1 6,00 - Vitenskapelig karakter (1-7) 1 6,00-1 6,00 - Dristighet og fornyelse (1-3) ,00 - PL og PG (postdok og forsker) (1-7) 1 6,00-1 6,00 - PL (unge forskertalenter) (1-7) PG (unge forskertalenter) (1-3) Gjennomføring (1-3) 1 3,00-1 2,00 - Formidling (1-3) 1 2,00-1 2,00 - Internasjonalisering (1-3) 1 3,00-1 3,00 - Internasjonalt samarbeid (1-3) 1 3,00-1 3,00 - Nasjonalt samarbeid (1-3) 1 3,00-1 3,00 - IMB Overordnet karakter (1-7) 9 4,44 1,13 8 4,88 1,13 Vitenskapelig karakter (1-7) 9 4,67 1,12 8 5,00 0,93 Dristighet og fornyelse (1-3) ,25 0,71 PL og PG (postdok og forsker) (1-7) 9 4,67 1,32 7 5,29 0,95 PL (unge forskertalenter) (1-7) ,00 - PG (unge forskertalenter) (1-3) ,00 - Gjennomføring (1-3) 9 2,22 0,67 8 2,25 0,71 Formidling (1-3) 9 2,33 0,71 8 2,50 0,53 Internasjonalisering (1-3) 9 2,11 0,78 8 2,75 0,46 7

8 Internasjonalt samarbeid (1-3) 9 2,22 0,83 8 2,50 0,76 Nasjonalt samarbeid (1-3) 9 2,56 0,73 8 2,63 0,52 RKBU Overordnet karakter (1-7) ,00 0,00 Vitenskapelig karakter (1-7) ,00 0,00 Dristighet og fornyelse (1-3) ,67 0,58 PL og PG (postdok og forsker) (1-7) ,50 0,71 PL (unge forskertalenter) (1-7) ,00 - PG (unge forskertalenter) (1-3) ,00 - Gjennomføring (1-3) ,33 0,58 Formidling (1-3) ,33 0,58 Internasjonalisering (1-3) ,33 0,58 Internasjonalt samarbeid (1-3) ,33 0,58 Nasjonalt samarbeid (1-3) ,67 0,58 Unge forskertalenter vs. forsker- og postdoktorprosjekt En sammenligning av karakterene mellom søknadstypene Forskerprosjekt, Unge forskertalenter og Personlig postdok (Overordnet/ vitenskapelig/ dristighet/ gjennomføring/ formidling/ internasjonalisering/ internasjonalt samarbeid/ nasjonalt samarbeid) ved bruk av one-way betweengroup ANOVA viser at det er statistiske signifikante forskjeller i oppnådd karakter på internasjonalisering, F (2, 23) = 7,4, p =,003 og internasjonalt samarbeid F (2, 23) = 3,6, p =,044. Beregning av effektstørrelsen viser at den faktiske forskjellen er stor (eta squared hhv.,39 og,24). Post hoc sammenligninger ved bruk av Tukey HSD viser at gjennomsnittskarakteren gitt for internasjonalisering er lavere for unge forskertalenter (M = 1,86, SD =,69) og signifikant forskjellig fra karakterene som oppnås i gjennomsnitt i forskerprosjekt (M = 2,71, SD =,47) og postdok-prosjekter (M = 3,0 SD =,00). For internasjonalt samarbeid oppnås det i forskerprosjekt (M = 2,65, SD =,61) signifikant bedre karakter enn det gjøres i unge forskertalenter (M = 2,00, SD =,58) får. Karakter 1 tilsvarer C og karakter 3 tilsvarer A. Karakterene for prosjektleder og prosjektgruppe er ikke sammenlignet da de ikke har samme skala mellom søknadstypene. Tabell 3: Gjennomsnittskarakterer i 2014-tildelingen for alle tre søknadstyper Gjennomsnitt SD Gjennomsnitt SD Gjennomsnitt SD Forskertalent Forsker (n=17) postoktor (n=7) (n=2) Overordnet karakter 4,57 1,13 4,65 1,06 4,00 1,41 Vitenskapelig karakter 4,71 1,38 4,71,99 4,50,71 Dristighet og fornyelse 2,14,69 2,18,53 1,50,71 PI (unge talent) 4,14 1, PG (unge talent)* 2,29, PI og PG - - 5,18,73 4,50 2,12 Gjennomføring* 2,43,79 2,18,64 2,00 1,41 Formidling* 2,71,49 2,24,56 2,00 1,41 Internasjonalisering* 1,86,69 2,71,47 3,00,00 Internasj. samarb.* 2,00,58 2,65,61 2,00,00 Nasjonalt samarbeid* 2,14,69 2,53,62 2,50,71 8

9 * Kar 1 tilsvarer C, 2 tilsvarer B og 3 tilsvarer A. Helsefak vs. NT-fak NT-fak sendte i 2013 inn 25 søknader til FRIPRO der de var hovedsøker, og Helsefaks 26 søknader. Independent-sample t-test ble brukt for å sammenligne overordnet karakter for Helsefak og NT-fak. Det var signifikant forskjell i karakterene for Helsefak, M=4,58, SD=1,07 og NT-fak, M=5,36, SD=1,00; t (49) = -2,71. p=,01 (two-tailed), hvor NT-fak nesten ligger en karakter høyere i snitt. Også den prosentvise fordelingen på karakterene ved de to fakultetene viser det samme. Der NT-fak har en langt større konsentrasjon rundt de karakter 5 og 6 har Helsefak sin konsentrasjon rundt 4, 5 og 6. Se tabell 4. Tabell 4: Den prosentvise fordelingen på karakterene ved Helsefak og NT-fak i 2014 Helsefak NT-fak Kar. Andel N Andel N 3 15,4 % 4 8 % ,5 % 10 8 % ,2 % 5 28 % ,9 % 7 52 % % 0 4 % 1 Tot. 100 % % 25 Tabell 5: Andel søknader til de ulike søknadstypen ved Helsefak og NT-fak i 2014 Helsefak NT-fak Søknadstype Andel N Andel N Forskerprosjekt 65,4 % % 11 Unge forskertalenter Personlig postdoktor 26,9 % 7 56 % 14 7,7 % 2 0 % 0 Total 100 % % 25 Det er en relativt stor forskjell mellom Helsefak og NT-fak i forhold til hvilke søknadstyper som er sendt. NT-fak har nesten like mange og litt flere søknader i kategorien unge forskertalenter som forskerprosjekt, mens det ved Helsefak i hovedsak er søkt i kategorien forskerprosjekt, og bare en tredjedel av alle søknadene er i kategorien unger forskertalenter (se tabell 5). NT-fak har to tildelinger i hovedtildelingen, som gir en innvilgelsesprosent på 8 %. Helsefak har ingen innvilgede prosjekter i hovedtildelingen. I fellesløftet har både Helsefak og NT-fak ett innvilget prosjekt, som gir en innvilgelsesprosent i fellesløftet for Helsefak på 14,3 % og for NT-fak 7,2 %. NT-fak søker primært til FRINATEK og Helsefak primært til FRIMEDBIO. NT-fak har en større andel 6 er prosjekt enn totalt i FRINATEK og en mindre andel 4 er prosjekt. Helsefak derimot har en nesten Figur 2: Karakterfordeling FRIMEDBIO - tildeling 2014 (kilde: Forskningsrådet) 45% 4 35% 3 25% 2 15% 1 5% Kar 1 Kar 2 Kar 3 Kar 4 Kar 5 Kar 6 Kar 7 Figur 1: Karakterfordeling i Helsefak tildeling

10 tilsvarende andel 6 er prosjekt som totalt i FRIMEDBIO og langt færre 5 er prosjekt og flere 4 er prosjekt enn totalt. Se figur Figur 3: Karakterfordeling FRINATEK- tildeling 2014 (kilde: Forskningsrådet) Kar 1 Kar 2 Kar 3 Kar 4 Kar 5 Kar 6 Kar 7 Figur 4: Karakterfordeling NT-fak - tildeling 2014 DISKUSJON Overordnet karakter Det er en svak økning i gjennomsnittlig overordnet karakter, men denne er særdeles liten og ikke statistisk signifikant. Vi kan derfor ikke si at Helsefak har gjort det noe bedre i 2014-tildelingen sammenlignet med 2013-tildelingen. Det positive i år er at Helsefak øker andel 6 er prosjekt med 1 fra 2013 til 2014 og har fått bort hele andelen som fikk karakter 2 (8% i 2013), men samtidig synker Helsefaks andel på karakter 5 med hele 28% og øker 26,5% på karakter 4. Det er derfor ikke en udelt positiv utvikling ved Helsefak, og vi skulle gjerne i det minste beholdt fordelingen mellom karakter 4 og 5 fra 2013, se figur 5. Det er ingen statistisk signifikante forskjeller mellom instituttene. De to instituttene som har så pass mange søknader hvert år at man kan forsiktig anta faktiske endringer er IKM og IMB. Begge disse instituttene hadde en del satsning på FRIPRO i 2013 og vi ser også en svak økning i den overordnede karakteren ved disse to instituttene. Økningen er fremdeles så liten (under ett halvt poeng) at det ikke er mulig å si noen om effekten satsningen har hatt, se figur 6. NT-fak er et fakultet som over tid har vist seg god på ekstern finansiering, med innvilgede søknader om SFF, SFI, EU og FRIPRO. Helsefak som UiTs største fakultet bør i prinsippet kunne være på nivå med NTfakultetet, men resultatene tyder på at vi ikke er det i dag. NT-fak hadde langt flere kandidater til søknadstypen Unge forskertalenter enn det Helsefak hadde og de hadde generelt bedre overordnet karakter enn det Helsefak oppnådde. NT-fak gjør det også samlet noe bedre enn snittet i FRINATEK, mens Helsefak gjør det litt dårligere enn snittet i FRIMEDBIO. Sammenlignet med NT-fak burde Helsefak i mye større grad klare å finne fram til gode forskertalenter enn vi har gjort i Helsefak burde klare å øke sin andel med 5 er og 6 er prosjekt med utgangspunkt i tilbakemeldingene som er gitt i evalueringene. 10

11 Vitenskapelig karakter Karakterfordelingen på den vitenskapelige karakteren følger akkurat samme mønster som den overordnede karakteren. Det er en svak positiv endring i gjennomsnittskarakteren, vi har ett prosjekt som får karakter 7 og ingen som får karakter 2 i 2014, hvilket er bra. Samtidig ser man også her nesten ett bytte mellom karakter 4 og 5 hva gjelder fordeling, der vi har flest prosjekter i karakter 4 i 2014 og flest prosjekter i karakter 5 i Se figur 7. Basert på disse to målingstidspunktene ser det ut til at Helsefak i stor grad vipper rundt karakter 4 og 5, hvilket er alt for svakt for å nå opp i den nasjonale konkurransen. Man skal riktignok være forsiktig med å konkludere på bakgrunn av disse tallene, men tendensen er ikke lovende. Karakter for prosjektgruppe og PI Helsefaks prosjektledere og prosjektgrupper ligger i snitt begge årene rundt karakter 5. Det er jevnt over en lav andel på de laveste karakterene. I 2014 er det også en tendens til at det er en økning i snittkarakteren med nesten ett poeng og vi har en økning i antall som oppnår karakter 6. Se figur 8. Samtidig er karakterene for unge forskertalenter holdt utenfor denne sammenligningen fordi disse prosjektene skåres med en annen skala enn de øvrige. Her ser vi at PI i unge talent prosjekt får en karakter på 4,14, som er nesten en karakter ned fra PI/PG karakteren som er gitt de andre prosjektene i 2014 og at prosjektgruppen for unge forskertalenter i gjennomsnitt ligger rundt karakter B, som er middels godt. Det kan derfor tenkes at denne gruppen søkere var med å trekke ned gjennomsnittet i 2013, og at endringen som ses i 2014 ikke skyldes en forbedring generelt, men at de svakeste er sjaltet ut av karakteren. Ser man på karakteroppnåelsen på overordnet nivå, vitenskapelighet og dristighet og fornyelse fordelt på de tre prosjekttypene er det ikke en tilsvarende forskjell, slik at det ser ut til at unge forskertalenters skåre på PI har en svakere sammenheng med disse karakterene enn hva som var tilfelle for PI/PGkarakteren i Dette kan være grunnen til at selv om Helsefak har løftet denne karakteren for forsker- og postdoktorprosjekt så har det ikke gitt utslag i positiv retning på den overordnede og den vitenskapelige karakteren Figur 5: Overordnet karakter ved Helsefak Figur 6: Gjennomsnittlig overordnet karater ved instituttene i 2013 og Kar 7 Kar 6 Kar 5 Kar 4 Kar 3 Kar 2 Kar 1 IMB IKM ISM IFA IHO IPS RKBU Figur 7: Vitenskapelig karakter ved Helsefak Kar 7 Kar 6 Kar 5 Kar 4 Kar 3 Kar 2 Kar 1 Kar 7 Kar 6 Kar 5 Kar 4 Kar 3 Kar 2 Kar 1 Figur 8: Karakter for PL/PG (ikke unge forskertalent) 11

12 Samtidig indikerer kanskje dette et stort potensiale for Helsefak på to måter. Det ene er at en god prosjektgruppe burde resultere i en god søknad. PI/PG karakteren for forskerprosjekt er i snitt 5,18, mens den vitenskapelige karakteren er 4,71 i Disse prosjektene ligger relativt høyt på samarbeid nasjonalt og internasjonalt og på internasjonalisering, som vi vet har innvirkning på karakteren for både gruppen og den vitenskapelige karakteren. En gjennomsnittskarakter på 5,18 viser til grupper som er relativt gode og som burde klare å bygge sine nettverk videre slik at de får full uttelling på disse tre karakteren. Økt fokus på hvordan man skriver gode søknader har kanskje også et potensiale for å få fram den vitenskapelige kvaliteten enda bedre. Det andre potensialet Helsefak har er å bygge videre på karrierene til de som kan søke i kategorien unge forskertalenter. Disse skårer noe lavere enn forskerprosjektene på samarbeid og internasjonalisering, samtidig som de kvalitative sammenfatningene av de skriftlige tilbakemeldingene viser at de blir trukket i karakter for å være for nært knyttet til tidligere veileder. Å øke deres nettverk og nasjonal og internasjonal erfaring vil derfor potensielt kunne gi en positiv utvikling på både karakteren for PI, PG og vitenskapelig kvalitet. Mye av det som de svakeste prosjektene i alle tre søknadstyper får trekk for er svakheter ved hovedsøkeren og til dels prosjektgruppen. Det være seg kvalitet på tidsskrift som det er publisert i, antall publisering, nasjonalt og internasjonalt nettverk og tidligere erfaring fra området og metodene. Disse prosjektene kan man kanskje derfor klare å luke ut før innsending og jobbe videre med slik at søkeren kommer i posisjon til en bedre karakter. Det er en vurdering hva det koster å la en forsker uten rette kvalifikasjoner jobbe med denne typen søknader og dermed få erfaring med søknadsskriving kontra å bruke tid til å bygge opp forskeren på de nevnte punktene over. Dristighet og fornyelse Karakteren for dristighet og fornyelse var ny i Som i analysen av 2013-tildelingen for de andre karakterene er det gjort en analyse av sammenhengen mellom denne enkeltkarakteren og den overordnede karakteren. Funnet er at kun de beste prosjektene (karakter 6 og 7 på overordnet) får beste karakter (A) på dristighet og fornyelse. Det er også mulig å få karakter B for dristighet og fornyelse og likevel få en god karakter (6) overordnet. Det er derfor noe sammenheng mellom disse to karakterene, men den ser ikke ut til å være helt avgjørende. Tendensen er likevel tydelig på at prosjekter med overordnet karakter 6 ofte vurderes til å være mer dristig og fornyende enn prosjekter med karakter 5 og lavere. Den samme tendensen ser vi på sammenhengen med den vitenskapelige karakteren. Prosjekter med karakter 5, 6 og 7 på vitenskapelighet har fått karakter A for dristighet og fornyelse, mens karakter B gis til alle karakterer for vitenskapelighet. Karakter C gis kun til prosjektere med lav karakter for vitenskapelighet. For å oppnå god karakter i FRIPRO vil det derfor være avgjørende at prosjektet oppfattes som nyskapende. Den skriftlige tilbakemeldingen tyder på at dette vurderes enten i form av innfallsvinkel eller metodenyvinning. Dristige prosjekter får en god overordnet skåre, men ikke uten at de har en back-up plan for avgjørende elementer i prosjektet. 12

13 Gjennomføring Helsefak får både flere gode og flere svake karakterer for gjennomføring i 2014 sammenlignet med Gjennomsnittlig oppnår Helsfak B(+) begge årene, se figur 8. I forhold til den økte administrative involveringen som er rapportert fra instituttene kunne man forvente at det var på denne karakteren vi skulle sett mest effekt med tanke på at instituttrådgiverne i stor grad bidrar med rådgivning i forhold til oppsett av budsjett. Denne effekten ser vi altså ikke. Samtidig gjenspeiler denne karakteren ikke bare budsjett, men også tydeligheten i sammenheng mellom arbeidspakker (WP), valg av metode, arbeidsmengde og arbeidsfordeling. Det er også viktig at budsjettet henger sammen med de øvrige delene av søknaden. For at det skal nytte med Kar A 2014 Kar B 2013 Kar C rådgivere som setter opp budsjett kan det derfor tenkes at disse må Figur 9: Karakter for gjennomføring være med tidlig, og godt satt inn i hele prosjektet for å komme med gode forslag til budsjett. Også her kan det se ut til at oppsett av 10 søknader og hvordan man framstiller søknaden via f.eks. WP er og Gantt chart kan være nyttig å drilles i. 5 Formidling Det er en god tendens på karakteren for formidling, både i snittkarakter og andelen som får beste og dårligste karakter i 2014 og Snittet ligger i 2014 på B(+) mot B i 2013 i en skala fra C til A, der A er best, se figur 10. Tendensene i denne karakteren tyder på en mulig effekt av tiltakene som er satt i gang, men de krever fortsatt innsats. Sammenligner man forskerprosjekt og prosjekt under unge forskertalenter ser man at de i siste gruppen har en bedre gjennomsnittskarakter på formidling enn seniorene (2,71 vs. 2,24) uten at dette er en statistisk signifikant forskjell. En mulig forklaring på denne forskjellen kan være et større fokus den senere tid på formidling som del av opplæringen i ph.d.-studiet. Tenker man en ansvarfordeling innad i en prosjektgruppe kan det derfor tenkes å være nyttig at de yngre forskerne får større ansvar for dette avsnittet i søknaden. Alternativ kan man også satse fra fakultetets side på en tilsvarende opplæring av det øvrige vitenskapelige personalet. Internasjonalisering Det er noe økning i snittkarakteren for internasjonalisering, samtidig med at andelen som får karakter A øker og B og C synker. Det er derfor en entydig tendens til en positiv utvikling. En bedre karakter for internasjonalisering tyder på god forskning, men dette finner vi ikke igjen i karakteren for vitenskap. Den skriftlige tilbakemeldingen på overordnet og vitenskapelig karakter kan tyde på at forskerne ved Helsefak er blitt flinkere til å synliggjøre hva internasjonale samarbeidspartnere skal gjøre. Dette kan henge sammen med internasjonalisering i forhold til kompetanseutveksling og tilgang på siste nytt i forskningsfeltet. I 2014 finner man først at det trekkes for manglende forklaring på hva samarbeidspartnere skal gjøre i Figur 10: Karakter for formidling 10 5 Figur 11: Karakter for internasjonalisering 10 5 Kar A Kar B Kar C Figur 12: Karakter for internasjonalt samarbeid 10 5 Kar A Kar B Kar C Kar A Kar B Kar C Kar A Kar B Kar C Figur 13: Karakter for nasjonalt samarbeid 13

14 overordnet karater 5, i 2013 var dette også en problemstilling for prosjekter med overordnet karater 6. Det er generelt mange flere kommentarer for gode samarbeidspartnere med en tydelig funksjon i evalueringene. Kravet om dristighet og fornyelse kan også ha innvirkning på karakter for internasjonalisering all den tid det er nyskapende og banebrytende forskning som kan tenkes å sette norsk forskning på kartet. At det ikke er tilsvarende utvikling i tilbakemeldingene på metodekritikk kan gjøre at økning på karakter for internasjonalisering likevel ikke gir en bevegelse i den vitenskapelige og overordnede karakteren. Karakteren for internasjonalisering er en av tre karakterer der unge forskertalenter har statistisk signifikant lavere karakter enn forskerprosjekter (de to andre er internasjonalt og nasjonalt samarbeid). Siden den overordnede karakteren for disse to prosjektene ikke er forskjellig ser det ut til at det ikke er samme krav til at prosjektene skal kunne gjøre norsk forskning internasjonalt anerkjent i kategorien unge forskertalenter. Internasjonal og nasjonalt samarbeid Det er så å si ingen endring i noen av disse to karakterene, noe som kan tyde på at det er et langsiktig arbeids som må gjøres i forhold til å bygge nettverk. Det er kanskje ikke så mye man kan gjøre ved å skrive søknaden annerledes dersom ikke grunnlaget endres, selv om det er positivt at det i de skriftlige tilbakemeldingene er færre som får trekk for at det ikke er tydeliggjort hva samarbeidspartnere skal bidra med. Vi vet det er lite mobilitet blant forskerne i Norge og ved Helsefak og dette kan man anta virker inn på denne karakteren. Med bakgrunn i de skriftlige tilbakemeldingene på prosjekter for unge forskertalenter kan det se ut til at tiltak som fremmer selvstendige nettverk og prosjekter som kan definere PI vekk fra tidligere veileder er veien å gå. KONKLUSJON Basert på karakterene i 2013 og 2014 ser det ut til at majoriteten av Helsefaks prosjekter samles rundt overordnet og vitenskapelig karakter 4 og 5. Dette er en alt for svak karakter for å kunne nå opp i den nasjonale konkurransen om FRIPRO-midler. Det er bør derfor nøye vurderes hvor vidt de prosjektene det søkes støtte til faktisk er av tilstrekkelig kvalitet og har nødvendig faglig interesse for å kunne nå opp i FRIPRO konkurransen. Videre anbefales det å satses på å bygge opp rundt forskeres og forskningsgruppers kompetanse og fortrinn, både når det gjelder selve den vitenskapelige kvaliteten og når det gjelder evner til å uttrykke den vitenskapelige kvaliteten i en søknad. Sammenlignet med NTfakultetet skulle man også tro at Helsefak som det største fakultetet ved UiT har et større potensiale til å hente fram gode unge forskertalenter. Helsefak har relativt gode prosjektledere og prosjektgrupper, og kan potensielt øke sine karakterer ved å ta ut hele potensialet i nasjonalt og internasjonalt samarbeid. Det er også en mulighet at det er tekniske ferdigheter i søknadsskriving som skal til for å løfte karakteren for vitenskapelighet, gjerne sammen med kontinuerlig fokus på metodeutvikling gjennom hele karrieren. For de unge forskertalentene er det tydelig at det må satses på å bygge deres selvstendige karrierer og sikre at de frigjør seg fra tidligere veiledere både når det gjelder publisering og nettverk. For de unge forskertalentene ser det ut til at karakteren for PI kan være noe lavere og fremdeles få god karakter på vitenskap og overordnet. Gode kandidater i denne kategorien vil derfor kunne øke Helsefaks andel av høyt skårende prosjekter og potensielt gi flere innvilgede prosjekter. 14

15 En kunne tenkt seg at karakteren for gjennomføring var den karakteren man i størst grad skulle kunne se en oppgang i fra 2013 til 2014 med tanke på den rapporterte økningen i fokus fra instituttrådgiverne. Dette er imidlertid ikke tilfelle. Flere grunner kan trekkes fram, deriblant at det er nødvendig med tidlig og god kunnskap om hele prosjektet for å kunne sette opp et godt budsjett, men også at karakteren for gjennomføring i stor grad også gjelder tydelig oppsett og tydeliggjøring av organisering og arbeidsfordeling. Dette er i stor grad snakk om å formidle seg godt og også for denne karakteren kan det se ut til at søknadsteknisk opplæring vil kunne ha en god effekt sammen med tidlig involvering av forskningsrådgivere som kan sette opp realistiske budsjett. Formidlingskarakteren viser en svak økning, og en tydelig tendens mot at denne karakteren er på vei oppover. Spesielt de unge forskerne ser ut til å få god uttelling på denne karakteren. Opplæringen som ph.d.-studenter har fått den siste tiden ser derfor ut til å gi uttelling, samtidig som tiltakene gjort ved fakultetet i 2013 kanskje har hatt en effekt. Opplæring av de mer seniore forskerne på samme vis som ph.d-studenter får kan tenkes å ha en positiv effekt, det samme kan tenkes dersom yngre forskere i prosjektgruppen får større ansvar for å planlegge og skrive avsnittet om formidling i søknaden. Internasjonalisering er en karakter som ikke gis mye skriftlig tilbakemelding på, men som man finner igjen i de øvrige delkarakteren vitenskap, dristighet, nasjonalt og internasjonalt samarbeid. I karakteren for vitenskap og for dristighet og nyskapning går internasjonalisering ut på å være i forskningsfronten i forhold til å være i tråd med de nyeste teoriene og i forhold til metodeutvikling og design. I forhold til nasjonalt og internasjonalt samarbeid går dette ut på å være den rette prosjektgruppen til å utføre den foreslåtte forskningen i forhold til at gruppen har tilgang på de beste forskerne innen det gitte området og dermed øker sannsynligheten for banebrytende funn. På grunn av lite tilbakemeldinger på karakteren for internasjonalisering er det vanskelig å si noe sikkert om hvorfor Helsefak øker på denne karakteren uten at det får uttelling for den vitenskapelige og den overordnede karakteren. Tilbakemeldingene på den vitenskapelige karakteren kan tyde på at det til tross for gode samarbeidspartnere veier tyngre dersom design og metode ikke er nyskapende eller ikke er godt nok beskrevet. Samtidig er det ikke noe økning i det gjennomsnittlige karakteren hverken for nasjonalt eller internasjonalt samarbeid, som kan tyde på at selv om det oftere i søknadene er spesifisert hva de skal bidra med i prosjektet ikke er fullt utnyttet potensial i å knytte til seg de beste forskerne internasjonalt. Økt fokus på forskningsopphold, deltakelse i internasjonale nettverk som COST og andre lignende tiltak bør vurderes i tillegg til økt fokus på design og metode i forskeropplæring og etterutdanning. Oppsummering Tiltak som bør vurderes ved Helsefak for bedre karakteroppnåelse i FRIPRO: Identifisere de forskningsprosjektene som har størst potensial for å få gjennomslag i FRIPRO. Identifisere flere unge forskertalenter. Bygge de unge forskernes karrierer med tanke på selvstendighet i forskningsfokus, publisering, nettverk og internasjonal erfaring. Kontinuerlig fokus på metodeopplæring (inkludert studiedesign). Opplæring i formidling også for seniorforskere. Fokus på nettverksbygging nasjonalt og internasjonalt. Opplæring i søknadsskriving. Tidlig involvering av instituttrådgiverne for helhetlig budsjettering. 15