INTERN EVALUERING AV STUDIEPROGRAM 2014

INTERN EVALUERING AV STUDIEPROGRAM 2014 System for sikring og utvikling av utdanningskvalitet SAMLERAPPORT TIL DOKTORGRADSUTVALGET (DRU)

2

Innhold Intern evaluering av studieprogram 2014 1. Innledning... 4 2. Nøkkeltall... 4 Søkere... 4 Ansettelser... 4 Avlagte grader... 4 Progresjon... 5 3. Stipendiatenes evaluering av programmet... 6 3.1. Innledning... 6 3.2. Svarprosent... 6 3.3. Spørreskjemaet... 6 3.4. Resultatfremstillingen... 6 3.5. Evaluering av Ph.D.-programmet... 7 A. Bakgrunnsopplysninger... 7 B. Opplæringsdelen... 7 C. Veiledning... 12 D. Arbeidsmiljø... 14 E. Organisering av programmet... 17 F. Avsluttende tilbakemeldinger... 19 3

1. Innledning I henhold til System for sikring og utvikling av utdanningskvalitet ved Norges musikkhøgskole (punkt 2.4) skal det minst hvert 3. år gjennomføres en evaluering av doktorgradsprogrammene med fokus på veiledning, kurssammensetning, relevans og progresjon. Dette er andre gang det gjennomføres en slik helhetlig evaluering av utdanningen, den første ble gjort i 2011. Evalueringen er ment som et supplement til den kontinuerlige dialogen mellom stipendiatene og kursholdere, veiledere og doktorgradsutvalget. Dette er en samlerapport som i tillegg til stipendiatenes evaluering også inneholder nøkkeldata om søkertall, ansettelser, avlagte grader og progresjon. Det er ikke tidligere laget samlerapport for doktorgradsutvalget. Doktorgradsutvalget (DRU) skal vurdere evalueringens resultater slik de framkommer i rapporten og foreslå eventuelle tiltak overfor FoU-utvalget. 2. Nøkkeltall Søkere Det rapporteres ingen tall for søkere til Ph.D-programmet til DBH 1. I Rapport og planer 2013-2014 er det ført opp antall søkere pr stilling til Ph.D-stipendiatstillinger. Ph.D 2012 2013 Antall søkere pr stilling 35 54 Tabell 2-1: søkertall. Tall fra Rapport og planer 2013-2014 Ansettelser Den følgende tabellen viser antall nye doktorgradsavtaler inngått siden 2009. År Totalt Kvinner % andel kvinner 2009 1 1 100 % 2010 4 2 50 % 2011 4 1 25 % 2012 6 4 66 % 2013 6 2 33 % Tabell 2-2. Tall fra DBH og FS (2013) Avlagte grader Den følgende tabellen viser avlagte doktorgrader i tidsrommet 2009-2013, samt kvinneandel blant stipendiatene som disputerte. År Totalt Kvinner % andel kvinner 2009 6 5 83 % 2010 1 1 100 % 1 Database for statistikk om høgre utdanning 4

2011 2 1 50 % 2012 3 2 66 % 2013 6 4 66 % Tabell 2-3. Tall fra DBH Progresjon Doktorgradsprogrammet ved NMH kan enten tas over tre år på fulltid eller over fire år der 25 % institusjonsrelatert arbeid pr år inngår. Tabellen under viser antall tatt opp og antall fullført fra 2001 og fram til 2013. Årskull Antall startet Antall fullført Antall sluttet Aktiv nov 2013 2001 0 0 0 0 2002 6 5 1 0 2003 2 2 0 0 2004 5 5 0 0 2005 1 0 1 0 2006 4 4 0 0 2007 2 2 0 0 2008 10 3 0 7 2009 3 2 0 1 2010 4 2 0 2 Totalt 37 25 (68 %) 2 (5 %) 10 (27 %) Tabell 2-4. Tall fra rapport om studiegjennomføring 2013 5

3. Stipendiatenes evaluering av programmet 3.1. Innledning I henhold til kvalitetssikringssystemet skal ikke resultater som kan identifisere enkeltpersoner offentliggjøres. Fritekstkommentarene som kommer fram i undersøkelsen er derfor gjennomgått og i noen tilfeller redigert for å skjerme enkeltpersoner. 3.2. Svarprosent Det elektroniske spørreskjemaet var tilgjengelig fra 1. 20. mars via det webbaserte systemet SurveyXact. Alle aktive stipendiater med startår 2009 eller senere fikk invitasjon om å delta. I tillegg ble en stipendiat med startår før 2009 og avslutningssemester vår 2014 invitert. Av de 20 stipendiatene som mottok invitasjonen har 19 respondert. Dette gir en svarprosent på 95 % Nedenfor er en fremstilling av svarprosenten for de ulike årskullene: Årskull Antall inviterte Antall respondenter Svarprosent 2009 eller tidligere 1 1 100 % 2010 3 3 100 % 2011 4 4 100 % 2012 6 5 83 % 2013 6 6 100 % Tabell 3.2-1: Svarprosent 3.3. Spørreskjemaet Spørreskjemaet ble utviklet i et samarbeid mellom doktorgradsutvalget og studieadministrasjonen. Følgende punkter ble evaluert: A. Bakgrunnsopplysninger B. Opplæringsdelen C. Veiledning D. Arbeidsmiljø E. Organisering av programmet F. Avsluttende tilbakemeldinger 3.4. Resultatfremstillingen I rapporten presenteres resultatene fra undersøkelsen. Spørsmålene fra undersøkelsen er gjengitt i fet skrift. Det anses ikke som hensiktsmessig i denne rapporten å sammenlikne årets resultater med resultatet fra evalueringen som ble gjort i 2011 da vurderingsskalaen er endret. Det er gjort frekvensrapporter og gjennomsnittsrapporter av resultatene i denne undersøkelsen. Frekvensrapportene måles i % mens gjennomsnittsrapportene gir et tall på en skala fra 1-5, der 1 er dårligst og 5 er best. Gjennomsnittsrapportene er laget ved spørsmål der informantene skal krysse av på en 5-punktsskala. Flere steder i evalueringsskjemaet var det åpent for å skrive utdypende fritekstkommentarer. Noen steder er fritekstkommentarene gjengitt som sitater, mens det enkelte steder kun er gitt en oppsummering av kommentarene. Der flere respondenter gir uttrykk for det samme er det satt x og et tall etter kommentaren som angir hvor mange ganger kommentaren forekommer. Fritekstkommentarene er satt inn i den sammenhengen hvor de ble skrevet inn i. Der hvor 6

personene skriver på en annen målform/ språk enn bokmål er fritekstkommentarene skrevet om til bokmål. Alle fritekstkommentarene står i kursiv. Fritekstkommentarene er for øvrig presentert som et vedlegg til rapporten for rektoratet, administrativ ledelse og DRU. Det er viktig å huske på at en fritekstkommentar kun tilsvarer en enkeltpersons mening. 3.5. Evaluering av Ph.D.-programmet A. Bakgrunnsopplysninger Stipendiatene ble bedt om å oppgi hvilket år de startet PHD-studiet ved NMH. Resultatene er referert i tabell 3.2-1. B. Opplæringsdelen Informantene ble bedt om å vurdere en rekke interne kurs på en skala fra 1-5, der 1 er lite godt og 5 er svært godt. Alle kursene ble evaluert etter kriteriene faglig innhold, undervisning og relevans for ditt prosjekt. Det var også mulig å krysse av på har ikke deltatt. Legg merke til at i tabellene som viser gjennomsnitt er, av naturlige årsaker, de som har svart har ikke deltatt ikke tatt med. 7

Kursevaluering Intern evaluering av studieprogram 2014 På en skala fra 1-5, der 1 er lite godt og 5 er svært godt, ber vi deg vurdere kursene du har deltatt på i løpet av det siste året. Tabell 3.5-1: Frekvens 8

Tabell 3.5-2: Gjennomsnitt Eventuelle kommentarer til interne kurs på NMH Flere stipendiater roser de interne kursene og kursholderne. Kommentarer i forhold til forbedringspotensial er i flere tilfeller rettet mot metode og vitenskapsteori: Savner vitenskapsteori og metode som problematiserer og setter perspektiv på oppføringspraksis som felt. ( ) det må bli mer rom for å velge innenfor metodekurset, evt. samarbeide med andre institusjoner ( )å få innføring i de metodene man tenker å bruke. Har du deltatt på eksterne kurs som del av opplæringsdelen? Tabell 3.5-3: Frekvens 9

Hvilke (eksterne) kurs har du deltatt på? Intern evaluering av studieprogram 2014 Kurs i fenomenologi ved HF Kvantitativ metode (NTNU) 5 stp 1. Kurs i Filosofisk Hermeneutikk ved UiO (i samarbeid med IMV/NMH). 2. Kurs i Fenomenologi ved UiO (i samarbeid med IMV/NMH). Profesjonsteori ved HiOA Kurs i kvantitativ metode i Bergen ved Christian Gold Orpheus Institute, Reseach Festival 2013 Orpheus Institute, Seminar 2014 Jeg skal delta på eksterne kurs i anvendt idrettspsykologi og psykologi Profesjonsteori ved SPS (Høgskolen i Oslo) Art of Edition, Paris 2013 Hva er din bakgrunn for å velge eksterne kurs? De fleste svarer her at de eksterne kursene som ble gjennomført ble valgt på bakgrunn av relevans for prosjektet eller at det aktuelle kurset ikke tilbys ved NMH. Hvorfor har du valgt å ikke delta på eksterne kurs? Her svarer samtlige at tilbudet de fikk ved NMH var tilstrekkelig eller at det ikke har vært aktuelt enda. Er det kurs du savner og mener burde arrangeres ved NMH? Tabell 3.5-4: Frekvens Hvilke kurs burde arrangeres ved NMH? Skrivekurs Mixed method-kurs x2 Statistikk x2 Randomized controlled trials Research design Akademisk engelsk - hvert år x2 Kurs som ligger i grenselandet mellom utøvende forskingsarbeid og akademisk forskingsarbeid Endnote Overordnede strategiske prosesser Forskningsformidling Artikkelskriving Intervju som kvalitativ forskningsmetode Teoretiske, metodiske og praktiske perspektiv på oppføringspraksis Bredere/ annen dekning av metode x4 10

Forskerforum På en skala fra 1-5, der 1 er i liten grad og 5 er i stor grad, ber vi deg vurdere følgende: I hvilken grad: Tabell 3.5-5: Frekvens Tabell 3.5-6: Gjennomsnitt Hva har du opplevd som mest nyttig ved å delta på forumet? Flest ganger nevnes det å få øve seg på å presentere eget prosjekt (x6), å få tilbakemeldinger (x5), å få øve seg på å være opponent (x4) samt gode diskusjoner (x4). Andre ting som nevnes er: Øve på å gi konstruktiv kritikk x3 Sosialisering til forskerrollen x3 Øve seg på å få konstruktiv kritikk x2 Det sosiale aspektet x2 Trening i akademisk sjanger og form x2 Å være arrangør Å strukturere eget prosjekt Få innsikt i et bredt felt av forskningsaktiviteter Har du forslag til forbedringer/ videreutvikling av forumet? Flere stipendiater nevner her at de ønsker bedre/ mer deltakelse fra erfarne forskere, gamle stipendiater samt veiledere og seniorforskere. Utover dette er det enkeltmeninger, se vedlegg fritekstkommentarer for utdypende kommentarer. 11

C. Veiledning Intern evaluering av studieprogram 2014 På en skala fra 1-5, der 1 er lite tilfreds og 5 er svært tilfreds, ber vi deg vurdere følgende sider ved din hovedveileder Tabell 3.5-7: Frekvens Tabell 3.5-8: Gjennomsnitt Progresjon På en skala fra 1-5, der 1 er i liten grad og 5 er i stor grad, ber vi deg vurdere følgende. I hvilken grad: Tabell 3.5-9: Frekvens 12

Tabell 3.5-10: Gjennomsnitt Eventuelle kommentarer til progresjon To respondenter bemerker her at det er en stor utfordring for stipendiater på oppføringspraksis å gjennomføre på tre år. For mange stipendiater på oppføringspraksis, som kommer fra frilansvirksomhet, viser realiteten at det ikke er mulig å avbryte alle kontakter under stipendiatperioden hvilket leder til at nesten ingen på oppføringspraksis klarer å fullføre prosjektet innen den sluttdatoen som er satt. På en skala fra 1-5, der 1 er i liten grad og 5 er i stor grad, ber vi deg vurdere følgende Tabell 3.5-11: Frekvens Tabell 3.5-12: Gjennomsnitt Er det noe i forhold til sensur på essays du savner eller kunne tenke deg at forbedres? Flere stipendiater nevner her at prosessen rundt essayskriving og sensur er uklar. Tilbakemeldingene er for mange svært lite konkret, og retningslinjene for vurdering samt kravene for godkjenning er uklare. Tre respondenter nevner derimot at de har mottatt svært god tilbakemelding på essay, noe som kan tyde på at oppfølgingen er ulik og at det kreves en klargjøring på dette området. Det kan også virke som spørsmålene i matrisen over var noe uklart formulert. 13

D. Arbeidsmiljø På en skala fra 1-5, der 1 er svært lite tilfreds og 5 er svært tilfreds, ber vi deg vurdere følgende sider ved det fysiske arbeidsmiljøet Tabell 3.5-13: Frekvens Tabell 3.5-14: Gjennomsnitt Eventuelle kommentarer til det fysiske arbeidsmiljøet De fleste av kommentarene her bekrefter tabellene over. Av kommentarer som ikke kommer frem av tabellene kan det nevnes: Savner tilgang til digitale analyseverktøy (programvare), både for kvalitativ og kvantitativ metode. Kontorsituasjonen er usikker, og vi vet ikke hvordan det blir fra høsten av. 14

Hvordan vil du beskrive det psykososiale miljøet for stipendiater ved NMH? Tabell 3.5-15: Frekvens På en skala fra 1-5, der 1 er i liten grad og 5 er i stor grad, ber vi deg vurdere følgende Tabell 3.5-16: Frekvens Tabell 3.5-17: Gjennomsnitt Eventuelle forslag til hvordan stipendiatene kan bli mer integrert i fagmiljøet og i NMH som institusjon: Hele sju kommentarer går på at stipendiatene må involveres i undervisningsvirksomheten ved NMH ved at fagmiljøene oppfordrer eller inviterer stipendiatene inn for å delta i undervisningen som foregår. Jeg skulle også gjerne ønske at vi i større grad fikk tilbud om faglige oppgaver som undervisning og veiledning. For meg hadde det beste vært om vi fremdeles hadde en stipendiattid på 4 år der 25 % 15

hvert år ble brukt til undervisning og veiledning. Da ville vi også naturlig blitt integrert i fagmiljøet. Det kommenteres også at man bør: Fortsette med å invitere stipendiater med på fagseksjonsmøter og la stipendiatene ved noen anledninger presentere prosjektet sitt. Eventuelle kommentarer / forslag til forbedringer/ videreutvikling av det faglige og sosiale miljøet blant stipendiatene: Tre respondenter nevner at det er mye opp til stipendiatene selv å skape/ opprettholde det sosiale miljøet gjennom felles lunsjer eller andre sosiale settinger. Det nevnes også at det er viktig at NMH fortsetter å stille krav til tilstedeværelse på NMH når det ansettes nye stipendiater. Viktigheten av et større og mer tverrfaglig miljø nevnes også: Jeg mener det er viktig med kontakt på tvers av fagområder og felt og at man skaper en kontakt mellom for eksempel det pedagogiske miljøet og det utøvende miljøet som begge har mye å lære av hverandre. Få KUST-studentene inn på NMH slik at miljøet blir større og mer faglig interessant. På en skala fra 1-5, der 1 er i liten grad og 5 er i stor grad, ber vi deg vurdere viktigheten av følgende grupper som diskusjons-/ sparringspartnere for deg i ditt arbeid Tabell 3.5-18: Frekvens 16

Tabell 3.5-19: Gjennomsnitt E. Organisering av programmet På en skala fra 1-5, der 1 er svært lite tilfreds og 5 er svært tilfreds, ber vi deg vurdere hvor tilfreds du er med Tabell 3.5-20: Frekvens Tabell 3.5-21: Gjennomsnitt 17

Eventuelle kommentarer til informasjon og kommunikasjon fra DRU-ledelsen, både i forbindelse med generelle administrative spørsmål, og faglige spørsmål tilknyttet forskerutdanning og forskerforum: Her er fritekstkommentarene utelukkende positive. På en skala fra 1-5, der 1 er i svært liten grad og 5 er i svært stor grad, ber vi deg vurdere følgende: I hvilken grad opplever du at arbeidsfordelingen mellom fagseksjonleder, DRU-leder og administrasjon fungerer tilfredsstillende? Tabell 3.5.22: Frekvens Tabell 3.5-23: Gjennomsnitt 18

F. Avsluttende tilbakemeldinger Intern evaluering av studieprogram 2014 På en skala fra 1-5, der 1 er i svært liten grad og 5 er i svært stor grad, ber vi deg vurdere følgende: I hvilken grad vurderer du at samarbeidet med IMV er relevant? (for eksempel avhandlingsseminaret) Tabell 3.5-24: Frekvens Tabell 3.5-25: Gjennomsnitt Eventuelle kommentarer til samarbeidet med IMV samt eventuelle forslag til samarbeidstiltak: Stipendiatene som har skrevet fritekstkommentarer er for det meste enig i at samarbeidet potensielt kan være relevant, men at det på det nåværende tidspunktet verken er godt nok organisert eller likeverdig i forhold til deltakelse. Noen nevner også at det kunne være mer relevant å samarbeide med andre institusjoner, uten å nevne noen spesielt. Samarbeidet vurderes absolutt som relevant. Det oppleves imidlertid som lite avklart og preget av noen spenninger institusjonene imellom. Samarbeid om forskerforum burde kunne fungere bra, men forutsetter deltakelse fra begge institusjonenes stipendiater om det skal være et samarbeid. Undervisning burde vel også kunne samkjøres i noen kurs. Kanskje man kan begynne med å få det på plass og så vurdere andre tiltak etter det. Har du øvrige forslag til forbedringer av stipendiatprogrammet kan du skrive det her: Alle kommentarer gjengitt i sin helhet. Å utvikle en større internasjonal kontaktflate mellom forskermiljøene og arrangere flere internasjonale seminar og konferanser for å utveksle erfaring og forskningsresultater Det har skjedd masse bra siden jeg begynte, det er flott! Jeg mener for øvrig at man kanskje skal reflektere litt over veiledning. Den tradisjonelle modellen med en hovedveileder - er det aktuelt å utfordre den? Det slår meg at samarbeid er en mer og mer vanlig form når det gjelder forskning - kan det være noe å hente i å tenke annerledes organisering 19

av veiledning? Jeg har ikke noe fasitsvar, men jeg tillater meg likevel å stille spørsmålet. Ellers vil jeg si at jeg har hatt en kjempefin tid som stipendiat på NMH! Jeg anbefaler å skape en deltidsordning som tilbyr fleksible løsninger for alle stipendiater (fremdeles på oppføringspraksis) å velge fritt mellom 50% deltid og heltid, uten administrative hekk. Per dags dato har mange oppføringspraksis-stipendiater full stipendiat-lønn pluss noen frilansinntekter i 3 år og deretter kun noen frilansinntekter, selv om arbeidet med phd-prosjektet fortsetter i flere måneder eller år. En deltidsordning kan skape en jevnere og tryggere inntektsfordeling over en periode på opp til 6 år. Viktig at NMH fortsetter å ha egne stipendiater i oppføringspraksis. Viktig med tanke på framtidige symposium/senter for det ene og det andre, at utøving og forsking på utøving blir tatt på alvor. Dumt dersom utøverne ikke blir med i forskingsmiljøet på annen måte enn som "kunstnere" som ikke vil si så mye om det de driver med, eller som "tidligere kunstnere" som nå bare er forskere og derfor ikke er "utøvere av kunsten " lenger. For NMH må en tro at det er dette feltet mellom utøvingen av kunsten og refleksjonen rundt det som er viktig. Og her er det en møteplass for både KUST'ere og Ph.d-ere. Det er å håpe at man ikke går inn i samme todeling, med høye gjerder og stor innforståtthet, som for eks. pedagogikk/utøving har fått. Jeg kommer her tilbake til en tidligere kommentar: Det viktigste er at den selvstendigheten og fokusbeskyttelsen et doktorgradsprosjekt skal oppebæres og målbæres av, ivaretas. Det er, etter min mening, sluttresultatet som teller, og det er det endegyldige prosjektet man skal måles på. For sterkt skolepreg, obligatoriske faktorer og faglige digresjoner (om enn aldri så interessante) er ikke forenlig med dette. Jeg er svært for en dr.philos.-dreining (men med veiledning!) ved NMH. NMHs doktorgradsprogram bør være stolt av å tilhøre en kontinental tradisjon og ikke vakle i retning av US-PhD'ens rigide kursknippe-modell på bekostning av en selvstendig og innovativt Prosjektmodell. NMH bør heller ikke forsøke å lage en hybrid; dvs PhD-forløp med en obligatoriske skole'hinderløype', mens kravene til Prosjektet likevel forblir skyhøye. Totalt sett svært fornøyd! Det eneste som umiddelbart treffer meg er at det bør gis mer konkret informasjon knyttet til datoer, litteratur og gjennomgang av kurs og PhD - løpet. Informasjon vedr. dette bør være tilgjengelig i god tid før oppstart slik at stipendiatene kan forberede seg faglig og organisatorisk. Det bør ligge tydelig informasjon/retningslinjer vedrørende undervisning, kurs, litteratur/pensum, essay o.l. tilgjengelig, f.eks. på It's learning, slik det også er begynt å komme. Bra! Datoer og litteratur for undervisning i kursene som går på høsten bør i stor grad være klart ved oppstart, ikke komme fortløpende utover høsten. Veileder bør også være på plass ved oppstart. Jeg kunne tenke meg at standard programvare for transkripsjon/analyse var tilgjengelig ressurs, ikke noe man må kjøpe selv for prosjektmidlene. 20