Evalueringavsystem for kvalitetssikringavutdanningenved DetteologiskeMenighetsfakultet Juni2010
Forord I følge Lov om universiteter og høyskoler skal alle institusjoner som tilbyr høyere utdanning ha et system for kvalitetssikring av utdanningen. NOKUT har fått i oppdrag å evaluere institusjonenes system for kvalitetssikring. Det skal ikke gå mer enn seks år mellom hver gang en institusjons kvalitetssystem blir evaluert. Det teologiske Menighetsfakultet er blant de første institusjonene som har fått sitt system evaluert i andre evalueringssyklus. Den sakkyndige komiteen som har evaluert system for kvalitetssikring av utdanningen ved Det teologiske Menighetsfakultet besøkte institusjonen 25. august og 6.- 8. oktober 2009, og leverte sin rapport 25. mars 2010. Komiteen hadde følgende sammensetning: Professor Kari Fasting, Norges Idrettshøgskole (leder) Professor Per Laursen, Danmarks Pædagogiske Universitet Førsteamanuensis Gunnar Stave, Høgskulen i Volda Student Ingvild Fasting, Norges Handelshøyskole Rådgiver Ole Espen Rakkestad, NOKUT, var komiteens sekretær. NOKUT ønsker å takke den sakkyndige komiteen for vel utført arbeid. NOKUT vil også takke alle ansatte og studenter ved Det teologiske Menighetsfakultet som har bidratt til komiteens arbeid gjennom intervjuer mv. Dette dokumentet inneholder rapporten fra den sakkyndige komiteen og uttalelsen til rapporten fra Det teologiske Menighetsfakultet, som var grunnlaget for behandlingen i NOKUTs styre 16. juni 2010. Følgende vedtak ble fattet: Systemet for kvalitetssikring av utdanningen ved Det teologiske Menighetsfakultet godkjennes. Oslo, juni 2010 Terje Mørland direktør
Evaluering av system for kvalitetssikring av utdanningen ved Det Teologiske Menighetsfakultet Rapport fra sakkyndig komité Avgitt 25.03.2010 Kari Fasting, leder Per Fibæk Laursen Gunnar Stave Ingvild Fasting
Innhold 1. Innledning... 3 1.1. Evaluering av universiteter og høyskolers system for kvalitetssikring av utdanningen.3 1.2 Evaluering av system for kvalitetssikring av utdanningen ved Det Teologiske Menighetsfakultet... 4 2. Kvalitetssikringssystemet ved Det Teologiske Menighetsfakultet... 4 3. Fokus for evalueringen... 5 3.1 Innsatskvalitet... 6 3.1.1 Presentasjon... 6 3.1.2. Komiteens drøftinger og vurderinger... 6 3.2 Relevanskvalitet... 8 3.2.1 Presentasjon... 8 3.2.2 Komiteens drøftinger og vurderinger... 8 3.3 Kvalitetssikring av forskerutdanningen... 10 3.3.1 Presentasjon... 10 3.3.2 Komiteens drøftinger og vurderinger... 10 3.4 Kvalitetssikring av etablering av nye studier... 12 3.4.1 Presentasjon... 12 3.4.2 Komiteens drøftinger og vurderinger... 12 4. Kvalitetssikringssystemet vurdert i forhold til lov, forskrift og NOKUTs kriterier... 13 5. Konklusjon Har Det Teologiske Menighetsfakultet et tilfredsstillende system for kvalitetssikring?... 13 6. Komiteens anbefalinger for videreutvikling av institusjonens kvalitetsarbeid... 15 7. Vedlegg... 16 7.1 Kriteriegrunnlag for evaluering av universiteters og høyskolers kvalitetssikringssystem for utdanningsvirksomheten... 16 7.2 Dokumentasjon... 20 7.2.1 Dokumentasjon mottatt før og under innledende møte... 20 7.2.2 Dokumentasjon lagt fram foran hovedbesøket... 20 7.3 Program... 20 2
1. Innledning 1.1. Evaluering av universiteter og høyskolers system for kvalitetssikring av utdanningen I forskrift til 1-6 i Lov om universiteter og høyskoler heter det at Universiteter og høyskoler skal ha et system for sitt kvalitetssikringsarbeid som sikrer kontinuerlige forbedringer, gir tilfredsstillende dokumentasjon av arbeidet og avdekker sviktende kvalitet ( 2-1, (1)). Kvalitetssikringssystemet er utdanningsinstitusjonenes redskap for å skaffe seg nødvendig kunnskap for å kunne vurdere kvaliteten i egne utdanningstilbud. Det er institusjonene selv som ut fra egen størrelse, faglige profil og andre forhold ved institusjonen, bestemmer hvordan systemet skal utformes. I henhold til Lov om universiteter og høyskoler er det NOKUTs oppgave å evaluere institusjonenes systemer for kvalitetssikring av utdanningsvirksomheten etter kriterier som organet fastsetter. NOKUT har gjennomført slike evalueringer siden 2003, og innledet våren 2009 sin andre syklus av evalueringer. Evalueringskriteriene er noe endret i forhold til første syklus. NOKUT bruker sakkyndige komiteer i sine evalueringer. Komiteene skal vurdere hvorvidt institusjonene tilfredsstiller kravene til kvalitetssikring av egne studietilbud. En evaluering av et kvalitetssikringssystem er således ikke en faglig vurdering av innhold og kvalitet i de enkelte studier, men en evaluering av institusjonens systematiske arbeid for å sikre og forbedre slik kvalitet. Den sakkyndige komiteen baserer sine vurderinger på dokumentstudier og på intervjuer med relevante aktører ved institusjonen. Det gjennomføres to institusjonsbesøk. Under det innledende besøket diskuterer institusjonsledelsen og evalueringskomiteen status i kvalitetsarbeidet og opplegg for hovedbesøket, basert på dokumentasjon som er oversendt komiteen på forhånd. Hovedbesøket vil være konsentrert om videre studier av dokumentasjon i tillegg til intervjuer. Komiteen kan her velge å gå mer detaljert inn i utvalgte deler av institusjonens kvalitetssikringssystem og kvalitetsarbeid. 3
1.2 Evaluering av system for kvalitetssikring av utdanningen ved Det Teologiske Menighetsfakultet Den sakkyndige komiteen som har evaluert systemet for kvalitetssikring av utdanningen ved Det Teologiske Menighetsfakultet har bestått av: professor Kari Fasting (leder), Norges Idrettshøgskole; professor Per Fibæk Laursen, Danmarks Pædagogiske Universitetsskole; førsteamanuensis Gunnar Stave, Høgskulen i Volda; og student Ingvild Fasting, Norges Handelshøyskole. Rådgiver Ole Espen Rakkestad, NOKUT, har vært komiteens sekretær. Komiteen besøkte høyskolen 25.8.2009 og 6.- 8.10.2009. Oversikt over tilsendt dokumentasjon og program for besøkene er vedlagt i kapittel 7. Komiteen oversendte høyskolen et utkast til rapport for å kvalitetssikre den i forhold til faktiske feil og misforståelser. Kapittel 2 inneholder en kort gjennomgang av kvalitetssikringssystemet ved Det Teologiske Menighetsfakultet. I kapittel 3 presenteres de elementer i kvalitetssikringssystemet som komiteen har valgt å se nærmere på, og komiteens vurderinger av disse. Kapittel 4 gir en vurdering av systemet i forhold til lov, forskrift og NOKUTs kriteriesett. Konklusjonen er å finne i kapittel 5, mens kapittel 6 gir en samlet framstilling av komiteens anbefalinger for videre utvikling av systemet. Vedleggene er samlet i kapittel 7. 2. Kvalitetssikringssystemet ved Det Teologiske Menighetsfakultet Det Teologiske Menighetsfakultet (MF) er en privat vitenskapelig høyskole som ligger i Oslo. Høyskolen forbindes tradisjonelt med sin presteutdanning (profesjonsstudiet i teologi), men tilbyr også ett lektor-/adjunktprogram, tre årsstudier, fire bachelorprogrammer, åtte masterprogrammer, ph.d.-grad på to fagområder, og ca. 10 videreutdanninger. Institusjonen har om lag 65 vitenskapelig ansatte og 900 studenter. Systemet for kvalitetssikring av utdanningen ved MF ble første gang godkjent av NOKUT 6. november 2003. En oversikt over institusjonens system for kvalitetssikring er gitt i dokumentet System for utdanningskvalitet ved Det Teologiske Menighetsfakultet. Her redegjøres det for hovedområdene for kvalitetsarbeidet, institusjonens definisjon av studiekvalitet, ansvarlige interne organer i forvaltningen av systemet, målene for arbeidet med studiekvalitet og gjennomføringen av kvalitetsarbeidet. Institusjonen identifiserer fire dimensjoner for studiekvalitet, med tilhørende fokusområder: Kvalitetsdimensjon 1: Inntakskvalitet Kvalitetsarbeid innenfor dette området omfatter tre fokusområder: Faglig nivå ved inntak Markedsføring og rekruttering Opptaksprosessen Kvalitetsdimensjon 2: Innsatskvalitet Evaluering av alle emner (dialogisk evaluering) Evaluering av studie- og læringsmiljø 4
Begrenset evaluering av program Evaluering av utvalgte emner (sentralt initiert evaluering) Omfattende evaluering av program Kvalitetsdimensjon 3: Resultatkvalitet Karakterer Vurderinger/ eksamen/ sensur Poeng- og kandidatproduksjon Kvalitetsdimensjon 4: Relevanskvalitet Tilbakemelding fra arbeidsmarkedet Undersøkelse av tidligere studenter Evaluering av studenter Til hver av kvalitetsdimensjonene er det i egne dokumenter tilordnet rutiner og arbeidsbeskrivelser med ansvarsfordeling, og et eget dokument beskriver rapporteringsstrukturen i systemet. Med til systemet hører også en årskalender for kvalitetsarbeidet, i tillegg til et årshjul for behandling av evalueringsrapporter. Institusjonens system for kvalitetssikring av utdanningen er ikke tilgjengelig på internett, men en del av materialet ligger på institusjonens intranett. Dagens system for kvalitetssikring av utdanningen ved MF er betydelig endret i forhold til det systemet som ble godkjent av NOKUT i 2003. Erfaringer fra perioden 2004-2005 talte for en forenkling av systemet, og en revideringsprosess ble påbegynt i 2008. Et revidert system ble vedtatt av styret i januar 2009, men justeringer har blitt foretatt også etter dette. 3. Fokus for evalueringen I det innledende møtet med høyskolens ledelse ble ulike perspektiver drøftet med utgangspunkt i institusjonens oversendte skriv om aktuelle utfordringer i kvalitetsarbeidet. Komiteen kom fram til at den i evalueringen ønsket å belyse flere temaer nærmere: 1) Fokusområdene under kvalitetsdimensjonen innsatskvalitet 2) Fokusområdene under kvalitetsdimensjonen relevanskvalitet 3) Institusjonens rutiner for etablering av nye programmer 4) Kvalitetssikringen av forskerutdanningen Temaene 3) og 4) var i institusjonens skriv framholdt som særlig aktuelle å drøfte med komiteen. Før hovedbesøket ba den sakkyndige komiteen om å få tilsendt mer detaljert dokumentasjon relatert til temaene over. Under hovedbesøket intervjuet komiteen institusjonens ledelse, tillitsvalgte studenter, ikke-tillitsvalgte studenter, stipendiater, forskningsutvalg, faglig tilsatte, faglig tilsatte med veiledningsansvar for ph.d.-studenter, læringsmiljøutvalg, studieutvalg, representanter for avdelingsrådene og administrativt tilsatte med ansvar for studie- og 5
forskningsadministrasjon. Dette ga et godt grunnlag for å vurdere kjennskapen til og anvendelsen av systemet på ulike nivåer i institusjonen. 3.1 Innsatskvalitet 3.1.1 Presentasjon I KS-systemets hoveddokument gjør MF følgende avgrensning av kvalitetsdimensjonen innsatskvalitet : Med innsatskvalitet menes kvaliteten ved alle emner og studieprogram, inklusiv PhD-programmene. Den omfatter alle formelle og uformelle læringstiltak knyttet til studiene, undervisningens rammefaktorer og personaldisponering. I tillegg kommer alle administrative rutiner knyttet til utvikling av emner og program, og gjennomføring av undervisning og veiledning. Fokusområdene under denne kvalitetsdimensjonen er listet under kapittel 2 (over). Fokusområdet Omfattende evaluering av program er nytt fra 2009, og er planlagt gjennomført for første gang i vårsemesteret 2010. Det foreligger dermed ikke dokumentasjon fra slik evaluering på det nåværende tidspunkt. 3.1.2. Komiteens drøftinger og vurderinger Komiteen har merket seg at Menighetsfakultetet har gjort vesentlige endringer i sin evalueringspraksis i forhold til de rutiner som systemet som ble godkjent i 2003 la opp til. Rutinene i dette systemet innebar at alle emner skulle evalueres etter et relativt omfattende skjema hver gang de ble gitt. Institusjonen erfarte i perioden 2003 2005 at dette ikke var hensiktsmessig. Å behandle evalueringene krevde uforholdsmessig store administrative ressurser og belastningen på studentene ble for stor - med fallende svarprosent som resultat. Også i det reviderte systemet skal det foretas evaluering av alle emner, men emneansvarlig står friere enn tidligere i forhold til hvordan dette skal organiseres og kan velge å begrense evalueringen til en dialog mellom lærer og auditorium midtveis eller mot slutten av undervisningsperioden. Fra disse evalueringene skal det kun rapporteres at en evaluering av undervisningen har blitt foretatt. Deltakelse i alle former for studentevalueringer er lagt inn som studiekrav for studentene. Hvert semester plukker avdelingsrådene ut et antall (gjerne fire til seks) emner for en mer omfattende skriftlig evaluering (fokusområde Evaluering av utvalgte emner ). Evalueringene gjøres elektronisk ved hjelp av Fronter, og deltakerne er anonymisert. Studentene kan gjennom Studentrådet og sine representanter i avdelingsrådene være med på bestemme hvilke emner som skal evalueres på denne måten. Emner der det har forekommet problemer og/eller som nylig har gjennomgått større endringer vil ofte bli plukket ut. Det er fastslått som et prinsipp i systemet at emnene skal velges ut slik at hver student ikke skal måtte delta i mer enn én evaluering hvert semester. På årlig basis gjennomføres det evalueringer av det totale studie- og læringsmiljøet og såkalt begrenset evaluering av program. Førstnevnte har hittil blitt foretatt gjennom den nasjonale Nautilusundersøkelsen, men skal heretter gjennomføres av institusjonens plan- og 6
kvalitetssjef med et evalueringsskjema utformet av studiesjefen. Evalueringen omfatter både emnespesifikke temaer og temaer knyttet til rammefaktorer for studiemiljøet som helhet. Sistnevnte temaer skal behandles av institusjonens læringsmiljøutvalg. Ved Begrenset evaluering av program evalueres samme program over flere år av studenter på samme nivå i studiet. Dette for å kunne fange opp endringer over tid. Studieutvalget bestemmer hvilke programmer som skal evalueres. Som nevnt over er Omfattende evaluering av program ikke gjennomført i praksis ennå, men planene er dokumentert i det materialet komiteen har fått seg forelagt. I henhold til disse skal et bredt sammensatt panel bestående av bl.a. tidligere studenter, eksterne fagfeller og representanter for arbeidstakerorganisasjoner innen området programmet kvalifiserer for, stå for evalueringen. Etter komiteens vurdering har Menighetsfakultetet et godt system for studentevalueringer, og med de tilpasninger som er gjort i det reviderte systemet for kvalitetssikring synes det samlede omfanget å være hensiktsmessig. Omfattende evaluering av program framstår som en god idé, men vil kreve betydelige ressurser. I lys av de intervjuer komiteen foretok ved institusjonen synes det likevel å gjenstå enkelte utfordringer. Komiteen vil minne om at det kan være uheldig å la den fortløpende (dialogbaserte) evalueringen av hvert enkelt emne foregå kun muntlig over lengre tid. Faglærernes autoritet i undervisningssituasjonen kan bidra til at studentene finner det er vanskelig å ta opp forhold som går på den enkelte lærer. Det vil derfor antakelig være fornuftig å gjennomføre disse evalueringene skriftlig fra tid til annen, slik at man kan få et mer helhetlig bilde av kvaliteten på hvert enkelt emne. Det er komiteens inntrykk at institusjonen er oppmerksom på dette forholdet. Komiteen vil også påpeke at det vil kunne ligge en betydelig administrativ besparelse i å finne fram til en ensartet måte å behandle svarene fra de sentralt initierte evalueringene av utvalgte emner på. Slik komiteen forstår det har man ved institusjonen i liten grad felles metoder for dette i dag. Enkelte av dem komiteen intervjuet framholdt at prosessen fra gjennomført evaluering fram til behandling av forslag til endringer i dag, i enkelte tilfeller, kan trekke i langdrag. Det er ellers komiteens inntrykk at studentenes arbeidsinnsats normalt ikke er et tema i studentevalueringene ved MF. Komiteen vil i så fall anbefale at dette løftes tydeligere fram i fremtidige evalueringer. Studentene er medansvarlige for undervisningskvaliteten, og opplysninger om deres arbeidsinnsats i det enkelte emne danner dessuten et viktig bakteppe for å kunne tolke de tilbakemeldingene som kommer på en riktig måte. Forøvrig anser komiteen at de forhold som relaterer seg til innsatskvalitet er tydelig beskrevet i KS-systemets hoveddokumenter, og er vel kjente blant tillitsvalgte studenter og ansatte. Blant studenter som ikke var tillitsvalgte var kjennskapen svakere. At man ved Menighetsfakultetet likevel ser mindre forskjell mellom studentgruppene (tillitsvalgte og ikke-tillitsvalgte) med hensyn til kunnskap om studentevalueringer enn ved mange andre institusjoner, har antakelig sammenheng med MFs valg om å legge deltakelse i evalueringer inn som studiekrav. Det er ellers komiteens inntrykk at institusjonen bestreber seg på å gi tilbakemeldinger til studentene på gjennomførte evalueringer, hvilket er av avgjørende betydning for studentenes motivasjon for å delta i evalueringsarbeidet. 7
3.2 Relevanskvalitet 3.2.1 Presentasjon I KS-systemets hoveddokument gjør MF følgende avgrensning av kvalitetsdimensjonen relevanskvalitet : Med relevanskvalitet menes kvaliteten på det arbeid som gjøres for å sikre utdanningenes relevans, bl.a. gjennom dialog med MFs stakeholdere, og den kvalitet som synliggjøres gjennom kandidatenes attraktivitet for fremtidige arbeidsgivere i kirke, skole og samfunn. Også fokusområdene under denne kvalitetsdimensjonen er listet under kapittel 2 (over). 3.2.2 Komiteens drøftinger og vurderinger Menighetsfakultetet foretar i dag ingen systematiske oppfølgende undersøkelser av hvordan det går med deres kandidater etter at de er uteksaminert fra institusjonen. Etter komiteens mening vil slike kandidatundersøkelser være et viktig bidrag til å sikre høy relevanskvalitet i institusjonens utdanninger. Samtidig står det klart for komiteen at institusjonen har flere viktige kontaktpunkter både med yrkeslivet og tidligere studenter. På MFs nettsider er det opprettet en alumniweb der alle tidligere studenter kan registrere seg og på den måten holde kontakten med andre kandidater. På nettsidene henvises det dessuten til bladet Lys og liv som en arena for kontakt. Bladet, som gis ut av MF, kommer fem ganger i året og går til alle tidligere studenter. De samme sidene gjør oppmerksom på at institusjonen er behjelpelige med å arrangere kullsamlinger for kull som jubilerer (for eksempel 10 år etter gjennomført utdanning). I kvalitetssikringssystemets rutinebeskrivelser heter det at I forbindelse med alumni-arrangementer (10 og 25 år) kan [komiteens utheving] det gjennomføres undersøkelser for å kartlegge hvordan tidligere kandidater opplever relevansen av deres utdannelse. I rutinene både for begrenset og omfattende evaluering av programmer er det nedfelt at studentene skal spørres om deres opplevelse av relevans. Både fra intervjuede studenter og faglig tilsatte ble det dog gitt uttrykk for betydelige forbehold i forhold til verdien av disse spørsmålene. Til tross for flere av utdanningene ved MF har en praksisdel, har studentene lite erfaring fra yrkeslivet, og kan dermed bare i begrenset grad vurdere hvilken relevans studiene har for yrkeslivet. På institusjonsnivå har institusjonens ledelse dialogmøter med biskopene og arbeidsgiverorganisasjonene med jevne mellomrom, og er representert på Kirkemøtet. For presteutdanningen er dessuten Kompetanserådet et viktig organ hva relevanskvalitet angår. Rådet er et samarbeidsorgan med representanter fra Det Teologiske Menighetsfakultet, Det teologiske fakultet ved UiO, Det praktisk-teologiske seminar, Misjonshøgskolen og Den norske kirkes presteforening, og skal, i følge sistnevntes nettsider, ha som oppgave å stimulere til faglig og pedagogisk arbeid med kompetanseutvikling for prester. For studenter på profesjonsstudiet i teologi er også Veien til prestetjeneste (VTP) viktig. VTP er et innføringsprogram for alle som skal bli prest i Den norske kirke. Programmet løper parallelt med teologistudiet, og er obligatorisk for alle som skal ordineres til prest i Den norske kirke. Biskopene driver VTP i samarbeid med bispedømmerådene, Det teologiske fakultet/det praktisk-teologiske seminar, Det teologiske menighetsfakultet og Misjonshøgskolen. 8
Disse kontaktpunktene til tross anbefaler komiteen at MF på en systematisk måte innhenter mer informasjon om hvor det blir av institusjonens kandidater etter endt utdanning og hvilke erfaringer de har med å bruke sin utdanning i arbeidslivet. Særlig viktig vil dette være i forhold til relevansspørsmålet for andre utdanninger enn profesjonsutdanningen i teologi, jf de spesielle ordningene for å sikre relevanskvaliteten for sistnevnte utdanning. 9
3.3 Kvalitetssikring av forskerutdanningen 3.3.1 Presentasjon I skrivet fra ledelsen ved Menighetsfakultetet om status og utfordringer i kvalitetsarbeidet, ble kvalitetssikring av forskerutdanningen nevnt som en spesiell utfordring. Det er i dag kun undervisningsemnene i MFs ph.d.-program som ligger innenfor institusjonens system for kvalitetssikring av utdanningen. Det er en uttrykt målsetning fra institusjonens side at hele forskerutdanningen på sikt skal legges inn under systemet, men den anser samtidig at det vil by på utfordringer å få veiledningsordningen inn i en slik ramme. Gjennom institusjonens forskningsutvalg er det lagt til rette for at stipendiatene ved behov skal kunne bytte veileder hvilket også skjer i et visst omfang men det foretas ingen systematisk undersøkelse av hvordan det enkelte veilederforhold fungerer. 3.3.2 Komiteens drøftinger og vurderinger Komiteen har fått dokumentert at det gjennomføres skriftlig evaluering av alle kurs og emner i undervisningsdelen av forskerutdanningen. Den har også fått seg forelagt egne årsrapporter om kvalitetsarbeidet i ph.d.-utdanningen for årene 2006-2008. Komiteen vurderer rapportene som gode, om enn de med et omfang på ca én side ikke går i dybden på de enkelte forhold. Veiledningen av stipendiater på doktorgradsprogrammet er altså ikke gjenstand for evaluering på samme måte som undervisningen på ph.d. og lavere nivåer. Det eksisterer rutiner for vurdering og rapportering på flere forhold gjennom krav til bl.a. framdriftsrapport, årsrapporter og rapport for bruk av annum, men foruten veileders årsrapport berører disse i mindre grad selve veiledningssituasjonen. Komiteen ser det som positivt at institusjonen gjennom å ta opp spørsmålet om forholdet mellom kvalitetssikring av ph.d.-utdanningen og kvalitetssikring av institusjonens øvrige utdanning, retter oppmerksomheten mot kvaliteten i den veiledningen stipendiatene ved institusjonen får. Komiteen har et fordelaktig inntrykk av den kvalitetssikring som i dag foregår av doktorgradsprogrammets opplæringsdel, og anbefaler at institusjonen i første omgang vurderer å la stipendiatenes årsrapporter omfatte spørsmål som går mer direkte på veiledningssituasjonen. Ved å høste noen erfaringer på denne måten vil institusjonen kunne få et bedre grunnlag for å vurdere hvilken grad av åpenhet og innsyn i veiledningssituasjonen som best sikrer veiledningens kvalitet. I henhold til de opplysningene komiteen fikk i intervjuene, tilbys det i dag ingen særskilt opplæring av nye ph.d.-veiledere ved institusjonen. Det fremkom også at det er lite kontakt veiledere i mellom. Vitenskapelig ansatte med adekvat kompetanse for et gitt doktorgradsprosjekt kan bli utpekt som veiledere uavhengig av om de har erfaring i denne rollen fra tidligere eller ikke. Enkelte av de vitenskapelige ansatte ga uttrykk for at de savnet et innføringskurs eller tilsvarende før de påtok seg sine første veiledningsoppdrag. Etter komiteens syn ville en slik opplæring være et bidrag til å bedre kvalitetssikringen av forskerutdanningen, og oppfordrer institusjonen til å se nærmere på aktuelle løsninger på dette området. Komiteen ber videre institusjonen om å vurdere å legge til rette for et forum for utveksling av erfaringer mellom veiledere, og i ennå større grad aktivt gjøre bruk av nasjonale 10
og internasjonale nettverk for å styrke forskerutdanningen, ved at ph.d.-studentene blir knyttet til større faglige miljøer. Selv om det knyttes spesielle utfordringer til kvalitetssikringen av doktorgradsveiledningen er komiteen enig med institusjonen i at på sikt bør kvalitetssikring av hele ph.d.-utdanningen være en del av det samlede kvalitetssikringssystemet. 11
3.4 Kvalitetssikring av etablering av nye studier 3.4.1 Presentasjon Skrivet fra ledelsen ved Menighetsfakultetet om status og utfordringer i kvalitetsarbeidet, omtaler kvalitetssikring av etablering av nye studier som en særlig utfordring. I MFs system for kvalitetssikring av utdanningen hører rutiner for etablering av nye studier inn under kvalitetsdimensjonen innsatskvalitet. Komiteen observerer at institusjonen i sitt posisjonsskriv bl.a. skriver: Vi har stort sett kvalitetssikret alle ledd i prosessen, og vi har skriftlige prosedyrer for oppstarting av nye emner men ennå ikke fullgode prosedyrer for oppstart av nye programmer. På evalueringstidspunktet forelå det et ubehandlet forslag til prosedyre for sistnevnte. 3.4.2 Komiteens drøftinger og vurderinger Etter komiteens oppfatning er de vedtatte og foreslåtte prosedyrene for etablering av nye studier tillitvekkende og i tråd med prosedyrer som fungerer tilfredsstillende ved tilsvarende institusjoner i høyere utdanning. Komiteen ser det som særlig viktig at prosedyrene ved etablering av nye studier pålegger institusjonen å orientere seg om parallelle studier i sektoren og gjennom Internasjonalt utvalg å vurdere den internasjonale profilen i det planlagte studiet. Etter intervjuene ved institusjonen er det komiteens klare inntrykk at Menighetsfakultetet i hovedsak har gode interne prosedyrer for arbeidet med å lage nye emne- og programbeskrivelser. Avdelingsrådene (+ fagråd for årsstudiet i kristendom/rle) har en sentral rolle i dette arbeidet gjennom sin myndighet til å vedta emnebeskrivelser og fremme forslag til programbeskrivelser. Studentenes muligheter for medvirkning er sikret gjennom to studentrepresentanter i hvert av disse organene, samt i Studieutvalget som vedtar programplaner. Komiteen deler ellers institusjonsledelsens vurdering av betydningen av å gjennomgå hele studieporteføljen ved nyetableringer. En hensiktsmessig ressursbruk vil ofte tilsi at særlig faglig nær beslektede tilbud i en slik situasjon bør legges ned. Komiteen vil anbefale at MF ved etablering av nye programmer sender programbeskrivelsen til uttalelse hos fagfeller før den fastsettes endelig gjennom vedtak. 12
4. Kvalitetssikringssystemet vurdert i forhold til lov, forskrift og NOKUTs kriterier Den sakkyndige komiteen har i sitt mandat å vurdere hvorvidt kvalitetssikringssystemet som helhet er tilfredsstillende i forhold til gjeldende forskrift og NOKUTs evalueringskriterier. Komiteen har derfor, i tråd med Forskrift om akkreditering, evaluering og godkjenning etter lov om universiteter og høyskoler, vurdert systemets strukturelle oppbygging, den dokumentasjon det frambringer og de vurderinger av utdanningskvalitet som institusjonen selv gjør. Systemet er klart beskrevet, og angir målsettinger, prosesser, aktører og fora som inngår. Ansvars- og arbeidsfordeling er tydelig angitt, og systemet synes å være godt forankret i ledelsen og i besluttende organer på ulike nivåer. 5. Konklusjon Har Det Teologiske Menighetsfakultet et tilfredsstillende system for kvalitetssikring? Som en mellomstor institusjon med en faglig homogen studieportefølje, har Menighetsfakultetet gode forutsetninger for å lykkes med sitt kvalitetsarbeide, noe komiteen da også konkluderer med at den gjør. Systemet for kvalitetssikring av utdanningen er et gjennomtenkt og velutviklet system, og er etter komiteens syn tilfredsstillende implementert i organisasjonen som helhet. Studentenes muligheter for medvirkning i systemet er vel ivaretatt, og studentene har gjennomgående tilfredsstillende kunnskaper om systemet og den evalueringspraksis som inngår i dette. Komiteen har gjennomgående registrert en positiv holdning fra studenter og tilsatte til kvalitetsarbeidet og til institusjonen generelt, og det er komiteens klare inntrykk at systemet bidrar til å utvikle kvalitetskulturen i institusjonen. I kritisk retning vil komiteen påpeke at institusjonens årsrapportering om kvalitetsarbeidet for årene 2004 2007 i ulike henseende ikke er på et tilfredsstillende nivå, hvilket institusjonens ledelse også erkjenner. Etter komiteens forståelse speiler dette i noen grad en sviktende oppfølging av kvalitetssystemet i denne perioden. Med et revidert system på plass bør institusjonen framover legge vekt på å holde kontinuerlig oppmerksomhet mot kvalitetsarbeidet. Komiteen vil også påpeke som en særlig mangel at systemet for kvalitetssikring av utdanningen ved Menighetsfakultetet i dag ikke er tilgjengelig på internett. Som ovenfor nevnt skal mye være dokumentert på intranettet, men dette er etter komiteens oppfatning ingen fullgod erstatning. Så vel for nåværende og framtidige studenter som for samarbeidende institusjoner og andre eksterne interessenter, vil tilgjengelighet på internett være viktig. Den meroffentlighet som nettpublisering innebærer vil dessuten i seg selv være en kvalitetssikring av systemets struktur og utforming. Komiteen er oppmerksom på at Menighetsfakultetet har planer om å gjøre sitt KS-system tilgjengelig på internett. Den sakkyndige komiteen anser at de anbefalingene som ble gitt i rapporten fra forrige evaluering av systemet for kvalitetssikring av utdanningen ved Menighetsfakultetet, i det alt vesentlige har blitt fulgt opp på en tilfredsstillende måte. Disse anbefalingene handlet i første rekke om skriftliggjøring av systemet og systemets målformuleringer, Læringsmiljøutvalgets funksjonsområde og forholdet mellom teologistudiet og praktisk-teologisk seminar. Med hensyn til 2003-komiteens formulering Det kan med fordel iverksettes flere tiltak for å 13
evaluere relevanskvaliteten, framgår det av herværende rapport (spesielt kap 3.2 og 6) at komiteen mener at man fortsatt bør jobbe videre på dette området. 14
6. Komiteens anbefalinger for videreutvikling av institusjonens kvalitetsarbeid Med utgangspunkt i de vurderinger som er gjort av systemet for kvalitetssikring ved Det Teologiske Menighetsfakultet, har komiteen følgende anbefalinger for videre utvikling av institusjonens kvalitetsarbeid: I lys av erfaringene med det kvalitetssikringssystemet som ble godkjent i 2003, bør Menighetsfakultetet sørge for en tett oppfølging av sitt reviderte system, og særlig vurdere hvorvidt en har lykkes med å forbedre det overordnede forholdet mellom ressursinnsats og resultater. For bedre å kunne vurdere relevanskvaliteten i egne utdanninger bør Menighetsfakultetet vurdere å iverksette systematiske oppfølgende undersøkelser blant sine uteksaminerte studenter ( kandidatundersøkelser ). Planene om å gjøre systemet for kvalitetssikring av utdanningen tilgjengelig på internett bør gis høy prioritet. Komiteen tilrår at arbeidet for å finne fram til felles metoder som kan rasjonalisere arbeidet med å bearbeide resultatene fra skriftlige studentevalueringer gis særlig oppmerksomhet. Som et konkret tiltak i kvalitetsarbeidet anbefaler komiteen at institusjonen ser nærmere på mulighetene for å etablere et innføringskurs eller tilsvarende for nye veiledere på doktorgradsutdanningen. Institusjonen bør vurdere å la stipendiatenes årsrapporter omfatte spørsmål som går mer direkte på veiledningssituasjonen. Erfaringer med slike rapporter vil på noe sikt kunne gi grunnlag for en ny vurdering av hvorvidt hele doktorgradsutdanningen bør legges inn under institusjonens system for kvalitetssikring av utdanningen. Selv om det knyttes spesielle utfordringer til kvalitetssikringen av doktorgradsveiledningen er komiteen enig med institusjonen i at på sikt bør kvalitetssikring av hele ph.d.-utdanningen være en del av det samlede kvalitetssikringssystemet. Menighetsfakultetet bør etter komiteens vurdering vedta en prosedyre for etablering av nye programmer som ivaretar hovedelementene i det forslag som på evalueringstidspunktet var til behandling hos Studieutvalget. Komiteen vil imidlertid anbefale at MF ved etablering av nye programmer sender programbeskrivelsen til uttalelse hos fagfeller før den fastsettes endelig gjennom vedtak. 15
7. Vedlegg 7.1 Kriteriegrunnlag for evaluering av universiteters og høyskolers kvalitetssikringssystem for utdanningsvirksomheten Vedtatt av NOKUTs styre 17. desember 2008. Lov om universiteter og høyskoler pålegger institusjoner som gir høyere utdanning å ha et tilfredsstillende internt system for kvalitetssikring ( 1-6). Med hjemmel i loven har departementet i forskrift fastsatt krav til disse systemene: Universiteter og høyskoler skal ha et system for sitt kvalitetssikringsarbeid som sikrer kontinuerlige forbedringer, gir tilfredsstillende dokumentasjon av arbeidet og avdekker sviktende kvalitet ( 2-1, (1)). Lov om universiteter og høyskoler gir NOKUT oppgaven med å evaluere hver enkelt institusjons kvalitetssikringssystem. Det skal ikke gå mer enn 6 år mellom hver evaluering. Med hjemmel i forskriften fastsetter NOKUT kriterier som systemene skal evalueres etter. I løpet av 2009 vil alle institusjonene ha vært gjennom en evaluering. Før starten på andre syklus med evalueringer er kriteriene revidert. Bakgrunnen for revideringen er erfaringer fra og tilbakemeldinger på evalueringene i første syklus og en ekstern evaluering av NOKUT. De reviderte kriteriene er utformet slik at evalueringene skal ha større fokus på institusjonenes bruk og nytte av systemene i sitt eget utviklings- og forbedringsarbeid. Ved utformingen av kriteriene er det tatt hensyn til de felles europeiske kravene om kvalitetssikring av høyere utdanning som Norge har forpliktet seg til å følge gjennom Bologna-prosessen (Standards and Guidelines for Quality Assurance in the European Higher Education Area). Kvalitetssikringen skal omfatte alle studietilbud som en institusjon gir, internt og eksternt, alle deler av studiet og alle formidlingsformer. Når NOKUT foretar ekstern evaluering av en institusjons interne kvalitetssikringssystem for utdanningsvirksomheten, er hovedmålsettingen å vurdere: Systemets strukturelle oppbygging Den dokumentasjonen det frambringer De vurderinger av utdanningskvaliteten som institusjonen selv gjør. (Forskriften, 2-2(1)) Hele dette kriterieskrivet gjelder som grunnlag for evalueringene. Del I fungerer som en referanseramme for hvilke aspekter ved utdanningen et kvalitetssikringssystem er ment å skulle sikre, og har ikke status som evalueringskriterier. I del I presenteres forventninger om hva som er sentrale områder for institusjonenes kvalitetsarbeid og kvalitetssikring. Systemet er institusjonens eiendom og det er institusjonen selv som bestemmer hvordan det konkret skal utformes. I del II angis hvordan NOKUT utfører evalueringen. Selve evalueringskriteriene finnes i del III. Kriteriene er ikke standarder som må oppfylles enkeltvis for at kvalitetssikringssystemet skal kunne godkjennes. Det skal foretas en helhetlig bedømmelse av kvalitetssikringssystemet og institusjonens aktive bruk av det, der kriteriene ses i sammenheng. I. Sentrale områder for institusjonenes kvalitetssikring De formelle kravene til kvalitet i norsk høyere utdanning defineres av NOKUTs standarder og kriterier for akkreditering av studietilbud på de ulike gradsnivåene (bachelor, master og ph.d.). Loven setter som formål for universiteter og høyskoler at de skal tilby høyere utdanning på høyt internasjonalt 16
nivå ( 1-1), basert på det fremste innen forskning, faglig og kunstnerisk utviklingsarbeid og erfaringskunnskap ( 1-3). Dette forplikter institusjonen i sin helhet, det vil si ledelse, ansatte og studenter, til å arbeide kontinuerlig med kvalitetsutvikling ut over akkrediteringsstandardens krav. Det er institusjonene selv som har ansvaret for kvaliteten i de studiene de tilbyr. For å kunne ivareta dette ansvaret må institusjonene ha tilstrekkelig kunnskap om de forhold og prosesser som bidrar til kvaliteten i det enkelte studium, og om resultater og effekter av iverksatte tiltak. Departementets Forskrift om akkreditering, evaluering og godkjenning etter lov om universiteter og høyskoler krever derfor at Universiteter og høyskoler skal ha et system for sitt kvalitetssikringsarbeid som sikrer kontinuerlige forbedringer, gir tilfredsstillende dokumentasjon av arbeidet og avdekker sviktende kvalitet. ( 2-1 (1)) Kvalitetssikringssystemet skal omfatte alle prosesser som har betydning for studiekvaliteten, fra informasjon overfor mulige søkere til avslutningen av studiet. Rutiner for studentevaluering av undervisningen, selvevaluering og institusjonens oppfølging av evalueringer, dokumentasjon av institusjonens arbeid med læringsmiljøet, samt rutiner for kvalitetssikring av nye studietilbud, skal inngå. ( 2-1(2)) Med bakgrunn i departementets forskrift og NOKUTs akkrediteringskriterier framheves følgende aspekter ved studiene som sentrale for institusjonenes kvalitetssikring: Kunnskaps- og studiekultur Det forventes at institusjonene aktivt legger til rette for en kunnskaps- og studiekultur som reflekterer formålsparagrafen i Lov om universiteter og høyskoler og som fremmer og verner akademisk frihet. Det forventes at undervisning, forskning og faglig og kunstnerisk utviklingsarbeid holder et høyt faglig nivå, og utøves i overensstemmelse med anerkjente vitenskapelige, kunstfaglige, pedagogiske og etiske prinsipper. Studienes innhold, læringsmål og kvalifikasjoner Det forventes at institusjonene kvalitetssikrer at studienes innhold er dekkende for å nå definerte læringsmål og at de kvalifikasjonene studiene leder til framgår tydelig av studieplanene. På sikt forventes det at læringsmålene er i samsvar med nasjonalt kvalifikasjonsrammeverk som vil bli fastsatt av departementet i 2009. Undervisning, veiledning og arbeidsformer Det forventes at institusjonene kvalitetssikrer at undervisning, faglig veiledning og eventuelle praksisstudier har tilstrekkelig omfang og god kvalitet og utføres av personale som er kvalifisert for oppgaven, og at studiene gjennomføres med arbeidsformer for studentene som er varierte og hensiktsmessige for å nå læringsmålene. Vurderingsformer, vitnemål og resultatoppnåelse Det forventes at institusjonene kvalitetssikrer at studienes vurderings- og prøveformer sikrer rimelig og rettferdig bedømmelse av studentenes oppnåelse av læringsmål og kvalifikasjoner, og at vurderings- og prøveformer sikrer det faglige nivået ved studiet. Infrastruktur, administrasjon og det totale læringsmiljøet Det forventes at institusjonene kvalitetssikrer at det er god administrativ støtte rundt studiene og god informasjon til studentene, og at studiene foregår i et godt fysisk og psykososialt læringsmiljø. II. NOKUTs evaluering av kvalitetssikringssystemet Departementets forskrift krever at en institusjons kvalitetssikringssystem skal evalueres av NOKUT minst hvert sjette år ( 2-2(1)). 17
I følge Lov om universiteter og høyskoler skal evalueringen utføres slik at institusjonen kan dra nytte av den i sitt kvalitetssikrings- og utviklingsarbeid. ( 2-1 (1)) Departementets forskrift krever at evalueringen skal munne ut i en tilråding om hvorvidt systemet sett under ett er tilfredsstillende, og eventuelt angi områder hvor institusjonen bør videreutvikle sitt system. ( 2-2 (2)) NOKUT bruker sakkyndige komiteer i sine evalueringer. Evalueringene omfatter dokumentstudier og institusjonsbesøk med intervjuer. Evalueringene skal kartlegge og vurdere institusjonenes systemer og rutiner for kvalitetsarbeid og hvordan dette foregår i praksis. En evaluering av et kvalitetssikringssystem er således ikke en faglig evaluering av innhold og kvalitet i de enkelte studier, men en evaluering av institusjonens kontinuerlige og systematiske arbeid for å sikre og forbedre slik kvalitet. Vurderinger av kvaliteten i enkeltstudier ligger utenfor rammene av evalueringen, men dersom det framkommer klare indikasjoner på alvorlig kvalitetssvikt i enkeltstudier, skal dette nedfelles i rapporten. NOKUT legger vekt på å gjennomføre sine evalueringer med en konstruktiv holdning til institusjonene, slik at prosessene kan forløpe med trygghet og åpenhet, og slik at institusjonenes mulighet for å ha utbytte av evalueringen fremmes. I tråd med dette gir NOKUT tilbud om et oppfølgingsseminar etter evalueringen. III. Kvalitetssikringssystemets prosesser og funksjoner: evalueringskriterier Det interne kvalitetssikringssystemet for utdanningsvirksomheten er institusjonens redskap for å skaffe seg den kunnskapen den trenger for å kunne vurdere kvaliteten i studiene. Gjennom faste rutiner og prosesser i en årlig syklus frambringes, vurderes og anvendes informasjon om det enkelte studium, og om institusjonens utdanningsvirksomhet generelt. Ved hjelp av kvalitetssikringssystemet vurderer institusjonen resultatene i utdanningsvirksomheten, avdekker svakheter, iverksetter forbedringstiltak og foretar kontinuerlig vurderinger med sikte på videre kvalitetsutvikling. Et kjennetegn ved systematisk kvalitetsarbeid er at vesentlig informasjon og vesentlige vurderinger er tilstrekkelig skriftlig dokumentert. Systemet er institusjonens eiendom og det er institusjonen selv som ut fra egen størrelse, faglig profil og andre lokale behov bestemmer hvordan det skal utformes. Det samme gjelder for den dokumentasjonen som systemet frambringer. Institusjonen avgjør selv hvilke data og annen informasjon den behøver for å kunne identifisere variasjoner i kvaliteten og velge relevante kvalitetsforbedrende tiltak. Institusjonenes kvalitetssikringssystem evalueres ut fra følgende kriterier: 1. Stimulans til kvalitetsarbeid og kvalitetskultur Det vil bli lagt vekt på - at kvalitetssikringssystemet fremmer bred deltakelse i kvalitetsarbeidet blant ansatte og studenter og deres demokratiske organer - at informasjon og vurderinger er dokumenterte og tilgjengelige - at kvalitetssikringssystemet stimulerer til et kvalitetsarbeid som er preget av åpenhet, engasjement og forbedringsvilje 2. Mål, plan og ledelsesforankring Det vil bli lagt vekt på - at systemet er beskrevet slik at det angir de målsettinger, prosesser, aktører og fora som inngår - at systemet er forankret i ledelsen og besluttende organ på de ulike nivåer 18
- at arbeids- og ansvarsfordeling i kvalitetsarbeidet er fastsatt - at også selve kvalitetssikringssystemet gjøres til gjenstand for jevnlig evaluering og utvikling med sikte på institusjonens eget behov 3. Innhenting av dokumentert informasjon om kvalitet i studiene Det vil bli lagt vekt på - at sikring og vurdering av kvaliteten i hvert enkelt igangsatt studium bygger på informasjon som innhentes systematisk og fra flere kilder, for eksempel studentevalueringer av undervisningen, kvantitative nøkkeldata, faglærernes vurderinger og eksterne vurderinger av studiets kvalitet og relevans ved fagfeller og interessenter - at systemet har særskilte prosesser for å kvalitetssikre oppretting av nye studier 4. Analyse, vurdering og rapportering Det vil bli lagt vekt på - at informasjon som systemet generer blir analysert, vurdert og framstilt for ansvarlige fora og ledelsesnivåer i en form og et omfang som er tilpasset det ansvar og de typer beslutninger som tas på de ulike nivåene - at rapportene i systemet viser hva som er de aktuelle fagmiljøenes egenvurdering av kvaliteten, hva som framgår av eventuelle eksterne vurderinger, og hva fagmiljøene beslutter eller foreslår av tiltak for ytterligere kvalitetsutvikling - at institusjonens ledelse rapporterer årlig til styret om utdanningskvalitet og kvalitetsarbeid, med en helhetlig vurdering av utdanningskvaliteten, samt oversikt over prioriteringer og tiltak i kvalitetsarbeidet (årlig kvalitetsrapport eller tilsvarende). 5. Bruk av kunnskap til kvalitetsforbedring Det vil bli lagt vekt på - at tiltak for forbedringer vurderes og iverksettes på grunnlag av de kvalitetsanalysene som gjøres. Dette gjelder både tiltak i tilfeller av svikt i forhold til akkrediteringskravene, og tiltak for å videreutvikle studiekvaliteten. - at forslag og vedtak om tiltak framgår av institusjonens årlige kvalitetsrapport eller underliggende rapporter - at det er sammenheng mellom kvalitetsrapportering og planarbeid på ulike nivåer ved institusjonen, inkludert budsjettarbeid. 19
7.2 Dokumentasjon 7.2.1 Dokumentasjon mottatt før og under innledende møte Posisjonsskriv System for utdanningskvalitet ved Det teologiske Menighetsfakultet Årsrapporter om kvalitetsarbeid 2004-2009 Oversikt over relevante styrevedtak og nye studietilbud i perioden 2004-2009 7.2.2 Dokumentasjon lagt fram foran hovedbesøket Eksempler på evaluering av innsatskvalitet 2004-2009 Retningslinjer for etablering av programplaner ved Det teologiske Menighetsfakultet Orientering om evaluering av relevanskvalitet Kvalitetssikring av forskerutdanningen ved MF: Forskrift Programbeskrivelse Årsrapporter Inntakskvalitet Innsatskvalitet Resultatkvalitet Relevanskvalitet Oversiktsdokumentasjon 7.3 Program Tirsdag 6. oktober (rom 476/Styrerom) Tid Aktivitet - intervju/møte med Deltakere 09.30 11.00 Internt komitémøte dokumentasjonsstudier 11.15 12.00 Presentasjon av MFs system for kvalitetssikring av utdanningen 12.00-13.00 Lunsj (rom 426) 13.15 14.00 Stipendiater/dr. gradsstudenter 14.15 15.00 Utvalg for forskning og forskerutdanning (FU) 15.15 16.00 Omvisning 16.15 17.00 Lærere med veiledningsansvar på PhDnivå Onsdag 7. oktober (rom 476) Tid Aktivitet - intervju/møte med Deltakere 09.00 10.00 Internt komitémøte- dokumentasjonsstudier 10.15 11.00 Tillitsvalgte studenter 11.15 12.00 Faglig ansatte (med ansvar for undervisning/veiledning) 12.00-13.00 Lunsj (rom 476) 13.15 14.00 Studenter ikke tillitsvalgte 14.15 15.00 Læringsmiljøutvalget (LMU) 15.15 16.00 Studie- og forskningsadministrasjon 20
Torsdag 8. oktober (rom 476) Tid Aktivitet - intervju/møte med Deltakere 09.00-10.00 Internt komitémøte 10.15 11.00 Studieutvalget (SU) 11.15 12.00 Avdelingsråd 12.00 13.00 Lunsj (rom 476) 13.15-13.45 Komitémøte 14.00 14.30 Tilbakemeldingsmøte 14.30 15.30 Komitémøte 21