NORGESNETTRÅDETS RAPPORTER 07/2002 Norgesnettrådets pilotprosjekt med utvikling av et kvalitetssystem Kvalitetsarbeid i høyere utdanning: dokumentasjon og evaluering. Erfaringer fra et forsøk med ekstern evaluering Rapport fra ekstern komité
Norgesnettrådets pilotprosjekt med utvikling av et kvalitetssystem Kvalitetsarbeid i høyere utdanning: dokumentasjon og evaluering. Erfaringer fra et forsøk med ekstern evaluering Rapport fra ekstern komité Norgesnettrådets rapporter ISSN 1501-9640
Forord Norgesnettrådet nedsatte i februar 1999 en arbeidsgruppe med oppdrag å utarbeide et opplegg for rådets arbeid med evaluering og kvalitetssikring av høgre utdanningsinstitusjoner. Arbeidsgruppa avla sin rapport Basert på det fremste? (Norgesnettrådets rapporter 2/1999) 17.11.99, der gruppa tilrådde å etablere et nasjonalt evalueringssystem basert på regelmessig ekstern evaluering (audit) av hver høgre utdanningsinstitusjon, med fokus på institusjonens overordnede system for å sikre kvaliteten i undervisningen, og med spesifiserte krav til institusjonens dokumentasjon av arbeidet med utdanningskvalitet. Norgesnettrådet vedtok deretter i mai 2000 å sette i gang et pilotprosjekt for å prøve ut arbeidsgruppas forslag ved ekstern evaluering av kvalitetsarbeidet i fire høgre utdanningsinstitusjoner av ulik type/størrelse. Det ble nedsatt en ekstern evalueringskomité som fikk i oppgave å gjennomføre evalueringene. Medlemmer av komiteen har vært professor Kirsten Hofgaard Lycke, Universitetet i Oslo (leder), professor Berit Askling, Göteborgs Universitet, og adm.dir. Ola Stave, Arkitekthøgskolen i Oslo. Denne rapporten er utarbeidet på bakgrunn av komiteens erfaringer fra evalueringsrunden. Komiteen ser det utprøvde systemet som en brukbar vei til innsikt i en institusjons kvalitetssystem, og mener også at ekstern evaluering av kvalitetssystemet øker bevisstheten om kvalitetsarbeid i institusjonene. Pilotprosjektet har falt i tre faser: planleggingsfasen ved en overordnet pilotprosjektgruppe (i denne rapporten kalt den sentrale pilotprosjektgruppa (mai 2000 februar 2001), gjennomføringsfasen med evaluering av de fire pilotinstitusjonene ved ekstern evalueringskomité (mars 2001 mai 2002) og konklusjonsfasen ved pilotprosjektgruppa (mai/juni 2002). Fra 3
Norgesnettrådets sekretariats side har seniorrådgiver Jon Haakstad ledet prosjektet gjennom alle fasene. Rådgiver Pål Bakken hadde hovedansvaret for utarbeiding av mal for registrering og rapportering av kvantitative kvalitetsdata i planleggingsfasen, i samarbeid med prosjektledelsen og flere utdanningsinstitusjoner. Rådgiver Astrid Børsheim har vært sekretær for den eksterne evalueringskomiteen. Norgesnettrådet takker med dette den eksterne evalueringskomiteen og institusjonene som har deltatt i evalueringa, for stor innsats og vel utført arbeid. Oslo, 15. juni 2002 Oddvar Haugland direktør Tove Blytt Holmen avdelingsdirektør 4
Innhold 1 SAMMENDRAG KONKLUSJONER...7 2 DEN EKSTERNE EVALUERINGSKOMITEEN OG DENS ARBEID...9 1. Opprettelsen av en ekstern komité...9 2. Komiteens mandat...10 3. Komiteens sammensetning...11 4. Komiteens arbeidsmåte...12 5. Begrepsbruk...14 6. Komiteens tolkning av mandatet...16 7. Denne rapporten...19 3. NORGESNETTRÅDETS FORSØK MED EKSTERN EVALUERING BAKGRUNN...21 1. Noen aktuelle tendenser i høyere utdanning...21 2. Norgesnettrådets arbeid med kvalitetssikring...23 3. Et pilotprosjekt for utprøving og videreutvikling...25 4. INSTITUSJONENES KVALITETSARBEID UT FRA DOKUMENTASJON OG INSTITUSJONSBESØK...30 1. De fire pilotinstitusjonene...30 2. Generelle inntrykk...33 3. Kvalitetsarbeidet ut fra de veiledende retningslinjene...34 1. Plan og styring...34 2. Registrering og rapportering...36 3. Intern evaluering...39 4. Årsrapport/selvevaluering...42 4. Pilotinstitusjonenes tilbakemeldinger...44 5. Sammenfatning av institusjonenes kvalitetsarbeid...45 6. Sammenfatning av komiteens anbefalinger...48 7. Gjennomføring av pilotprosjektet...49 5. SAMLET VURDERING AV EVALUERINGSPROSESSEN...55 1. Evalueringsprosessens muligheter til å vurdere institusjonenes kvalitetsarbeid...55 2. Evalueringsprosessens potensial som stimulans til videre utvikling...58 3. Evalueringsprosessens muligheter for å avdekke kvalitetssvikt...59 5
4. Evalueringsprosessens potensial som redskap for styring, ledelse og kontroll av kvalitet og kvalitetsarbeid...60 5. Konklusjon...60 6 IMPLEMENTERING AV ET NASJONALT OPPLEGG FOR EKSTERN EVALUERING NOEN AVSLUTTENDE ANBEFALINGER...62 1. Informasjon om ekstern evaluering...62 2. Støtte i utviklingen av et kvalitetssystem...65 3. Akkreditering...65 4. Forslag til revidert utforming av mandat og retningslinjer...67 REFERANSER...70 VEDLEGG...72 Vedlegg 1 Rutine 1 5. Forslag fra komiteen...73 Rutine 1. Terminologi ved evaluering av kvalitetsarbeid...73 Rutine 2. Veiledende retningslinjer for institusjoners kvalitetsarbeid...75 Rutine 3. Mandat for den eksterne evalueringskomiteen...78 Rutine 4. Veiledende retningslinjer for institusjoners årlige selvevalueringsrapport...80 Rutine 5. Program for institusjonsbesøk...82 Vedlegg 2 Medlemmer av pilotprosjektets eksterne komité...83 Vedlegg 3 Rammeplan for pilotprosjektet...85 Vedlegg 4 Oversikt over aktører og prosess i pilotprosjektarbeidet...87 6
1 Sammendrag konklusjoner Denne rapporten redegjør for utprøving av et system for vurdering av kvalitetsarbeid i høyere utdanning. Hensikten med evalueringsprosessen var å sikre og utvikle kvaliteten i norsk høyere utdanning. Prosessen omfattet vurdering av dokumentasjon av institusjonenes planer for kvalitetsarbeid, registrering og rapportering av evalueringsdata (nøkkeltall), interne evalueringer og årsrapport (ev. en selvevalueringsrapport). Evalueringen ble gjennomført av en ekstern komité. Utprøvingen har vært ledd i Norgesnettrådets pilotprosjekt for utvikling av system for evaluering av kvalitetsarbeid. Rapporten gir en sammenfatning av kvalitetsarbeidet ved den enkelte institusjon, en vurdering av dette arbeidet og en drøfting av trekk ved gjennomføringen av prosjektet. På grunnlag av denne prosessen har komiteen redegjort for sine vurderinger av hvor hensiktsmessig det foreslåtte systemet er i forhold til formålet om å sikre og utvikle kvaliteten i norsk høyere utdanning, og for muligheten for å avdekke kvalitetssvikt på denne måten. Rapporten drøfter evalueringsprosessens potensial som stimulans for videre utvikling og som redskap for styring, ledelse og kontroll av institusjonenes kvalitetsarbeid. Avslutningsvis gir komiteen noen anbefalinger for gjennomføring av eksterne evalueringer som også vil ha relevans ved fremtidige akkrediteringsprosesser. Den eksterne evalueringen viste at kvalitetsarbeidet ved institusjonene er preget av gode kvalitetstiltak kombinert med stor innsatsvilje. Institusjonene kan vise til en rekke tiltak for å styrke læringsmiljøet (sosialt og faglig), for å involvere studenter og lærere i faglig og pedagogisk utvikling av studiene og for å ta miljøer og individers interesser og behov «på alvor». Samtidig ser vi også sterkt engasjement på grunnplanet for eksempel i det arbeid lærere nedlegger i stadig fornyelse av egen undervisning gjennom dialog med sine studenter. Dette er primærvirksomheten, og denne fremstår som preget av generelt høy kvalitet. 7
Evalueringsprosessen viste også at den sentrale pilotprosjektgruppens arbeid og de retningsgivende dokumenter den står bak, var mindre kjent i miljøene enn det komiteen hadde forventet. Komiteen fant også at institusjonene hadde forholdt seg til de veiledende retningslinjer for arbeidet på forskjellige måter. Både utvikling og evaluering av kvalitetssystemer er relativt nytt for grunnplanet i norsk høyere utdanning. Det må derfor nedlegges et betydelig arbeid for at alle nivåer ved institusjonene skal bli kjent med hensikten med og utformingen av et felles system for vurdering av kvalitetsarbeid. Det må arbeides systematisk og over tid med et bredt spekter av tiltak for at denne tankegangen kan bli innarbeidet og få tilslutning. Den eksterne vurderingen har vist at plan for og styring og dokumentasjon av kvalitetsarbeidet må utvikles videre. Det er også stort rom for utvikling av interne evalueringer ved institusjonene. Resultatene av de interne evalueringer som nå gjennomføres, bør gjøres bedre kjent og utnyttes mer systematisk i den videre planleggingen av studietilbudenes innhold, arbeidsmåter og/eller organisering. Institusjonene kan også ha nytte av å prøve ut et bredere repertoar av interne evalueringer, slik det anbefales i de veiledende retningslinjer. Eksterne evalueringer med tydelig instruksjon og informasjon vil være et effektivt redskap for å få kjennskap til hvordan et lærested ivaretar sitt ansvar for kvalitetsarbeid. En slik ekstern evaluering med en viss modifikasjon og komplettering kan fungere som et hensiktsmessig instrument når det gjelder å vurdere kvalitetsarbeid og å avdekke kvalitetssvikt. Denne tilnærmingen kan også øke bevisstheten om kvalitetsarbeidets betydning, om institusjonelle styrker og svakheter og om nye krav til utøvelse av lederskap. Dette kan fremme horisontal og vertikal læring i den enkelte institusjon, og i høyere utdanning generelt. 8
2 Den eksterne evalueringskomiteen og dens arbeid 1. Opprettelsen av en ekstern komité Dette er en rapport om dokumentasjon og evaluering av kvalitetsarbeid i høyere utdanning basert på et forsøk med ekstern evaluering. Rapporten er et ledd i Norgesnettrådets arbeid for å «trekke opp retningslinjer for kvalitetssikringsarbeidet innen høyere utdanning» 1. Norgesnettrådet oppnevnte 19.02.01 en ekstern komité for å prøve ut og videreutvikle et forslag til prosedyrer for ekstern evaluering av kvalitetsarbeid og utdanningskvalitet ved fire norske institusjoner for høyere utdanning (jf. komiteens mandat). Utprøvingen skjedde innenfor rammen av Norgesnettrådets pilotprosjekt med kvalitetssystem. Pilotprosjektets hensikt var å prøve ut et forslag til ekstern evaluering ved de fire institusjoner, å videreutvikle systemet på grunnlag av erfaringene og å utvikle en nasjonal mal for rapportering og registrering av kvalitetsrelaterte data. 2 Forslaget til evalueringsmodell ble opprinnelig lagt frem i 1999 av en arbeidsgruppe etter oppdrag fra Norgesnettrådet. 3 Rapporten beskriver den eksterne komiteens arbeid og erfaringer med å prøve ut og vurdere forslaget til system for ekstern evaluering av kvalitetsarbeid. 1 Norgesnettrådets mandat (St.prp. nr. 32 (1996 1997). KUFs brev av 29.06.1998 vedrørende rådets arbeidsområder og -oppgaver. 2 Jf. rammeplan for pilotprosjektet, NNR-sak 25/99. 3 Norgesnettrådets rapporter 2/1999 Basert på det fremste...?. 9
2. Komiteens mandat Den eksterne komiteen fikk følgende mandat: Ved analyse av framlagt dokumentasjon og ved undersøkende institusjonsbesøk, skal komiteen evaluere kvalitetsarbeid og utdanningskvalitet ved to [eg. fire] 4 høyere utdanningsinstitusjoner som deltar i Norgesnettrådets pilotprosjekt med kvalitetssystem. Evalueringa gjelder kun de utdanningstilbudene som omfattes av pilotprosjektet og institusjonens ivaretaking av ansvaret for disse. Videre skal komiteen vurdere kvalitetssystemets hensiktsmessighet på grunnlag av de evalueringene den foretar ved institusjonene. I forhold til den enkelte institusjon skal komiteen: vurdere målsetting og plan for arbeidet med utdanningskvalitet. vurdere institusjonens organisering, gjennomføring og resultater av kvalitetsarbeidet, inkludert dens egen tilstandsanalyse i framlagt årsrapport. Vurderingene gjøres med referanse til veiledende retningslinjer som gjelder i pilotprosjektet. 5 gi ei vurdering av kvaliteten i utdanningstilbudene i den grad den samlede dokumentasjonen (skriftlig og muntlig) gir grunnlag for det. gi anbefalinger for det videre kvalitetsarbeidet. vurdere om kvalitetsarbeidet i prosjektet kan overføres på hele institusjonen. 4 Det var planlagt at to komiteer skulle evaluere to institusjoner hver. Dette ble endret ved at den først oppnevnte komiteen på oppfordring tok på seg å evaluere alle de fire institusjonene i pilotprosjektet. 5 Veiledende retningslinjer ble vedlagt brev fra NNR til institusjonene, datert 14.02.00. 10
På bakgrunn av de bedømmelser som gjøres ved den enkelte institusjon, skal komiteen: gi sin vurdering av kvalitetssystemets hensiktsmessighet i forhold til formålet om å sikre og utvikle kvaliteten i norsk høyere utdanning. vurdere spesielt om systemet, om det iverksettes i full skala, kan gi rimelig sikkerhet for at kvalitetssvikt i forhold til akseptabel standard blir avdekket. I sine vurderinger må komiteen ta hensyn til de begrensninger som ligger i pilotprosjektet med hensyn til muligheten for dokumentasjon i bredde og over tid. Komiteen skal nedfelle sine analyser og konklusjoner i en foreløpig skriftlig rapport. Denne vil bli samordnet med tilsvarende fra evaluering ved de to øvrige institusjonene i prosjektet høsten 2001. 6 Sluttrapport for prosjektet publiseres i Norgesnettrådets rapportserie. 3. Komiteens sammensetning Komiteen har hatt følgende medlemmer: Professor Kirsten Hofgaard Lycke, Universitetet i Oslo (leder) Professor Berit Askling, Göteborgs Universitet Adm.dir. Ola Stave, Arkitekthøgskolen i Oslo Komitémedlemmenes faglige bakgrunn er beskrevet i vedlegg 2. 6 Det vil bare blir utarbeidet en rapport, da en komité har evaluert alle de fire institusjonene, jf. fotnote 4. 11
4. Komiteens arbeidsmåte Komiteen la opp følgende mal for arbeidet med evaluering av den enkelte institusjon (jf. vedlegg 1, rutine 3): Dokumentanalyse. Hver institusjon oversendte et grunnlagsmateriale til komiteen som var utarbeidet spesielt for pilotprosjektet. Grunnlagsmaterialet bestod av en rapport om kvalitetsarbeidet 7 og dokumentasjon av registrering av evalueringsdata. Institusjonene supplerte dette med annet skriftlig materiale som plandokumenter, brosjyrer og rapporter. Komiteen fikk også materiale under besøket eller ettersendt etter behov. Komiteen arbeidet først med materialet individuelt og skrev ut foreløpige kommentarer som ble sirkulert. Dokumentasjonen ble deretter gjennomgått og drøftet på planleggingsmøte og ble senere benyttet som referanseramme for erfaringer ved institusjonsbesøk og utskriving av delrapport. Planleggingsmøte. Komiteen hadde et forberedende heldagsmøte for hver institusjon hvor materialet ble gjennomgått og analysert som utgangspunkt for foreløpig vurdering av kvalitetsarbeidet og presisering av intervjutema. Komiteen laget også forslag til program for institusjonsbesøkene og satte opp oversikter over hvem man ønsket å møte, og i hvilken rekkefølge. Institusjonsbesøk. Komiteen foretok et tre-dagers institusjonsbesøk ved hver av institusjonene. Vanligvis hadde komiteen separate møter med den lokale pilotprosjektgruppen (dvs. de som hadde ansvaret for pilotprosjektet på institusjonen) og med sentrale personer i studieadministrasjonen. Dernest hadde komiteen samtaler med faglig og administrativ ledelse, fagpersonale 7 I henhold til avtale med prosjektledelsen i Norgesnettrådet utarbeidet Høgskolen i Sogn og Fjordane og NTNU årsrapport, mens Norges landbrukshøgskole og Menighetsfakultetet utarbeidet selvevaluering. 12
og studenter ved de grunnenheter/fagmiljøer som deltok i pilotprosjektet. Komiteen hadde avslutningsvis møte med institusjonens ledelse. Møter med andre grupper/personer kom i tillegg der komiteen ønsket å gå nærmere inn på enkelte områder. Tilbakemelding. Komiteen la frem sine foreløpige inntrykk etter analyse av dokumentasjonen og institusjonsbesøket og drøftet disse med institusjonens ledelse på institusjonsbesøkets avsluttende møte. Ledelsen ble også oppfordret av komiteen til å sende tilbakemelding om enhetenes erfaringer fra møtene med den eksterne komiteen etter besøket. Rapportering. Komiteen har skrevet en delrapport for hver institusjon. Rapporten gjennomgår og vurderer institusjonens kvalitetsarbeid og gir anbefalinger om videre utvikling av dette. Hovedtrekkene i delrapportene ble først drøftet på et heldagsmøte etter det enkelte institusjonsbesøk på grunnlag av den samlede dokumentasjon og erfaringer/notater fra institusjonsbesøket. Både før og etter møtet har komiteen hatt en utstrakt diskusjon på e-post og telefon basert på notater fra medlemmene og NNRs sekretariat. Det har vært krevende å utvikle og følge en felles mal for rapportering, i og med at institusjonene har arbeidet på forskjellige måter. Innholdet i sluttrapporten har vært drøftet parallelt med utarbeidelsen av delrapportene. Komiteen har blant annet hatt en egen «logg» for momenter til sluttrapporten som har kommet opp i arbeidet med delrapportene til institusjonene. Komiteen har hatt ett to-dagers møte og to dagsmøter foruten en rekke utvekslinger på e-post og telefon om sluttrapporten. Revidering av delrapporter. Delrapportene til institusjonene ble først sendt disse som utkast for kommentarer. Institusjonenes kommentarer ble gjennomgått og drøftet med henblikk på å respondere overfor institusjonene og eventuelt foreta revisjoner i rapportutkastene. Rapportene ble deretter ferdigstilt og sendt institusjonene. 13
Delrapportene blir betraktet som interne. Innholdet danner imidlertid en del av grunnlaget for de vurderinger som gjøres i denne avsluttende rapporten. 5. Begrepsbruk Det er en rekke begreper knyttet til kvalitetsarbeid i omløp blant menigmann og i faglitteraturen, men disse er ikke alltid er like presist anvendt. Komiteen har derfor funnet det nødvendig å klargjøre enkelte begreper som blir brukt i denne rapporten. Komiteen vil først og fremst forholde seg til terminologien i de dokumenter som legger premissene for komiteens mandat og arbeid, og beskriver nedenfor hvordan begrepene blir brukt i denne rapporten. Komiteen foreslår i vedlegg 1, rutine 1, at denne begrepsforståelsen legges til grunn ved ekstern evaluering. Kvalitetsarbeid er en generell og overordnet term for virksomhet på hele feltet. Kvalitetsarbeid er alle tiltak for å vurdere, sikre eller utvikle kvaliteten i institusjonenes utdanningsvirksomhet. Kvalitetsarbeid omfatter dels styring og ledelse, dels konkrete tiltak og virksomheter av kontrollerende og/eller utviklende karakter. Kvalitetsstyring vil bli brukt om aktiviteter rettet mot planlegging og styring av utviklingen av arbeidet på dette feltet. Kvalitetstiltak vil bli brukt om konkrete tiltak rettet mot studieog læringsmiljø, dvs. virksomheter som institusjonen iverksetter når det gjelder studieplaner, undervisning, rammer og fagligsosiale aktiviteter. Et institusjonelt kvalitetssystem foreligger når kvalitetsarbeidet er forankret i institusjonelle mål og planer, hvor sentrale rutiner 14
på ulike nivåer er beskrevet og det er etablert rapporterings- og oppfølgingsrutiner på alle nivåer og mellom nivåene. Et nasjonalt system for evaluering av kvalitetsarbeid innebærer at evalueringen er forankret i nasjonale mål og planer, at sentrale rutiner på ulike nivå er beskrevet, og at det er etablert rapporterings- og oppfølgingsrutiner på sentralt og lokalt (institusjonelt) nivå og mellom disse nivåene. Et nasjonalt system for evaluering av kvalitetsarbeid kan omfatte ulike typer virksomhet, for eksempel sykliske vurderinger av hvordan institusjonen ivaretar ansvaret for internt kvalitetsarbeid, nasjonale fag-, program- og gradsevalueringer, institusjonsevalueringer samt nasjonale registre for kvalitetsrelaterte data. Akkreditering er en faglig bedømmelse av en høyere utdanningsinstitusjon og de studier den tilbyr. Akkreditering, eller en positiv bedømmelse, er i henhold til lov om universiteter og høgskoler en forutsetning for at en institusjon skal kunne tilby et studium. Hovedvekten skal legges på institusjonenes systemer for kvalitetssikring. Departementet har tillagt myndigheten til å foreta akkreditering til et eget organ for akkreditering og evaluering. 8 Formålet med akkreditering er godkjenning. Ekstern vurdering (ofte kalt audit) brukes om et evaluerende ettersyn med institusjonenes samlede kvalitetsarbeid. Evalueringsobjektet er her kvalitetsarbeidet og ikke selve utdanningskvaliteten. Den eksterne evalueringen har vært rettet mot ledelses- og institusjonsnivået. Den tar hensyn til den variasjon som eksisterer i institusjonenes kvalitetsarbeid. Dermed tar den også institusjonenes eget ansvar for kvalitetssikring og utvikling på alvor. Ekstern evaluering kan basere seg på forutgående selvevaluering og tar vanligvis utgangspunkt i felles retningslinjer. 8 Jf. Ot.prp. nr. 40 (2001 2002) Om lov om endringer i lov 12. mai 1995 nr. 22 om universiteter og høgskoler og lov 2. juli 1999 nr. 64 om helsepersonell, kapittel 6. 15
Selvevaluering tar utgangspunkt i felles retningslinjer for ekstern evaluering eller audit, egne planer og målsettinger på området og egenrapporter fra kvalitetsarbeidet for de årene som omfattes av syklusen. Selvevalueringsrapporten skal være analyserende, konkluderende og konstruktiv, dvs. den må vurdere svakheter og styrker samt antyde tiltak for det videre kvalitetsarbeidet. Selvevaluering er en viktig del av vurderingsgrunnlaget, samtidig som den skal fremme lærestedets egen utvikling. 9 6. Komiteens tolkning av mandatet Slik komiteen tolker mandatet, er formålet med den eksterne komiteens arbeid å gi en vurdering av hvor hensiktsmessig det foreslåtte systemet synes å være, 10 basert på komiteens inntrykk av kvalitetsarbeidet ved de fire pilotinstitusjonene. Systemet er basert på systematisk intern dokumentasjon og vurdering samt ekstern evaluering av institusjonens samlede kvalitetsarbeid. Det sentrale dokumentasjonsgrunnlaget for styring og ledelse av kvalitetsarbeidet er institusjonenes planer for kvalitetsarbeid, rapporterte nøkkeltall, interne evalueringer og årsrapporter. 11 Dokumentasjonsgrunnlaget må gi mulighet for å foreta de vurderinger som retningslinjene forutsetter. Gjennomføring av undersøkende institusjonsbesøk skal utdype og supplere dokumentasjonsgrunnlaget gjennom kontakt med nøkkelpersoner blant administrativt personale, faglig personale og studenter. 9 Jf. Fortsatt granskning och bedömning av kvalitetsarbetet vid universitet och högskolor. Högskoleverkets rapportserie 1998:21 R s.29. 10 Se Norgesnettrådets rapport 2/1999 Basert på det fremste? 11 Jf. Rammeplan for pilotprosjektet i NNR-sak 25/00 (vedlegg 3). 16
Komiteen konsentrerte sin evaluering etter dette om de fire hovedpunktene i de veiledende retningslinjer som var utarbeidet for pilotprosjektet av NNR (se avsnitt 3.3), dvs. institusjonell plan og styring av kvalitetsarbeidet, registrering og rapportering av data for inntak-, innsats- og resultatindikatorer, interne evalueringsrutiner med rapportering og oppfølging på ulike nivåer og institusjonens årsrapport (selvevaluering). Gjennom slike undersøkelser regnet komiteen med å kunne danne seg et bilde av hvordan de veiledende retningslinjene var blitt mottatt og tolket av institusjonene. Dette gir også grunnlag for å drøfte spørsmålet om systemet for evaluering av kvalitetsarbeidet kan eller bør introduseres og implementeres «i full skala». Komiteen fikk også i oppgave å evaluere utdanningskvaliteten ved institusjonene eller, som det spesifiseres i mandatet: «[ ] gi en vurdering av kvaliteten i utdanningstilbudene i den grad den samlede dokumentasjonen (skriftlig og muntlig) gir grunnlag for det». Den skriftlige dokumentasjonen som er nødvendig for å vurdere kvalitetssystemet, må suppleres relativt mye i forhold til retningslinjene dersom den også skal kunne gi indikasjoner på tilfredsstillende utdanningskvalitet. Det vil også være nødvendig å utvide rammene for institusjonsbesøket med sikte på å fremskaffe nødvendig supplerende muntlig informasjon. Det er derfor komiteens vurdering at gjennomføring av både en vurdering av kvalitetssystemet og en vurdering av utdanningskvaliteten i denne utprøvingen av systemet ville gå utover rammene for oppdragets forutsetninger. Siden prosjektets hensikt primært er å prøve ut et system for evaluering av kvalitetsarbeid, er det også dette komiteen har valgt å fokusere. Komiteen har ikke tatt stilling til institusjonenes utdanningskvalitet som sådan. Komiteen kunne imidlertid på basis av grunnlagsmaterialet si noe om hvilke tiltak og kontrollmekanismer institusjonene hadde etablert for å sikre kvaliteten i utdanningstilbudet, og hvordan erfaringer formidles mellom nivåer i systemet og følges opp. 17
Etter komiteens syn ville utprøving av systemet bli best ivaretatt gjennom en åpen dialog omkring den eksterne evalueringen. Komiteen la derfor vekt på å informere miljøene om intensjonene med evalueringen ved starten av det enkelte institusjonsbesøk. Komiteen la også inn drøfting av inntrykk og foreløpige vurderinger av kvalitetsarbeidet med ledelsen ved den enkelte institusjon ved institusjonsbesøkets avslutning. På samme måte åpnet komiteen for at de interne delrapportene med vurderinger og anbefalinger av det enkelte lærested kunne bearbeides i lys av kommentarer fra institusjonene. Hensikten var å stimulere til videre kvalitetsarbeid ved institusjonene som helhet og derved styrke utviklingsaspektet i pilotprosjektet. Mandatet henstiller avslutningsvis til komiteen å «gi sin vurdering av kvalitetssystemets hensiktsmessighet i forhold til formålet om å sikre og utvikle kvaliteten i norsk høyere utdanning». Vurderingen skal baseres på de bedømmelser som er gjort av den enkelte institusjon. Komiteen skal også «vurdere spesielt om systemet, om det iverksettes i full skala, kan gi rimelig sikkerhet for at kvalitetssvikt i forhold til akseptabel standard blir avdekket». I «full skala» vil etter komiteens oppfatning innebære at systemet for evaluering av enkeltinstitusjoner gjennomføres generelt i norsk høyere utdanning. Komiteen blir med andre ord bedt om å vurdere om systemet, som omfatter dokumentasjon og rapportering etter visse retningslinjer og ekstern evaluering, gjennom utprøving viser seg å være et hensiktsmessig redskap for sikring og utvikling av kvalitet. Komiteen har ikke definert en «akseptabel standard» (jf. mandatet), men basert evalueringen på sitt kvalifiserte skjønn (jf. avsnitt 2.5, under Akkreditering). Den eksterne komiteens oppgave er kort sagt å prøve ut og vurdere et anbefalt system for evaluering av kvalitetsarbeid i høyere utdanning. 18
7. Denne rapporten Etter redegjørelsen for den eksterne komiteen og dens arbeid (kapittel 2) og bakgrunnen for forsøket (kapittel 3) vil denne rapporten gi en sammenfattende redegjørelse for komiteens bedømmelser og erfaringer fra dette arbeidet (kapittel 4). Deretter følger våre vurderinger av systemets hensiktsmessighet (kapittel 5) og våre anbefalinger med tanke på en bredere anvendelse av systemet (kapittel 6), først og fremst som ledd i eksterne evalueringer, men også som ledd i akkrediteringsprosesser. Komiteen beskriver sine erfaringer med hvordan de komponentene til et institusjonelt kvalitetssystem 12 som Norgesnettrådets pilotprosjekt foreslo som dokumentasjonsgrunnlag, blir håndtert i praksis ved de fire pilotinstitusjonene (kapittel 3). 13 I dette inngår spørsmålet om den type dokumentasjon som Norgesnettrådet har anbefalt og som foreligger som resultat av den eksterne evalueringen, gir tilstrekkelig grunnlag for å vurdere institusjonens kvalitetstenkning. Kvalitetstenkning omfatter her det ansvar institusjonen tar for kvalitetsutvikling og -kontroll, og den bevissthet som finnes innenfor institusjonen om betydningen av felles deltakelse i kvalitetsarbeidet. Med andre ord: Norgesnettrådet har anbefalt og institusjonene har fulgt noen retningslinjer for å fremskaffe indikatorer på kvalitet som for eksempel nøkkeltall. Spørsmålet er hvilket ansvar institusjonen tar for kvalitetsarbeid. Hvilke tiltak iverksetter institusjonen for å ivareta kvaliteten og de kvalitetsrelaterte data institusjonen fremskaffer? Dette er indikatorer med ulik grad av 12 Består av komponentene plan og styring, registrering og rapportering, interne evalueringer og årsrapport. 13 Komiteen har er utarbeidet rapporter om pilotprosjektet i hver av de fire pilotinstitusjonene. De fire rapportene utgjør erfaringsgrunnlaget for denne rapporten. Disse rapportene er ikke offentlige. 19
kompleksitet, og det er viktig å avklare om det finnes beredskap ved institusjonen for å kunne dokumentere slike indikatorer. Har institusjonen kjennskap til metoder for å samle inn slike data? Hvilken holdning har man ved institusjonen til å utvikle og vurdere sin virksomhet i lys av slike indikatorer? Komiteen ser det også som viktig å beskrive sine erfaringer med gjennomføringen av pilotprosjektet og den eksterne evalueringen. Et viktig spørsmål er hvordan pilotprosjektets retningslinjer har fungert som rettesnor for de lokale pilotprosjektgruppenes dokumentasjon av institusjonenes kvalitetsarbeid. Hva kan tenkes å være spesifikt koblet til forsøket, og hva kan være generelle reaksjoner? Hva er generelle implementeringsproblemer, og hva er spesifikke problemer for dette prosjektet? Komiteen finner det med andre ord hensiktsmessig å skille mellom en institusjons indikatorer på og beredskap for kvalitet. Indikatorer er kvalitetsrelaterte nøkkeldata, kvalitetstiltak og -aktiviteter og institusjonens ivaretakelse av sitt ansvar for kvalitet. Beredskap omfatter kunnskaper om metoder og systemtenkning ved institusjonen. Hensikten er etter dette ikke å peke ut arbeidet ved enkelte institusjoner eller miljøer som mer eller mindre vellykket i pilotprosjektet, men å forsøke å identifisere hvordan ulike innslag i pilotprosjektet har fungert. Dette omfatter den sentrale pilotprosjektgruppens arbeid og de instrumenter gruppen har beskrevet og anvist utprøving av (retningslinjer, maler), den eksterne komiteens eget arbeid samt de lokale pilotprosjektgruppenes forarbeid. 20
3 Norgesnettrådets forsøk med ekstern evaluering bakgrunn 1. Noen aktuelle tendenser i høyere utdanning Utviklingen innenfor høyere utdanning i Europa har noen påfallende trekk: a) Det har vært en dramatisk økning i antall studenter, det er et mer variert innhold i utdanningene, og det er flere interessenter. Dette forutsetter at studenter og andre interessenter kan stole på at det nasjonale universitets- og høgskolesystemet stadig holder god kvalitet. b) Vi har fått et internasjonalt arbeids- og utdanningsmarked. Dette har gitt større muligheter for å få godkjent høyere utdanning fra ett land i et annet land. En forutsetning for at dette skal fungere, er at landene kan stole på hverandres kontrollsystem når det gjelder utdanningens kvalitet og standard. c) Relasjonene mellom stat og institusjoner har endret seg. I Norge/Norden har det gått mot større grad av institusjonell autonomi og en tilsvarende lavere grad av departemental styring. Dette øker i sin tur kravene til tydelig institusjonelt lederskap. Alle disse forandringene har ledet frem til et økt behov for å kunne utvikle måter å synliggjøre, ivareta og utvikle, så vel som å kontrollere, kvaliteten i høyere utdanning. Å finne den optimale avveiingen mellom den kontrollerende og den utviklende funksjonen har likevel vist seg å være svært vanskelig. Internasjonale studier har vist at selv om det finnes mange generelle erfaringer, så kreves det likevel omfattende tilpasning til de spesielle forhold i hvert land. Strukturen i høyere utdanning og dens funksjon, relasjonene til statsapparatet, institusjonell 21
autonomi, akademisk kultur etc. er forhold som må tas i betraktning når et nasjonalt system for evaluering av kvalitetsarbeidet og kvaliteten skal utformes. Hver nasjon må derfor utforme et eget system som er hensiktsmessig i forhold til nasjonale forutsetninger og vilkår. Når det gjelder norsk høyere utdanning hevder, NOU 2000:14 Frihet med ansvar at Bildet av høyere utdanning i Norge i dag er preget av fragmentarisk sammensatte informasjonsbiter, som i begrenset grad kan si noe om helheten og hvorvidt utdanningsinstitusjonene gjør et kvalitetsmessig godt eller dårlig arbeid. For at en skal kunne utvikle institusjonenes virksomhet i tråd med de behov og krav som finnes, må det systemer til som kan informere om hva som går godt, hva som går dårlig og hvor det trengs en innsats. (side 126) Rapporten beskriver en «rekke sentralt initierte forsøk på å fremme tiltak for kvalitet i høyere utdanning» (side 127). Blant disse er NOU 1988:28 Med viten og vilje (Hernes-utvalgets utredning), Studiekvalitetsutvalgets innstilling 1990 (Handalutvalget), St.meld. nr. 40 (1990 91) Fra visjon til virke, nasjonale evalueringer av fag/-områder, oppretting av Norgesnettrådet og departementets evalueringspris. Status i studiekvalitetsarbeidet varierer mellom ulike typer institusjoner og sektoren preges av et mangfold av tiltak og oppfatninger av kvalitetsarbeidet. 14 Flere av institusjonene mangler en samlende oppfatning av kvalitetsarbeidet, og har et klart behov for systematisk utviklingsarbeid og for styrking av institusjonens ledelse av kvalitetsarbeidet (NOU 2000:14:132). Behovet for sterkere prioritering av undervisningskvaliteten øker kravene til sentral beslutningsevne, samtidig som institusjonenes 14 NOU 2000:14 Frihet med ansvar, vedlegg 18. 22
livskraft er avhengig av «akademisk frihet» og faglig legitimitet. Disse og andre motstridende forventninger til høyere utdanningsinstitusjoner stiller krav til organisasjonsform og styringsmodell på både det lokale og det sentrale nivå. «Paradoksalt nok vil dette kunne innebære en styrking av begge disse nivåer forutsatt at en samtidig makter å etablere en klarere arbeidsdeling innad mellom nivåene ved universitetene og høgskolene» (NOU 2000:14:282). Rapporten drøfter også ulike systemer for evaluering, og viser i denne forbindelse blant annet til Norgesnettrådets systemansvar for kvalitetssikring. Norgesnettrådets forslag er nettopp knyttet til institusjonenes organisering og ansvarsforankring av kvalitetsarbeidet. 2. Norgesnettrådets arbeid med kvalitetssikring Norgesnettrådet ble opprettet blant annet for å «trekke opp retningslinjer for kvalitetssikringsarbeidet innen høyere utdanning» 15. Som et ledd i dette arbeidet opprettet Norgesnettrådet i 1999 en arbeidsgruppe for å utforme et forslag om gjennomføring av evaluering og kvalitetssikring. 16 En grunntanke var at systemet bør omfatte både rapportering og dialog for å imøtekomme både kravet om informasjon og innsyn og behovet for strukturer som kan fremme institusjonenes selvinnsikt. På sikt skal et slikt system redusere behovet for mer omfattende program- og institusjonsevalueringer. Mandatet til arbeidsgruppen uttrykker behov for et system på nasjonalt nivå for å evaluere hvordan institusjonene forvalter sitt 15 Se Norgesnettrådets mandat (St.prp. nr. 32 (1996 97) og KUFs brev av 29.06.1998 vedrørende rådets arbeidsområder og -oppgaver. 16 NNR-sak 05/99. 23
ansvar for kvalitetsarbeid, uten at det sentrale nivået skal gå inn på hva institusjonene konkret gjør for å håndtere dette ansvaret. Institusjonene skal på sin side ha et system for sitt interne kvalitetsarbeid som omfatter planlegging, dokumentasjon, gjennomføring av ulike tiltak og føringer med hensyn til hvordan erfaringene med disse tiltak vil bli brukt i den videre planleggingen. Arbeidsgruppen fikk i oppdrag å fremme et forslag om hvordan evaluering skal kunne integreres i institusjonenes generelle rapporterings- og planleggingsarbeid. Fokus burde ligge på institusjonenes utviklingsarbeid. Arbeidsgruppen skulle også skissere i hvilken grad kvalitetsrelaterte data kan legges til grunn for en årlig rapportering om kvaliteten. I tillegg skulle arbeidsgruppen gi synspunkter på eventuelle andre typer av evaluering som kan være aktuelle å sette i gang på nasjonalt nivå. Arbeidsgruppens rapport, Basert på det fremste?, 17 legger frem forslag om «hvordan et system for kvalitetssikring av norsk høyere utdanning bør utformes, med bakgrunn i dagens erfaringer og tenking på området, nasjonalt og internasjonalt». Arbeidsgruppen uttalte her: Institusjonene innenfor høgre utdanning forvalter selv et hovedansvar for å sikre og utvikle kvaliteten i sine utdanninger. Det har derfor vært et overordnet siktemål for arbeidsgruppa å komme med forslag om tiltak som kan støtte og stimulere institusjonene i dette arbeidet [fra innledningen]. Selv om den enkelte institusjon skal ha frihet til å utforme sitt eget opplegg for kvalitetssikring, hevdet imidlertid arbeidsgruppen at det bør være et nasjonalt evalueringssystem, og dette forutsetter «at noen felles rammekrav gjøres gjeldende». 17 NNR-rapport 2/1999. 24
For at eksterne evalueringer av institusjonenes kvalitetsarbeid skal kunne fungere som nasjonale instrumenter, kreves det at grunnlaget for slike vurderinger får en noenlunde felles utforming. Tanken er at man skal kunne gjennomføre et sentralt systematisk opplegg for evaluering av institusjonenes eget arbeid med kvalitetssikring og kvalitetsutvikling, men uten å behøve å evaluere studietilbudenes kvalitet direkte. 3. Et pilotprosjekt for utprøving og videreutvikling Norgesnettrådet vedtok i mai 2000 (NNR-sak 25/00) å prøve ut arbeidsgruppens forslag til kvalitetssystem i et pilotprosjekt (rammeplan vedlagt, vedlegg 3). Fire institusjoner sa seg villige til å delta, Norges landbrukshøgskole, Norges teknisknaturvitenskapelige universitet (NTNU), Høgskolen i Sogn og Fjordane og Det teologiske menighetsfakultet (Menighetsfakultetet). Målet med pilotprosjektet er å prøve ut i mindre skala det utkastet til kvalitetssystem for norsk høyere utdanning som er foreslått i rapporten Basert på det fremste? videreutvikle det foreslåtte kvalitetssystemet på grunnlag av erfaringene med å bruke dette ved pilotinstitusjonene utvikle en nasjonal mal for registrering og rapportering av kvalitetsrelaterte data for høyere utdanning I rammeplanen for pilotprosjektet presenteres pilotprosjektets retning og opplegg nærmere. Viktige aktører i pilotprosjektet ved siden av de deltakende høgskolene er en sentral pilotprosjektgruppe og en ekstern evalueringskomité. (Vedlagt finnes en oversikt over aktører og prosess i pilotprosjektarbeidet.) Pilotprosjektet skal ta sikte på å prøve ut følgende fire elementer i kvalitetssystemet: 25
et opplegg for rapportering av kvalitetsrelaterte nøkkeldata om utdanningsvirksomheten anvendelse av de foreslåtte retningslinjene for internt kvalitetsarbeid i institusjonene ekstern evaluering av institusjonenes kvalitetssystem, kvalitetsarbeid og utdanningskvalitet selvevaluering Bare to av institusjonene, Norges landbrukshøgskole og Menighetsfakultetet, skulle gjennomføre en selvevaluering. Evalueringene ved Høgskolen i Sogn og Fjordane og NTNU omfattet med andre ord bare de tre første elementene i kvalitetssystemet. Pilotprosjektet startet i mars 2000 med representanter for Norgesnettrådet og de fire deltakende institusjonene. Institusjonenes medlemmer i den sentrale pilotprosjektgruppen opptrådte ifølge rammeplanen på vegne av sine institusjoner, og gruppen ble gjennom rammeplanen gitt myndighet til å beslutte hvordan kvalitetssystemet skulle utprøves i pilotprosjektet. Gruppens oppgave er derfor å komme med innspill som kan støtte og bidra til en hensiktsmessig gjennomføring av prosjektet. Gruppen besluttet at den eksterne evalueringen ikke skulle omfatte de deltakende institusjonene i sin helhet, men relateres til enkelte studieløp. Avgrensningen skulle imidlertid foretas slik at man gjennom den eksterne evalueringen kunne følge de vertikale linjer i institusjonenes kvalitetssystem. I tråd med tidligere utredninger og dokumenter i Norgesnettrådets regi utarbeidet gruppen følgende dokumenter: Mal for registrering og rapportering av nøkkeldata Mandat for ekstern komité pilotprosjekt med kvalitetssystem Veiledende retningslinjer for utforming av årsrapport om utdanningskvalitet 26
Sekretariatet utarbeidet på basis av de sentrale dokumentene i saken og diskusjonene i den sentrale pilotprosjektgruppen rammeplanen Veiledende retningslinjer for institusjonenes kvalitetsarbeid i Norgesnettrådets pilotprosjekt med kvalitetssystem (i det følgende kalt de veiledende retningslinjer). Institusjonene skulle forsøke å gjennomføre sitt kvalitetsarbeid i samsvar med retningslinjene og legge til rette for evalueringen ved den eksterne komiteen. Retningslinjene, som har fire hovedkomponenter, blir gjengitt i sin helhet nedenfor: 1. Plan og styring Institusjonen skal ha en plan for kvalitetsarbeidet, som bør omfatte: Mål satsingsområder oversikt over tiltak Institusjonen bør kunne dokumentere sin organisering av kvalitetsarbeidet, bl.a.: Ansvarsforhold prosedyrer ledelses-/styringsforankring Institusjonen bør ha fastsatt administrativ ressurs til kvalitetsarbeidet: Definert ressursomfang forankring i person(er) 2. Registrering og rapportering Institusjonen skal årlig gjøre systematiske registreringer og rapporteringer av evalueringsdata for de enkelte utdanningstilbudene etter en felles mal med indikatorer for inntakskvalitet, innsats og resultatkvalitet. 3. Intern evaluering Institusjonen skal årlig foreta interne evalueringer av utdanningstilbudene, som bør omfatte: - Vurdering av undervisningspersonalets kompetanse - Vurdering av hvordan FoU-virksomheten understøtter utdanningstilbudene 27
- Systematiske studentvurderinger av undervisning, studieprogram og rammefaktorer på enkelttilbudsnivå - Systematiske lærervurderinger av studieprogram og studieopplegg på enkelttilbudsnivå - Vurderinger av utdanningstilbudenes relevans Evalueringene bør foretas slik at det er mulig å aggregere evalueringsdata på ulike nivå, helt opp til institusjonsnivået. 4. Årsrapport Institusjonen skal dokumentere sitt kvalitetsarbeid i en oppsummerende årsrapport, som bør inneholde: - Registrering av tidligere utpekte målsettinger, forbedringsområder og kvalitetstiltak - Oppsummering og analyse av gjennomført internt kvalitetsarbeid, herunder vurdering av eventuelle betydelige avvik eller indikasjoner på kvalitetssvikt - Vurdering av resultater fra igangsatte kvalitetstiltak. Vurdering om det er behov for nye eller andre tiltak Årsrapporten er institusjonens hoveddokument ved ekstern evaluering. Årsrapporten bør integreres med institusjonens øvrige planog styringsdokumenter. Vi ser at de veiledende retningslinjer konkretiserer elementene i det kvalitetssystem som skulle prøves ut, bortsett fra selvevaluering, der det ikke ble utarbeidet egne retningslinjer. Den eksterne evalueringen skulle legges frem i fire delrapporter, én for hver institusjon som deltok i prosjektet, og en sluttrapport der komiteen også tar stilling til mandatets spørsmål om systemets hensiktsmessighet (jf. avsnitt 2.2). Som et siste ledd i pilotprosjektet skal den sentrale pilotprosjektgruppen avgi en rapport. Rapporten skal drøfte i hvilken grad prosjektet har vært vellykket i forhold til målsettingen, og 28
om det finnes erfaringer fra prosjektet som bør få innvirkning på den endelige utformingen av kvalitetssystemet. Pilotprosjektgruppens rapport skal inneholde en vurdering av det foreslåtte systemet i lys av erfaringer fra prosjektet. Ifølge prosjektplanen skulle Norgesnettrådets sekretariat avslutningsvis utarbeide et vurderingsdokument om forslaget til kvalitetssystem. Den foreliggende rapport skal gi et grunnlag for den sentrale pilotprosjektgruppens vurderinger. 29
4 Institusjonenes kvalitetsarbeid ut fra dokumentasjon og institusjonsbesøk Dette kapitlet gir en vurderende sammenfatning av den eksterne komiteens inntrykk av kvalitetsarbeidet ved de fire pilotinstitusjonene, basert på analyse av fremlagt dokumentasjon og ved undersøkende institusjonsbesøk. Vurderingene gjelder kun de utdanningstilbudene som omfattes av pilotprosjektet, og institusjonens ivaretaking av ansvaret for disse (jf. mandatet). Fremstillingen bygger på mer helhetlige beskrivelser og vurderinger av kvalitetsarbeidet ved den enkelte institusjon i de interne delrapportene til institusjonene. Vi vil først gi en kort presentasjon av de fire institusjonene, deretter følger en fremstilling av de fire hovedpunktene som angis i veiledende retningslinjer. Til slutt sammenfatter komiteen sine inntrykk av institusjonenes kvalitetsarbeid og drøfter gjennomføringen av den eksterne evalueringen. Komiteens vurdering av kvalitetssystemets hensiktsmessighet på grunnlag av de evalueringene vi foretok ved institusjonene, følger i kapittel 5. 1. De fire pilotinstitusjonene De fire institusjonene som deltok i pilotprosjektet, skulle representere ulike typer av høyere utdanningsinstitusjoner: Høgskolen i Sogn og Fjordane (de statlige høgskolene), Norges teknisk-vitenskapelige universitet (NTNU) (universitetene), Norges landbrukshøgskole (de vitenskapelige høgskolene) og Menighetsfakultetet (de private høgskolene). Institusjonene hadde selv meldt sin interesse for å delta i pilotprosjektet. 30
Norgesnettrådet honorerte hver institusjon med kr 150 000 for arbeidet. Nedenfor gir vi en kort oversikt over organiseringen av pilotprosjektet i de fire institusjonene. Høgskolen i Sogn og Fjordane har om lag 3000 studenter og 260 tilsatte, av dem vel 170 vitenskapelig ansatte. Høgskolen etablerte en lokal pilotprosjektgruppe med deltakelse fra den sentrale studieadministrasjonen og medlemmer fra de utvalgte fagmiljøene til å stå for arbeidet med pilotprosjektet. Høgskolen hadde valgt ut to utdanninger ved to avdelinger som deltakere i pilotprosjektet: sykepleierutdanninga ved Avdeling for helsefag, lokalisert i Førde idrett grunnfag ved Seksjon for idrettsfag, Avdeling for lærerutdanning, lokalisert i Sogndal NTNU har over 20 000 studenter og over 3300 tilsatte (av dem 1827 vitenskapelig ansatte høsten 2001). NTNUs lokale pilotprosjektgruppe ble ledet av prorektor og hadde representanter for hvert av de fire fagmiljøene som deltok i det lokale prosjektet. En egen saksbehandler for pilotprosjektet ved institusjonen inngikk også i gruppen. Følgende enheter og fag deltok i pilotprosjektet ved NTNU: Nordisk institutt, Historisk-filosofisk fakultet: de to 10-vekttallsenhetene som utgjør Nordisk grunnfag (dvs. Nordisk litteratur og Nordisk språk) Institutt for sosiologi og statsvitenskap, Fakultet for samfunnsvitenskap og teknologiledelse: to obligatoriske 5-vekttallsemner i Sosiologi hovedfag: Sosiologisk metode og Regresjonsanalyse 31
Institutt for bygg- og miljøteknikk, Fakultet for bygg- og miljøteknikk, med sitt system for fagevaluering Arkitektstudiet, Fakultet for arkitektur, plan og billedkunst: tre obligatoriske emner á 2,5 vekttall i 3. årskurs: Arkitektur 5A Byplanlegging, 5 vekttall; Arkitektur 5B Boligplanlegging, 2,5 vekttall; Arkitekturens teori og historie, 2,5 vekttall Norges landbrukshøgskole har vel 2500 studenter og 825 tilsatte, derav 400 vitenskapelig tilsatte. Den lokale pilotprosjektgruppen på Norges landbrukshøgskole bestod av personer fra den sentrale studieadministrasjonen, studenter og en faglig representant for hvert av de tre fagmiljøene som deltok i pilotprosjektet. Følgende enheter deltok i pilotprosjektet: Institutt for husdyrfag Institutt for biologi og naturforvaltning Institutt for landskapsplanlegging Det teologiske menighetsfakultetet (Menighetsfakultetet) har om lag 1000 studenter og 82 tilsatte, av dem ca. 50 vitenskapelig tilsatte. Ved Menighetsfakultetet ble pilotprosjektet drevet av en pilotprosjektgruppe ledet av studiesjefen. Gruppen hadde også en representant for hvert av de tre studieløpene ved Menighetsfakultetet samt to studenter som medlemmer. Følgende fem utdanningstilbud inngikk i pilotprosjektet: KRL/G1, 10 vekttall; modulen utgjør første del av grunnfaget Kristendom med religions- og livssynsorientering/ KRL KRL mellomfag, 10 vekttall semesteremne i bibelhebraisk, 10 vekttall semesteremne i praktisk teologi, 10 vekttall Bibelfag (GT og NT), som inngår i teologistudiet frem til cand.theol. 32
2. Generelle inntrykk Som det fremgår over, har institusjonene hatt ulike tilnærminger til pilotprosjektet, og de har vektlagt ulike aspekter i pilotprosjektperioden. Et gjennomgående trekk har imidlertid vært en meget positiv holdning til den eksterne komiteens arbeid og velvillig innsats for at alle deler av dette skulle kunne gjennomføres på en hensiktsmessig måte, foruten stor åpenhet om ulike aspekter ved det interne kvalitetsarbeidet. Rent generelt er kvalitetsarbeidet ved institusjonene preget av gode kvalitetstiltak kombinert med stor innsatsvilje. Institusjonene kan vise til en rekke tiltak for å styrke læringsmiljøet (sosialt og faglig), for å involvere studenter og lærere i faglig og pedagogisk utvikling av studiene ikke bare av enkeltkurs/fag og for å ta miljøer og individers interesser og behov «på alvor». Samtidig ser vi også sterkt engasjement på grunnplanet for eksempel i det arbeid lærere nedlegger i stadig fornyelse av egen undervisning gjennom dialog med sine studenter. Dette er primærvirksomheten, og denne fremstår som preget av generelt høy kvalitet. Komiteens mandat fokuserer på vurdering av de mer systemiske aspekter ved institusjonenes kvalitetsarbeid. Det har gitt føringer for komiteens beskrivelse og analyse av kvalitetsarbeidet ved institusjonene både i delrapportene og i denne rapporten. Vurderingen av mer studiekvalitetsorienterte tiltak kan ha fått mindre plass enn det institusjonenes aktivitet og forventninger kunne tilsi. Et annet forhold er at den dokumentasjonen komiteen mottok på forhånd, ikke alltid var helt dekkende i forhold til dens oppdrag. I flere tilfelle førte dette til at en del av tiden ved institusjonsbesøket måtte fokusere på å supplere vår informasjon, hvilket snevret inn de områdene vi kunne gå inn på. 33
3. Kvalitetsarbeidet ut fra de veiledende retningslinjene 1. Plan og styring I henhold til de veiledende retningslinjer omfatter «plan og styring» institusjonens plan for kvalitetsarbeid og bør omfatte mål, satsingsområder og oversikt over tiltak. Det vises til at institusjonen bør kunne dokumentere sin organisering av kvalitetsarbeidet, bl.a. når det gjelder ansvarsforhold, prosedyrer og ledelses-/styringsforankring. Det anbefales også at institusjonen har fastsatt administrative ressurser til kvalitetsarbeidet, dvs. at ressursomfanget er definert og forankret i person(er). Institusjonenes styrke ligger på dette punktet i identifikasjon av satsningsområder og iverksetting av kvalitetsfremmende tiltak. Institusjonene hadde innsikt i egne behov for utvikling av studiekvalitet og hadde iverksatt veloverveide tiltak for dette formål. Eksempler er studentaktiviserende undervisning og faglig oppdatering av studietilbud. Tiltakene var i stor grad initiert av studenter og lærere på grunnivå, mens tiltak som medarbeidersamtaler var initiert av institusjonsledelsen. Oppfølging og videre utvikling av slike tiltak er imidlertid avhengig av samarbeid og interaksjon mellom ulike nivå i organisasjonen. Vi fant at organiseringen av kvalitetsarbeidet og beslutninger om dette ofte var avgrenset til enkelte nivå eller miljøer. Institusjonene beskriver for eksempel en rekke ofte omfattende tiltak for å styrke studiekvaliteten, men har svak dokumentasjon av implementering, oppfølging, evaluering og videre utvikling av tiltakene på ulike nivå og mellom nivåene. Her bør også nevnes at institusjonene i liten grad har satt mål som i ettertid kunne følges opp og vurderes. Plasseringen av ansvaret for kvalitetsarbeidet er ofte utydelig. Enkelte institusjoner hadde egne utvalg for studiekvalitetsarbeid. Disse fungerte godt som diskusjonsforum, men det var ikke alltid klart hvordan sakene ble videre behandlet. Et annet 34