Nytt om NOKUT fra forskningens verden

Transkript

1 Nytt om NOKUT fra forskningens verden [Stein Erik Lid] I 2008 ble NOKUT, på oppdrag av Kunnskapsdepartementet, evaluert av et panel bestående av et internasjonalt forskerpanel. Med grunnlag i data som ble samlet inn til evalueringen, har de samme forskerne nylig publisert to forskningsartikler der de ser nærmere på effektene av NOKUTs arbeid med ekstern kvalitetssikring av utdanning og bruken av fagfeller i NOKUTs evaluerings- og akkrediteringsarbeid. Her sammenfattes de viktigste resultatene som presenteres i de to artiklene, og det blir diskutert hvordan NOKUT kan bruke disse resultatene. Innledning I 2008 ble NOKUT, på oppdrag av Kunnskapsdepartementet, evaluert av et panel bestående av forskere fra Norge, Danmark, England og Nederland 1. Panelet hadde to evalueringsoppgaver. Det ene besto i å evaluere NOKUT i forhold til ENQAs The European Standards and Guidelines for Quality Assurance in the European Higher Eduation Area (ESG). Det andre besto i å evaluere NOKUTs nasjonale rolle. Resultatet fra evalueringen(e) var i korthet følgende: NOKUT tilfredsstilte ESG NOKUTs strategi, mål og aktiviteter var i henhold til lov og forskrift NOKUTs organisering og ledelse fungerer i hovedsak tilfredsstillende NOKUT har tilstrekkelig kompetanse og ressurser NOKUT bidrar på en effektiv måte til kvalitetssikring av utdanningen i Norge Evalueringspanelet konkluderte imidlertid med at NOKUTs strategier og prosedyrer med fordel i større grad kunne rette seg mot å stimulere til kvalitetsutvikling i sektoren: NOKUT har valgt en kvalitetssikringsmodell der kontroll har større fokus enn utviklingsstimulering og NOKUTs målsetning om at det norske systemet for kvalitetssikring skulle være utviklingsorientert er ikke nådd Det eksisterer en fare for at institusjonene tilpasser seg NOKUTs kriterier på en byråkratisk måte for å bestå kontrollen, istedenfor å fokusere på egen kvalitetsutvikling Som grunnlag for evalueringen av NOKUT benyttet evalueringsteamet en forskningsbasert tilnærming som blant annet omfattet innhenting av data gjennom spørreundersøkelser og intervjuer av studenter og tilsatte ved institusjonene, og medlemmer av NOKUTs sakkyndige komiteer. Med grunnlag i analyse av dataene fra disse spørreundersøkelsene og intervjuene, har evalueringspanelet nylig publisert to vitenskapelige artikler der de tar for seg effektene av ekstern kvalitetssikring (utført av NOKUT) og bruken av fagfeller i NOKUTs evaluerings- og akkrediteringsarbeid. Budskapet i begge artiklene som er gjennomgått nedenfor, er i stor grad i tråd med synet som framkom i evalueringen av NOKUT, nemlig at organet i større grad bør fokusere på å stimulere til kvalitetsutvikling i sektoren. I tillegg bruker de dataene fra NOKUT evalueringen som grunnlag for å diskutere hvilken rolle ekstern kvalitetssikring bør ha i en mer generell og internasjonal kontekst. 1 Liv Langfeldt, Lee Harvey, Jeroen Huisman, Don Westerhejden & Bjørn Stensaker

2 Artikkel 1: An in-debth study on the impact of external quality assurance 2 I denne artikkelen analyserer forfatterne spørsmål omkring effekter av ekstern kvalitetssikring. I artikkelens introduksjon forsøker forfatterne, ved å vise til eksisterende litteratur, å etablere to hovedoppfatninger om ekstern kvalitetssikring. Det første er at ekstern kvalitetssikring ofte ikke berører den egentlige utdanningskvaliteten, men isteden fokuserer på forhold som mer indirekte har med kvalitet å gjøre. Eksempler som gis omfatter institusjonenes styringsprosesser, profesjonalisering av det administrative støtteapparatet og rutiner for innhenting og analyse av data om utdanningskvalitet. Det andre er at siden ekstern kvalitetssikring i de fleste land omfatter ulike virkemidler, må det være en grunn for dette, nemlig forventningen av at de ulike virkemidlene vil ha ulike og kompletterende effekter på utviklingen ved høyere utdanningsinstitusjoner. Her viser de konkret til at audits blir forbundet med stimulering av institusjonell autonomi, etablering av systemer for å håndtere kvalitetsspørsmål og generell stimulans til kvalitetsutvikling, mens akkrediteringer og fagevalueringer blir forbundet med mer direkte kontroll eller evaluering av kvaliteten på undervisning og læring. Derfor er det i følge forfatterne også rimelig å anta det er institusjonenes ledere på ulike nivå som oppfatter audits som mest nyttig, mens det er lærere og studenter som i størst grad oppfatter nyttige effekter av akkrediteringer og evalueringer. Med disse to hovedoppfatningene som premisser, analyserer forfatterne tre spørsmålsstillinger: fører bruk av ulike virkemidler til ulike effekter ved institusjonene? hvordan oppfatter studenter og tilsatte ved institusjonene effektene av ekstern kvalitetssikring? hvilken rolle spiller ekstern kvalitetssikring for å påvirke eller endre prosesser direkte relatert til undervisning og læring? Med bakgrunn i svarene fra spørreundersøkelsene som ble lagt til grunn for NOKUT evalueringen fant forfatterne følgende hovedtendenser 3 : det er liten forskjell på hvordan studenter, lærere og ledere (respondenter i undersøkelsen) ved institusjonene oppfatter målsettingene bak de ulike virkemidlene uavhengig av virkemiddel oppfatter flertallet av respondentene målsettingen bak ekstern kvalitetssikring som kontrollvirksomhet, mens omkring halvparten av respondentene oppfatter det som samtidig rettet mot kvalitetsutvikling det er liten forskjell på hvordan respondentene oppfatter effektene av de ulike virkemidlene som i hovedsak oppfattes som moderat positiv det er relativt liten forskjell på hvordan respondentene oppfatter at de ulike virkemidlene har effekter på undervisning og læring det er relativt liten forskjell på hvordan respondentene oppfatter at de ulike virkemidlene påvirker student involvering i læringsspørsmål det er i størst grad ledere ved institusjonene som oppfatter at ekstern kvalitetssikring har positive effekter, fagtilsatte og studenter oppfatter dette i mindre grad en relativt stor andel (om lag halvparten) av studentene vet ikke om ekstern kvalitetssikringsprosesser har gitt effekter fagtilsatte oppfatter at den største effekten av ekstern kvalitetssikring er bedrete forhold og ressurser for forskning (ikke utdanning/undervisning) 2 Stensaker B., Langfeldt L., Harvey L., Huisman J. and Westerheijden D. (2010). An in-debth study on the impact of external quality assurance. Assessment & Evaluation in Higher Education, 1-14, ifirst Article. 3 Data som presenteres i artikkelen er mer detaljert og viser at oppfatningene er noe mer nyansert. Her oppsummeres hovedtrekkene forfatterne selv har framhevet spesielt.

3 Forfatterne mener det mest vesentlige funnet som presenteres i artikkelen er at effektene av ekstern kvalitetssikring i sektoren ikke oppfattes å ha sammenheng med hvilket virkemiddel som blir benyttet. Basert på dette resultatet hevder forfatterne at de ulike virkemidlene som benyttes trolig verken er så differensierte eller gir så ulike effekter som tidligere antatt og stiller spørsmål ved om ikke reduksjon i virkemiddelbruken er veien å gå i et kost-nytte perspektiv. De argumenterer også for at ekstern kvalitetssikring har en tendens til å rette seg mot overordnede institusjonelle prosesser og i liten grad mot den egentlige utdanningskvaliteten. På bakgrunn av dette argumenterer de for å gjenåpne debatten om hvordan man best designer evalueringer for spesifikke formål, og at man i større grad bør fokusere på undervisning, læring og student-dimensjonen innen kvalitetssikring. Når studenter i så liten grad er overbevist om de positive effektene av ekstern kvalitetssikring som de mener å ha påvist, hevder forfatterne at dette kan bidra til å undergrave legitimiteten til denne virksomheten. Artikkel 2: The role of peer review in Norwegian quality assurance: potential consequences for excellence and diversity 4 I denne artikkelen analyserer forfatterne hvordan NOKUTs bruk av fagfeller fungerer med tanke på å stimulere utvikling av det fremragende og til diversitet i sektoren. Som premiss for undersøkelsen legger forfatterne til grunn at dagens eksterne kvalitetssikringsopplegg for utdanning, der fagfeller benyttes, innehar motstridende føringer. På en side har fagfeller tradisjonelt blitt brukt i kvalitetssikring ut i fra tanken om at det kreves spesialisert kunnskap og kompetanse, og at det derfor bare er spesialister innen de aktuelle feltene som kan gi vurderingene tyngde. Styrken i fagfellevurderinger slik de har blitt brukt for å vurdere akademisk standard er nettopp muligheten for å fokusere på det fremragende og diversitet/nyvinninger, fordi vurderingene er åpne (ikke avgrenset til å forholde seg til minimumsstandarder) og fastsettelse av vurderingsgrunnlaget i stor grad er overlatt til fagfellene selv. På den andre siden har det innenfor ekstern kvalitetssikring av utdanning blitt utviklet et sett med regler for både hva som skal vurderes og hvordan vurderingsprosessene skal utføres. Dette har skjedd både gjennom utvikling av nasjonale og overnasjonale retningslinjer (NOKUT må for eksempel forholde seg til både aktuelle nasjonale lover, forskrifter og prosedyrer, samt European Standards and Guidelines for Quality Assurance). Reglene er utviklet for å sikre lik behandling, enhetlig vurderingsgrunnlag og åpenhet i vurderingsprosessene. Ved å sette tradisjonelle akademiske fagfellevurderinger opp mot regler for ekstern kvalitetssikring av utdanning (hvor det kalles sakkyndig vurderinger), argumenterer forfatterne for at dagens kvalitetssikringsmodell med bruk av fagfeller representerer en hybridmodell, der reglene bidrar til å begrense fagfellenes autoritet og frihet i vurderingene. Forfatternes sentrale spørsmål blir derfor hvorvidt denne hybridmodellen evner å stimulere til utvikling av det fremragende og til diversitet. Med dette som premiss analyserer forfatterne tre forhold: hvilke typer informasjon og prosesser NOKUTs sakkyndige i størst grad vektlegger som grunnlag for vurdering balansen mellom formelle standarder/regler på den ene siden og sakkyndige vurderinger på den andre hvorvidt det er enighet i sakkyndige komiteer og hvordan enighet oppnås 4 Langfeldt L., Stensaker B., Harvey L., Huisman J. and Westerheijden D. (2010). The role of peer review in Norwegian quality assurance: potential consequences for excellence and diversity. Higher Education, 59 (4),

4 Med bakgrunn i svarene fra spørreundersøkelsene som ble lagt til grunn for NOKUT evalueringen fant forfatterne følgende hovedtendenser 5 : studenter og tilsatte ved institusjonene opplever at de største endringene som følge av ekstern kvalitetssikring dreier seg om rutiner og prosesser og ikke om forhold direkte relatert til læringssituasjonen de sakkyndige legger størst vekt på NOKUTs standarder og kriterier samt diskusjoner i den sakkyndige gruppa som grunnlag for vurderinger mange sakkyndige uttrykker at en svakhet ved vurderingsprosessene er at de samme standarder og kriterier gjelder uavhengig av fagfelt og om det gjelder disiplin- eller profesjonsutdanning - dette underminerer muligheten til å vektlegge deres ulike karakteristika og bidrar til akademisering av profesjonsutdanningene andelen negative komitèkonklusjoner er lavere enn andelen sakkyndige som i spørreundersøkelsen svarte at studieprogrammet de hadde vurdert var under minstestandard flere institusjoner opplever at sammensetningen av sakkyndige komiteer påvirket utfallet av vurderingene NOKUTs standarder og kriterier er i seg selv rettet mot minstestandarder og i liten grad egnet til å stimulere til det fremragende og diversitet det store flertallet sakkyndige opplever at komiteene relativt enkelt kommer til enighet På bakgrunn av disse funnene og diskusjoner omkring NOKUTs kriterier og prosedyrer som forfatterne mener er detaljerte og gir relativt lite spillerom for skjønnsmessig vurdering, konkluderer de med at de sakkyndige komiteene i akkrediterings- og auditsammenheng får en mer teknisk enn akademisk rolle. Selv om forskriften for akkreditering inneholder en blanding av kriterier som både er av kvantitativ natur og kriterier som i utgangspunktet gir rom for sakkyndig vurdering, mener forfatterne det legges relativt sett størst vekt på den førstnevnte gruppen. Resultatene blir tolket dithen at de sakkyndiges rolle i akkrediteringssaker i praksis er begrenset til å vurdere hvorvidt predefinerte faktorer er godt nok ivaretatt, og at hensynet til likebehandling står sterkere enn hensynet til å stimulere til kvalitetsutvikling. Avslutningsvis uttrykker artikkelforfatterne også en bekymring for at fagfelle prosessen innen ekstern kvalitetssikring av utdanning er under press i Europa med framveksten av overnasjonale strukturer og regelverk (ENQA, ESG, EQAR). Diskusjon hvordan kan NOKUT forholde seg til dette? Artiklene synes å rette relativt sterk kritikk mot NOKUTs måte å drive ekstern kvalitetssikring av utdanningen på, og artikkelforfatterne går langt i å antyde at de mener ekstern kvalitetssikring ikke bidrar vesentlig til utvikling av utdanningskvalitet ved institusjonene. Som et av målene for kritikken (i tillegg til overordnet myndighet), kan NOKUT forholde seg til dette på ulike måter. En måte er å kritisere forfatterne for å tolke dataene på feil grunnlag. For det første kan de kritiseres for nesten utelukkende å vektlegge at grunnlaget for å drive ekstern kvalitetssikring er å stimulere til kvalitetsheving av utdanningene som gis ved institusjonene. Eksempelvis tar de i svært liten grad hensyn til at myndighetene og samfunnet generelt har behov for å forsikre seg om at utdanningene, som det brukes betydelige av samfunnets ressurser på å drifte, holder et tilfredsstillende nivå og at NOKUT er satt til å gjøre denne jobben. For det andre kan forfatterne kritiseres for å utføre sine analyser ut fra en forhåndsoppfatning om at ekstern kvalitetssikring av utdanning, slik den er organisert og drives av profesjonelle og byråkratiske organer i Europa, representerer en forfeilet politikk. Dette blir nokså tydelig i artiklenes innledninger der de søker støtte i eksisterende litteratur for å bygge argumenter om at praksisen ikke berører den egentlige studiekvaliteten, og setter 5 Data som presenteres i artikkelen er mer detaljert og viser at oppfatningene er noe mer nyansert. Her oppsummeres hovedtrekkene forfatterne selv har framhevet spesielt.

5 tradisjonelle akademiske fagfellevurderinger opp mot bruken av sakkyndige i ekstern kvalitetssikring av utdanning. Fra et NOKUT ståsted synes det nærmest som en selvfølgelighet at tilsynsvirksomheten er bedre egnet til å sikre et minimumsnivå enn til å bidra til å dyrke fram det fremragende og til diversitet. Dette har også blitt tydelig kommunisert, blant annet var dette et hovedbudskap fra NOKUT til sektoren under årets NOKUT-konferanse. Slik sett kan det argumenteres for at kritikken som framkommer i artiklene både blir kunstig, irrelevant og ikke representerer ny kunnskap. Imidlertid er selvforsvar en lite hensiktsmessig tilnærmingsmåte, fordi det lett kan føre til blindhet overfor viktige poenger. I den sammenhengen er det viktig å legge merke til forskjellene i budskap som framkom i evalueringen av NOKUT og artiklene som her er gjennomgått. Evalueringskomiteen forholdt seg i hovedsak til et definert evalueringsoppdrag fra Kunnskapsdepartementet som la opp til at NOKUT skulle evalueres ut fra hvordan organet fungerte innenfor rammene av det norske (og europeiske) systemet for kvalitetssikring. Her kom som tidligere nevnt NOKUT godt ut på de fleste punkter. I disse to artiklene analyseres imidlertid deler av NOKUTs arbeid og virkemåte generelt, uten referanse til det norske systemet for kvalitetssikring. Kritikken retter seg derfor ikke i første rekke mot NOKUT som sådan, men isteden mer generelt mot det forfatterne mener er svakhetene ved et byråkratisk forankret kvalitetssikringsregime. En god måte å forholde seg til kritikken på er kanskje derfor å lese artiklene med det utgangspunkt at siden det faktisk finnes forskere som bruker tid og ressurser på å forske på NOKUTs gjøren og laden, så må NOKUTs arbeid både representere noe som er viktig og noe som organisasjonen derfor hele tiden bør søke å forbedre. Dette er i stor grad også det som har skjedd. Dersom vi ser på hva som har skjedd med NOKUT i tiden etter at evalueringen av NOKUT ble ferdigstilt, har endringsfokuset i stor grad gått i retning av å ta evalueringskomiteens kritikk og anbefalinger alvorlig. I NOKUTs nye strategiplan betones et økt fokus på å tydeliggjøre stimulans til kvalitetsutvikling. Både gjennom tilsyn, rådgivning og rene utviklingsvirkemidler som evalueringer og prioritering av analysekapasiteten. NOKUTs nye strategi legger også stor vekt på å tydeliggjøre forskjellene mellom de ulike virkemidlene. Videre er NOKUTs forskrift revidert, og de aller fleste momentene fra evalueringen av NOKUT og de som framkommer i disse to artiklene har blitt vurdert denne prosessen. At audit har fått et større fokus på å undersøke institusjonenes nytte av eget kvalitetsarbeid, og at kriteriene for akkreditering i ny forskrift har blitt tydeligere presisert må også kunne sies å være et slags svar på kritikken om at de ulike virkemidlene virker for likt. Gjennom at NOKUT har fått en sentral rolle i å forvalte ordningen med Sentre for fremragende utdanning har NOKUT nå også fått et virkemiddel som er egnet til å stimulere til det fremragende. Slik sett er det liten tvil om at NOKUT har endret seg i tråd med mange av momentene som har framkommet i evalueringen av NOKUT og de to artiklene som her er gjennomgått. Uavhengig av om endringene har kommet som resultat av evalueringsgruppens innspill, egen utvikling, nasjonal eller internasjonal politikk (eller en kombinasjon av disse), synes det tydelig at den tenkningen artikkelforfatterne representerer har hatt relativt stor innflytelse på det norske systemet for ekstern kvalitetssikring av utdanning de siste årene. Hvilke vesentlige momenter finnes i disse artiklene som fortsatt kan benyttes? Gitt at det ikke med det første utvikler seg internasjonal og nasjonal politisk vilje for å legge ned virksomheten (det kreves store endringer i både europeisk og nasjonal politikk for å få til dette), eller radikalt endre den til å kun omfatte rene kvalitetsutviklingstiltak, er det likevel momenter som potensielt kan få framtidig betydning. Et av disse er utvikling av tilpassede kriterier for tilsyn med profesjons- og disiplinutdanninger. Mulige farer ved økt akademisering av profesjonsutdanningene har vært oppe i samfunnsdebatten i senere tid (både i forbindelse med akademisk drift på institusjonsnivå og profesjonsfagnivå), og dersom slike diskusjoner blir mer høylytt, kan dette bli ett område NOKUT vil bli tvunget til å gjøre endringer. Et annet aktuelt moment er hvordan NOKUT best kan utnytte sakkyndig kompetanse. Dette spørsmålet har det vært stor oppmerksomhet rundt i NOKUT så lenge

6 organet har eksistert. Selv om det så langt ikke har ført til radikale endringer, kan det likevel argumenteres for at NOKUTs nye forskrift og tilhørende prosedyrer for akkreditering, kombinert med utviklingen av NOKUT-portalen i Database for statistikk om høyere utdanning som vil profesjonalisere og lette innhenting av kvantitative data (høsten 2011) kan sees som starten på en ny utvikling. Dette vil i større grad kunne åpne opp for at de sakkyndige kan konsentrere seg om å analysere og vurdere kvalitative forhold som krever høy og spesialisert akademisk kompetanse, noe som potensielt gir større anledning til å utnytte sakkyndige på en måte som er mer i tråd med artikkelforfatternes syn.