Lee Harveys kritikk av kvalitetssikringsbevegelsen ; Irrelevant eller utfordrende? [Jon Haakstad] Lee Harvey har i et par tiår vært en sentral kommentator, og en markant kritiker, av de offentlige regimene for kvalitetssikring av høgre utdanning som etter hvert har blitt bygd opp i de fleste land. Harvey ser de fleste nasjonale byggverkene for kvalitetssikring som langt på vei dysfunksjonelle: de unnlater å adressere de mest sentrale kvalitetskjennetegnene, gir dermed grunnlag for ødeleggende mistillit mellom kvalitetsbevegelsen og akademia, og undergraver mulighetene for et konstruktivt kvalitetsarbeid. Innledning Med kvalitetssikringsbevegelsen menes i denne sammenhengen utviklinga av institusjonalisert kvalitetssikring av høgre utdanning, som i dag innebærer 1) interne kvalitetssikringssystemer i institusjonene, 2) eksterne evalueringer/akkrediteringsprosesser, utført av nasjonale eller nasjonalt godkjente kvalitetssikringsorgan, og 3) en europeisk overbygning, politisk sanksjonert gjennom Bologna-prosessen, som setter rammer og krav gjennom Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Bevegelsen, som kan sies å ha startet tidlig i 1990-åra, er blitt offisiell politikk i så godt som alle europeiske land. I Norge fikk den sitt første organiserte uttrykk ved opprettelsen av Norgesnettrådet (1997 2002) og ble videreført i mer reindyrket form gjennom opprettelsen av NOKUT i 2003. Gjennom hele denne perioden har utdanningsforskeren Lee Harvey vært en av de mest toneangivende deltakerne i diskusjoner om dette temaet. Som hyppig foredragsholder på konferanser, og gjennom flere tidsskriftartikler, har han stått sentralt blant en gruppe kommentatorer med ei grunnleggende kritisk holdning til hvordan offentlig, formalisert kvalitetssikring av høgre utdanning har utviklet seg. Andre navn som i sterkere eller svakere grad kan assosieres med Harveys posisjon, er K. Watty og G. Anderson i Australia, J. Huisman og D. Westerheijden i Nederland, J. Newton i Storbritannia, T. Saarinen i Finland og B. Stensaker i Norge. Ved årets European Quality Assurance Forum i Lyon formulerte Harvey sin posisjon i artikkelen/presentasjonen Twenty years of trying to make sense of quality assurance: the misalignment of quality assurance with institutional quality frameworks and quality culture. Artikkelen er basert på en gjennomgang av de ca. 400 artiklene som er publisert om dette emnet i tidsskriftet Quality in Higher Education 1 siden 1995, samt egne refleksjoner med grunnlag i 20 års erfaring. Artikkelen er ei representativ oppsummering av noen stadig gjentatte innvendinger mot offisiell kvalitetssikring av høgre utdanning, og gir dermed et godt utgangspunkt for en diskusjon av NOKUTs og tilsvarende organers funksjon og praksis, sett opp mot Harveys synspunkter. Lee Harveys kritikk har alltid blitt sett på som vektig og interessant (og som god underholdning!) ved 1 Det bør anføres at Harvey hele tiden har hatt ei sentral stilling i redigeringa av Quality in Higher Education, og at utvelgelsen av artikler til tidsskriftet derfor kan være påvirket av hans egne oppfatninger. 1
de mange anledningene der den har blitt framført. Hans og andre kritikeres argumentasjon har likevel ikke hatt noe egentlig gjennomslag, hvis vi med dette mener påvirkning av de formelle kvalitetssikringsregimene, men de har heller ikke fått særlig gode og begrunnede motsvar fra kvalitetssikringsbevegelsens posisjon 2. Hvilken relevans har Harveys kritikk i forhold til f. eks. NOKUTs oppgaver, strategi og praksis? Generelt om Harveys kritikk Et overgripende synspunkt hos Harvey er at eksterne kvalitetssikringsorganer og institusjonenes interne kvalitetsledelse gjennomgående har basert seg på et kvalitetsbegrep som ser bort fra det som burde være selve kjernen i det: Spørsmålet om hva og hvordan studenter lærer. I løpet av de siste 15 år har en sett ei oppbygging av overdimensjonerte, obligatoriske prosesser som registrerer og kontrollerer alt mulig av nøkkeltall, aktivitet og organisasjonsmønstre rundt utdanningene, men som sier lite om kvalitet og utbytte i studentenes utdannings- og læringsprosess. De vitenskapelig ansatte har oftest opplevd denne formen for kvalitetssikring som ensidig kontrollerende og lite relevant. Det har ført til et skisma mellom kvalitetssikringens sfære og den akademiske kulturen, preget av gjensidig mistillit. Harvey karakteriserer utviklinga innenfor kvalitetssikring som ingen utvikling i det hele tatt : De temaene som ble introdusert for 15-20 år siden gjenoppfinnes stadig på ny, uten at svarene endrer seg. Utviklinga skjer i form av byråkratisk vekst og en evig runddans av de samme formene for organisering, metoder og prosedyrer, til dels påført av invaderende, opportunistiske politikere. På det øverste (europeiske) nivået har en bygd opp institusjoner og ordninger som i siste instans gjør spørsmålet om utdanningskvalitet til formelt juristeri. Quality assurance has promised a lot, cost even more and delivered little, sier Harvey. Svakt teorigrunnlag Harveys første innvending er at kvalitetssikringsvirksomheten har et svakt teorigrunnlag, og at den løpende teoretiske debatten om virksomheten er fattigslig. I sin gjennomgang av de 400 artiklene ser han få forsøk på å diskutere kvalitetsbegrepet (altså hva som skal sikres), og enda færre som går ut over de innledende studiene som ble gjort midt på 1990-tallet. De fleste artikkelbidragene fra representanter for kvalitetssikringens praksis kjennetegnes ikke ved teoretisk drøfting, men ved at de promoterer opplegg. De tilløpene til teoretisering som han registrerer, er hovedsakelig pessimistiske eller begrensende hva angår kvalitetssikringens verdi: De går på at kvalitet er et komplekst og omstridt begrep, at måten begrepet konstitueres på i praksis også gir det politiske dimensjoner, at det er vanskelig å måle det, at autoritative forståelser og modeller vanskelig kan overføres til konkret praksis ( the specifics of educational experience ) uten betydelige kontekstuelle tilpasninger, og at studenter og vitenskapelig ansatte ofte legger vekt på helt forskjellige faktorer i bedømmelsen av kvalitet. Hva angår et godt kunnskapsfundament for virksomheten, er en dermed like langt. Harvey viser ikke til noen studier som kan dokumentere effekt og nytte av kvalitetssikringsvirksomheten. 2 Den mest markante apologet for kvalitetssikringsbevegelsen er kanskje D. Woodhouse, mangeårig leder av det australske kvalitetssikringsorganet AUQA og den globale nettverksorganisasjonen INQAAHE. Hvis vi er litt ubeskjedne, kan vi her regne med en artikkel/presentasjon fra undertegnede, Gro Hanne Aas og flere andre ved EAIR-konferansen i 2004: Making a Case for a Slim Audit (Finnes i Kunnskapsbasen på NOKUTs nettsider). 2
Kvalitetssikring ute av takt med kvalitet Når det forskningsbaserte, teoretiske fundamentet mangler, kan kvalitetssikringsorganene (og dermed også institusjonene) stort sett slå seg til ro med ikke å innlate seg på noen egen analyse av hva kvalitet i høgre utdanning egentlig er. Dermed blir de også upresise når det gjelder selve målet for sine bedømmelser. Som idémessig grunnlag for virksomheten har man i stedet lagt seg på det Harvey kaller ei sløv fitness-for-purpose-linje. Dette er ikke noe annet enn en unnvikelsesmanøver som tillater, og som i prinsippet likestiller, alle mulige kvalitetsmål. Med fitness for purpose som rettesnor slipper man å ta stilling til hva som er viktigst ved kvaliteten, da den åpne termen purpose (hensikt/formål) kan skjule en rekke ulike (og ofte motstridende) interesser og formål. For praktiske formål (kvalitetsvurdering) dekonstrueres det ideelle formålet (sikring og forbedring av kvaliteten) i et antall enkeltkomponenter (delmål) som teknifiserer det og gjør det handterlig via spesifikke prosesser og målinger. I følge Harvey viser den forskningen som er gjort omkring dette, at slike delaspekter og indikatorer (og deres medfølgende sikringsprosesser) som regel blir valgt uten noen virkelig diskusjon omkring deres relative verdi innenfor det helhetlige kvalitetsbegrepet (deres fitness of purpose). Mangelen på anvendelse av et dypere forstått kvalitetsbegrep viser seg spesielt i forvirring omkring termene kvalitet og standarder. Når kvalitet forveksles med standarder, ser en for det første i praksis at disse standardene i overveiende grad gjelder ytre innsatsverdier og instrumentelle resultatmål som er vilkårlig og politisk fastsatt. For det andre er det et kjennetegn ved standarder at de relaterer seg til et statisk nivå, et status quo uten innretning mot reell forbedring. Selv om kvalitetssikringsorganene i sine mission statements betoner både (delmålene) kvalitetskontroll og kvalitetsutvikling, har en på grunn av manglende vilje til å definere hva kvalitet egentlig er, ingen standarder eller prosesshenvisninger som går i retning av utviklingsformålet. På denne måten får en et implisitt og anvendt kvalitetsbegrep som er både reduksjonistisk og skjevt, og som dels står i motstrid til det retorisk flaggede utviklingsformålet. Harvey avviser den ofte hørte påstanden (bl. a. framført av D. Woodhouse) om at fitness-for-purpose representerer ei konstruktiv tilnærming fordi den muliggjør kontekstuell tilpasning av kvalitetsbedømmelsene, og dermed kan relateres til ulike institusjonelle målsettinger (missions). I følge Harvey er dette i de fleste tilfeller kun en overfladisk og kamuflerende betraktningsmåte som skjuler at det eksterne organet i virkeligheten opererer med et standardisert (eksplisitt og implisitt) kriteriesett som bedømmelsene gjøres etter. Overdreven ledelseskontroll og gjensidig mistillit Kvalitetssikringens manglende evne til å treffe akademias egen forståelse av utdanningskvalitet underminerer i følge Harvey fagfolkenes tillit til kvalitetssikringsordningene. Tillitstapet øker ved at den eksterne kvalitetssikringens prosesser, ved at de er nærgående kontrollerende, oppfattes å uttrykke mistillit til den faglige virksomheten. Denne gjensidige mistilliten reproduseres innad i institusjonene gjennom de interne systemenes tendens til å kopiere det ytre regimet, og av å være styrt og dominert av ledelsen ( managerialist ). Stilt overfor sterk ytre styring, finner institusjonsledelsen seg bundet av ordninger som framfor alt krever lydighet ( compliance ) og som tvinger den inn i en stedfortredendede kontrollrolle overfor det vitenskapelige personalet. Disse opplever på sin side systemtrykket som svært negativt, men også som noe som det er lettere å unnvike eller sabotere enn å kjempe imot. I forhold til fagfolks daglige arbeid med studentenes 3
læring blir kvalitetsskringsprosessene kun forstyrrende og dysfunksjonelle. Harvey viser her til en artikkel av Saarinen (2010), som beskriver hvordan kvalitetsdiskursen har utviklet seg fra å drøfte utdanningenes sårbarhet i 1990-åra til å konstruere systematisk kvalitetssikring som en uimotståelig og uunngåelig naturkraft, der hovedvekta ligger på kontroll, konkurranse og regulering. Systemets innebygde kontrollmentalitet ( policing mentality ) og manglende tillit fører til at akademisk virksomhet oppfattes av utøverne selv som mer og mer devaluert. Så mens retorikken fra kvalitetssikringsorganene nettopp vil framheve kontrollfunksjonenes tillitsskapende karakter (Ved at vi kontrollerer, skapes det (ytre) tillit til utdanningene), viser de fleste studier av faglig tilsattes holdninger at spenningen mellom kvalitetssikring og akademisk praksis øker, og at de faglig tilsatte føler den institusjonelle kvalitetssikringa som en (indre) mistillit til egen kompetanse. Byråkrati og kostnad til liten gevinst Harvey innrømmer at kvalitetssikringsvirksomheten har gitt gevinst i form av økt transparens. Men denne gevinsten blir forholdsvis ubetydelig i forhold til de enorme kostnadene. Det er ganske formidable apparater som i løpet av relativt få år har blitt bygd opp i de europeiske (og mange andre) land. For Harvey betyr dette at en bruker store ressurser til liten effekt ja, sågar også til å skape ødeleggende effekter. Hvor omfattende og sammenvevd dette byggverket er, demonstreres av den posisjonen som ENQA og EQAR har fått. Harvey siterer C. Roznayi: The dual incarnation of metalevel quality compliance is a product of the bureaucratisation of the quality assurance trade. Fra institusjonenes omfattende interne systemer, via de nasjonale organene og opp til den europeiske overbygningen, har det blitt skapt en overdimensjonert kvalitetssikringspyramide. Harvey viser til et stort antall artikler som omhandler byråkratisk og kostnadsmessig overload til liten nytte for kvaliteten. Disse artiklene uttrykker en gjentatt bekymring over hvor kunstige (artificial) kvalitetssikringsprosessene i høgre utdanning er. I hovedsak ses de på som et byrdefullt ekstra som skal responderes på ved rituell lydighet. Alt annet enn utdanningskvaliteten Som nevnt i innledninga, mener Harvey at kvalitetssikringsbestrebelsene i det store og hele har unngått å forholde seg til spørsmålene om studienes innhold og studentenes læring, og hvordan det legges til rette for at disse kan forbedres. I stedet har man stadig gjentatt mantraet om at forbedring etter et utvalg ytre parametere, definert som standarder, vil medføre/bety forbedring også av læringsprosessene, selv om denne sammenhengen er dårlig utforsket og overhode ikke bevist. I følge Harvey har en endt opp med et system som kun egner seg for kontroll og spillet om å klare kontrollen, mens formålet om utvikling av kvaliteten i undervisning og studentenes læringsaktiviteter ville krevd helt andre typer tilnærminger. Harvey viser til Huisman og Westerheijden, som ser på ESG og EQAR som de ultimate eksempler på hvordan kvalitetssikringa, gjennom økende institusjonalisering og hierarkisering, fjerner seg fra undervisning og læring: Increasingly, (quality assurance) seems to become a play for ministries and agencies; quality on the shop floor level and the student learning experience certainly have not gained centre stage of attention in this development. 4
Når kvalitetssikring og forskning på kvalitetssikring ikke greier å forholde seg til studentenes læring eller å utforske effektene av kvalitetssikringsvirksomheten, antyder Harvey (med H. Pratasavitskaya og B. Stensaker) at dette er fordi den kontrollen som kvalitetssikringa innebærer verdsettes høyere enn de læringsforbedringene den eventuelt måtte føre til. Harvey gir til slutt et eksempel på hvordan kvalitetssikringa også blir brukt til å bære politiske prioriteringer som strengt tatt har lite med utdanningskvalitet å gjøre. I Sør-Afrika er kvalitetssikringsorganet HEQC pålagt å vurdere hvordan institusjonene gjennomfører post-apartheid tiltak for rasemessig utjevning. De ressursmessig sterke institusjonene greier å gjennomføre de ønskede tiltakene og scorer dermed bedre enn andre institusjoner i evalueringene, uten at deres undervisnings- og læringsprosesser har endret seg. Slik kan en gjennom evalueringer vise til suksess eller høg kvalitet etter valgt purpose, mens viktige indikatorer på utdanningskvalitet (f. eks. strykprosent og gjennomføringsgrad) faktisk tyder på kvalitetsmessig stillstand. Harveys konklusjoner Dagens kvalitetssikringsvirksomhet har et svakt teoretisk/kunnskapsmessig grunnlag. Dens mål og prosesser styres i sterkere grad av politiske agendaer enn av vitenskapelig framdrevet kunnskap. Kvalitetssikringsorganer har stort sett unnlatt å gå inn i spørsmålet om studenters læring og har unngått enhver virkelig utforsking av hva kvalitet i høgre utdanning er. Kvalitetssikringen har i stedet operert med en underliggende definisjon av kvalitet som er tilpasset en agenda for kontroll og konsistens. Kvaliteten i kvalitetssikringens teknikker har blitt viktigere enn det langt vanskeligere spørsmålet om kvalitet i utdanning. Dette har gått på bekostning av innretning mot utvikling og forbedring. Kvalitetssikringens karakter av kontrollregime har skapt mistillit mellom kvalitetssikrere og akademia, og har undergravd muligheten for konstruktive og forbedringsorienterte prosesser. I stedet har en fått lydighetsspill. Har alt derfor vært til ingen nytte? Ikke helt, ettersom en har vunnet i transparens. Men mye mer kunne ha vært vunnet, til mye lavere kostnad, dersom fokus hadde vært rettet mot institusjonenes interne praksis fra starten av. Kvalitet er, og må være, et omstridt begrep. Det finnes konkurrerende stemmer og diskurser, og ledere og undervisende akademikere kan ha ulikt syn. Hvis kvalitetssikringen i større grad hadde skjedd på aktørenes egne premisser, ville interne spenninger og motsetninger ha kommet fram og blitt gjort til gjenstand for konstruktiv debatt, i stedet for å bli skjult i ulike former for lydighetsspill. Trenger vi her i Norge å bry oss med Harveys (og andre kritikeres) synspunkter? Vårt system for intern og ekstern kvalitetssikring er jo bestemt og definert av våre nasjonale politiske myndigheter. Kanskje har Harvey grunnleggende misforstått vår funksjon? Vi presenterer likevel hans synspunkter, som sikkert finner klangbunn hos mange i det norske akademia, som et innspill til videre diskusjon om kvalitetssikringens nytte, mål og midler. 5
Referanser: Anderson, G.: Assuring quality/resisting quality assurance: Academics responses to quality in some Australian universities, Quality in Higher Education, 12/2, 2006. L. Harvey: Twenty years of trying to make sense of quality assurance; the misalignment of quality assurance with institutional quality frameworks and quality culture. Paper presentert for 5. EQAF, Lyon 2010 Huisman, J. og Westerheijden, D.: Bologna and quality assurance: progress made of pulling the wrong cart? Quality in Higher Education, 16/1, 2010 Newton, J.: A tale of two Qualitys : reflections on the quality revolution in higher education, Quality in Higher Education, 16/1, 2010 Pratasavitskaya, H. og Stensaker, B.: Quality management in higher education towards a better understanding of an emerging field, Quality in Higher Education, 16/1, 2010 Roznayi, C.: The quality volution, Quality in Higher Education, 16/1, 2010 Saarinen, T.: What I talk about when I talk about quality, Quality in Higher Education, 16/1, 2010 Stensaker, B. og Harvey, L.: Accountability in Higher Education; Global Perspectives on Trust and Power. New York, Routledge (Oppgitt som planlagt utgitt. 2011?). Watty, K.: Want to know about quality in higher education? Ask an Academic, Quality in Higher Education, 15/3, 2006 6