Forsøk og prøveevalueringer hva har vi lært i NOKUT? Konteksten for forsøkene Våren 2012 startet styret i NOKUT diskusjoner om utvikling av evaluering av system for kvalitetssikring av utdanningen. Evalueringene er regulert både i universitets- og høyskoleloven 1 og i departementets forskrift om kvalitet i høyere utdanning 2, men NOKUT har et betydelig handlingsrom i den konkrete utformingen av oppgaven. Styret så snart at en endring i opplegget for systemevalueringer måtte ses i sammenheng med fornyelse av NOKUTs andre virkemidler. Styrets arbeid resulterte blant annet i et innspill til Kunnskapsdepartementet om behovet for en ny strategi for utdanningskvalitet og forslag om ny modell for tilsyn med kvaliteten i høyere utdanning 3. Utgangspunktet for det som ble forsøkene ligger i dette notatet (s 9): Vi har lagt vekt på at justeringene av modellen skal bidra til at Institusjonenes kvalitetsarbeid dreies ytterligere mot kvalitet og relevans på studentenes læringsutbytte. Dette vil innebære sterkere fokus på resultater, men ikke slik at innsats- og prosessfaktorenes betydning for sluttresultatet neglisjeres. Institusjonenes ansvar for å sikre kvaliteten i egen utdanning løftes fram gjennom mer eksplisitt fokus på hvordan institusjonene ivaretar fullmaktene til selv å opprette nye studier. Institusjonene setter seg høye og realistiske ambisjoner for utdanningskvalitet, og at de har gode virkemidler for å fremme utvikling utover de nasjonale minstekravene til kvalitet. Det lå én antakelse og én erfaring til grunn for den ønskede retningen på endringene: Antakelsen var at Innføringen av Nasjonalt kvalifikasjonsrammeverk og læringsutbytte fører til, eller bør føre til, endringer i det interne. Erfaringen var at det interne kvalitetssikringsarbeidet og ivaretakelsen av institusjonenes faglige fullmakter ikke alltid er knyttet tett nok sammen. Et sentralt element i departementets regulering av gjennomføringen av evalueringer av system for kvalitetssikring 6-årsregelen: Det skal «ikke gå mer enn 6 år mellom hver evaluering av den enkelte institusjons system for kvalitetssikring». I august 2012 søkte Dronning Mauds Minne Høgskole NOKUT om utsettelse av evaluering ut over 6-årskravet på grunn av implementering av barnehagellærerutdanningen etter rammeplan som var blitt vedtatt sommeren 2012: «DMMH har ambisjoner om å ha et kvalitetssikringssystem som er nært knyttet til studentenes læring og læringsutbyttebeskrivelsene for de ulike utdanningene. Vi ser at den uttalte tverrfaglige profilen i den nye barnehagelærerutdanningen med organisering i kunnskapsområder vil føre med seg endringer i kvalitetssikringssystemet vårt». NOKUT selv mente at det ikke var noe poeng å gjennomføre evaluering ved Høgskolen i Vestfold ett år før fusjonene med Høgskolen i Buskerud. Vi tenkte at det ville være interessant å samarbeide med DMMH og den kommende Høgskolen i Buskerud og Vestfold for å se hvordan de handlet i en slik overgangssituasjon. NOKUT kontaktet departementet for å få unntak fra 6-årsregelen for de nevnte institusjonene. Vi bad om å få 1 2-1 (3) I NOKUTs tilsynsarbeid etter denne lov skal NOKUT evaluere institusjonenes system for kvalitetssikring, 2 2-2 Evaluering av institusjonenes system for kvalitetssikring 3 Forslag om ny strategi for utdanningskvalitet og ny modell for tilsyn med høyere utdanning, NOKUT, desember 2012. http://www.nokut.no/no/fakta/nokuts-faglige-innspill/nokuts-forslag-til-ny-tilsynsmodell/
gjennomføre «samarbeid med NOKUT for kunnskapsutvikling». Samarbeidet skulle gjennomføres som et forsøk og evalueringene som ble gjennomført skulle ikke kunne medføre sanksjoner for institusjonene. Haraldsplass diakonale høgskole ble også bedt om å bli med i opplegget. Hovedbegrunnelsen fra NOKUT overfor departementet var at vi trenger erfaringer med hvordan institusjonene driver det interne når studentenes læringsutbytte står i sentrum. Gjennomføringen av forsøkene I mai 2013 ga departementet unntak fra seksårsregelen for de tre institusjonene, og vi gikk i gang. Som ved andre evalueringer ble det oppnevnt sakkyndige komiteer. Det er gjennomført tre besøk ved den enkelte høyskolen. De sakkyndige og institusjonene var fristilt med hensyn til innhold og form i de to første besøkene, men det var bestemt at det tredje besøket høsten 2014 skulle gjennomføres som en prøveevaluering. NOKUT-ansatte og sakkyndige tilknyttet forsøkene utarbeidet et evalueringsgrunnlag for prøveevalueringene, se vedlegg i dette dokumentet. Evalueringsgrunnlaget er formulert som gode praksiser for tre områder av : Forbedring og utvikling av utdanningene Kunnskap om kvalitet i utdanningene Ansvar og deltakelse i utviklingen av utdanningskvalitet Vi har også angitt «Forventinger til institusjonenes egen dokumentasjon av» Det kan være verdt å kommentere noen endringer i terminologi sammenliknet med dagens regulerende dokumenter. Hvorfor har vi endret terminologi fra system for kvalitetssikring av utdanningen til kvalitetsarbeid? Som en del av arbeidet med fornyet tilsynsmodell har NOKUT bedt departementet om å ikke bli pålagt å evaluere systemene for kvalitetssikring av utdanningen i en tredje runde. De aller fleste institusjonene vil da ha vært igjennom to runder med systemevalueringer. Vi ønsker å fortsette utviklingen fra andre rundes vekt på bruk og nytte av systemet til å kunne evaluere avgrensede deler av det systematiske. Jeg oppfatter at innføringen av uttrykket «studienære læringsprosesser» ligger i samme leia - dette er for å fokusere på at det er prosessene knyttet til studentenes læring som skal sikres og forbedres. Hva har vi lært i NOKUT? Rapportene fra prøveevalueringene var ikke ferdige da arbeidsmøtet ble holdt 4. og 5. desember. Vi har for eksempel ikke fått dokumentert erfaringene med bruk av evalueringsgrunnlaget fra verken sakkyndige eller institusjoner. Men vi har noen erfaringer fra prosessen så langt og jeg har noen refleksjoner rundt disse. 1 Det er, eller strengt tatt var, vilje til å tillate utprøvinger og forsøk både i departementet og ved institusjonene. 2 Vi og kanskje også institusjonene undervurderte tiden det tar å utvikle et nytt system og få dette i funksjon. Til prøveevalueringene har det vært lite autentisk materiale fra de nye systemene ved DMMH og HBV. Kontakten med NOKUT kan både ha framskyndet og forsinket prosessen. I forlengelse av dette poenget kan vi spørre om vi valgte «de rette» institusjonene. Burde alle institusjonene vært i den situasjonen at de ikke hadde andre større forandringer på gang enn innføringen av kvalifikasjonsrammeverket? Valget var helt pragmatisk utfra situasjonen mht. 6-årssyklusen og NOKUTs behov for å prøve ut noen
antakelser. Skulle vi testet ut en mer ferdig evalueringsmodell burde vi ha hatt et annet utvalg representative institusjoner som ikke hadde andre større endringsprosjekter på gang. 3 Tilsier erfaringene fra Høgskolen i Buskerud og Vestfold at NOKUT kan ha en mer proaktiv rolle i de kommende fusjonene i sektoren? Flere av institusjonene som har fått vedtak om at systemet for kvalitetssikring ikke er tilfredsstillende har vært igjennom en fusjonsprosess. En mer proaktiv rolle krever en viss balansekunst: NOKUT kan være en samtalepartner og kanskje inspirator, men det er institusjonen selv som må utforme systemet. Med dette i mente tror jeg NOKUT kan bidra til at institusjonene opprettholder et aktivt kvalitetsarbeid gjennom fusjonsprosessene. 4 Når vi ser på gjennomføringen av prøveevalueringene, og ikke forsøket som helhet, virker det som disse ble svært like våre vanlige evalueringer av system for kvalitetssikring av utdanningen. Når vi tenker tilbake var det kanskje heller ikke meningen at de skulle bli så forskjellige fra det som er bortsett fra at vi skulle fokusere på ivaretakelsen av kvaliteten på studentenes læringsutbytte, faglig fullmakter og etter hvert også studieporteføljen. 5 Vi jobbet en god del med evalueringsgrunnlaget i prøveevalueringene. Utgangspunktet for evalueringsgrunnlaget var de to perspektivene fokus på studentenes læringsutbytte og faglige fullmakter, det siste elementet utvidet til også å omfatte studieporteføljen. Vi startet diskusjonene med dette utgangspunktet, men når vi skulle forenes om hva som må telle i en evaluering ble innholdet i prøveevalueringsgrunnlaget ganske likt de gjeldende evalueringskriteriene. Formen ble imidlertid endret til å angi god praksis i, og vi angir forventninger til institusjonens egen dokumentasjon av. Selve dokumentet er derfor mer direkte og detaljert enn de gjeldende reguleringene i NOKUTs studietilsynsforskrift dette gjelder også sammenliknet med tidligere tiders omfangsrike dokumenter. 6 Fra tidligere undersøkelser vet vi at institusjonene setter stor pris på kontakten med de sakkyndige under institusjonsbesøkene. Vi fikk ikke jobbet spesielt med å fornye institusjonsbesøkene i prøveevalueringene. I det fornyede tilsynet er planene at de sakkyndige skal ha et mer sammensatt informasjonsgrunnlag for evalueringene. Det gir utgangspunkt for å utvikle besøkene, som gir rammen for den direkte kontakten mellom institusjon og sakkyndige. Det kan være at det er viktigere for erfarne sakkyndige og oss ansatte at tilsynsmodellen som nå er under utvikling må oppleves som «ny». I det periodiske tilsynet treffer institusjonene oss hvert 6. år. Ansatte er prosjektledere for flere evalueringer hvert år, og selv om hver evaluering er forskjellig, får prosessene et repetitivt preg for saksbehandlerne. Men uansett hensyn til NOKUT eller institusjonene: Vi må holde på kravet om «det nye» i den forstand at vi bør se at evalueringene blir mer treffsikre, og at vi konstruktivt bruker den informasjonen om tilstanden i høyere utdanning som nå foreligger.
Vedlegg: Evalueringsgrunnlag i prøveevalueringene høsten 2014 God praksis i Forbedring og utvikling av utdanningene Institusjonen arbeider kontinuerlig og systematisk for å sikre og forbedre kvaliteten i utdanningen, med vekt på de studienære læringsprosessene og det samlede læringsutbyttet. Institusjonen bruker kunnskap fra til å sikre og forbedre utdanningstilbudene og læringsmiljøet. Det er tydelig hvordan institusjonen identifiserer områder for tiltak, og hvordan disse følges opp. Programledelsen følger aktivt opp det studienære. Kunnskap fra inngår i grunnlaget for vurdering av studieporteføljen og ivaretakelsen av egne faglige fullmakter. Rapporter om utdanningskvalitet som viser hva som er de aktuelle fagmiljøenes egenvurdering av kvaliteten og hva som framgår av studentenes og eventuelle eksterne aktørers/interessenters vurderinger. Dokumenter som viser hva fagmiljøene beslutter og/eller foreslår av tiltak for ytterligere kvalitetsutvikling. Rapporter på alle nivåer som viser forslag til tiltak for forbedring der problemer er identifisert og angir områder for videre utvikling som skal prioriteres. Rapportene inneholder også informasjon om og vurderinger av tidligere igangsatte tiltak på det aktuelle nivået i organisasjonen. Årlige rapporter fra ledelsen til styret der utdanningskvaliteten vurderes, og som inneholder oversikt over prioriteringer og tiltak i (årlig kvalitetsrapport eller tilsvarende). Dokumentasjon av at institusjonen jevnlig vurderer om studietilbudene oppfyller kravene i studietilsynsforskriften og at nye studier opprettes i henhold til faglige fullmakter. Kunnskap fra inngår i grunnlaget for plan- og budsjettarbeidet på ulike nivåer ved institusjonen. Dokumentasjon av hvordan kunnskap fra inngår i: - vurderingen av sammensetningen av porteføljen - grunnlaget for plan- og budsjettarbeidet
Kunnskap om kvalitet i utdanningene Institusjonen har tilstrekkelig kunnskap om kvaliteten i egne utdanningstilbud. Sikringen og vurdering av kvaliteten i hvert enkelt studium bygger på informasjon som innhentes systematisk og fra flere kilder. Informasjon og vurderinger er dokumenterte og tilgjengelige. Institusjonene har gode ordninger for faglig og pedagogisk utvikling for ansatte i forsknings- og undervisningsstillinger, herunder deltakelse i nasjonale og internasjonale nettverk. Gode ordninger for kontakt med arbeids- og samfunnsliv som er relevant på programnivå. Studentevalueringer som er egnet til å vurdere hvorvidt: - studentene opplever sammenheng og progresjon i studiet - studentene forstår læringsutbyttebeskrivelsene - arbeids- og undervisningsformene oppleves som tilpasset det studentene skal lære - vurderings- og eksamensformene oppleves som adekvate for å vise studentenes oppnådde læringsutbytte Evalueringer fra lærere som er egnet til å vurdere det faglige nivået på studiet, hvorvidt arbeids- og undervisningsformer er tilpasset det læringsutbyttet studentene skal oppnå, og hvorvidt vurderings- og eksamensformene er adekvate for å vise studentenes oppnådde læringsutbytte. Vurderinger som er egnet til å vurdere hvorvidt læringsutbyttebeskrivelsene er adekvate og tilpasset riktig nivå i kvalifikasjonsrammeverket. Systematiske evalueringer fra praksisfeltet. Vurderinger fra tilsynssensor eller tilsvarende og eksterne sensorer om hvorvidt studieformen og eksamensordningen er egnet i forhold til forventet læringsutbytte og vurdering av det faglige innholdet i studiet. Periodiske programevalueringer med medvirkning av eksterne, gjerne internasjonale, fagfeller som har fokus på at studiet er faglig oppdatert og på høyt nivå. Tilbakemeldinger fra arbeids- og samfunnsliv i bred forstand som er egnet til å vurdere utdanningenes relevans. Ansvar og deltakelse i utviklingen av utdanningskvalitet Arbeids- og ansvarsfordeling i er fastsatt, og er forankret i ledelsen og i besluttende organer på ulike nivå. Statistikk fra DBH/NOKUT-portalen, Studiebarometeret m.v. som er egnet til å belyse kvaliteten i studiene. En beskrivelse av ansvar, informasjonsflyt og beslutningsnivå i. Ansatte og studenter deltar i og institusjonen har fora for deling av kunnskap om utdanningskvalitet og gode praksiser i.