NOKUTs programevalueringer - prosesser, resultater og kvalitetseffekter

Transkript

1 NOKUTspr ogr ameval uer i ngerpr osesser,r esul t at erogkval i t et sef f ekt er Juni2011

2 Rapporttittel: Forfatter(e): NOKUTs programevalueringer - prosesser, resultater og kvalitetseffekter Astrid Børsheim Dato: 20. juni 2011 Rapportnr: ISSN-nr: ISSN

3 Forord NOKUTs analyse- og utredningsrapporter har til formål å gi bidrag til økt kunnskap om forhold innenfor høyere utdanning og fagskoleutdanning som har betydning for kvaliteten i studiene. Vi håper at de kan gi nyttige ideer og stimulans til institusjonenes arbeid med å kvalitetssikre og videreutvikle sine studietilbud. Rapportene vil dels formidle analyser av informasjon som NOKUT innhenter gjennom sin evaluerings-, akkrediterings- og godkjenningsvirksomhet, dels også resultater fra særskilte undersøkende prosjekter som NOKUT foretar, ofte i samarbeid med eksterne. I årene gjennomførte NOKUT på oppdrag fra Kunnskapsdepartementet evalueringer av tre hele utdanningsprogrammer: allmennlærerutdanningen, ingeniørutdanningen og førskolelærerutdanningen. Det blir i den foreliggende rapporten gjort kort greie for de tre evalueringsoppdragene og -prosessene. Med utgangspunkt i en oppsummering av sentrale evalueringsresultater, diskuteres potensialet for kvalitetsutvikling i høyere utdanning og i NOKUTs egne prosesser og prosedyrer som følge av denne typen brede programevalueringer. De fullstendige evalueringsrapportene som denne rapporten bygger på, ligger på NOKUTs nettsider: Oslo, 20. juni 2011 Terje Mørland direktør i

4 Sammendrag I årene gjennomførte NOKUT på oppdrag fra Kunnskapsdepartementet evalueringer av tre hele utdanningsprogrammer: allmennlærer-, ingeniør- og førskolelærerutdanningen. Det ble i alle evalueringene konkludert med et behov for sterkere statlig styring og større innsats av sentrale virkemidler for å bøte på mangler ved utdanningsprogrammene. Svak FoU og relativt svak formell faglig kompetanse blant faglærerne målt mot NOKUTs krav til akkreditering av bachelorutdanninger, var et problem som gikk igjen. Knyttet til dette ble det stilt spørsmål ved muligheten for å drive forskningsbasert undervisning i mange av utdanningene. Studentrekruttering, og delvis også lærerrekruttering, viste seg å være et problem i disse profesjonsutdanningene, til tross for at det store behovet i arbeidsmarkedet for grunnskolelærere, ingeniører og førskolelærere sikrer kandidatene jobb etter fullført utdanning. Verken studentene selv eller faglærerne var fornøyd med effektiviteten i studiene, noe som ble klart demonstrert ved at studentene gjennomsnittlig brukte få timer per uke på studieaktiviteter sammenlignet med tilsvarende tidsbruksundersøkelser i høyere utdanning. Frafallet var høyt i alle utdanningene. Fullføring på normert tid var relativt lav i ingeniørog allmennlærerutdanningene, men høy i førskolelærerutdanningen som hadde den laveste inntakskvaliteten. Det viste seg at relativt vide rammeplaner ikke kunne sikre at utdanningene var oppdaterte og relevante. Det ble derfor gitt mange råd om å bedre samarbeidet med det aktuelle yrkesfeltet, blant annet for å sikre at utdanningene holder seg orientert om samfunnsutviklingen som grunnlag for utviklingen av fagene og relevant FoU. Oppfølging på nasjonalt plan har hovedsakelig skjedd ved at grunnskolelærerutdanningen er blitt todelt og at alle utdanningene har fått eller er i ferd med å få nye rammeplaner. Alle de evaluerte utdanningene har utviklet planer for oppfølging av evalueringene, og departementet følger med på iverksettingen. Muligheter og hindre for kvalitetsutvikling diskuteres i siste del av rapporten. Potensialet for utvikling ligger i selve evalueringsprosessen og oppfølging av de råd som blir gitt. Kvalitetsheving som følge av evalueringene er imidlertid avhengig av at de rette råd er gitt, og eventuelle mangler ved kunnskapsgrunnlaget for evalueringen samt analysene av dette kan representere begrensinger her. ii

5 1 Innhold 1. NOKUTS tre programevalueringer Innledning Oppdrag og omfang Evalueringsprosessene Hva kom det ut av programevalueringene? Presentasjon av resultater på konferanser og i rapporter Resultater Styring og ledelse Studentene og studieforløpet Innhold og relevans Kompetanse Oppfølging Programevalueringer og potensial for kvalitetsutvikling Kvalitetsutvikling etter programevalueringene Hindringer for kvalitetsutvikling Sakkyndighet i alle ledd en garanti for kvalitet? Kort om erfaringer med og resultater fra programevalueringene Positive resultater Utfordringer Og hva gjør NOKUT? Vedlegg: Institusjonene i evalueringene iii

6 1. NOKUTS tre programevalueringer 1.1 Innledning I årene gjennomførte NOKUT på oppdrag fra Kunnskapsdepartementet evalueringer av tre hele utdanningsprogrammer: allmennlærerutdanningen, ingeniørutdanningen og førskolelærerutdanningen. Evalueringene inngikk i NOKUTs oppdrag om å gjennomføre evalueringer av betydning for å kunne bedømme kvaliteten i høyere utdanning 1. NOKUTS øvrige oppgaver som gjelder kvaliteten i norsk høyere utdanning, er regelmessig kontroll av institusjonenes kvalitetssikringssystemer, godkjenning (akkreditering) av studietilbud og av institusjoner etter søknad samt revidering av gitte akkrediteringer (reakkreditering). Mens akkreditering skjer med utgangspunkt i standarder i NOKUTs forskrift, utformes programevalueringene mer individuelt, med utgangspunkt i et oppdragsbrev fra departementet. Programevalueringer bør kunne være et sterkt redskap for kvalitetsutvikling i de utdanninger de gjelder, på grunn av at alle utdanninger innen et program blir vurdert, og at hver evaluering designes med det formål å få undersøkt grundig kvaliteten i alle vesentlige innsatsfaktorer og prosesser. Utviklingsformålet står sentralt i slike evalueringer, noe som blant annet er synliggjort gjennom de råd og anbefalinger evalueringene munner ut i. Negative resultater er ikke forbundet med sanksjoner fra NOKUTs side. Det er primært departementet og institusjonene selv som følger opp denne typen evalueringer. NOKUT har imidlertid anledning til å følge opp ved å initiere reakkreditering av en institusjons utdanning. Det er hittil ikke gjort. I denne rapporten omtales evalueringsprosessene kort (første kapittel) og resultater noe mer inngående (andre kapittel). Rapporten avsluttes med en diskusjon rundt kvalitetseffekter av programevaluering (tredje kapittel), samt en oppsummering av positive resultater av evalueringene og noen utfordringer (fjerde kapittel). 1.2 Oppdrag og omfang Målet for de tre programevalueringene var å fremskaffe best mulig kunnskapsgrunnlag for videreutvikling av utdanningen, går det fram av oppdragsbrevene fra Kunnskapsdepartementet 2. Det ble forventet at evalueringene skulle frembringe bred kunnskap om utdanningene, om opptaket, inntakskvaliteten, studentinnsats og studieforløp, kandidat- og vekttallsproduksjon, undervisningen, FoU og faglærerkompetanse, faglig kvalitet, styring og ledelse samt utdanningenes relevans. Alle de aktuelle utdanningene er regulert av rammeplaner, og forholdet mellom rammeplan og fagplaner måtte bli et sentralt element i alle vurderinger av faglig innhold, kvalitet og nivå. Allmennlærerutdanningene ved de 20 aktuelle institusjonene var nokså enhetlige da den første evalueringen startet i Som følge av en ny rammeplan for førskolelærerutdanningen i 2003 var det imidlertid utviklet mange førskolelærerutdanninger med ulik faglig innretning da den tredje evalueringen ble innledet i For å øke tilgjengeligheten for studenter som ikke ønsket eller kunne studere på heltid på campus, var førskolelærerutdanningene i økende grad også blitt organisert på nye måter i forhold til tidligere, for eksempel desentralisert og IKT-/samlingsbasert. Det inngikk derfor i 1 Lov om universiteter og høyskoler, 2-1 e 2 Brev datert om evaluering av allmennlærerutdanningen, brev datert om evaluering av ingeniørutdanningen og brev datert om evaluering av førskolelærerutdanningen. 1

7 oppdraget å vurdere om og hvordan ulike organisasjonsformer virker inn på innhold og kvalitet i utdanningene. Rammeplanene stiller ulike krav til ingeniørutdanning innenfor hvert av de fem tradisjonelle ingeniørprogrammene bygg, elektro, fysikk, kjemi og maskin. En institusjon kan dermed utvikle ingeniørutdanning i 1 5 programmer. I alt ble ca. 60 programmer ved 19 institusjoner evaluert, og da det innenfor hvert program kunne finnes flere utdanninger, kom antall enkeltutdanninger som ble vurdert faglig, opp i omkring 140. Evalueringen omfattet også utdanninger som ikke faller klart inn under ett ingeniørutdanningsprogram. 1.3 Evalueringsprosessene Det ble i alle evalueringene brukt en tradisjonell evalueringsmodell med selvevaluering gjennomført av institusjonene, fulgt av supplerende datainnsamling i institusjonsbesøk hvor aktuelle aktører ble intervjuet gruppevis. Ut fra behovet for å kunne besvare oppdraget tilfredsstillende og også belyse noen problemstillinger fra flere sider, omfatter alle evalueringene i tillegg undersøkelser av ulik type. I evalueringen av ingeniørutdanningen ble det for eksempel gjennomført undersøkelser for å kartlegge art og omfang av utdanningenes samhandling med arbeidslivet og av arbeidsgivernes syn på kandidatenes kompetanse. I forbindelse med evaluering av førskolelærerutdanning ble det gjennomført flere undersøkelser som fra ulike sider belyste samarbeidet mellom institusjonene og praksisfeltet. I evaluering av lærerutdanning ble det gjennomført en resensur-undersøkelse av eksamensbesvarelser, som blant annet ga informasjon om institusjonenes bruk av den nye karakterskalaen som var introdusert et par år før, som ledd i kvalitetsreformen. NOKUTs evalueringer gjennomføres av sakkyndige 3. Sakkyndige komiteer, som har analysert det omfattende grunnlagsmaterialet og vurdert sterke og svake sider ved enkeltutdanningene og utdanningsprogrammene på nasjonalt nivå, har ansvaret for konklusjonene og anbefalingene i rapportene. Hver programevaluering har gått over to år og vært budsjettert til omkring fire millioner kroner. Lønn til ansatte ved NOKUTs sekretariat kommer i tillegg, og to fire hele stillinger har i perioden september 2004 september 2010 vært avsatt til arbeidet med programevalueringene. Institusjonene under evaluering har også brukt mye ressurser i forbindelse med selvevaluering, institusjonsbesøk og deltaking i konferanser. 2. Hva kom det ut av programevalueringene? Innledningsvis i dette kapitlet gis det en oversikt over hvordan resultatene fra evalueringene har blitt gjort kjent gjennom konferanser og rapporter. Dernest oppsummeres og diskuteres noen av resultatene fra evalueringene. Til sist er det tatt med litt om oppfølgingstiltak. 2.1 Presentasjon av resultater på konferanser og i rapporter Kunnskapsdepartementet pålegger NOKUT å holde god kontakt med relevante aktører gjennom evalueringsprosessene. Dette ble gjort på ulike måter i de tre evalueringene, men felles for alle var brede invitasjoner til konferansene som ble arrangert ved oppstart, underveis og etter avsluttet evaluering, jf. tabell 1, samt offentliggjøring av sluttrapportene. 3 jf. Forskrift om akkreditering, evaluering og godkjenning etter lov om universiteter og høyskoler, 1-3 2

8 Tabell 1 Oversikt over konferanser knyttet til de tre programevalueringene allmennlærerutdanning Startkonferanse Midtveiskonferanse: midtveisrapport Sluttkonferanse ingeniørutdanning Startkonferanse Delkonferanse I: fagplanundersøkelse Delkonferanse II: arbeidsgiverundersøkelsen Sluttkonferanse førskolelærerutdanning Startkonferanse Midtveiskonferanse: status i evalueringen + faglige innlegg Sluttkonferanse I startkonferansene ble prosjektplanene presentert og det ble orientert om selvevalueringsmalen og -prosessen. I sluttkonferansene ble evalueringsresultatene presentert og diskutert, og rapportene avlevert til oppdragsgiver. I delkonferansene ble det både i evaluering av allmennlærerutdanning og evaluering av ingeniørutdanning presentert til dels betydelige mengder foreløpige resultater. I evaluering av førskolelærerutdanning begrenset den sakkyndige komiteen seg til å liste opp noen hovedproblemstillinger som hadde utkrystallisert seg ved innledningen til analysefasen, mens konferansen ellers var viet faglige innlegg fra anerkjente forskere med utdanningene og barnehagen som forskningsfelt. Når det gjelder potensialet for kvalitetsutvikling er det en fordel å presentere en del resultater halvveis i evalueringsperioden. For en institusjon er det lenge å vente nesten to år på de samlede resultatene fra en evaluering. Oppdragsgivers ønske var at resultatene fra evalueringene skulle presenteres i en sluttrapport. Bare i den første evalueringen, evaluering av allmennlærerutdanningen, var det krav fra oppdragsgiver om publisering av en midtveisrapport. Rapportering var ellers opp til de sakkyndige, og antall rapporter, omfang og rapportstruktur varierte derfor i de tre evalueringene. Det foreligger 3 4 rapporter fra hver programevaluering (jf. tabell 2). Alle rapportene er publisert på NOKUTs nettsider ( Tabell 2 Oversikt over rapporter fra de tre programevalueringene allmennlærerutdanning ingeniørutdanning førskolelærerutdanning Midtveisrapport Sluttrapporter: Del 1: Hovedrapport Del2: Institusjonsrapporter Del 1: Hovedrapport. Del 2: Institusjonsrapporter Del 3: Faglig rapport Del 4: Avtakerrapport Del 1: Hovedrapport. Del 2: Institusjonsrapporter. 2.2 Resultater I dette delkapitlet oppsummeres og diskuteres noen resultater fra evalueringene under overskriftene Styring og ledelse Studentene og studieforløpet Innhold og relevans Kompetanse 3

9 2.2.1 Styring og ledelse I alle evalueringene konkluderes det med et behov for sterkere statlig styring og innsats av virkemidler, men av ulike grunner og på ulike måter. Tabell 3 Styring og organisering av utdanningen allmennlærerutdanning Nasjonalt og regionalt må dimensjoneringen av utdanningen vurderes, for eksempel bedre arbeidsdeling og profilering mellom institusjonene. Ledelsen på institusjonsnivå må ta ansvar for å sikre ressurser til FoU og faglig kvalitet. Lærerutdanningens kompleksitet og samfunnsmessige betydning tilsier at styring og ledelse på institusjonsnivå og programnivå må være avklart og fungere. Det er behov for bedre administrative og studieadministrative analyser og oppfølgingssystemer. Avtaler med og om praksis må gi bedre informasjon til alle involverte. Data om studentenes studieløp er ikke gode nok som grunnlag for tiltak og forbedring. Slike styringsdata må kunne genereres gjennom kvalitetssikringssystemet/dbh. ingeniørutdanning For å styrke de mange små og oppsplittede fag- og forskningsmiljøer faglig og administrativt bør virksomheten ved noen ingeniørutdanninger samordnes på nasjonalt nivå, for eksempel gjelder det forskningsmiljøer, masterutdanninger, lærer- og administrative ressurser, utstyr, benchmarking og kursutvikling. Den internasjonale dimensjonen må styrkes av hensyn til utdanningskvaliteten: Institusjonene må utvikle mål for og avsette ressurser til internasjonalisering. Det må legges til rette for lærer- og studentutveksling. førskolelærerutdanning Utdanningens status må styrkes, både nasjonalt og i den enkelte institusjon, ikke minst for å sikre tilstrekkelig ressurser til å drive og utvikle utdanningene. Det krever blant annet at institusjonsledelsen i større grad enn registrert ser og tar ansvar for utdanningen. Profesjonsinnretningen i utdanningen må sikres gjennom ledelses- og administrative strukturer, uavhengig av intern organisering av utdanningen. Et flertall av de sakkyndige foreslår at det settes i gang forsøk med femårig førskolelærerutdanning, mindretallet mener utdanningen må nyformuleres og gjøres femårig straks. Myndighetene ble rådet til å vurdere dimensjoneringen av allmennlærerutdanningen. Som mål/middel ble det foreslått bedre arbeidsdeling mellom institusjonene for å stimulere til en profilering av utdanningene som til da hadde manglet, til tross for de muligheter rammeplanen gav. Det kom også konkrete råd om at allmennlærerutdanningenes ledelse og administrasjon måtte forbedres, både på institusjon- og programnivå. Ingeniørutdanningene hadde behov for samordning på nasjonalt nivå for å oppnå faglig sterkere utdanninger og mer FoU. Førskolelærerutdanningens store problem var dens lave status med de konsekvenser det kan ha. Det ble blant annet registrert at mange utdanninger hadde for små ressurser til å drive FoU-prosjekter og kompetanseheving i tilstrekkelig grad. Utdanningens lave status i institusjonene ble sett i sammenheng med den status arbeid med små barn gir i samfunnet, blant annet uttrykt ved lav uttelling i form av lønn sammenlignet med andre treårige profesjonsutdanninger. Det ble etterlyst innsats både fra statlige myndigheter og institusjonene for å bøte på slike mangler. Samlet sett hadde førskolelærerutdanningene god integrering av praksis, men det ble i flere institusjoner med matriseorganisering (fakultetsmodell) på ulike måter registrert problemer med helheten i planlegging 4

10 og gjennomføring av praksis. Det ble derfor gitt et klart råd til utdanningene om å være ekstra påpasselige med ivaretakelsen av samarbeidet med praksisfeltet. Administrasjon og faglig styring av førskolelærerutdanningen ble ikke kritisert, noe som kan ha sammenheng med at den styrkingen av administrasjon og ledelse i allmennlærerutdanningen som hadde skjedd i etterkant av evalueringen i 2006, også hadde kommet førskolelærerutdanningene til gode da disse i stor grad tilhører de samme faglige miljøene. Utvikling av kvalitetssikringssystemene til et bedre styrings- og kontrollverktøy sto sterkere i rådene til allmennlærerutdanningene enn de to andre profesjonsutdanningene. Kravet om å ha på plass kvalitetssikringssystemer var relativt nytt da allmennlærerutdanningene ble evaluert, og mange institusjoner hadde ikke fått dem på plass. Siden NOKUT selv hadde utviklet kravene til systemer og var satt til å evaluere dem, var et betydelig fokus på kvalitetssikringssystemene naturlig i den første programevalueringen. Når det i de to siste programevalueringene ble gitt stadig færre anbefalinger relatert til kvalitetssikringssystemene, har det sannsynligvis sammenheng med at disse etter hvert var blitt iverksatt og fungerte på de ulike nivåene i institusjonene Studentene og studieforløpet Alle som er kvalifiserte, kan komme inn på disse tre profesjonsutdanningene. Det er bare i de store byene og på særlig populære utdanningsvarianter at det kan være en viss konkurranse om studieplassene. Det er relativt stort frafall tidlig i utdanningene. Utfordringer knyttet til rekruttering, frafall og fullføring er oppsummert i tabell 4. Tabell 4 Studentene og studieforløpet allmennlærerutdanning Innføring av karakterkrav ved opptak har hevet inntakskvaliteten og ikke redusert søkningen. Frafallet i utdanningen i en tidlig fase er stort og gjennomstrømningen lav trass i god søkning og tilfredsstillende inntakskvalitet. Det er nødvendig å øke studentenes arbeidsinnsats i studiet, bl.a. ved å øke kravnivået til studentene. Institusjonene må se desentraliserte tilbud og deltidstilbud i sammenheng med ordinær undervisning og et levende studiemiljø. ingeniørutdanning Med mål om økt rekruttering til ingeniørutdanningen må det på nasjonalt nivå settes i gang tiltak for å øke interessen for naturvitenskap og teknologi i grunn- og videregående skole. For å øke gjennomstrømningen og studiepoengproduksjonen må kravene til matematikken i videregående skole kvalitetssikres. Satsingen på opptak av grupper med utradisjonelt opptaksgrunnlag (fagskole + arbeidserfaring) må fortsette, men kvalitetssikres. Det bør settes i gang forsøk med karakterkrav i matematikk ved opptak. førskolelærerutdanning Rekrutteringsarbeidet må intensiveres, for blant annet å bedre inntakskvaliteten og rekruttere flere menn til utdanningen. Selv om studentene har lav inntakskvalitet og studieinnsats, fullfører de på normert tid i langt større grad enn studenter ved sammenlignbare profesjonsutdanninger. Utdanningen kan effektiviseres blant annet ved å stille større krav til studentene.. Mange institusjoner sliter med rekrutteringen, og særlig ingeniørutdanninger og førskolelærerutdanninger er i den situasjon at de på ulike måter tilpasser utdanningen for å tiltrekke 5

11 seg nye søkergrupper. Ingeniørutdanningene har fått godkjent særskilte løp (Y-veien) for søkere med fagskole og yrkeserfaring. Førskolelærerutdanningen gir på ulike måter tilbud om deltidsutdanning for studenter som ikke har anledning til å ta heltidsutdanning på campus, og de utvikler faglige varianter med antatt rekrutteringseffekt. I evalueringen av begge disse utdanningsprogrammene var det eksempler på at studenter i normale løp uttrykte bekymring for at noen deltidstilbud kunne være mindre krevende enn den utdanningen de selv tok. De sakkyndige presiserte at alle tilbud må være faglig på høyden med den utdanningen studenter med generell studiekompetanse i et normalt studieløp får. Det er mangel både på ingeniører og førskolelærere, og det er av den grunn vanskelig å konkludere med at det er overkapasitet i utdanningene. Men både i ingeniør- og førskolelærerutdanningene ble det nevnt som et mulig kvalitetsproblem at noen fagmiljøer er svært små. Det problemet blir ikke mindre av at flere av de små institusjonene som allerede har rekrutteringsproblemer, oppretter nye utdanninger som antas å være attraktive enten på grunn av det faglige innholdet eller organiseringen. Selv om målet om økt produksjon skulle bli oppnådd ved slike strategier, vil også belastningen på de faglig ansatte og administrasjonen øke, og det kan bli problemer med å opprettholde samme kvalitet for alle studentgrupper. Spesielt i de to lærerutdanningene viste det seg å være problemer med effektiviteten i utdanningene. Tiden studentene legger ned i studiene må betegnes som lav, og mange har betalt arbeid ved siden av studiene. Konsekvensene for studieløpet er imidlertid ikke de samme i de to utdanningene. I allmennlærerutdanningen er det problemer med gjennomstrømningen til tross for tilfredsstillende inntakskvalitet, mens førskolelærerutdanningen, som har svært lav inntakskvalitet, har høy gjennomstrømning. Det ble i begge evalueringene gitt råd om å øke kravene til studentene. Frafallet tidlig i utdanningen er høyt i begge utdanninger, noe som kan være positivt, men ikke nødvendigvis er det. Årsaker til frafall undersøkes i liten grad, og det er derfor umulig å vite om studenter slutter fordi de synes studiet er for krevende, for lite krevende, faglig uinteressant eller ikke passer for dem. I de to lærerutdanningene var det mindre tradisjon for å tilby ekstra undervisningsopplegg til studenter som sliter faglig, enn det viste seg å være i ingeniørutdanningene. Uten en mulighet for ekstra hjelp i noen fag og faser, kan svakere studenter falle fra om de ellers er motiverte. Det er interessante forskjeller når det gjelder diskusjonen om problemene med rekruttering og inntakskvalitet i disse tre profesjonsutdanningene. For allmennlærerutdanningens del er det satt en nedre grense for opptak i norsk og matematikk. En innlysende årsak er at grunnskolen ikke er tjent med lærere med svake ferdigheter i så sentrale fag. Søkere som er aktuelle for opptak til ingeniørutdanning må ha de mest avanserte varianter av matematikk og fysikk fra videregående skole. Flere høyt profilerte utdanninger som medisinstudiet har samme opptakskrav. Det er faktisk for få elever som velger disse fagene i videregående skole til å fylle studieplassene i alle utdanninger med dette opptakskravet. Mange ingeniørutdanninger reserverer derfor studieplass for søkere som ikke fyller opptakskravene til matematikk/fysikk, og kvalifiserer dem gjennom intensive kurs sommeren før oppstart. Etablering av Y-veien4 er en annen strategi for å øke produksjonen av ingeniører. Studentene får et opplegg som i løpet av studietiden gir dem den kompetansen de mangler ved opptak (i forhold til studenter med generell studiekompetanse). Institusjonenes erfaring er at Y-veistudentene er motiverte og arbeidsomme. Dette er imidlertid en søkergruppe som ikke er ubegrenset, og det største potensialet vil være tatt ut i løpet av få år. 4 Opptak av personer med fagskole (hvor det ikke kreves generell studiekompetanse ) og arbeidserfaring. 6

12 Også i ingeniørutdanningene er frafallet stort og fullføring på normert tid svært lav. Til tross for den kostnaden det representerer at de som tas opp ikke fullfører, har det hittil ikke vært aktuelt å innføre en nedre karaktergrense for opptak. Som langsiktig tiltak med sikte på å skaffe bedre og mer motiverte søkere til utdanninger som krever realfag, var rådet fra de sakkyndige i evaluering av ingeniørutdanning at matematikk og fysikk i videregående skole må styrkes, og holdningen til realfag i samfunnet må forsøkes endret. Problemet med å skaffe nok kvalifiserte førskolelærere overskygget til en viss grad andre relevante problemstillinger i evalueringen av utdanningen. I rapporten ble det for eksempel bare i liten grad problematisert at den profesjonsutdanningen som rekrutterer de svakeste studentene, uteksaminerer flest kandidater på normaltid. Spørsmålet er om dette i tilstrekkelig grad ble vurdert som en indikasjon på at den faglige kvaliteten i førskolelærerutdanningene muligens ikke er høy nok. Det er i så fall et problem ved evalueringen, og med alvorlige implikasjoner: lave faglige krav bidrar ikke til å øke utdanningenes og yrkets status Innhold og relevans I tabell 5 oppsummeres en del utfordringer knyttet til det faglige og undervisningen som ble påpekt i de tre evalueringene. Tabell 5 Utdanningenes innhold og relevans allmennlærerutdanning Rammeplanen må sikre at utdanningenes samfunnsorientering, inkludert fokus på økt flerkulturalitet, ivaretas bedre. Den fagdidaktiske delen av studiet må styrkes og pedagogikkfagets funksjon og posisjon avklares. Faglig oppsplitting og manglende enhet og sammenheng mellom praksis, fagstudier og pedagogisk teori truer profesjonsinnretningen. Rammeplanens kompetanseområder må danne kjernen i profesjonsinnretningen og inkluderes tydeligere i programmene. Å gi et godt grunnlag for undervisning fra trinn i grunnskolen gjennom én utdanning er en utfordring. Forskningstilknytningen må gi studentene kjennskap til forskningsmetode og utvikle deres evne til kritisk ingeniørutdanning Ingeniørutdanningene må fornyes i takt med teknologiutviklingen. Fornying må styres av overordnede tendenser og ikke av behov i det lokale næringsliv. Selv om ingeniørutdanningenes næringslivskontakt gjennomgående er omfattende og god, må det legges bedre til rette for kontakt mellom studentene og relevant næringsliv (prosjektoppgaver; sommerjobber med mer). Internasjonalisering bør bidra til kvalitetsutvikling og til å gi utdanningene internasjonal relevans for videre studier og jobbmuligheter. En nyutdannet ingeniør med gjennomsnittlige vurderinger er faglig god nok, men kan mangle kunnskap om blant annet kommunikasjon og tverrfaglig samarbeid. Arbeidet med å beskrive læringsutbytte må intensiveres. førskolelærerutdanning Utdanningene må i større grad ta opp i seg endringer i samfunnet og dagens barnehage, blant annet ved å styrke fokus på en stadig større andel små barn og flere barn med ulike kulturbakgrunner i barnehagen. Selv om profesjons- og yrkesperspektivet står sterkt i førskolelærerutdanningen som helhet, må noen av de evaluerte utdanningene foreta en gjennomgang av sine metoder for å skape bedre sammenheng mellom fag- og praksisarenaen Det bør være krav om bacheloroppgave også i førskolelærerutdanningen. Det bør utvikles en ny rammeplan, som sikrer at førskolelærerutdanningene samlet dekker samfunnets behov for kompetanse i dagens barnehage. Det må sikres at kandidater fra ulike typer deltidsutdanning får samme kompetanse som kandidater fra heltid. 7

13 refleksjon. Rammeplanen bør revideres. Departementet ble anbefalt å utvikle nye rammeplaner for alle utdanningene. De sakkyndiges råd tyder imidlertid på at rammeplaner ikke har representert noen garanti for å holde utdanningene oppdaterte. Det ble i alle evalueringene påpekt problemer som gjelder utdanningenes relevans for yrket. Begge lærerutdanningene fikk anmerkninger knyttet til helheten og sammenhengen i utdanningen, i større grad allmennlærerutdanningen enn førskolelærerutdanningen. For disse utdanningene er det alvorlig at det kan stilles spørsmål ved profesjonsinnretningen. Evalueringen av allmennlærerutdanningen bekreftet også at det å utdanne lærere fra første til tiende klasse i en og samme utdanning ikke er optimalt. Departementet fikk derfor råd om å vurdere en ny struktur for grunnskolelærerutdanning. Dette rådet ble fulgt opp, jf. kapitlet Oppfølging nedenfor. Næringslivskontakten ble trukket frem som en styrke ved ingeniørutdanningene, ikke minst som et element som bidrar til å opprettholde utdanningenes relevans, men det kom også fram at disse kontaktene i for liten grad kommer studentene til gode Kompetanse I alle evalueringene ble det stilt spørsmål ved de fleste utdanningenes forståelse av forskningsbasert undervisning og i hvilken grad undervisningen kunne kalles forskningsbasert. Basert på erfaringene fra disse evalueringene, synes det å være et klart behov for en avklaring av hva forskningsbasert utdanning kan og bør være i en bachelor profesjonsutdanning, holdt opp mot departementets krav til læringsutbytte på dette nivået. I tabell 6 gis et sammendrag av utfordringer knyttet til forsknings og utvikling (FoU) og mulighetene for faglig kompetanseutvikling i utdanningene. Tabell 6 Kompetanse allmennlærerutdanning Utdanningenes forskningstilknytning må bli sterkere og forskningen må knyttes nærmere opp til grunnskolens erfaringsområder. Minst 50 % av FoU-midlene må allokeres til emner knyttet til skolens undervisning og skoleutvikling. Det er behov for faglige fora for diskusjoner om profesjonsbegrepet, pedagogikk og fagdidaktikk. ingeniørutdanning Høyere kompetanse blant faglærerne og mer forskning er viktige forutsetninger for å øke den mangelfulle forskningsbaseringen i utdanningene. Statlige myndigheter og institusjonene selv må gjøre en innsats for å styrke forskningen og forskningstilknytningen i utdanningene. Alle faglærere må gjennomgå et kurs på 30 studiepoeng i pedagogikk for ingeniørutdanning (ingeniørdidaktikk). Et kurs bør utarbeides på nasjonalt nivå. førskolelærerutdanning Ved mange institusjoner må det gjøres en innsats for å bringe faglærernes kompetanse opp på et forsvarlig nivå. Førstestillingskompetanse må i større grad brukes i undervisningen. FoU aktiviteten på områder av betydning for utdanningen må øke, også som grunnlag for å sikre den forskningsbaserte undervisningen. Faglærernes kunnskap om dagens barnehage må økes. Øvingslærerne må sikres formell veilederkompetanse. 8

14 I førskolelærerutdanningen var det et stort behov for å styrke FoU generelt. I begge lærerutdanningene var det særlig behov for å styrke FoU knyttet til utdanningen og praksisfeltet. Evalueringene av ingeniørutdanningen og førskolelærerutdanningen viste at kompetansen blant faglærerne var for lav ved mange institusjoner, og selv der det var en høy prosent faglig ansatte med førstestillingskompetanse, var det ikke sikkert at disse ble brukt i undervisningen. Når det gjaldt ressurser til å utvikle kompetansenivået blant faglærerne og relevant FoU i de tre profesjonsutdanningene, mente de sakkyndige at institusjonene og statlige myndigheter deler ansvaret for å skaffe dem til veie. 2.3 Oppfølging I alle evalueringene ble det gitt mange anbefalinger om endring, rettet både til den enkelte institusjon og til statlige myndigheter. Bortsett fra de anbefalinger som bare institusjonene selv kan få gjort noe med, er det Kunnskapsdepartementet som følger opp evalueringene. NOKUT har hittil ikke stått for noen oppfølgingstiltak i egen regi, til tross for at styret etter hver evaluering har diskutert om det burde foretas reakkreditering av utdanninger med særlig lav førstestillingskompetanse. Det kan imidlertid være grunn til å anta at institusjonene i større grad evner å vurdere sin utdanning kritisk nettopp fordi evalueringen ikke er forbundet med sanksjoner fra NOKUTs side. Denne antagelsen bekreftes av den store entusiasmen for denne typen evalueringer som kom fram i mange utdanningsmiljøer, særlig i førskolelærerutdanningene. I lys av evalueringsresultatene kan førskolelærerutdanningenes entusiasme i stor grad også ha sammenheng med et behov for økt oppmerksomhet både i egen institusjon og fra samfunnet ellers. Det har hendt at relevante aktører har fulgt opp noen av evalueringsresultatene. NITO-studentene satte høsten 2008 i gang en kampanje for å motvirke frafall i ingeniørutdanningene ved å opprette en telefontjeneste for studenter som tenkte på å slutte det første året av studiet. UHR ved Nasjonalt råd for teknologiske utdanninger (NRT) grep fatt i komiteens påpekning av behovet for et kurs i ingeniørdidaktikk på nasjonalt nivå. Arbeidet med å utvikle et kurs på 30 studiepoeng ble satt i gang høsten 2008, med implementering av kurset fra høsten 2010, etter en pilotperiode. Det viktigste endringsarbeidet har imidlertid statlige myndigheter stått for. Kort tid etter hver programevaluering har Kunnskapsdepartementet bedt institusjonene utvikle planer for oppfølging av evalueringen 5. Oppfølgingen av disse planene diskuteres i de årlige etatsstyringsmøtene mellom departementet og institusjonene. Etter evaluering av allmennlærerutdanning ble det utarbeidet en stortingsmelding 6, som resulterte i en anbefaling om å dele utdanningen, noe Stortinget sluttet seg til 7. Den nye grunnskolelærerutdanningen som ble innført fra høsten 2009 består av to selvstendige utdanninger, en for undervisning på trinn 1 7 og en for trinn Utredningsarbeidet etter de to siste programevalueringene har ikke vært så omfattende som etter allmennlærerutdanningen, trolig fordi det mest opplagte behovet i begge tilfeller var nye rammeplaner. Rammeplanarbeid med bred involvering av relevante aktører og med mandater basert blant annet på evalueringene, ble også relativt raskt igangsatt etter hver evaluering. Ny forskrift 5 ALUEVA: Brev datert INGEVA: Brev datert FLUEVA: Brev datert Fristen for å utarbeide plan for oppfølging av anbefalinger i institusjonsrapporten og så langt mulig av hovedrapporten ble satt til 20. des I brevet ble det særlig fokusert på evalueringens påpekning av institusjonsledelsens rolle. 6 St.meld. nr. 11 ( ) Læreren. Rollen og utdanningen. 7 Inst. S. nr. 185 ( ). 9

15 om rammeplan for ingeniørutdanning ble vedtatt 3. februar Rammeplanen var opprinnelig tenkt iverksatt fra høsten 2011, men av hensyn til prosessene som kreves for å oppnå en god og kvalitetssikret oppstart, har departementet utsatt fristen til høsten Implementeringsarbeidet samordnes av UHR, og det er bevilget fire millioner kroner til tiltak knyttet til innføring av nye rammeplaner. Noen institusjoner, for eksempel Høgskolen i Gjøvik, har fått tillatelse til å starte opp ingeniørutdanning etter den nye rammeplanen fra høsten En komité for utarbeidelse av ny rammeplan for førskolelærerutdanningen ble nedsatt i februar 2011, med frist for et rammeplanutkast 15. oktober Programevalueringer og potensial for kvalitetsutvikling Programevalueringer og reakkreditering er helt ulike redskaper i NOKUTs verktøykasse, men innebærer begge evaluering av utdanning. Det er mye som tyder på at omverdenen i liten grad ser forskjellen mellom disse virkemidlene, et tegn på at NOKUT ikke har oppfylt sin rolle når det gjelder å kommunisere klart forskjellen mellom dem. Representanter for institusjonene røper stadig at de ikke skiller evaluering fra reakkreditering, og også fra departementets side er det hos enkelte registrert uklar forståelse av forskjellene. Når det gjelder prosessene, hadde de tre programevalueringene på oppdrag fra Kunnskapsdepartementet mye til felles med den NOKUT-initierte reakkrediteringen av 31 bachelorutdanninger i sykepleie som ble gjennomført i i årene Forskjellen lå i de sakkyndiges frihet til å vurdere evalueringsresultatene, og i oppfølgingsansvaret. Analysene og vurderingene i en reakkreditering forholder seg direkte til standarder for akkreditering bachelorutdanning i NOKUTs forskrift for akkreditering. Forskriften gir også NOKUT ansvar for oppfølgingen, og det er beskrevet hvilke prosedyrer som gjelder for denne. Det kunne derfor felles absolutte dommer over sykepleieutdanningene og NOKUT satte krav til oppfølging og frister for når de påviste mangler skulle være utbedret. Etter en programevaluering, hvor de sakkyndige har større frihet til å analysere evalueringsresultatene ut fra sin samlede oppfatning av kvalitet og på den bakgrunn gi sine anbefalinger, er det derimot departementet som har hovedansvaret for oppfølgingen. I det følgende diskuteres kvalitetsutviklingen i høyere utdanning som følge av programevalueringene. Det problematiseres hvorvidt programevalueringer slik de har blitt gjennomført, er et velegnet redskap til kvalitetsutvikling, og om alternative fremgangsmåter kunne gitt bedre eller tilsvarende resultater. 3.1 Kvalitetsutvikling etter programevalueringene Det er registrert en rekke endringer etter at programevalueringene er gjennomført, både store - som departementets rammeplanarbeid og ny utforming av lærerutdanningen samt endringsarbeid i institusjonene - som økt satsing på lærernes kompetanseutvikling med mer. Endringer er ikke nødvendigvis en direkte følge av programevalueringen. Et motiv for å initiere en programevaluering kan for eksempel være ønske om eller behov for endring av programmets rammeplan. I så fall er et viktig formål med evalueringen å fremskaffe et godt kunnskapsgrunnlag for rammeplanarbeidet. For den enkelte utdanningsinstitusjon vil en slik evaluering uansett virke stimulerende på kvalitetsarbeidet, blant annet på grunn av det langvarige, eksterne fokus på utdanningen i de to årene 8 Brev til institusjonene fra Kunnskapsdepartementet datert

16 evalueringene har vart. Ekstern evaluering av en utdanning gir også oppmerksomhet fra ulike nivåer internt i institusjonen. Det inngår dessuten i mandatet for en programevaluering at den skal munne ut i råd om forbedringsmuligheter. Departementet henter - som nevnt over - inn planer for oppfølging av rådene og diskuterer fremdriften i de årlige etatsstyringsmøtene med institusjonene. Til tross for at institusjonene ikke blir sammenlignet med hverandre eller rangert på noen måte, vil de kunne lese ut av rapportene eksempler på god og mindre god praksis i andre utdanninger når det gjelder faglærerkompetanse, FoU-virksomhet, tiltak for å øke gjennomstrømningen og studentenes innsats i studiet med mer. hele utdanningsprogrammer gir på den måten anledning til benchmarking med tilsvarende utdanninger. Til en viss grad kan det tenkes å bremse den umiddelbare oppfølgingen i institusjonene noe at et rammeplanarbeid på nasjonalt nivå foregår samtidig med det øvrige endringsarbeidet. Utviklingsarbeid kan vise seg å ha vært bortkastet hvis en ny rammeplan endrer betingelsene for utforming av og innhold i fag- og undervisningsplaner, slik det har skjedd både for allmennlærer- og ingeniørutdanning. Men tiltak som går på grunnleggende betingelser for å gi høyere utdanning, som tilfredsstillende førstestillingskompetanse og tilrettelegging for relevant FoU, vil imidlertid kunne bidra til å styrke utdanningen uansett hvordan rammeplanen kommer til å bli utformet. Reakkrediteringen av sykepleieutdanningene viste at hovedproblemet var faglærernes lave kompetanse i forhold til standarden i forskriften, som satte ca 20 % førstestillingskompetanse blant faglærerne som betingelse for førstegangsakkreditering av en bachelorutdanning. Førstestillingskompetansen har betydning for omfang og nivå på FoU-aktiviteten i fagmiljøet, og antas også å ha betydning for i hvilken grad og på hvilken måte undervisningen er forskningsbasert. Mange vil hevde at det kan gis god profesjonsutdanning uten at undervisningen er forskningsbasert. I programevalueringene har dette ikke vært noe diskusjonstema, da forskriften angir standarder også på dette området. Påpekningene av mangelfull førstestillingskompetanse er derfor kanskje det resultatet som på lengre sikt har det største potensialet for kvalitetsutvikling i de evaluerte profesjonsutdanningene, og kanskje også utover disse, da NOKUTs absolutte krav til førstestillingskompetansen ble så tydelig understreket gjennom programevalueringene. Styret og annen ledelse har ansvaret for at det stilles tilstrekkelig ressurser til rådighet for at lovens krav til høyere utdanning skal kunne oppfylles. Både i programevalueringene og reakkrediteringen av sykepleie ble det derfor understreket at det er et institusjonsansvar at den formelle faglige kompetansen i de store profesjonsutdanningene er tilstrekkelig. Betydningen av ledelsens oppmerksomhet for kvaliteten i en utdanning ble dermed tydeliggjort. For eksempel ble en del svakheter i førskolelærerutdanningene forklart med utdannelsens lave status og følgelig manglende oppmerksomhet i institusjonene og samfunnet. Kvaliteten viste seg å være mindre avhengig av den faglige og administrative organiseringen. Men en fast struktur av administrative og faglige samarbeidsformer og fora mellom alle aktører som bidrar inn i utdanningen, var viktige elementer som bidro til helhet og sammenheng i en utdanning. Slike arenaer som skaper og opprettholder et felles ansvar for fag og undervisning, ser ut til å være en forutsetning for å utvikle en kvalitetskultur som omfatter hele utdanningen. Det har ikke blitt igangsatt reakkreditering av utdanninger som ikke oppfylte lovens krav i programevalueringene. Det har delvis vært begrunnet med at andre har oppfølgingsplikten og delvis med at NOKUT vil bevare den positive innstillingen til programevaluering. Det er likevel mulig at handlingsrommet for kvalitetsutvikling ikke har blitt fullt utnyttet i disse tilfellene. NOKUT har 11

17 imidlertid anledning til å foreta en administrativ gjennomgang av sentrale, kvantitative data i utdanninger som fikk påpekt svakheter, og på det grunnlaget eventuelt sette i gang reakkrediteringer. En slik prosess bør vurderes. 3.2 Hindringer for kvalitetsutvikling Dersom de sakkyndiges råd ikke treffer de reelle problemene i en utdanning, reduseres sjansen for at endringsarbeidet skal gi kvalitetsforbedring. Til tross for at evalueringsopplegget tar sikte på å frembringe riktige dommer om den enkelte utdanning og et utdanningsprogram som helhet, finnes det noen svakheter ved programevalueringene som kan bidra til å svekke tiltroen til konklusjonene. For det første er det et spørsmål i hvilken grad undersøkelsene som gjennomføres er egnet til å frembringe valide data. For det andre kan det registreres svakheter knyttet til NOKUTs bruk av sakkyndige komiteer i evalueringene. I programevalueringene utgjør informasjon som institusjonene selv frembringer, det helt sentrale evalueringsgrunnlaget, selv om slike data suppleres med kandidatundersøkelser, andre spørreundersøkelser og sammenstilling av tilgjengelige statistiske data på måter som metodisk oppfyller krav til forskning. Evalueringene bygger likevel i stor grad på selvevalueringene og muntlig informasjon som kommer fram i intervjuer i institusjonsbesøkene. Begge kilder til informasjon styres riktignok til en viss grad ved at selvevalueringene må følge en oppgitt mal og spørsmålsstillingene i intervjuene så langt mulig er planlagt på forhånd. Likevel er det mulig å gi en skeiv framstilling, og den informasjonen som blir gitt, kan mistolkes, ikke minst fordi institusjonene i ulik grad forholder seg kritisk til egen utdanning. Professor Peder Haug stilte i en artikkel i en ENQA-rapport i spørsmål ved NOKUTs muligheter for å felle sannferdige dommer over kvaliteten i en utdanning gjennom programevaluering. Problemer knyttet seg blant annet til subjektiviteten i grunnlagsmaterialet kvalitative intervjumetoder at de sakkyndige har for lite kontroll på grunnlagsmaterialet for sine bedømmelser evaluering av sakkyndige komiteer. Haug påpeker nettopp at evalueringene i stor grad bygger på data som de evaluerte institusjonene forsyner evalueringskomiteene med, noe som i seg selv kan gi grunn til å stille spørsmål ved objektiviteten i grunnlagsmaterialet. I sin diskusjon om datakvaliteten mener Haug at data om de strukturelle sider ved utdanningene er de mest valide, da de baserer seg på objektive kilder som for eksempel statistikk fra offentlige databaser. Han argumenterer for at de sakkyndige derfor har gode forutsetninger for å trekke konklusjoner om slike forhold. På den andre siden bygger kunnskapen om kvaliteten i utdanningsforløpet, den såkalte prosesskvaliteten, først og fremst på intervjuer med grupper innenfor utdanningen. Komiteene har normalt heller ikke tilgang til data som gjør dem i stand til å analysere sammenhenger mellom strukturelle data, prosess og resultater. Peder Haug stiller også spørsmål ved de sakkyndige komiteenes forutsetninger for å foreta bedømmelser som gir et korrekt bilde av kvaliteten. Komiteenes sammensetning skal ivareta mange hensyn, f.eks. kjønnsbalanse, internasjonal representasjon, studentrepresentasjon med mer. Arbeidet i komiteene er preget av forhandlinger om for eksempel tolkningen av data og hvilke konklusjoner som 9 Aas, Gro Hanne m.fl, 2009 Assessing educational quality: Knowledge production and the role of experts. ENQA Workshop report 6. 12

18 kan trekkes av dem, forhandlinger som preges av det enkelte komitemedlems kompetanse og øvrige bakgrunn. Kravet om at evalueringen skal munne ut i konklusjoner og anbefalinger innebærer et press til konsensus. Et potensielt mangelfullt faktagrunnlag og flere svakheter knyttet til sakkyndigsystemet kan derfor føre til at det blir gitt anbefalinger som ikke bare er dårlig funderte, men til og med farlige (Haug, 2009). 3.3 Sakkyndighet i alle ledd en garanti for kvalitet? NOKUT har styrevedtatte regler for hvordan sakkyndige komiteer skal settes sammen. Det kreves internasjonal representasjon, studentrepresentasjon og en rimelig kjønnsbalanse. I tillegg til kunnskap om utdanningstypen er det ønskelig med kompetanse på undervisning, forskning, ledelse, evaluering med mer. Det kan imidlertid ofte være vanskelig å få tak i de sakkyndige man ønsker, på grunn av den store belastningen det er å følge og formelt ha styring med en hel evalueringsprosess. Det kan ende med at man tar dem man får som fyller noen av kravene til kompetanse. Den sakkyndige komiteen fungerer gjerne som prosjektgruppe til tross for at den først og fremst har ansvar for analyse av innhentete data og konklusjonene i rapportene. Komiteen er også aktiv under noe av informasjonsinnhentingen, særlig institusjonsbesøkene som kanskje derfor - gjerne får større betydning i analysearbeidet enn annet viktig evalueringsgrunnlag som spørreundersøkelser og rapporter utført av eksterne forskningsinstitutter. Erfaringene fra tre programevalueringer er at rollefordelingen mellom prosjektorganisasjonen i NOKUT og den sakkyndige komiteen til tider har vært uklar. Den omfattende bruken av sakkyndige i hele evalueringer bidrar imidlertid til å gi legitimitet til prosessene og resultatene. I evalueringen av allmennlærerutdanningen fikk komiteen en bred og representativ sammensetning, med medlemmer fra relevante interessegrupper. Da det viste seg at arbeidet ble preget av komitemedlemmenes tilhørighet på en slik måte at både diskusjoner og konklusjoner tidvis fremsto som tautrekking ut fra ulike perspektiver, var det aldri et tema å velge en slik sammensetning i de to neste komiteene. Her ble kunnskap om utdanningstypen og yrket sentrale kriterier for oppnevning, og det ble et mål å holde antallet sakkyndige nede for å effektivisere arbeidet og lette erfaringsoverføringen til skrivefasen. De samlede erfaringene fra disse tre evalueringsprosessene knyttet til de sakkyndige komiteene, kan gi grunnlag for omfattende diskusjoner om fordeler og ulemper ved de ulike løsningene. Men ganske kort kan noen felles trekk oppsummeres: Noen få i de sakkyndige komiteene bærer det meste av byrden med å analysere og konkludere. Innfallsvinklene i analysearbeidet blir derfor i realiteten færre enn de faglige komiteenes sammensetning gir inntrykk av. I komiteene for evaluering av ingeniør- og førskolelærerutdanning var det for lite konkret kunnskap om norsk utdanning. De sakkyndiges perspektiver og erfaringsbakgrunn har vært så ulike at deres fortolkning av det samlede materialet til dels har vært uforutsigbart. På bakgrunn av de erfaringer som er gjort i ulike typer evalueringer, er det kanskje på tide å reflektere rundt NOKUTs bruk av sakkyndige i evalueringsprosessene. Selv om NOKUT i forskriften pålegges å bruke sakkyndige i sine evalueringer og vurderinger, sies det ikke noe om hvordan sakkyndigsystemet skal praktiseres. Det bør klargjøres hva som egentlig er evaluering i en evaluering, og hvilke faser som har behov for sakkyndighet. En slik diskusjon kan også knyttes til effektiviteten i og kostnadene ved evalueringene. Sakkyndigapparatet er ofte det mest kostbare elementet i evalueringen, og sakkyndiges medvirkning bør derfor være velbegrunnet og meningsfylt også for dem. 13

19 Det er lett å si seg enig i at data som genereres for institusjonens og departementets styringsformål har en helt annen grad av objektivitet enn informasjon som hentes inn ved selvevaluering og intervjuer (Haug, 2009). Slike kvantitative data er gjerne så entydige at en kan spørre seg om det i det hele tatt er behov for sakkyndige til å analyse det. Med økende erfaring fra evalueringer bør slike data kunne vurderes av NOKUT og inngå som bakgrunnsmateriale for evalueringen, det gjelder for eksempel utviklingen i søkertall og produksjonen over noen år, den faglige kompetansen og bruken av denne, utformingen av fagplanene opp mot rammeplanene med mer. En slik forutgående analyse gjennomført av sekretariatet bør kunne omfatte alle indikatorer som kan leses ut av NOKUTs krav til akkreditering av den aktuelle utdanningstypen. 4. Kort om erfaringer med og resultater fra programevalueringene Programevalueringer er en oppgave blir pålagt NOKUT av Kunnskapsdepartementet. Når det gjelder hvordan oppdragene utføres, har NOKUT en valgfrihet. De brede mandatene førte til flere omfattende undersøkelser og mange involverte, og det kan i ettertid stilles spørsmål ved omfanget av de gjennomførte programevalueringene. Det er godt mulig at de viktigste styrker og svakheter i utdanningene kunne vært avslørt ved enklere prosesser. De store programevalueringene kan til en viss grad lignes med å skyte spurv med kanoner. Det er kanskje først og fremst som grunnlag for et grundig rammeplanarbeid at bredden i evalueringene slik de har vært gjennomført hittil, kan forsvares. I det følgende er noen positive resultater og noen utfordringer som er trukket frem i denne rapporten, listet opp. 4.1 Positive resultater Det er utviklet nye rammeplaner for alle utdanningene og den tidligere allmennlærerutdanningen er delt i to grunnskoleutdanninger rettet inn mot ulike alderstrinn. Dette er svaret på påpekningen av faglige utfordringer, ikke minst når det gjelder utdanningenes relevans. I rammeplanarbeid trekkes store grupper av interessenter med og fokus på den aktuelle utdanningen øker i utdanningsinstitusjonene og i andre relevante organisasjoner. Økt presseomtale fører til større samfunnsmessig debatt om utdanningen. Ledelsens ansvar for kvaliteten i alle institusjonens utdanninger kan ha blitt styrket. Administrasjon og faglig styring av førskolelærerutdanningen ble ikke kritisert, noe som kan ha sammenheng med at den styrkingen av administrasjon og ledelse i allmennlærerutdanningen som hadde skjedd i etterkant av evalueringen i 2006, også hadde kommet førskolelærerutdanningene til gode, da disse i stor grad tilhører de samme faglige miljøene På oppfordring fra Kunnskapsdepartementet har alle allmennlærer-, ingeniør- og førskolelærerutdanninger utviklet planer for oppfølging av evalueringene, og institusjonene gjør rede for iverksettingen i årlige etatsstyringsmøter med departementet Nasjonalt råd for teknologiske utdanninger har utviklet et kurs i ingeniørdidaktikk, som jevnlig skal tilbys faglig ansatte i ingeniørutdanningene. Kravet om pedagogisk kompetanse for å undervise er lovbestemt, men det har tidligere ikke vært tilbud om kurs på nasjonalt nivå tilpasset ingeniørutdannere. Departementet har opprettet forskningsprogrammer og økt tallet på doktorgradsstipendier rettet mot praksisutdanningene. Gjennom programevalueringene er institusjonenes bevissthet om andel førstestillingskompetente blant de faglig ansatte i alle utdanninger økt. De tre evaluerte profesjonsutdanningene kan finne eksempler på god praksis i den erfaringsbanken som evalueringsrapportene representerer. 14