Evaluering av prøveordning med mastergradar i statlege høgskolar

Transkript

1 Evaluering av prøveordning med mastergradar i statlege høgskolar Delrapport 1 Noregsnettrådets rapportar 4/2001 Delrapport ISSN

2

3 Forord Kyrkje-, utdannings- og forskingsdepartementet vedtok hausten 1998 å etablere ei prøveordning med mastergradar i statlege høgskolar. Prøveordninga skulle gi eit nasjonalt erfaringsgrunnlag for framtidige avgjerder om gradsstrukturen i norsk høgre utdanning. Dei første studentane blei tatt opp hausten Prøveordninga blei sett i gang på ei tid da Mjøs-utvalet nettopp var komme i gang med sitt utgreiingsarbeid om høgre utdanning. Mjøs-utvalet foreslo i si innstilling i mai 2000 eit nytt gradssystem der hovudstrukturen var ein toårig mastergrad som bygde på treårig bachelorgrad. Denne strukturen blei også tilrådd av regjeringa våren 2001 i den etterfølgjande stortingsmeldinga, og i juni 2001 gjorde Stortinget vedtak i samsvar med dette. Mastergrad vil ut frå dette bli ein sentral del av den norske gradsstrukturen i framtida. I september 1999 gav departementet Noregsnettrådet i oppgåve å evaluere implementeringa av dei seks mastergradsstudia i prøveordninga. Målet med evalueringa er å stimulere til lokal kvalitetsutvikling av studietilboda og gi betre grunnlag for vurdering og implementering av framtidig gradsstruktur. Ein ekstern evalueringskomité følgjer dei to første kulla i mastergradsstudia tett, og gjennomfører ulike undersøkingar for å kaste lys over kvalitet og fagleg utvikling. Evalueringa kan seiast å vere ei prosess- eller følgjeevaluering. Dette er den første av tre rapportar i prosjektet. Rapporten blei lagt fram for Noregsnettsrådet 9. mai 2001 (sak 35/01) og blei tatt til orientering. Noregsnettrådet vil kome med si vurdering av evalueringa når sluttrapporten ligg føre hausten Oslo 15. juni 2001 Magnus Rindal rådsleiar Oddvar Haugland direktør

4

5 Innhald 1 INNLEIING Evalueringsoppdraget, mandat og organisasjon Kven evaluerer? Mål, mandat og mandatforståing Kven evaluerer vi for? Litt om bakgrunnen for mastergradar i Noreg Gradssystemet hittil Mastergradane i prøveordninga EVALUERINGSMODELL Arbeidsmodell for evalueringa Kvalitetskriterium EVALUERINGSOPPLEGG Rapportering og datagrunnlag Den første evalueringsrunden Evaluering av prøveordning med mastergradar - vidare opplegg MASTERGRADANE I HØGSKOLANE Høgskolen i Agder (HiA): Mastergrad i informasjonssystem Innleiing Struktur og prosess Resultat og relevans Referansar Høgskolen i Agder: Mastergrad i offentleg administrasjon Innleiing Struktur og prosess Resultat og relevans Referansar Høgskolen i Finnmark: Mastergrad i reiseliv Innleiing Struktur og prosess Relevans Referansar Høgskolen i Molde (HSM): Logistikk Innledning Struktur og prosess Resultat og relevans Litteratur / referanser Høgskolen i Stavanger (HiS): Mastergrad i samfunnssikkerhet Innledning Struktur og prosess Resultat og relevans Referanser Høgskolen i Volda: Samfunnsplanlegging Innledning... 82

6 4.6.2 Struktur og prosess Resultater og relevans Referanser FØREBELS FUNN OG PROBLEMSTILLINGAR I DET VIDARE ARBEIDET Mastergradane sin plass i høgre utdanning Studia i prøveordninga: nivå? Opptak til mastergradsstudia Opptak og organisering Læringsformer og evalueringsformer Frå master til doktor? Omstillingsbehov og omstillingsevne i høgre utdanning Høgskolane i prøveordninga: evne til omstilling og utvikling Finansiering av omstilling REFERANSAR VEDLEGG PLAN FOR EVALUERING AV PRØVEORDNING.. MED MASTERGRADAR I STATLEGE HØGSKOLAR

7 Forord Komiteen for evaluering av prøveordning med mastergrader har fått i oppgåve å følgje implementeringa av mastergradane gjennom dei to første kulla. Gjennom evalueringsarbeidet tar komiteen sikte på å beskrive korleis opptak, organisatoriske og fysiske strukturar, fagplan/ og faglege ressursar påverkar undervisninga og andre prosessar i gjennomføringa av studiet. Ein søkjer å måle resultat for studentar og andre interessentar, og kartleggje korleis ulike element verkar saman og eventuelt fører til endring. Utviklingsperspektivet er sentralt i ei slik prosessevaluering, og det blir derfor gitt ut rapportar gjennom heile evalueringsperioden. Dette er den første av tre planlagde rapportar. Den tar for seg utviklinga gjennom dei første 1,5 åra, og sidan den utgjer eit grunnlagsdokument for seinare evaluering/rapportering, er det lagt vekt på beskrivande og historiske framstillingar. Rapporten byggjer på historiske dokument frå utviklingsperioden, statistiske data frå det første året, ei kvalitativ undersøking av studiekvalitet, sjølvevaluering og institusjonsbesøka frå komiteen, i tillegg til anna skriftleg materiale som planar, styresaker og liknande. Det blir gjort greie for bakgrunn, evalueringsmodell og metode, og kva undersøkingar som ligg til grunn for evalueringa, og endeleg blir det trekt fram ein del interessante problemstillingar som har dukka opp i første evalueringsrunde. Problemstillingane vil bli følgde opp i den vidare evalueringa. Delrapport 2 i november 2001 vil byggje på samanlikning mellom mastergradsstudia og relevante studium internasjonalt, og vurderingar av om kandidatane utan vidare vil kunne bli tekne opp til doktorgradsstudium her i landet. Rapporten vil vere konsentrert om fagleg profil og nivå i dei seks studia, sett i ein nasjonal og internasjonal samanheng. Sluttrapporten, som er planlagd ferdig i november 2002, vil byggje på dei tidlegare rapportane, ein full evalueringsrunde med sjølvevaluering og institusjonsbesøk våren 2002, og kandidatundersøking for første kull gjennomført av NIFU. I sluttrapporten tartek komiteen i samsvar med sitt mandat sikte på å setje studia inn i ein nasjonal og internasjonal samanheng, vurdere samanhengar mellom inntakskvalitet, studiekvalitet og studieforløp for studentane i mastergradane, vurdere kvalitetssikringsarbeid og kvalitetsutvikling og analysere forskjellar mellom studia. Komiteen vil også kome med tilrådingar når det gjeld dei meir prinsipielle sidene ved gradssystemet, i den grad det er aktuelt på bakgrunn av evalueringsresultata og på det tidspunktet. Det skal også utarbeidast forslag til standardkrav til mastergradar. 2. mai 2001 Komiteen for ekstern evaluering av prøveordninga Professor Kajsa Sere, leiar Professor Tor Busch, nestleiar Førsteamanuensis Oddbjørn Bukve Dosent Ewa Menckel Professor Sverre Storøy Professor Sigurd Troye Rådgiver Astrid Børsheim sekretær 5

8 6

9 1 Innleiing I dette innleiingskapitlet gjer vi greie for kva som er evalueringsobjektet, kven som evaluerer, evalueringskomiteen sitt mandat og mandatforståing, rapportoversikt og målgruppe for evalueringa og rapportane. Vi plasserer til sist prøveordninga med mastergrader inn i prosessen fram mot endring av det norske gradssystemet. I kapittel to, Teori, utviklar vi ein arbeidsmodell for evalueringa, ut frå karakteristika ved evalueringsoppdraget. I kapittel tre, Metode og evalueringsopplegg, gjer vi greie for kva undersøkingar som er grunnlag for rapporteringa vår, orienterer kort om arbeidet i komiteen så langt og skisserer ein framdriftsplan. Kapittel 4 oppsummerer erfaringane frå dei seks mastergradane i prøveordninga, basert på skriftleg materiale og intervju med aktørar på ulike nivå i høgskolen. I kapittel 5 trekkjer vi fram og diskuterer nokre overgripande problemstillingar i mastergradane. Dette er problemstillingar som vil bli fokuserte på ulike måtar i den vidare evalueringa. 1.1 Evalueringsoppdraget, mandat og organisasjon Kva skal evaluerast? I april 1999 gav Kyrkje-, utdannings- og forskingsdepartementet (KUF) fem statlege høgskolar høve til å delta i ei prøveordning med i alt seks mastergradsstudium for norske studentar. Prøveordninga skulle omfatte minst to kull, med første opptak i august Prøveordninga gjeld følgjande høgskolar og studium: Høgskolen i Agder (HiA) offentleg administrasjon informasjonssystem Høgskolen i Finnmark (HiF) reiseliv Høgskolen i Molde (HiMo) logistikk Høgskolen i Stavanger (HiS) samfunnstryggleik ( samfunnssikkerhet ) Høgskulen i Volda (HiVo) samfunnsplanlegging Erfaringar frå prøveperioden skulle gå inn i diskusjonen om framtidig norsk gradsstruktur. Kvar av høgskolane skulle evaluere mastergradsstudiet i prøveordninga undervegs og etter avslutta kull. I tillegg gav KUF Noregsnettrådet i oppdrag å utarbeide eit sentralt evalueringsopplegg for prøveordning med mastergradar i statlege høgskolar. Evalueringa skulle setjast i gang i vårsemesteret 2000 og følgje mastergradsstudia i prøveperioden. Oppdraget frå departementet galdt dermed ei prosessevaluering, eit omgrep som inneber at evalueringsorganet følgjer utviklinga i t.d. ein implementeringsprosess, jf. kap. 2. Noregsnettrådet vedtok plan for evalueringa i mai 2000 (vedlagt). 1 Brev til dei einskilde høgskolane i prøveordninga, alle datert

10 1.1.2 Kven evaluerer? I evalueringa til Noregsnettrådet blir mastergradane følgde gjennom dei første to kulla av ein ekstern evalueringskomité med 6 medlemmer oppnemnde av Noregsnettrådet. Så langt det var mogeleg, blei komitémedlemmene valde blant medlemmer av dei faglege komiteane som hadde vurdert studieplanane før oppstart (sjå nedanfor under overskrifta Mastergradane i prøveordninga). Komiteen har medlemmer frå fem av desse komiteane. Komiteen har elles to nordiske og fire norske medlemmer, to kvinner og fire menn, og alle fagområda er dekte. Komiteen har verdfull tilleggskompetanse, som evalueringskunnskap og -erfaring, høg kompetanse på kvantitative og kvalitative undersøkingar og erfaring med utvikling og gjennomføring av mastergradsstudium i samarbeid med utanlandske universitet. Leiar er professor Kajsa Sere, Åbo universitet. Komiteen har elles desse medlemmene: førsteamanuensis Oddbjørn Bukve, Høgskolen i Sogn og Fjordane, professor Tor Busch, Høgskolen i Sør-Trøndelag, dosent Ewa Menckel, Arbetslivsinstitutet Stockholm, professor Sverre Storøy, Universitetet i Bergen og professor Sigurd Troye, Norges Handelshøgskole. Noregsnettrådet har sekretariatsfunksjonen. Sekretær for komiteen er rådgjevar Astrid Børsheim. Rådgjevarane Pål Bakken og Tor Gjerde har skrive delar av kapittel 4 og har elles deltatt i evalueringsprosessen og gitt verdfulle innspel under utforminga av rapporten Mål, mandat og mandatforståing I oppdragsbrevet til Noregsnettrådet (KUF ) bad departementet spesielt om at evalueringa måtta kaste lys over følgjande tilhøve: gjennomstrømning og fullføring, høgskolenes egen kvalitetssikring av studiet og hvordan man sikrer at det holder en internasjonal standard, om det er sammenheng mellom studentenes ulike utdannings- og yrkesbakgrunner og deres gjennomstrømning, fullføring og faglige resultater og hvilken effekt studentenes ulike utdannings- og yrkesbakgrunner eventuelt har på kvaliteten av studiet (KUF ). På eit meir overordna plan blei prøveordninga med mastergradar sett i gang for å skape et nasjonalt erfaringsgrunnlag for fremtidige beslutninger om gradsstrukturen i norsk høgre utdanning (KUF, brev av ). Planen for evalueringa blei likevel vedteken i Noregsnettrådet få dagar etter at Mjøs-utvalet si innstilling var offentleggjort. Rådet rekna da med at utvalet si tilråding om endring av gradssystemet ville bli følgd i Stortingsmeldinga og den etterfølgjande stortingsbehandlinga, og diskuterte derfor grundig om ei slik evaluering kunne ha ei meining sjølv om det låg i dagen at eit nytt gradssystem ville bli innført. Diskusjonen førte til at rådet valde å fokusere på kvalitetsutvikling i det einskilde mastergradsstudiet, og på verdien av ei slik evaluering som implementeringserfaring. Det blei med utgangspunkt i føringane ovanfor formulert følgjande mål for evalueringa: Målet for evaluering av prøveordninga med mastergradar er både å stimulere til lokal kvalitetsutvikling av studietilboda og å framskaffe grunnlag for vurdering og implementering av eventuell framtidig gradsstruktur. 4 Evalueringstypar og implikasjoner av evalueringstype blir diskuterte i kapittel 2 5 Møte i Norgesnettrådet , NNR-sak 23/00. 8

11 Med utgangspunkt i evalueringsoppdraget og målet for evalueringa er det utarbeidd følgjande mandat for komitéarbeidet (NNR, fullmaktssak 65/00): Med utgangspunkt i måla for evalueringa og ut frå følgjande kjelder - studentundersøkingar som omfattar kvantitative og kvalitative data - kartlegging av kvalitetsarbeid og kvalitetsutvikling i mastergradsstudia - kandidatundersøking (frå 2001) - sjølvevalueringar ved høgskolane fokusert på fagleg innhald, nivå og utvikling - institusjonsbesøk - andre kjelder etter eiga vurdering skal komiteen kvart år i perioden : 1. samanlikne fagleg innhald og nivå i studia med krava til høgre grads studium i det eksisterande norske gradssystemet og relevante internasjonale gradssystem 3. vurdere studieløpet for studentane når det gjeld studiekvalitet, gjennomføring og eksamen, og situasjonen for kandidatane på arbeidsmarknaden, sett i samanheng med opptaksgrunnlag/inntakskvalitet 4. kartleggje og vurdere kvalitetssikringsarbeidet og -utviklinga i vid tyding 5. analysere forskjellar i utviklinga mastergradsstudia imellom Komiteen skal utarbeide delrapportar hausten 2000 og 2001, og ein sluttrapport hausten I sluttrapporten skal komiteen kome med tilrådingar når det gjeld meir prinsipielle sider ved gradssystemet så langt det er mogeleg på bakgrunn av prøveordninga med mastergradar, og vidare utarbeide forslag til standardkrav til mastergradar. Når det gjeld første del av mandatet, blir det i kapittel tre gjort nærare greie for undersøkingar som er gjennomførde/planlagde i evalueringa. I samsvar med mandatpunkt 1 er komiteen oppteken av fagleg innhald og nivå i studia. Ein modell for vurdering av studia etter denne dimensjonen blir presentert i kap I denne delrapporten tek vi utgangspunkt i komitémedlemmene sin eigen kunnskap om kva som blir kravd av eit høgre grads studium når vi vurderer spørsmål som gjeld det faglege nivået. Men komiteen oppfattar det slik at både departementet og Noregsnettrådet har fokusert så sterkt på å få samanlikna desse mastergradane med tilsvarande studium nasjonalt og internasjonalt at dette krev ei særskilt undersøking. Andre delrapport hausten 2001 er derfor planlagd som ei samanlikning av studia i prøveordninga med relevante studium i utlandet, og ei undersøking av kvar studia står i høve til eit eventuelt opptak til doktorgradsutdanning for kandidatane i Noreg. Når det gjeld punkt 2 i mandatet, er dette sjølvsagt spørsmål som det ville vere interessant å få innsikt i for alle typar studietilbod. Når departementet ber om at det blir sett fokus på slike samanhengar i nettopp denne evalueringa, har det truleg først og fremst samanheng med kravet om at opptaksgrunnlaget skal vere berre tre års høgre utdanning, rett nok med krav til fagsamansetjing som sikrar fagleg fordjuping. Komiteen ser det som viktig å undersøkje kva konsekvensar det har å redusere opptakskravet til høgre grads studium med eitt år, spesielt når mangel på formell utdanning til ein viss grad kan kompenserast med relevant realkompetanse som søkjaren har tileigna seg i yrkeslivet. Dei aktuelle mastergradane byggjer dessutan på typisk tverrfaglege studium, og det blir interessant å undersøkje korleis høgskolen i utgangspunktet har sikra seg at studentane som blir tekne opp er på eit høgt nok fagleg nivå, og korleis høgskolen kontinuerleg sikrar nivået ved ulike kvalitetskontrollar og tiltak. Vi oppfattar det slik av mandatpunkt 3 at vi skal kunne beskrive og vurdere kvalitetssikrings- 9

12 arbeidet på alle plan i organisasjonen, i den grad det er viktig for utvikling og endring av studieplan, for undervisning, for opplevd studiekvalitet blant studentane m.m. Gjennom den totale evalueringsprosessen bør vi kunne seie noko om utvikling. Komiteen ser det slik at kvalitetsaspektet inngår i alle fire mandatpunkta, og denne oppfatninga speglar seg i metode og opplegg for evalueringa, jf. kapittel tre. Måling av kvalitet i høgre utdanning er eit mykje omdiskutert tema, og mange tviler på om det er mogeleg å foreta meiningsfylte målingar av utdanningskvalitet. I denne evalueringa baserer vi oss delvis på reine kvalitetsundersøkingar, og i tillegg er kvalitetssikring og kvalitetsutvikling i fokus i fleire av undersøkingane som er gjennomførte eller planlagde. Mastergradane skal samanliknast med kvarandre (mandatpunkt fire). På basis av erfaringane i kvar mastergrad dreg vi derfor ut nokre overordna problemstillingar og diskuterer dei, jf. kap. 5. Vi oppfattar ikkje at vi skal foreta ei evaluering som utpeikar eventuelle taparar og vinnarar, men at vi på ulike målingsområde skal vurdere sterke og svake sider internt i ein mastergrad og mastergradane imellom. Det er likskapar og ulikskapar mellom mastergradsstudia. Fagleg dominerer samfunnsvitskaplege emne nokre av mastergradane, mens andre er meir i det naturvitskaplege området. Alle er gitt til statlege høgskolar, men det er høgskolar som er svært forskjellige når det gjeld storleik, faglege ressursar, økonomi, geografisk plassering i høve til aktørar i utdanning og næringsliv osb. Når vi samanliknar dei, må det vere i respekt for slike tilhøve, og på relevante område. Ei viss samanlikning mellom mastergradane gjer vi i kapittel fem i denne rapporten, men først og fremst vil vi i den analytiske delen av sluttrapporten måtte trekkje opp særdrag, og i lys av dette samanlikne heldige og mindre heldige val og konsekvensar når slike relaterer seg til meir overordna problemstillingar. Komiteen tolkar det siste avsnittet i mandatet slik at det er ønske om at det skal utviklast overordna krav til eit mastergradsstudium og miljøet som skal iverksetje studiet. I sluttrapporten tek komiteen sikte på å presentere eit sett av krav og retningsliner som byggjer på erfaringane frå evalueringa og som kan brukast til dømes i ein akkrediteringsprosedyre. Det går fram av mandatet at komiteen skal utarbeide delrapportar hausten 2000 og hausten 2001, og ein sluttrapport hausten Denne første rapporten er noko forseinka i høve til tidsplanen. På bakgrunn av det samla settet av rapportar slik det går fram tabellen nedanfor, reknar komiteen med å kunne svare på dei fire punkta i mandatet i sluttrapporten hausten Tabell 1.1 Oversikt over gjennomførte og planlagte rapportar (denne rapporten i kursiv) Rapport Tidsfrist Emne/formål Utgjevar/format Studiekvalitet i Februar 2001 Kartleggeleggje følt studiekvalitet NIFU -skriftserie mastergradane i første kull 1/2001 Delrapport 1 Mai 2001 Ein tilstands- og diskusjonsrapport NNR -rapport Teoriutgreiing November 2001 Evaluering av prøveordninga med NNR -rapport mastergradar i ein nordisk evalueringsteoretisk og praktisk samanheng Delrapport 2 November 2001 a) Oppsummering av NNR -rapport studentundersøking våren 2001 b) Mastergradane i eit nasjonalt og internasjonalt gradsperspektiv Kandidatunder- Kandidatundersøking i NIFUs søking Mai 2001 ordinære opplegg. Tilpassa våre behov. NIFU -rapport Sluttrapport November 2002 Konklusjonar og tilrådingar NNR -rapport 10

13 1.1.4 Kven evaluerer vi for? Målgruppa for evalueringa og for rapportane er i første rekkje evalueringsobjekta. Dei fem høgskolane har omfatta evalueringa så langt med stor og positiv interesse, og under utforminga av denne delrapporten har komiteen hatt for auge å gi fagmiljøa motivasjon og rettleiing for ei positiv utvikling av studia og studiemiljøa. Ei anna målgruppe er høgre utdanningsinstitusjonar som er i ferd med å planleggje mastergradsstudium, og som i rapportane kanskje kan hente erfaringar som kan bli nyttige i deira eigen utviklings- og implementeringsfase. Sist men ikkje minst må dei som tek politiske avgjerder reknast som ei viktig målgruppe. Sjølv om mastergradane i prøveordninga truleg representerer det som vil bli det gjeldande gradssystemet i Noreg om svært kort tid, kan rapportane kvar for seg og samla gi nyttig informasjon om eventuelle konsekvensar av endringane, t.d. når det gjeld rekruttering, fagleg nivå og undervisningsformer. Evalueringa fokuserer sterkt på studiekvalitet og studenten sin posisjon i og innverknad på undervisning og organisasjon. Rapporten bør derfor ha interesse for studentane i mastergradsstudia. Vi reknar vidare avtakarane av kandidatane, næringslivet og anna arbeidsliv, som ei målgruppe for evalueringsresultata. På eit anna plan ser vi evaluerarar av høgre utdanning i nordiske land som ei målgruppe. Mellom anna på grunn av det nordiske perspektivet, forsterka ved at komiteen har ein svensk og ein finsk medlem, har vi lagt vekt på deskriptive og historiske framstillingar. 1.2 Litt om bakgrunnen for mastergradar i Noreg Gradssystemet hittil Ved universiteta sine historisk-filosofiske og samfunnsvitskaplege fakultet er lågare grad normert til 80 vekttal og høgre grad til 40. Ved dei matematisk-naturvitskapelege fakulteta er lågare grad normert til 70 vekttal og høgre grad til 30. Det blir i tillegg sett faglege krav for opptak til høgre grad for å sikre fordjuping. Profesjonsstudia ved universiteta og dei vitskaplege høgskolane er heilskaplege løp på 4 6,5 år som kvalifiserer for bestemte yrke (siviløkonom, tannlækjar, veterinær). Dei statlege og private høgskolane tilbyr hovudsakeleg yrkesutdanningar normert til 2-3 år. Det finst også 4-årige utdanningar, t.d. lærarutdanninga. Utdanningane gir normalt tittelen høgskolekandidat i. Høgskolane tilbyr også studium som tilsvarar studia ved universiteta, og har i mange tilfelle fått rett til å gi eigne hovudfag og sivilutdanningar, eller dei tilbyr hovudfag i samarbeid med eit universitet. KUF opna i 1991 for at universiteta og dei vitskaplege høgskolane skulle kunne tilby mastergradar på fagområde der dei alt hadde rett til å tilby norsk høgre grad. Mastergradsstudia skulle vere engelskspråklege, utdanne kandidatar for ein internasjonal arbeidsmarknad og vere ein reiskap i institusjonane si internasjonalisering av verksemda. Målgruppa var først og fremst studentar frå andre land som ønskte å studere på høgre nivå i Noreg, men slike studium blei på slutten av 90-talet opna for norske søkjarar. I 1994 blei det oppretta ei stipendordning for studentar frå utviklingsland og frå Aust-Europa (kvotestipendordninga), som kom til å rekruttere studentar frå desse landa til dei engelskspråklege mastergradsstudia. Handelshøgskolen BI har lenge tilbydd mastergradsstudium berekna på norske deltidsstudentar, og frå 1997 har NHH og NTNU gitt mastergradskurs for vidareutdanningsstudentar mot betaling. Dette tilbodet har alle universiteta og dei vitskaplege høgskolane hatt sidan Høgskolen i Stavanger har sidan 1991 hatt ein eigen toårig mastergrad i reiseliv og hotelladministrasjon for norske studentar, inkludert eit års obligatorisk utanlandsopphald ved 11

14 eit godkjent universitet. Liknande ordningar har vore vanlege på høgskolar med ingeniørutdanning som ledd i sivilingeniørutdanning for eigne kandidatar. Universiteta og dei vitskaplege høgskolane har til nylig hatt eineretten til å tildele doktorgrad. Frå 2000 har tre statlege høgskolar fått tildelt slik rett, Høgskolen i Agder, Høgskolen i Stavanger og Høgskolen i Bodø, den siste rett nok som ei prøveordning for avgrensa tid i påvente av at visse krav skal oppfyllast. Stortingsmelding nr. 27 opnar for at høgskolar med rett til å utdele doktorgrad på visse vilkår kan bli universitet Mastergradane i prøveordninga Andre høgskolar i det statlege systemet hadde og ambisjonar om å tilby mastergrad. Alt i 1997 søkte HiA om å få etablere mastergradsstudium i to samfunnsfaglege studieretningar. HVO søkte i 1998 om rett til å tildele mastergrad i samfunnsplanlegging. Både Det norske universitetsrådet og KUF var negative til å tildele høgskolane mastergradar, og motstanden blei først og fremst grunngitt med at heile gradssystemet var under diskusjon. HiA argumenterte i nytt brev til KUF ( ) for at det burde vere interessant å etablere ei prøveordning med mastergradar parallelt med utgreiingane om gradssystemet, som var ein del av mandatet for det da nyetablerte Mjøs-utvalet. KUF introduserte brått ei prøveordning med mastergradar i statlege høgskolar i eit brev til Høgskolen i Agder datert Departementet grunngav prøveordninga slik: Som høgskolen selv viser til inngår vurdering av gradsstrukturen i mandatet til det utvalget som er nedsatt for å utrede norsk høgre utdanning etter år 2000 (Mjøs-utvalget). Departementet er enig i at det kan være nyttig å høste erfaringer med mastergrader ved de statlige høgskolene, og at slike erfaringer vil kunne være en del av grunnlaget for vurdering av en eventuell ny gradsstruktur innenfor norsk høgre utdanning. Departementet gjorde det alt no klart at høgskolen måtte klare satsinga innafor eige budsjett, og bad om eit snarleg møte for å diskutere studienes nivå og innhold, og krav til faglig vurdering. Etter møtet med HiA blei prosedyren fram mot godkjenning av aktuelle studieplanar fastlagde 6. Det skulle setjast ned ein fagleg komité for kvart studium, for å se på det faglige innholdet og sikre den faglige kvaliteten på masterstudiene, herunder påse at det faglige nivået holder internasjonal standard, vurdere problemstillinger knyttet til overgang og innpassing i forhold til andre studieløp, herunder opptak til doktorgradsstudier, vurdere hvordan masterstudiet skal ligge i forhold til eksisterende norske grader innen samme type fag/studier. Komiteane skulle erstatte den tidkrevjande høringsrunden som elles er rutine før oppretting av nye studium ved statlege høgskolar. Dei faglege komiteane skulle vere sett saman av representantar frå høgskolen sjølv andre høgskolar oppnemnd av Det norske høgskolerådet universiteta oppnemnd av Det norske universitetsråd ein aktuell utanlandsk høgre utdanningsinstitusjon Departementet sette fristen for endelege søknader til 1. april 1999, og lova rask handsaming. 6 Brev frå KUF datert

15 HVO, HiS, HSM og HiF fekk klarsignal til å setje i gang den same prosessen ut frå tidlegare eller nye søknader. Den fekk alle 5 høgskolane godkjenning for å starte opp mastergradsstudium frå hausten Det skulle takast opp minst to kull innafor prøveordninga, og høgskolen blei pålagd å evaluere undervegs og etter avslutta kull. Finansieringa skulle skje innafor høgskolen sine eigne rammer. Departementet understreka at studiet skulle vere på høgre grads nivå, og kunne gi opptak til doktorgradsstudium ved norsk eller utanlandsk universitet. Nyare utvikling i gradssystemet Diskusjonen om det norske gradssystemet kan setjast inn i ein vidare kontekst av auka internasjonal samhandling også innan høgre utdanning. Da Noreg i juni 1999 underteikna Bologna-erklæringa, forplikta styresmaktene seg til å innføre eit oversiktlig og lett sammenlignbart gradssystem som består av en lavere grad av minst tre års varighet og en høgre grad. På nasjonalt nivå har gradsstrukturen fått eit kapittel i Mjøs-utvalet si innstilling (kap 9 Gradsstruktur i høgre utdanning i NOU 2000: 14 Frihet med ansvar. Om høgre utdanning og forskning i Norge) som blei lansert i mai Innstillinga blei i mars 2001 følgd opp i Stortingsmelding nr. 27 Gjør din plikt Krev din rett. Kvalitetsreform i høyere utdanning. Mjøs-utvalet foreslo i si innstilling å erstatte dagens system med ein ny struktur som i prinsippet skulle omfatte så mange utdanningar som mogeleg. Høgre grad (mastergrad) skal byggje på lågare (bachelor-grad) og til saman normerast til fem år. Utvalet tilrår at institusjonane får stor fridom til å utforme mastergradane, men sidan bachelor-graden skal kunne gi opptak til høgre grads studium, bør lågare gradsnivå gi relativt stor fordjuping. Den reduserte studietida må gå utover breidda. I tillegg til eit slikt einskapleg løp som skal kunne gi opptak til doktorgradsutdanning (i denne rapporten kalla søylemaster), foreslår utvalet at det skal etablerast ein eigen mastergrad som ved et 2-årig studium gir en tilleggskompetanse på et sideordnet fagområde i forhold til fagretningen på lavere gradsnivå (Mjøs, s 231). I denne rapporten blir ein slik variant kalla sideordna master. I stortingsmeldinga blir behovet for endring av det eksisterande gradssystemet grunngitt med at vi i Noreg har mange lange førstegangsutdanningar og svak gjennomstrømming (St.meld. nr. 27, s. 34). Det blir også vist til ein OECD-rapport 7 som kritiserer norsk høgre utdanning for å ha ein kultur som er meir orientert mot eksamen enn mot god undervisning og variert læringserfaring. Sjølv om den nasjonale mobiliteten er betre i Noreg enn i mange andre land, blir det hevda at m.a. gradsstrukturen legg hindringar i vegen for internasjonal mobilitet. Det blir følgjeleg foreslått å innføre ein ny gradsstruktur frå hausten 2002, som skal betre effektiviteten i høgre utdanning ved å gi betre gjennomstrømming, møte samfunnet, arbeidslivet og den einskilde sine behov for kompetanse og skape eit godt grunnlag for utdanning og læring etter at den første utdanninga er gjennomført. Departementet går inn for å opprette eit system som skal gjelde dei fleste studium og som har ein lågare grad på tre år som skal gi yrkeskompetanse og/eller mulighet for opptak til høyere grads studier. Høgre grad skal normalt vere på to år, byggje på lågare grad og gi yrkeskompetanse og/eller opptak til doktorgradsstudium. Det doble formålet gjeld anten innretninga på studiet er akademisk eller meir yrkesprega. Det er den faglege fordjupinga som er det avgjerande kriteriet for ein slik søylemaster. Forslaget frå Mjøs-utvalet om ein sideordna master blir følgd opp i Stortingsmeldinga med forslag om at det skal vere mogleg å 7 OECD 1998 Redefining Tertiary Education 13

16 opprette faglege påbyggingar som ikkje byggjer direkte på fag frå lågare grad, men der fag og disiplinar blir sett saman på ein ny måte. Denne varianten skal ikkje nødvendigvis kunne gi opptak til doktorgradsutdanning. Utdanningar som i dag har ein kortare lågare grad enn tre år og kortare høgre grad enn fem år, skal ikkje måtte forlenge studietida. Toårige studium vil vere yrkesretta utdanningar. Lærestadane blir tilrådde å leggje til rette for påbyggingar som utdjupar slike korte utdanningar. Profesjonsutdanningar på fem år kan oppretthaldast. Departementet vil framleis ha 4-årig lærarutdanning. Departementet introduserer omgrepet studiepoeng i staden for vekttal som er målet på studiebelastning i dag, slik at eitt vekttal tilsvarar tre studiepoeng etter mønster frå det europeiske ECTS-systemet. Det blir vidare foreslått å bruke dei internasjonale gradsnemningane bachelor, master og Ph.D. Kortare yrkesretta studium skal framleis gi graden høgskolekandidat. 14

17 2 Evalueringsmodell I løpet av dei siste 20 åra har det blitt ei aukande interesse for evaluering og evalueringsforsking. Ulike teoriar, modellar, referanserammer og metodar har blitt utvikla og utprøvd. Litteraturen på området er omfattande og mange nasjonale og internasjonale tidsskrift har fokus på evaluering. Bidrag har komme frå mange vitskaplege disiplinar og frå einskilde utøvarar/aktørar og frå dei som tek avgjerdene. Mange evaluerarar har komme frå utdanningsområdet, og det var også innan utdanning ein stor del av evalueringsforskinga og -utviklinga tok til. Omgrep som summativ og formativ evaluering blei utvikla og tekne i bruk. Med summativ evaluering meiner ein evalueringar som oppsummerer og vurderer erfaringar og resultat i etterkant, haldne opp mot dei måla som var sett opp for verksemda. Formativ evaluering fokuserer på å forme og forandre ei verksemd kontinuerleg. Ut frå desse to prinsipielle linene kan så ulike evalueringsmodellar grupperast og diskuterast. Komiteen har diskutert evaluering og evalueringsteoriar, men har valt å utsette ein grundigare teoridiskusjon. Det vil hausten 2001 bli utarbeidd ein eigen rapport som plasserer evalueringa av prøveordning med mastergradar inn i ein evalueringsteoretisk og praktisk samanheng. Her kan det kort seiast at evaluering av høgre utdanning har ingen verdi i seg sjølv, men er kopla til resultat i den akademiske verksemda og til studieforløpet. Denne forskyvinga av tyngdepunktet når det gjeld korleis ein ser på evalueringar, det vil seie frå å vere ei oppgåve for ekspertar til å bli ein del av verksemda i organisasjonen og ei oppgåve for alle, blei for alvor teken opp av The Joint Committee on Standards for Educational Evaluation i deira omfattande arbeid med å utvikle standardar for evaluering av utdanning i USA i Nå vil både summative og formative delar bli inkluderte i ei evaluering av kurs og program i høgre utdanning. Slik er det også i Sverige 9 og i mange andre europeiske land Arbeidsmodell for evalueringa Mastergradsstudium som høgre grads studium for norske studentar er ei nyordning i Noreg, og implementeringa av prøveordninga blir evaluert både av høgskolane sjølve og av Noregsnettrådet. Noregsnettrådet si evaluering skal følgje dei to første kulla som blir tekne opp, og vil altså gå frå opptak av første kull i 1999 til andre kull får sine vitnemål våren Ei evaluering som går parallelt med innføringa av ei ny ordning, kallar vi her ei prosessevaluering. I ei prosessevaluering registrerer ein kva som skjer og korleis, og observasjonane er utgangspunkt for komiteen sine vurderingar. Resultat i ei prosessevaluering blir tilført institusjonane undervegs for å stimulere til læring og utvikling. Når det er fleire evalueringsobjekt av same typen som her, vil det vere aktuelt å samanlikne, ei oppgåve som også er nedfelt i evalueringsmandatet. Årsaker til utvikling og forskjellar i utvikling, anten dei ligg i strukturelle og/eller kulturelle trekk i dei ulike høgskolane, i det eksterne miljø, i tilfeldige hendingar, må inngå i analysen av det faktiske forløpet. Vi siktar mot å undersøkje kvalitet og kvalitetsutvikling i vid tyding. Sentrale aksar i 8 Sanders J.R 1994 The Program Evaluation Standards. How to assess Evaluations of Educational Programs. 2 nd edition. The Joint Committee on Standards for Educational Evaluation, Sage Publications. Thousand Oaks, US 9 Högskoleverket 2001 Nationella ämnes- ock programuvärderingar. Högskoleverket, Sverige 2001:2R 10 ENQA 1998 Evaluation of European Higher Education: A Status Report. 15

18 vurdering av kvalitet er samanhengane mellom mål og resultat og mellom interne og eksterne strukturar og prosessar. Når det gjeld mål, vil evalueringa måtte relatere seg til både dei måla som er oppgitt for det einskilde studium og departementet sine mål ved oppretting av prøveordninga. Med struktur er meint dei føresetnadene rundt evalueringsobjektet som er gitte, t.d økonomiske og materielle ressursar, studieplanar og fagleg kompetanse, organisatoriske tilhøve, infrastruktur og studentane sine føresetnader. Prosess omfattar oppstart og gjennomføring av det evaluerte, i dette tilfellet implementering av mastergradsstudia. Resultatet er utbyttet for aktørane, høgskolen og studentane, og også konsekvensane for samfunnet rundt (det siste blir ofte kalla relevans eller impact). Samfunnet rundt kan i dette tilfellet konkret bety arbeidsgjevarane som tek imot kandidatane, men i mange tilfelle vil eit studium ha ein vidare samfunnsmessig innverknad. Ein kan t.d. gjere seg tankar om kva høgre utdanning på samfunnstryggleiks- og samfunnsplanleggingsområdet kan få for konsekvensar, sett i lys av dei mange skandalane innan bygg og samferdsel i Noreg i dei siste åra. Departementet sitt oppdrag legg opp til at evaluering av prøveordning med mastergradar må ha både summative og formative element. T.d. vil ei summativ evaluering by på fordelar for å framskaffe informasjon om samanhengar som ulik opptaksbakgrunn i studentmassen og konsekvensar for resultat (som gjennomføring og karakterar). Formative element vil dominere når fokus blir sett på læringsmiljø og kvalitetsutvikling i mastergradsstudia. I figur 1 nedanfor har vi skjematisk framstilt den tenkemåten rundt evaluering som vi har gjort greie for over: SUMMATIV EVALUERING MÅL STRUKTUR IVERKSETTING (FORLØP AV PROSESSEN) RESULTAT / KONSEKVENSAR FOR SAMFUNNET) FORMATIV EVALUERING Figur 1 Modell for evaluering av prøveordning med mastergradar Dette tilsvarar ein mykje brukt arbeidsmodell for evaluering av høgre utdanning, og komiteen har lagt denne til grunn i si planlegging og gjennomføring. Modellen byggjer på ein alminneleg vedteken konsensus på evalueringsområdet, og er basert både på internasjonalt anerkjend vitskapleg litteratur og på praktisk erfaring Kvalitetskriterium Arbeidsmodellen skal gi eit heilskapsperspektiv på programmet/kurset som blir evaluert. Det inneber at ein studerer mål, pedagogiske og organisatoriske rammer, undervisningsprosessar, 11 Modellen har blitt utvikla og brukt i ulike samanhengar, sjå t.d. Menckel, E. Evaluation research approaches, models and methods for evaluating safety promotion in Laflamme et al (eds) 1999 Safety Promotion Research. Karolinska Institutet, Stockholm, Sweden. 16

19 resultat i vid tyding m.m. Det er svært viktig for forståinga av resultata å studere både føresetnadene og prosessen. Vi har valt ut ein del vanleg nytta kvalitetskriterium 12 for måling innanfor kvart element i modellen: inntakskvalitet, rammekvalitet, programkvalitet, styringskvalitet, undervisningskvalitet, resultatkvalitet og relevans. Dette settet av kvalitetskriterium er eit utval blant fleire mogelege, og tek ikkje sikte på å måle den absolutte sanning om kvaliteten i eit studiemiljø. Likevel kan konsentrasjon om eit sett av kvalitetsdimensjonar vere tenleg for å få fram relevant informasjon om utdanningskvaliteten i eit program. Bruk av same kvalitetskriterium i ulike målingar gjer også samanlikning enklare. I det følgjande definerer og diskuterer vi kvalitetskriteria nærare. Inntakskvalitet er forkunnskapar og andre føresetnader studentane har med seg inn i studiesituasjonen. Rammekvalitet ( det heilskaplege læringsmiljøet ) omfattar dei gitte fysiske og organisasjonsmessige rammene for studieprogrammet: tilgjengelege ressursar i vid tyding (som lokale og utstyr, administrativ støtte, bibliotek, IT, midlar til undervisning og tilgrensande aktivitetar, fagpersonalet sin kompetanse og FoU, tilbod og situasjon for studenten utanom det direkte studierelaterte). Gode leiingsfunksjonar og gode administrative rutinar er viktige sider ved rammekvaliteten. Studenttalet kan vere avgjerande for kva rammer ein institusjon er i stand til å tilby rundt eit studium. Programkvaliteten blir uttrykt gjennom studieplanen. Studieplanen kan sjåast som ein kontrakt mellom studenten og institusjonen, og inneheld mellom anna mål for og innhald i studiet, set opp faglege mål og mål for sluttkompetanse, organisering av læringsarbeidet, undervisningsomfanget, arbeidsformer og arbeidskrav for studentane, eksamens- og vurderingsordning. Programkvaliteten blir kontrollert ved godkjenning 13, men institusjonen har ansvaret for fagleg utvikling og dermed for at programkvaliteten blir oppretthalden. Styringskvaliteten set fokus på korleis institusjonen forvaltar sitt eige ansvar for å drive utdanningane og kvalitetsarbeidet. Arbeidet med fagplanar, oppfølging av kvantitative resultatmål og metodar for å kontrollere og sikre utdanningskvaliteten i vid tyding er element som seier noko om styringskvaliteten. Undervisningskvalitet seier noko om undervisning og formidling, og både kompetansen og formidlinga til fagpersonalet (inkludert pedagogiske evner og metodar) vil ha konsekvensar for kvaliteten. Studenten sitt eige læringsarbeid og ansvar for dette er ei anna side ved undervisningskvaliteten. Mange faktorar verkar inn på undervisningskvaliteten: talet på studentar, inntakskvaliteten, økonomi, organisering av undervisninga og innslag av teknologi. Ein kan også rekne inn vanskeleg målbare faktorar som læringsklima. Resultatkvalitet skal seie noko om studentane sitt utbytte av læring i høve til måla i studieplanen. Gjennomføringsprosent og eksamensresultat kan brukast som mål på resultatkvalitet. Svake tal vil vere teikn på at noko er galt, men seier ikkje noko om årsak. Årsaker kan t.d. vere at studentane har svakt opptaksgrunnlag, ueigna eksamensformer og oppgåver 12 Definisjonane og forklaringene på omgrepa er henta frå Noregenettrådet sin rapport 2/1999 «Basert på det fremsete...?) 13 Institusjonen godkjenner no sjølv studietilbod inntil 30 vekttal når dei ligg innanfor fagporteføljen elles. 17

20 og dårleg tilpassa undervisningsformer. Gode kvalitetssikringsrutinar må til for å fange opp og gjere noko med slike årsaker, jf. styringskvalitet. Relevansen er uttrykk for konsekvensane av studietilbodet for samfunnet og arbeidslivet, og seier såleis noko om ei utdanning har dei rette kvalitetar i høve til det arbeidslivet ho utdannar for og samfunnet elles. Stadig meir aktuelt er spørsmålet om utdanninga gir fleksibilitet i ein arbeidsmarknad i endring, og evne til omstilling og læring. Samfunnet sine behov kan krevje at dei vitskapleg tilsette er medvitne om at god formidling medfører behov for ein transformasjonsprosess frå rein kunnskap til behovsretta kunnskap. Kvalitetskriteria grip over i kvarandre og innverkar på kvarandre. Som ein illustrasjon har vi nedanfor bygd kvalitetskriteria inn i evalueringsmodellen: MÅL STRUKTUR IVERKSETTING (PROSESS) RESULTAT / KONSEKVENSAR FOR SAMFUNNET) Inntak Rammer Program Undervisning Styringskvalitet Resultat Relevans Figur 2 Evalueringsmodell med kvalitetskriterium 18

21 3 Evalueringsopplegg 3.1 Rapportering og datagrunnlag Det går fram av mandatet at denne evalueringa skal byggje på fleire typar undersøkingar som skal gjennomførast årleg. Komiteen kan også nytte andre kjelder etter eiga vurdering. På bakgrunn av undersøkingane skal det utarbeidast rapportar. Komiteen sin plan og grunngjevinga for rapportering går fram av tabell 1.1. Den føreliggande rapporten, som byggjer på sjølvevalueringar i høgskolane, kartlegging av kvalitetsarbeid, komiteen sine institusjonsbesøk og supplerande skriftleg materiale, skulle etter komiteens meining leggje eit godt grunnlag for resten av evalueringa ved å beskrive dagens situasjon og diskutere nokre av dei observasjonane som er gjort. I detaljplanlegginga av den vidare evalueringa er det avgjerande for komiteen at det samla settet av undersøkingar gjer det mogeleg å svare på mandatet slik det er tolka i kapittel 1. Vi vurderer det slik at det vil vere vanskeleg å oppnå dette ved å byggje opp alle rapportane etter same mal, basert på det same settet av undersøkingar. Vi har valt å tematisere rapporteringa ved at nokre rapportar konsentrerer seg om einskilde mandatpunkt/problemområde, og for å oppnå dette treng vi meir spesialiserte undersøkingar enn dei som er lista opp i planen for evalueringa (vedlegg) og komiteen sitt mandat (jf. kap 1.1.3). Den første endringa i høve til ei streng tolking av evalueringsplanen blei gjort før komiteen var oppnemnd, da Noregsnettrådet sommaren 2000 tinga ei intervjuundersøking om opplevd studiekvalitet blant eit utval studentar i mastergradane (Hatlevik 2001). I tabell 3.1 har vi skjematisk framstilt samanhengen mellom rapportar og undersøkingar. Tabell 3.1 Datagrunnlag for rapportane (denne aktuelle rapporten i kursiv) Rapport Tid Byggjer på følgjande undersøkingar/datakjelder Studiekvalitet i mastergradane, Febr. 1. Intervjuundersøking, NIFU Hatlevik 2001 (NIFU-skr /2000) Delrapport 1. Ein tilstands- og Mai 2. Sjølvevalueringar i høgskolane diskusjonsrapport etter 1,5 år Kartlegging av kvalitetsarbeid 4. Institusjonsbesøk Anna skriftleg materiale Hatlevik 2001 (NIFU-skr.1/2001) Teoriutgreiing Nov Evalueringsteori og -erfaringar Delrapport 2. Nov Spørjeundersøking og statistiske data a) Studentundersøking etter 2 år 7. Samanlikning med relevante b) Mastergradane i eit nasjonalt mastergradsstudium ( benchmarking ) og internasjonalt gradsperspektiv Kandidatundersøking Mai Kandidatundersøking organisert gjennom NIFUs ordinære opplegg og tilpassa våre behov. Sluttrapport Nov Undersøkingar i 2002 tilsvarande delrapport 1 Alle rapportar tidlegare i evalueringa 19

22 Vi gjer i det følgjande nærare greie for dei undersøkingane evalueringa baserer seg på (nummerert som i tredje kolonne i tabellen over). 1. Intervjuundersøking, NIFU Rapporten Studiekvalitet i mastergradane (Hatlevik 2001) er utarbeidd av NIFU på oppdrag av Noregsnettrådet. Den blei brukt som underlag for komiteen sine første institusjonsbesøk i januar/februar 2001 og for utarbeidinga av denne rapporten. Undersøkinga har ei kvalitativ tilnærming ved at den byggjer på intervju med eit utval på fire studentar i kvar mastergrad (to frå Reiseliv ved Høgskolen i Finnmark). Studentar i første kull blei intervjua i tredje semester, og dei intervjua kom så langt mogeleg frå ulike grupper (heiltids-/deltidsstudentar, begge kjønn, ulik alder). Utvalsmetoden (intervjuobjekta blei plukka ut av studenttillitsvalde) skulle sikre anonymitet. Det blei brukt ein rettleiande intervjuguide under intervjua, som elles fekk utvikle seg etter kvart som problem kom opp. Rapporten tek spesielt for seg studentane sine erfaringar med og vurderingar av studiekvaliteten i utdanningane. I rapporten blir studiekvalitet målt etter dei sju kvalitetskriteria som blir nytta elles i denne evalueringa. Undersøkinga gir spesielt god informasjon i høve til andre og tredje punkt i mandatet til evalueringskomiteen. Eit problem med målemetoden er at det er vanskelig å få til eit representativt utval med eit avgrensa tal på studentar. Å spørje alle er altfor ressurskrevjande. Ein kan og stille spørsmål om anonymitet er mogeleg i så små miljø (3 26 studentar i første kull). I dette tilfellet blei likevel funna kryss-sjekka gjennom andre studentundersøkingar (sjå nedanfor), og erfaringar frå rapporten blei utdjupa i intervju med fleire aktørar i høgskolen under institusjonsbesøka. Det har hittil vist seg å vere godt samsvar mellom konklusjonane i undersøkingane når det gjeld studentane sin oppfatning av studiekvalitet. 2. Sjølvevalueringar i høgskolane Høgskolane gjennomfører to typar sjølvevaluering, i det følgjande kalla sjølvevaluering og eigenevaluering. Den første typen blir initiert ved behov av Noregsnettrådet, den andre blei pålagd av departementet som ei årleg øving da høgskolen blei med i prøveordninga. I løpet av desember 2000 blei det utvikla ein rettleiande mal for høgskolane si sjølvevaluering. Sjølvevalueringsmalen var svært kortfatta og fokusert på rammene for studiet (styring, ressursar, annan kompetanse) og fagleg innhald, nivå og utvikling. Høgskolane fekk svært kort tid å utføre sjølvevalueringa, 3 veker - 1 månad, noko som tilseier at det ikkje kunne setjast som eit mål at sjølvevalueringsprosessen skulle tene til utvikling i miljøet. Ei slik målsetjing er elles vanleg. Ein kan på den andre sida forsvare den korte fristen med at det er kontinuerleg fokus på utviklinga i desse mastergradane, på grunn av at dei deltar i ei prøveordning som blir evaluert gjennom tre år, noko som gjer miljøa svært medvitne om eige kvalitetsarbeid og eiga utvikling. Ei ny sjølvevaluering er planlagd våren Departementet påla dessutan høgskolane alt ved tildelinga å evaluere studiet undervegs og ved avslutta kull (eigenevaluering), men utan at det blei lagt føringar for kva som skulle vektleggast. Utforminga av eigenevalueringane blir derfor avhengig av tradisjonen i det einskilde fagmiljø, og dei står følgjeleg fram som nokså ulike og vanskeleg å samanlikne. Alle inneheld likevel som eit minimum ei oversikt over utviklinga når det gjeld studenttalet, opptak, kor mange som sluttar og kor mange som fullfører til normal tid eller forseinka. Det er vanleg å ta med informasjon om talet på heiltids- og deltidsstudentar, og studentane si eventuelle deltaking i arbeidslivet. Eigenevalueringane tek også gjerne opp problem og 20

23 utfordringar som gjeld studieplan og undervisning, ikkje minst kritikk som eventuelt har ført til (planar om) endringar. Det er ein mangel ved sjølvevaluering at det kan vere freistande å framheve det mest vellukka, og skjule eller bagatellisere mindre heldige resultat eller prosessar. I løpet av institusjonsbesøket er det derfor ei utfordring for evalueringspanelet å komme bak og få nyansert den informasjonen som er gitt i sjølvevalueringsrapportane. 3. Kartlegging av kvalitetsarbeid Før institusjonsbesøket hadde komiteen gjennom ulike kjelder henta inn informasjon om høgskolens arbeid med studiekvalitet på sentralt nivå og internt i den einskilde mastergrad. Eit dokument om studiekvalitetsarbeidet i høgre utdanningsinstitusjonar som blei utarbeidd som underlag for Mjøs-utgreiinga, blei flittig brukt (Handal m.fl. 1999). Eventuelle planar for satsing på studiekvalitet blei henta inn. Materialet var på svært ulikt detaljeringsnivå. I løpet av institusjonsbesøka var det eit sentralt mål å få innsikt i korleis det faktiske kvalitetsarbeidet blei drive, anten det eksisterte planar for kvalitetsarbeid og -utvikling eller ikkje. I intervjua prøvde panelet å klarleggje korleis grupper av aktørar oppfatta andre grupper og nivå sine rollar i kvalitetsarbeidet, og synet på eigen innverknad. Kvalitetsarbeidet i høgskolen har fått eit eige avsnitt under kvar mastergrad i i kapittel fire. 4. Institusjonsbesøk Komiteen gjorde sine institusjonsbesøk i januar og februar Besøka gjekk over 1,5 til 2 dagar i kvar mastergrad, inkludert komiteen sine eigne møte. Kvart mastergradstudium blei besøkt av eit evalueringspanel på to komitémedlemmer, og med sekretærar frå Noregsnettrådet. Evalueringspanela blei sett saman ut frå fagleg kjennskap til mastergradane dei skulle besøke. Grunnlagsmateriale for intervjua som blei gjennomførte i løpet av institusjonsbesøket var sjølvevalueringa, rapporten om studiekvalitet (Hatlevik 2001) og kartlegging av kvalitetsarbeidet i høgskolen. Komiteen hadde også fått tilsendt eigenevalueringane som høgskolane hadde laga for studieåret 1999/2000 etter pålegg frå KUF, og i fleire tilfelle låg det føre utfyllande studentdata av kvalitativ og kvalitativ art som resultat av ei spørjeundersøking som dei fleste mastergradsmiljøa hadde utført våren Høgskolane sende i tillegg inn anna materiale i form av strategiske planar, studieplanar, FoU-strategi og liknande, eller dette blei levert ut under institusjonsbesøket. Ved alle høgskolane blei leiinga, dei fagleg og administrativt ansvarlege for studiet, fagleg tilsette som underviste i studiet og eit utval av studentar intervjua av evalueringspanelet. Der det var sett ned evalueringskomitear for å ivareta forsøksperspektivet, blei også desse intervjua. Det var utarbeidd retningsliner for intervjua, ein intervjuguide, til bruk av evalueringspanela under institusjonsbesøka. Denne blei også sendt til høgskolane på førehand. Guiden var bygd opp for å kaste lys over dei sju kvalitetskriteria. Det var inkludert forslag om kva grupper som var mest relevante for dei ulike spørsmåla/spørsmålsgruppene. Erfaringar med intervjuguiden blei samla opp i løpet av kvart besøk, med tanke på å forbetre kvaliteten på denne reiskapen i seinare evalueringsrundar. Inntrykket i ettertid var at intervjuguiden sikra fokus på dei same tilhøve i alle høgskolane. Den hindra ikkje at panelet gjekk nærare inn på problemstillingar som var særskilte. Det kunne kanskje vore ein fordel 21