Vurdering av ekstern evaluering av studieprogrammer ved UMB i perioden

Transkript

1 US-SAK NR: 178/2009 UNIVERSITETET FOR MILJØ- OG BIOVITENSKAP UNIVERSITETSDIREKTØREN SAKSANSVARLIG: SAKSBEHANDLER(E): ARKIVSAK NR: Vurdering av ekstern evaluering av studieprogrammer ved UMB i perioden Dokumenter: a) Saksframlegg b) Vedlegg Forslag til vedtak: Dagens ordning med ekstern programevaluering beholder i stor grad sin nåværende form, med justeringer i tråd med behandlingen i Studienemndas sak 52/9. Universitetsstyret vedtar følgende tidsplan for ekstern program evaluering - 1-årig praktisk-pedagogisk utdanning (2010) - 5-årig lektorutdanning i naturvitenskaplige fag (2010) - 5-årig Master i eiendomsfag (2011) - Master i eiendomsutvikling (2011) Ås, Siri Margrethe Løksa universitetsdirektør

2 2 a) Saksfremlegg Høgskolestyret vedtok i 2003 (sak 179/2003) at alle studieprogrammer ved UMB (den gang NLH) skal evalueres innen en periode på 5 år av eksterne komiteer som et virkemiddel for å sikre studiekvaliteten. Ifølge Nasjonalt organ for kvalitet i utdanningen (NOKUT) er alle institusjoner som gir høyere utdanning pålagt å ha et tilfredsstillende system for kvalitetssikring av utdanningen, og NOKUT er gitt i oppgave å evaluere systemene ved institusjonene innen hvert sjette år. UMB har i perioden gjennomført en rekke eksterne evalueringer av sine studieprogrammer som en del av sin kvalitetssikring av utdanningen (for oversikt, se vedlegg 2). Nært beslektede programmer evalueres av samme komité, både for å få en effektiv organisering og for å få innspill om relasjoner mellom programmene. Ellers bør programmene ha uteksaminert minst 1 kull i sin nåværende form. Programmer med elementer fra 2 eller flere institutter grupperes sammen med fagområdet som er mest framtredende i programmet. Eksterne programevalueringer innebærer en betydelig bruk av ressurser. Fram til i dag er det brukt NOK 2,6 mill. på eksterne programevalueringer, dvs. ca. NOK pr. evaluering (totalt 10 evalueringsomganger i perioden ) som dekker utgifter til innhyring av eksterne evalueringskonsulenter. I tillegg brukes personalressurser på instituttene og i Studieavdelingen. Koordinatoren i Studieavdelingen bruker ca. 3 arbeidsuker pr. evaluering. Med de høye kostnadene evalueringene innebærer, er det viktig at UMB har så stor nytte av dem som mulig. Bl.a. med bakgrunn i de høye kostnadene, ble det framlagt ønske fra Universitetsstyret om at nytten av de eksterne studieprogramevalueringene skal vurderes før nye programevalueringer foreslås. Studieavdelingen har derfor gjennomført en spørreundersøkelse for å få tilbakemeldinger fra instituttene om hvilken nytte de eksterne studieprogramevalueringene har hatt, og innspill om hvordan de bør utvikles videre. Hensikten med denne undersøkelsen er ikke å se på konkrete resultater av hver enkelt programevaluering og instituttenes oppfølgingsplaner, men å få tilbakemeldinger i forhold til evalueringsordningen. Resultater Studieavdelingen har mottatt svar fra 6 av 8 institutter. Følgende gir en oppsummering av svarene i forhold til tema: Synspunkt på antall programmer som ble evaluert samtidig ved evalueringen Instituttene synes antallet programmer pr. evalueringsrunde har vært passe uavhengig av om det var 1 eller 7 evalueringer i samme evalueringsrunde. Internevalueringens nytteverdi

3 3 Instituttene uttrykker at internevalueringsprosessen har vært svært ressurskrevende, men samtidig at egenverdien har vært stor. Instituttene har svart at de ikke vet om det var samsvar mellom egenevalueringen og den eksterne evalueringen. De fleste av instituttene synes at internevalueringsprosessen har vært verdifull, at den ga instituttet en god oversikt for videre arbeid, og at instituttets vurderinger ble bekreftet i de resultatene som den eksterne evalueringen viste. Ett institutt har til og med uttrykt at egenevalueringen var mer verdifull enn den eksterne evalueringen. Det er også gitt uttrykk for at arbeidet med internevalueringen har vært for omfattende. Det var kun ett institutt som uttrykte at ordningen med internevaluering ikke burde beholdes. Støtte fra Sentraladministrasjonen i forbindelse med evalueringsprosessen Instituttene har ikke sterke formeninger om dette. Synspunkt på hvorvidt det var lett eller vanskelig å finne gode aktuelle kandidater til den eksterne evalueringskomiteen Størsteparten av instituttene har svart at det har verken vært vanskelig eller lett å finne gode aktuelle kandidater, altså at det har gått greit. Den eksterne evalueringskomiteens forkunnskaper Svarene fra instituttene viser at det er svært varierende hvor godt forberedt de ulike komiteene har vært. Samlet sett er instituttene minst fornøyd med forkunnskapene om studieprogrammene (2 på en skala fra 1-4, hvor 1 er dårlige og 4 er gode), mens de er mest fornøyd med forkunnskapene om UMB (2,75 på en skala fra 1-4). Av kommentarer ellers blir det uttrykt at det er vanskelig å svare på spørsmålet fordi forkunnskapene varierer fra komitémedlem til komitémedlem, og at det er begrenset hvor godt forberedt komiteen kan være fordi det er et stort felt de skal dekke med begrenset tid tilgjengelig. Synspunkt på om det er tilstrekkelig med tid satt av til informasjon til komiteen og intervjuer Det er i dagens ordning satt av 5 arbeidsdager til komiteens arbeid ved UMB. Instituttene vurderte tidsbruken i forhold til en skala på 1-4, hvor 1 er for lite tid og 4 er for mye tid. Hvis vurderingen ligger rundt 3, vil det si at instituttene er ganske fornøyd med tiden som er avsatt. Resultatene viser at instituttene er ganske fornøyd med tiden som er avsatt til introduksjon av UMB/instituttet og selvevalueringen (2,75), og til presentasjon av preliminære resultater (2,80). Svarene viser imidlertid at det generelt sett er satt av for knapt med tid til intervjuer (2,0 2,60). Vurdering av støtten fra Studieavdelingen i forbindelse med organisering og gjennomføring av evalueringen Instituttene har ikke gitt noe klart svar i forhold til dette i skalavurderingene i forhold til dette, men tilleggskommentarer viser at de er fornøyde eller meget fornøyde med støtten fra Studieavdelingen. Relevansen av områdene som dekkes av evalueringen i dag Evalueringene dekker 7 områder, og instituttene uttrykker at alle områdene er relevante.

4 4 På spørsmål om instituttene har forslag til andre vurderingsområder, blir det bl.a. foreslått at komiteene lettere vil kunne si noe om studieprogrammet i forhold til framtidig arbeidsmarked hvis det var blitt gjort en arbeidsmarkedsundersøkelse på forhånd. Et institutt ønsket større fokus på programmenes faglige innhold og nivå bl.a. med mer konkret sammenlikning av UMBs studieprogram med liknende studieprogrammer ved andre universiteter. Generell nytteverdi av den eksterne evalueringskomiteens sluttrapport Det er enighet blant instituttene at den generelle nytten av evalueringskomiteens sluttrapport er stor. En kommentar var at evalueringen bekreftet det som ble antatt på forhånd ved instituttet, og ga konsensus og veiledning i forhold til hvilke tiltak som bør iverksettes for å bedre programmene. Det ble påpekt at tidspunktet for evalueringen er viktig for at den skal oppfattes som nyttig. En annen kommentar var at sluttrapporten kunne ha enda større nytte hvis komitémedlemmene gir ytterligere synspunkter og konkrete tips i forhold til temaer som mangler eller bør nedprioriteres. Arbeid knyttet til oppfølgingsplanen i etterkant av evalueringen Alle instituttene har utarbeidet oppfølgingsplaner i etterkant av evalueringen. Flesteparten har svart at oppfølgningsplanen har hatt stor nytte. På spørsmål om hvor gjennomførbare oppfølgingsplanene har vært, har halvparten svart at planene har vært helt gjennomførbare, mens den andre halvparten har svart at de har vært nesten helt gjennomførbare. Hyppigheten av gjennomføringen av ekstern evalueringer De eksterne studieprogramevalueringene har vært bestemt utført hvert 5. år fram til Halvparten av instituttene svarer at evalueringene bør gjennomføres hvert 7. år, mens den andre halvparten mente at de bør gjennomføres hvert 10. år. Det påpekes at nytten av evalueringene er størst hvis tidspunktet tilpasses instituttets behov. Alternative evalueringsformer To av instituttene svarer at de vil anbefale samtalegrupper mellom faste institusjoner (collaborative benchmarking). De resterende to instituttene anbefaler følgende to former: 1. Evaluering av den ferdige kandidaten, en form for programsensor. 2. Brukergruppe ved UMB som jevnlig (ca. 1 gang i året) diskuterer programmenes innhold sett opp mot arbeidsmarked og kompetansebehov. Synspunkter på hvor fornøyd instituttene er med dagens system for programevalueringer, i det store og det hele 3 av instituttene uttrykker at de er fornøyde med dagens system for programevaluering, 2 at de er verken fornøyd eller misfornøyd, mens 1 er misfornøyd. Det instituttet som er misfornøyd med dagens system for programevalueringer sier at de ikke synes at arbeidsinnsatsen står i forhold til nytteverdien. Andre sier at de har hatt stor nytte av evalueringene i instituttenes revisjonsarbeid og kvalitetssikring av studieprogrammer.

5 5 Univeristetsdirektørens vurdering NOKUT har uttrykt overfor UMB at de er veldig fornøyde med kvalitetssikringssystemet ved UMB, og UMB har blitt brukt som deres best practice -eksempel. Resultatene i spørreundersøkelsen viser også at instituttene i store trekk er fornøyde med dagens evalueringsordning. Studienemnda behandlet denne saken i sitt møte 18/11/9 og Arne Tronsmo fremmet forslag om å fjerne punktet c) På bakgrunn av at evalueringskomiteens tid er begrenset, vil maksimum 4 studieprogrammer evalueres samtidig. Forslaget ble enstemmig vedtatt. Ragnar Salte fremmet forslag om å endre ordlyden i punkt f (tidligere punkt g) fra Det skal vurderes å utarbeide et forslag til samtalegrupper mellom faste institusjoner (collaborative benchmarking) som kan gjennomføres frivillig mellom de eksterne evalueringene. Her kan det også inkluderes representanter fra brukergruppene til Det bør opprettes samtalegrupper mellom faste institusjoner (collaborative benchmarking) som kan gjennomføres frivillig mellom de eksterne evalueringene. Her kan det også inkluderes representanter fra brukergruppene. Forslaget ble enstemmig vedtatt. Vedtak: Studienemnda tilrår at Universitetsstyret vedtar som følger: 1. Dagens evalueringsordning beholder i stor grad sin nåværende form, med følgende justeringer i tråd med innspillene fra instituttene: a) For å bedre evalueringskomiteens forkunnskaper, vil Studieavdelingen sende mer bakgrunnsmateriale, spesielt om studieprogrammene, til komitémedlemmene i forkant av evalueringen. b) For å effektivisere bruken av de eksterne evalueringskonsulentene, vil medlemmene av evalueringskomiteen gjennomføre intervjuer parallelt framfor at alle blir gjennomført av komiteen samlet. c) For å bedre informasjonen om studieprogrammenes relevans i forhold til kandidatenes muligheter i markedet, vil instituttene bli bedre informert om muligheten til å lage egne kandidatundersøkelser med bruk av Questback (UMB har frie lisenser). d) Det skal spesifiseres i Terms of Reference at evalueringskomiteen skal gi synspunkter og konkrete tips i forhold til faglige temaer som mangler eller bør nedprioriteres. I tilegg skal komitémedlemmene bes om å sammenlikne det akademiske nivået på studieprogrammet i forhold til egen institusjon ( i ToR). e) Evalueringene skal gjennomføres hvert år, avhengig av når det passer best for instituttene, eksempelvis hvert 9. år med tilpasningen -2 år og + 1 år. På denne måten vil evalueringstidspunktet best mulig kunne tilpasses instituttets planlagte endringer i ett eller flere studieprogram. f) Det bør opprettes samtalegrupper mellom faste institusjoner (collaborative benchmarking) som kan gjennomføres frivillig mellom de eksterne evalueringene. Her kan det også inkluderes representanter fra brukergruppene. g) En ny SN-sak vil bli foreslått som skal se nærmere på konkrete tiltak iverksatt av instituttene og UMB sentralt som følge av oppfølgingsplanene etter de eksterne evalueringene.

6 6 Med bakgrunn i tilrådningen fra Studienemnda foreslås Universitetsdirektøren derfor at dagens evalueringsordning beholdes i stor grad i sin nåværende form med justeringer i tråd med behandlingen i Studienemnda 18/11/9. Universitetsdirektøren har vurdert hvilke programmer som ligger i løypa for evaluering og i dialog med de aktuelle instituttene kommet frem til følgende forslag til tidsplan for ekstern programevaluering - 1-årig praktisk-pedagogisk utdanning (2010) - 5-årig lektorutdanning i naturvitenskaplige fag (2010) - 5-årig Master i eiendomsfag (2011) - Master i eiendomsutvikling (2011)

7 2