Saksnummer: 39/2011 Studiekvalitetsrapport 2010 rapport fra arbeidsgruppe

SN-SAK NR: 39/2011 UNIVERSITETET FOR MILJØ- OG BIOVITENSKAP 1302 1901 SAKSANSVARLIG: STUDIEDIREKTØR SAKSBEHANDLER(E): STUDIEDIREKTØREN ARKIVSAK NR: Saksnummer: 39/2011 Studiekvalitetsrapport 2010 rapport fra arbeidsgruppe Dokumenter: a) Saksframlegg b) Vedlegg 1) Rapport fra arbeidsgruppe august 2011 Forslag til vedtak Studiekvalitetsrapporten 2010 produseres av studieadministrasjonen etter samme prinsipper som i de siste par årene, med disse justeringene: Årsrapporten 2010 skal i hovedsak bygge på eksisterende delrapporter om opptak, emne- og programevaluering, studieadministrasjon, læringsmiljø og læringsressurser, kandidatkvalitet og internasjonalisering. Årsrapport 2010 bør legge mer vekt på det konkrete arbeidet med forbedring av studietilbudet som foregår i instituttene. For å oppnå dette bør studiedirektøren be instituttene å rapportere om sitt studiekvalitetsarbeid som grunnlagsmateriale for årsrapporten 2010? Rapporten bør legge minst like stor vekt på oppfølging av studiekvalitetsrapporten som i tidligere årsrapporter, men oppfølgingstiltakene må sees i sammenheng med handlingsplanene som ligger til grunn for oppfølging av UMBs strategi. Innspillene i rapporten fra arbeidsgruppa tas med i videreutviklingen av UMBs system for kvalitetssikring av studiene, herunder den årlige studiekvalitetsrapporten. Ås, 7.9.2011 Ole Jørgen Torp Studiedirektør sign UNIVERSITETET FOR MILJØ- OG BIOVITENSKAP STUDIENEMNDA MØTEDATO 14.9.2011

2 Bakgrunn Studienemnda nedsatte en gruppe i møte 02.02.2010, som fikk mandat om å gå gjennom studiekvalitetsrapport om vurdere hensikten med og hyppigheten av rapportering av de ulike indikatorene i rapporten. Arbeidsgruppa orienterte om fremdriften i møte den 1.6.2011. Rapporten fra arbeidsgruppa, vedlegg 1, ble overlevert studiedirektøren i august 2011. Studiedirektørens vurdering Arbeidsgruppas rapport med forslag for revisjon av studiekvalitetsrapporten spenner fra prinsipielle spørsmål om selve kvalitetssystemet og rapportens grunnleggende hensikt, oppbygging og sammenheng med UMBs øvrige styringssystemer, til detaljerte kommentarer om enkelte parametre. Forslaget fra arbeidsgruppa er tankevekkende og fortjener grundig drøfting i forkant av en eventuell totalrevisjon av studiekvalitetssystemet. Slik det nå foreligger, gir ikke notatet fra arbeidsgruppa klare nok føringer og retninger for en slik revisjon til at en slik revisjon kan foretas i år. Studiekvalitetsrapporten 2010 må produseres i de nærmeste månedene. Studienemnda bes derfor om å ta stilling til hvilken form og innhold rapporten skal få, og hvordan den skal produseres. Studiedirektøren mener at rapporten fra arbeidsgruppa er et nyttig innspill som skal brukes i videreutviklingen av UMBs system for kvalitetssikring av studiene, derunder den årlige studiekvalitetsrapporten. Studiedirektøren merker seg spesielt disse merknader og ideer fra gruppa, som bør drøftes og vurderes nærmere: Målgruppa for studiekvalitetsrapporten. Er det en rapport for ledelsen, dog offentlig tilgjengelig, eller er det et instrument som studenter og ansatte skal bruke i de daglige arbeidet med kvalitetsutvikling på alle fronter? Hvilke andre kanaler enn årsrapporten har vi for det daglige kvalitetsarbeidet og hvordan kan de forbedres? Avviksorientering. Bør rapporten peiles mer utelukkende og direkte inn på mål for studiekvalitet og UMBs strategiske utviklingsmål, og samtidig være mer fokusert på å identifisere avvik fra disse målene som grunnlag for lukking av avvik. Er lukking av avvik den beste tilnærmingen til kvalitetsutvikling i høyere utdanning? Skal vi gå bort fra dagens system strukturert rundt ulike faktorer innen studentinntak, innsats (utdanningstilbudet) og resultat (kandidatkvalitet)? og heller strukturere rapporten rundt oppnåelse av UMBs strategiske mål? Utviklingsfokus. Hvordan skal vi få et klarere bilde av utviklingstrender? For hvilke faktorer (inntak, innsats, resultat) har vi informasjon om utviklingstrender som ikke er brukt i dag og som bør brukes i framtidige studiekvalitetsrapporter for å analysere trender? Rapportens virkning. Hvordan kan rapporten få en sterkere virkning inn mot UMBs strategier, planer og ressursbruk? Innhold: Skal antall indikatorer reduseres slik at et mindre sett med indikatorer gjenstår? Hvilke parametre bør da komme med? Her har arbeidsgruppa kommet med flere forslag som bør vurderes. Arbeidsgruppens rapport er likevel ikke utfyllende nok til å gi svar på disse spørsmålene.

3 Videre arbeid med disse og andre spørsmål kan fort føre til en større revisjon av kvalitetssystemet. I mellomtida må UMB produsere en studiekvalitetsrapport i 2010. Studiedirektøren foreslår at studiekvalitetsrapporten 2010 produseres av studieadministrasjonen etter noenlunde samme format som i de siste par årene, med fokus på disse justeringene: Årsrapporten 2010 skal i hovedsak bygge på eksisterende delrapporter om opptak, emne- og programevaluering, studieadministrasjon, læringsmiljø og læringsressurser, kandidatkvalitet og internasjonalisering. Årsrapport 2010 bør legge mer vekt på det konkrete arbeidet med forbedring av studietilbudet som foregår i instituttene. Bør studiedirektøren be instituttene om å rapportere om sitt studiekvalitetsarbeid som grunnlagsmateriale for årsrapporten 2010? Rapporten bør legge minst like stor vekt på oppfølging av studiekvalitetsrapporten som i tidligere årsrapporter, men oppfølgingstiltakene må sees i sammenheng med handlingsplanene som ligger til grunn for oppfølging av UMBs strategi.

4 Vedlegg 1) Studiekvalitetsrapporten tilbakemelding fra arbeidsgruppe 1 Bakgrunn På møtet i studienemnda 02.02.2011 ble det nedsatt en arbeidsgruppe med følgende mandat: å gå igjennom studiekvalitetsrapportens indikatorer, hensikten med de ulike rapporteringene og hyppighet på rapportering. Følgende personer har deltatt i arbeidsgruppa: - Håvard Steinsholt, ILP (leder av arbeidsgruppa) - Johan Andersen, IMT - Erika Berle, studentrepresentant - Bodil Norderval, studieavdelingen - Bjørg Ekerholt Dysvik, studieavdelingen Gruppa har hatt 3 møter og vil med dette gi sine tilbakemeldinger til studienemnda. 2 Innledning Utgangspunktet for arbeidet i gruppa var å gå igjennom studiekvalitetsrapportens indikatorer og vurdere hensikten med de ulike rapporteringene og hyppighet på rapporteringen. Planen var at studiekvalitetsrapporten skulle gjennomgås i detalj, med vurdering av hver tabell, figur og drøfting. Arbeidsgruppa har gjennom møtene diskutert og problematisert gruppas mandat, og kommet frem til at sentrale spørsmål må avklares før det har særlig hensikt å gå detaljert inn i rapporten. Gruppa har stilt seg følgende spørsmål: Hva er kvalitet og studiekvalitetssikring, og har UMB i dag et operativt kvalitetssikringssystem? Hvem er rapportens målgruppe og hva er hensikten med rapporten? Hvordan er oppfølging av funn/avvik og rapporteringshyppighet? I tillegg har arbeidsgruppa sett på de oppsatte studiekvalitetsområdene, totalt 7 stykker, og kort vurdert det enkelte områdets relevans inn i en studiekvalitetsrapport. De ulike indikatorene under hvert enkelt studiekvalitetsområde, og deres betydning og aktualitet inn i rapporten, er derimot ikke blitt systematisk gjennomgått i detalj. 3 Hva er kvalitet og kvalitetssikring, og har UMB i dag et operativt kvalitetssikringssystem? Arbeidsgruppa har drøftet hva som ligger i ordene kvalitet og kvalitetssikringssystemer. Ordet kvalitet har flere betydninger. Filologisk har ordet en videre betydning enn ordet har i en kvalitetsfaglig betydning. Når man bruker ordet studiekvalitet vil mange tro at man tenker på kvalitet i en kvalitetsfaglig betydning. Når det gjelder ordet kvalitetssikringssystemer har dette en klar kvalitetsfaglig betydning. Hovedhensikten med kvalitetssikringssystemer er kontinuerlig forbedring, og den viktigste kilden til

5 kontinuerlig forbedring er avviksrapportering, behandling av avvikene og til slutt lukking av disse. UMBs kvalitetssikringssystem innen området utdanning er i dag ikke basert på system for kontinuerlig innmelding av avvik, og ut fra en kvalitetsfaglig betydning har ikke UMB et operativt kvalitetssikringssystem. Det betyr ikke at ikke UMB har mange enkeltelementer av kvalitetsutvikling, men disse er ikke satt inn i et systematisk kvalitetssikringssystem - et kvalitetssikringssystem basert på innrapportering av avvik (til hvem) og oppfølging og lukking av avvik (hvem har ansvar). Gruppa har ingen entydig mening om i hvor stor grad UMB bør investere i et kvalitetsfaglig kvalitetssikringssystem. 4 Hvem er rapportens målgruppe og hva er hensikten med rapporten? Denne rapporten legges årlig frem for universitetsstyret, og svarer til kravet fra NOKUT om at høyere utdanningsinstitusjoners ledelse rapporterer årlig til styret om utdanningskvalitet og kvalitetsarbeidet, med en helhetlig vurdering av utdanningskvaliteten, samt oversikt over prioriteringer og tiltak i kvalitetsarbeidet. Studiekvalitetsrapporten utarbeides årlig, og trykkes opp og sendes i flere eksemplar til alle institutter og enheter ved UMB. Studiekvalitetsrapporten slik den foreligger i dag er uklar med hensyn til hvem den skal tjene og hvem er målgruppen. I tillegg inneholder den mye parallell info, dvs. samme opplysninger gjentas flere ganger i ulike sammenhenger. Er det en rapport som skal tilfredsstille NOKUTs krav til rapportering eller bør hovedhensikten å ha en rapportering som bidrar til utvikling av studiekvaliteten? Bruker for eksempel instituttene denne rapporten aktivt? Etter arbeidsgruppens vurdering er dagens studiekvalitetsrapporten mer en rapport om studiesituasjonen på UMB, og belyser i mindre grad utviklingen i studiekvaliteten sett i lys av UMBs mål. Utviklingen i resultatene fra emneevalueringene er imidlertid ett eksempel i rapporten som viser utviklingen i kvaliteten. Tilsvarende vil resultater fra eksterne evalueringer og andre undersøkelser som går jevnlig (trivselsundersøkelsen, kandidatundersøkelsen, frafallsundersøkelse) vise hvordan kvaliteten utvikler seg. Fokus i rapporten bør i større grad fokusere på det datamaterialet som UMB har som viser utvikling av kvalitet og hvordan avvik følges opp, og i mindre grad fokusere på oppramsing av data som ikke sier noe om kvalitet. UMB bør også vurdere å etablere avvikssystemer på en del områder som i dag mangler slike systemer (for eksempel hvordan melde inn avvik dersom IKT-utstyr ikke fungerer, læresaler har mangler, fange opp avvik ved ulykker på lab, utviklingen av antall henvendelser til Fronter-hjelp og FShjelp). Eller bør UMB utarbeide ett helt nytt kvalitetssikringssystem? 5 Oppfølging av avvik/funn og rapporteringshyppighet En annen utfordring med dagens rapportsystem er oppfølging av avvik eller funn. Det er utfordrende å følge opp avvik og funn ettersom det allerede er laget strategiske planer og handlingsplaner som legger føringer på satsningsområder. Arbeidsgruppas syn er at en studiekvalitetsrapport bør utarbeides i nær tilknytning til UMBs ulike strategier og deres revisjonsrutiner, eksempelvis hvert fjerde år i forkant av rullering av UMBs strategi. På den måten kan den bli en del av styringssløyfen. I de øvrige årene kan det med et slikt opplegg være behov for og aktuelt med kun en forenklet rapportering på utvalgte områder, for å kunne vurdere utviklingen fra et år til et annet. Videre vil det være formålstjenelig med en link til de ulike strategiene der dette synes å være hensiktsmessig. Tidspunkt for gjennomføring av ulike undersøkelser (kandidatundersøkelsen, trivselsundersøkelser osv) bør også tilpasses inn i revisjonsrutinene. Dette forutsetter en tydeligere sammenheng mellom strategiarbeidet, strategiske handlingsplaner og kvalitetsutviklingsarbeidet.

6 6 Kvalitetsområdene og relevans i en studiekvalitetsrapport Studiekvalitetsområde 1: Inntak Informasjonen som fremkommer under dette kvalitetsområdet bør kunne dekkes opp av UMBs årlige opptaksrapport og DBH-rapporteringen. Er det tilstrekkelig at studiekvalitetsrapporten kun drøfter de momentene som berører inntakskvaliteten (er for eksempel kjønn, bakgrunn, nasjonalitet vesentlig for studiekvaliteten)? Hvordan fanges avvik opp? Studiekvalitetsområde 2: Styring Slik som kvalitetssystemet ved UMB er utviklet, vil indikatorene under dette området og rapporteringen høre mer hjemme i en årsrapport fra UMB. Studiekvalitetsområde 3: Utdanningstilbudet Indikatoren emneevalueringer, og informasjonen som der fremkommer, er viktig datamateriale for å følge med på utviklingen av emnekvaliteten, forutsatt at innsamlingsmåte og besvarelse gir et korrekt og relevant bilde. Denne samlede informasjonen foreligger ikke andre steder, og må være tilgjengelig for styrende utvalg, for instituttene og for den enkelte emneansvarlige. Det samme gjelder indikatorene studentens vurdering av faglig veiledning og vurdering av studiemateriell. Dette er viktig informasjon som bør fremkomme i en studiekvalitetsrapport. Datamateriale vedrørende utvikling av emneporteføljen er i utgangspunktet bare relevant dersom UMB har satt seg klare mål om hvordan emneporteføljen skal utvikles. Studiekvalitetsområde 4: Akademiske ressurser og studentstøtte Første delen av dette kapittelet hører hjemme under Personal- og organisasjonsavdelingens virksomhetsområder. Indikatorene: Bruk av IKT i undervisningen, bruk av bibliotektjenester i undervisningen, studieveiledning og studieadministrative systemer må rapporteres på en annen måte enn i dag skal det ha noe verdi med hensyn til studiekvalitet, og på den måten være en del av et kvalitetssikringssystem med mål, innrapportering av avvik og lukking av avvik. Studiekvalitetsområde 5: Det totale læringsmiljøet Indikatorene og rapporteringen innenfor dette kvalitetsområde dekkes i dag i en årsrapport fra Læringsmiljøutvalget (LMU). Utfordringen er avdekking av avvik og oppfølging (avklaring av ansvarsområder). Studiekvalitetsområde 6: PhD-utdanningen PhD-utdanningen og aktuelle indikatorer og innrapportering på disse må mer frem i lyset. I dag rapporteres det på PhD-utdanningen hovedsakelig gjennom UMBs Rapport og planer som sendes KD, og i instituttenes årsmeldinger. Det bør legges et større fokus på om avdekke om arbeidet med utvikling av studiekvalitet innen phd-området gir resultater i forhold til UMBs mål. Studiekvalitetsområde 7: Internasjonalisering Som for PhD-utdanningen må også dette området mer frem i lyset hva angår rapportering, avvik sett i forhold til målsetting og hvilke tiltak iverksettes hvis ikke målene nås. Studiekvalitetsområde 8: Kandidater Dette området bør kunne dekkes opp av kandidatundersøkelsen.

7 7 Oppsummering Som det fremgår under omtalen av de ulike studiekvalitetsområdene stiller arbeidsgruppa i flere tilfeller spørsmål ved områdets relevans og tilhørighet inn i en studiekvalitetsrapport. En studiekvalitetsrapport skal og bør være en dokumentasjon på utviklingen innenfor UMBs studiekvalitetsarbeid. Sett som kvalitetssikringssystem, mangler klare mål, og avvik må fanges opp og tas tak i systematisk. Dokumentet slik det foreligger i dag har mer preg av at det er en statusrapport/årsmelding. Hovedspørsmålet er: Hva skal dokumentet være og hvem er målgruppa? Arbeidsgruppa ønsker med dette å skape en mer inngående debatt rundt problemstillinger nevnt over. Hvordan skal UMBs fremtidige system for studiekvalitet og aktuell rapportering videreutvikles? Stikkord som bør inngå i debatten er: form, innhold, hyppighet og ressursbruk. Arbeidsgruppa ser helt klart at den ikke har fullført det oppdraget som ble gitt dem av studienemnda den 02.02.2011. Årsaken til dette har gruppa prøvd å belyse gjennom de momenter og kommentarer som fremkommer av dette notatet.