Orienteringssak: Rapport fra internrevisjon våren 2012

Transkript

1 Universitetet i Nordland Saksnummer: Møtedato: Studiekvalitetsutvalget 43/ Arkivreferanse: 2011/1129/436 Orienteringssak: Rapport fra internrevisjon våren 2012 Innstilling til vedtak: Studiekvalitetsutvalget tar saken til orientering. Grete Lysfjord leder studiekvalitetsutvalget / prorektor Berit Eliassen fung. plan- og utviklingsdirektør

2 SAKSUTREDNING Orienteringssak: Rapport fra internrevisjon våren 2012 Saksbehandler: Thorbjørn Aakre Vedlegg: Fakultetsvise revisjonsrapporter Bakgrunn Internrevisjoner utgjør en del av det samlede kvalitetssikringssystem for utdanningsvirksomheten. Internrevisorene ved UiN går gjennom prosesser knyttet til kvalitetssikring av utdanningsvirksomheten og rapporterer til studiekvalitetsutvalget (alle fakultetene er representert). Internrevisjonen ble denne våren gjennomført som en del av et todagers kurs for nye internrevisorer (jf. brev fra plan- og utviklingsavdelinga datert arkivref 2011/1129-3). Vårens revisjon inngikk m.a.o. som praktisk del av kurset for våre nye internrevisorer. Bare to fakultet hadde anledning til å la seg revidere på det aktuelle tidspunkt, men dette førte allikevel til av de nye internrevisorene fikk en verdifull erfaring i gjennomføring av en internrevisjon. Fra UiN deltok følgende personer på kurset: Marianne Martinsen Fossum, hms-rådgiver UiN Astrid Kjærefjord Gaustad, rådgiver fakultet for samfunnsvitenskap Fredrik Nesland Boksasp, rådgiver profesjonshøgskolen Kari Flatlandsmo, rådgiver økonomiavdelingen UiN Cathrine Vasset Rasmussen, rådgiver økonomiavdelingen UiN De andre deltakerne var: Øyvind Steinslett, studiesjef Høgskolen i Nesna Alf-Magne Jacobsen, førstekonsulent Høgskolen i Nesna Torill Myrbostad, førstekonsulent Høgskolen i Nesna Jon-Are Lunde, studiesjef Høgskolen i Narvik Christoffer Ørntuvik, førstekonsulent Høgskolen i Narvik De to kursdeltakerne fra UiNs økonomiavdeling deltok ikke i den praktiske delen dag to. Kursholder var Gunnar Nisja fra KVALITETSSIKRING.NO og kursutgiftene ble dekket av øremerkede SAK-midler stilt til rådighet fra Kunnskapsdepartementet (SAK: Samarbeid, arbeidsdeling og konsentrasjon). Vårens revisjon Studiekvalitetsutvalget vedtok i sak 8/12 den at det skulle gjennomføres internrevisjon på prosessen emneundersøkelse avsluttende (sluttevalueringen). Det er gjennomført internrevisjoner på følgende tidspunkter: Fakultet for samfunnsvitenskap Handelshøgskolen i Bodø Fakultet for biovitenskap og akvakultur Profesjonshøgskolen Hovedkonklusjon Internrevisjonen har vist at det legges ned et varierende arbeid i gjennomføringen av emneundersøkelse avsluttende (sluttevalueringen) fra fakultetenes side. Noen av fakultetene

3 informerer aktivt gjennom Fronter til studentene om undersøkelsens viktighet for de kommende studenter, og studenter som ikke har besvart undersøkelsen etter en viss tid mottar henstilling om å besvare den. De emneansvarlige mottar informasjon fra sine respektive fakultet i forkant av undersøkelsen hvor de blir bedt om aktivt å motivere studentene til å besvare undersøkelsen. Fronter blir benyttet som plattform for gjennomføringen. Tilbakemeldingen til internrevisorene er at dette ikke er helt optimalt, men at det til dette formålet fungerer. Fakultetet for biovitenskap og akvakultur henter i tillegg ut informasjon fra FS om hvor mange er oppmeldt i det enkelte emne, emnets karakterfordeling (snittkarakter) og strykprosent for å danne seg et helhetlig bilde av studiekvaliteten på emnet. De to fakultetene som kan dokumentere gjennomføringen (FBA og HHB) har oppsummert resultatene til sine respektive lokale studiekvalitetsutvalg/undervisningsutvalg og referatene er oversendt eller vil bli oversendt det sentrale studiekvalitetsutvalget til orientering. Emneundersøkelse avsluttende er gjennomført som beskrevet i kvalitetshåndboka ved Handelshøgskolen og ved fakultet for biovitenskap og akvakultur. Ved fakultet for samfunnsvitenskap ble emneundersøkelse avsluttende av ulike årsaker ikke gjennomført, og ved Profesjonshøgskolen kan gjennomføringen ikke dokumenteres. Internrevisjonen har dermed ikke grunnlag for å vurdere hvorvidt gjennomføringen ved disse fakultetene samsvarer med beskrivelsen i kvalitetshåndboka. Det vises ellers til vedlagte revisjonsrapporter. Internrevisorene vil benytte anledningen til å takke alle ved fakultetene som har avsatt til for gjennomføringen av vårens internrevisjon.

4 Revisjonsrapport HHB Revisjonsområde KSS Emneundersøkelse avsluttende Revisorer Astrid Gaustad Christoffer Ørntuvik Fredrik Boksasp Øyvind Steinslett Dato Krav Svar Funn/avvik 1.5 Undersøkelsene løper vanligvis over 2 uker, og starter noen uker før semesterslutt. Det sendes ut purring og det kan bli tildelt utvidet løpetid (en ekstra uke) ved få tilbakemeldinger. Muntlige tilbakemeldinger blir ikke dokumentert. Observasjon Iht. pkt. 1.5 skal studentene normalt ha 3 uker på besvarelsen. Ingen kommentar ved neste sluttevaluering (vår 2012) skal undersøkelsene løpe over 3 uker, med start i uke Undersøkelsene utføres stort sett i Fronter og legges ut av saksbehandler 1-2 uker før kursslutt. Samlingsbaserte studier (MBA) bruker et annet skjema (ikke standardmalen), og det benyttes et annet verktøy enn Fronter (QuestBack). Ingen kommentar Emneansvarlig er iflg 1.12 ansvarlig for å ta ut en egen sluttrapport og selv vurdere behov for eventuelle tiltak, og at disse skal beskrives og samenstilles ref Vi har funnet at saksbehandler sammenstiller resultater fra undersøkelsen, og at emneansvarlig i praksis mottar resultatene fra dekan. Kontorsjef/visedekan sender videre til dekan dersom noe må følges opp ovenfor emneansvarlig. Observasjon Avvik Det å gjøre emneansvarlig til ansvarlig for egen sluttrapport er en stor utfordring. Engasjementet rundt evaluering blant de emneansvarlige er høyst variabel og det vil kreve mye administrativt merarbeid i form av oppfølging og veiledning for å få dem til å gjøre det på en tilfredsstillende måte og innenfor de gitte fristene. Derfor tar saksbehandler på fakultet (i dette tilfellet Bjørn-Åge) av seg det

5 tekniske og administrative rundt evalueringene mens de emneansvarlige gjør sitt for å oppmuntre studentene til å svare. Det at emneansvarlig i praksis mottar resultatene fra dekan stemmer ikke. Saksbehandler og kontorsjef går igjennom resultatene før alle sendes direkte til de emneansvarlige som er ansvarlige for de tiltak som må gjøres. Eventuelle resultater som går på personalhensyn eller andre mer alvorlige forhold blir hevet på dekannivå. Disse er også de eneste tilfellene der dekan blir involvert i Studentene informeres om tiltak gjennom studenttillitsvalgte fra SKU. Studentene går ut av fronter-rommene etter endt kurs. Iht. pkt skal tiltakene legges ut i Fronter. Avvik De tekniske begrensingene med fronter kontra FS gjør at tilgangen til fronterrommene i de aller fleste tilfellene går bort etter at eksamensresultatene publiseres, samtidig som at studentene ikke lenger ønsker tilgang til gamle emner når de starter et nytt semester. Det er derfor ingen effektiv måte å informere om evt. tiltak på Fronter. HHB har benyttet SKU som arena for å orientere studentforeningen og andre representanter for studentene om slike tiltak som igjen har ansvar om å orientere om dette innad i sine organisasjoner Saksbehandler sammenstiller resultater og oppsummerer til kontorsjef. Iht. pkt skal oppsummeringen sendes fra saksbehandler til dekan Avvik Kontorsjef opptrer i mange sammenhenger også som saksbehandler. På grunn av den tekniske løsningen som er lagt opp rundt evaluering på fronter er det mye jobb med å generere resultatene og eventuelle statistikker som skal sendes ut til de emneansvarlige og til slutt i en oppsummering til dekan. Kontorsjef fungerer derfor som en slags sparringspartner i dette arbeidet som saksbehandler kan konsultere med men til syvende og sist blir oppsummeringen sendt direkte fra saksbehandler til dekan. 1.3 Følger standardskjema på nesten alle emner/kurs. Det er usikkert i hvilken grad emneansvarlig gis mulighet for tilpasning av dette skjemaet. Observasjon Her benyttes de samme skjema og det gis de samme muligheter for

6 tilpasning som ved resten av UiN. 2. Vedlegg: KSS Emneundersøkelse avsluttende Rapport MBA-samlinger høsten 2011

7 Revisjonsrapport Fakultet for samfunnsvitenskap Revisjonsområde Emneundersøkelse avsluttende Revisorer Torill Myrbostad Alf-Magne Jacobsen Jon-Are Lunde Marianne Fossum Dato AVVIK Fakultet for samfunnsvitenskap har ikke gjennomført Emneundersøkelse avsluttende, høsten KOMMENTAR FSV: På grunn av ulike hendelser er dette dessverre en realitet. OBSERVASJON 1 Dekan og saksbehandler har et bevisst forhold til hvordan prosessen skal foregå internt. FSV er godt i gang med avsluttende emneundersøkelser for våren Fakultetet har gode tanker om forbedringer, og de har et sterkt eierskap til prosessen. KOMMENTAR FSV: FSV skal gjøre dette på en god måte i fremtiden. OBSERVASJON 2 FSV uttrykker usikkerhet i verdien av sluttevalueringene i og med at svarprosenten gjennomgående har vært lav. Det kan virke som at sluttevaluering på emnenivå blir for fragmentert, mens sluttevalueringen på programnivå kan være mer verdifull. KOMMENTAR FSV: FSV vil følge prosedyrene til kvalitetssikkerhetssystemet, men vi ønsker en debatt om verdien av sluttevalueringer når svarprosenten er så lav. I tillegg savner vi studentenes programevalueringer. OBSERVASJON 3 Tilbakemelding direkte til studentene etter avsluttende emneundersøkelse er ikke mulig å gjennomføre, fordi studentene da har avsluttet faget, og har ikke lenger tilgang til fronter. Det er med andre ord ikke samsvar mellom prosessbeskrivelsen og praktisk gjennomføring. KOMMENTAR FSV: Dette er riktig for disiplinære studier OBSERVASJON 4 Tidslinje feil får ikke tatt hensyn til tilbakemeldingene fra studentene i påfølgende semester. Da neste semester allerede er planlagt. KOMMENTAR FSV: Dette er riktig. VEDLEGG Vedlegg 1: Evalueringsrapport Nyhetsjournalistikk II, med følgebrev, epost, fra Fritz Breivik. Vedlegg 2: Referat studiekvalitetsutvalgetsmøte nr. 1/2012. Se sak 02/12, sluttevaluering høst 2011.

8 Rapport fra internrevisjon Profesjonshøgskolen Revisjonsområde Sluttevalueringen høsten 2011 Revisorer Thorbjørn Aakre Marianne Martinsen Fossum Dato Innledning Studiekvalitetsutvalget vedtok i sak 8/12 den at det i løpet av våren 2012 skal gjennomføres internrevisjon på prosessen knyttet til gjennomføringen av emneundersøkelse avsluttende (sluttevalueringen). Revisjonen har til hensikt å synliggjøre hva som gjøres og hva som eventuelt kan forbedres. Rapporten vil videresendes det studiekvalitetsutvalget og inngå i UiNs årlige kvalitetsrapport som fremlegges for styret ved UiN. Hovedkonklusjon Profesjonshøgskolen kan ikke dokumentere at de har gjennomført sluttevaluering høsten Profesjonshøgskolen har i løpet av våren 2012 gjennomført et betydelig utviklingsarbeid for å se på hvordan kommende sluttevalueringer skal gjennomføres. De nye rutinene er vedtatt av fakultetets lokale studiekvalitetsutvalg og viser hvordan fakultetet vil gjennomføre de kommende sluttsemesterevalueringene (sluttevalueringene). Revisjonsgrunnlag Prosessbeskrivelse UiNs kvalitetshåndbok Revisjonens opplegg og omfang Det var satt av 1 time til revisjonsbesøket som omfattet intervju med en rådgiver fra administrasjonen og visedekan ved fakultetet. Revisjonsgruppen hadde på forhånd utarbeidet sjekkpunkter og kjøreplan for revisjonen. Revisjonen bestod av intervju.

9 De enkelte observasjoner AVVIK Profesjonshøgskolen kan ikke dokumentere at sluttevalueringen høsten 2011 er gjennomført. KOMMENTAR PHS: Sluttevalueringene er gjennomført, men vi har ikke hatt gode nok rutiner på tilbakemelding til fakultetsledelsen, og kan derfor ikke dokumentere at sluttevalueringene er gjennomført. OBSERVASJON: Fakultetet har lagt ned et betydelig arbeide med å få på plass nye rutiner for gjennomføringen av kommende sluttsemesterevalueringer. KOMMENTAR PHS: Dette er riktig Bodø Thorbjørn Aakre Rådgiver Marianne Martinsen Fossum Rådgiver

10 Rapport fra internrevisjon Fakultet for biovitenskap og akvakultur Revisjonsområde Sluttevalueringen høsten 2011 Revisorer Thorbjørn Aakre Marianne Martinsen Fossum Dato Innledning Studiekvalitetsutvalget vedtok i sak 8/12 den at det i løpet av våren 2012 skal gjennomføres internrevisjon på prosessen knyttet til gjennomføringen av emneundersøkelse avsluttende (sluttevalueringen). Revisjonen har til hensikt å synliggjøre hva som gjøres og hva som eventuelt kan forbedres. Rapporten vil videresendes det studiekvalitetsutvalget og inngå i UiNs årlige kvalitetsrapport som fremlegges for styret ved UiN. Hovedkonklusjon Fakultet for biovitenskap og akvakultur har gjennomført sluttevalueringen høsten Administrasjonen ved fakultetet sørget for å kopiere gjeldende spørsmålsskjema inn i alle aktuelle Fronterrom, informerte via Fronter og per epost alle studenter ved fakultetet om sluttevalueringen. Den enkelte emneansvarlige ble informert om undersøkelsen per epost. Undersøkelsen lå ute i 3 uker. Etter undersøkelsens slutt tok rådgiver i fakultetsadministrasjonen ut alle resultatene i en stor felles rapport som så ble brutt ned til hvert enkeltemne. For hvert enkeltemne ble det hentet ut informasjon fra FS om hvor mange som har deltatt på emnet, tatt eksamen og strykprosenten. Videre ble det utarbeidet en score for hvert enkelt emne som ble benyttet som indikator for å avdekke indikasjoner på sviktende kvalitet. Studentenes tilbakemeldinger ble gjennomgått av visedekan for undervisning i samarbeid med en fra fakultetsadministrasjonen. Visedekan innkalte emneansvarlig til samtale i de tilfeller der dette ble vurdert som nødvendig. Resultatene fra sluttevalueringen ble behandlet som egen sak i fakultetets undervisningsutvalg og referatet fra denne behandlingen er oversendt det sentrale studiekvalitetsutvalget. Fakultet for biovitenskap og akvakultur ser sluttevalueringen i sammenheng med resultatene fra midtveisevalueringen og har på bakgrunn av denne gjort endringer i sin studieportefølje. Internrevisjonen viser at fakultet for biovitenskap og akvakultur har gjennomført høstens sluttevaluering av ordinære emner på en tilfredsstillende måte uten avvik. Revisjonsgrunnlag Prosessbeskrivelse UiNs kvalitetshåndbok

11 Revisjonens opplegg og omfang Det var satt av 1 time til revisjonsbesøket som omfattet intervju med en rådgiver fra administrasjonen og fungerende visedekan for undervisning ved fakultetet. Revisjonsgruppen hadde på forhånd utarbeidet sjekkpunkter og kjøreplan for revisjonen. Revisjonen bestod av intervju. De enkelte observasjoner OBSERVASJON 1 Fakultetet for biovitenskap og akvakultur har gjennomført emneundersøkelse avsluttende som beskrevet i kvalitetshåndboka KOMMENTAR FBA: OK OBSERVASJON 2 Bruk av Fronter som arena for gjennomføringen av emneundersøkelsen anses av fakultetet til ikke å være optimal. KOMMENTAR FBA: Fronter er et godt virkemiddel til sluttevalueringen, men har noen tekniske begrensninger. Bodø Thorbjørn Aakre Rådgiver Marianne Martinsen Fossum Rådgiver