Hvordan måle og utvikle prosesskvalitet?

Transkript

1 Hvordan måle og utvikle prosesskvalitet? Forslag til forbedring av kvalitetssikringssystemet og kvalitetsutviklingen ved HiOA Av Ida K. Riksaasen Hatlevik, Senter for profesjonsstudier. I. Bakgrunn og formål. I regi av program for fremragende profesjonskvalifisering (FPK) gjennomføres forskningsog utredningsprosjekt som skal undersøke hvordan utdanningskvalitet kan måles i profesjonsutdanninger, og hvordan ulike former for dokumentasjon av utdanningskvalitet brukes i høgskolens utviklingsarbeid. Som del av dette prosjektet har vi arbeidet med systematiske kunnskapsoversikter som munner ut i to artikler om prosesskvalitet: «Hva kjennetegner prosesskvalitet i lærerutdanningen» (Hatlevik, 2015a) og «Hvordan utvikle og kontrollere prosesskvalitet» (Hatlevik, 2015b). Bakgrunnen for arbeidet er at prosesskvalitet er den dimensjonen ved utdanningskvalitet som i størst grad predikerer studentenes læringsutbytte av utdanningen som tilbys, samtidig som kvalitetssikringssystemet ved Høgskolen i Oslo og Akershus på institusjons- og programnivå avgrenser seg til indikatorer for inntakskvalitet, kvalitet på infrastruktur og informasjon, kvalitet på programplan, kvalitet på faglig utbytte og relevans. Systemet mangler altså gode indikatorer for prosesskvalitet, med unntak av studentundersøkelser som fanger opp studentenes opplevelser av enkelte sider av utdanningstilbudet, beskrevet under kvalitet på programplan og kvalitet på faglig utbytte (HiOA, s ). Hatlevik (2015 a og b) redegjør for hva som er gode dimensjoner og prinsipper for prosesskvalitet knyttet til studentenes læring i undervisning og praksisopplæring. Dette er forhold som det er viktig å ta utgangspunkt i når en skal planlegge, dokumentere, utvikle og kontrollere prosesskvalitet. I dette notatet skal jeg sammenfatte disse hoveddimensjonene og peke på hvilke konsekvenser det bør ha for utvikling av (prosess)kvalitetsarbeidet ved HiOA. Anbefalingene er altså faglig funderte, samtidig som de søker å medvirke til et mest mulig enkelt, målretta og effektivt system som involverer både fagansatte og studenter i kvalitetsutviklingsarbeidet, slik at de både opplever det som meningsfylt og at de ser resultater av arbeidet. Når effektivitetskriteriet er så sterkt vektlagt, har det sammenheng med at det i dag «legges opp til omfattende rapportering, og tilbakemeldingene internt ved HiOA er at det er et for stort rapporteringstrykk», som det heter i NOKUTs sakkyndige komite evaluering (NOKUT, 2015, s 20). 1

2 II. Kjennetegn på prosesskvalitet i profesjonsutdanninger. Sammenfatning av litteraturen på feltet (Hatlevik, 2015 a og b) viser følgende kjennetegn ved dedikerte og engasjerte studenter, og av forutsetninger for og kjennetegn ved god undervisning og god praksisopplæring. Tabell 1 Punktvis sammenfatning av kjennetegn på prosesskvalitet i profesjonsutdanninger. Kjennetegn ved engasjerte studenter (som lykkes) Selvregulering (planlegge, overvåke, kontrollere, reflektere) Dybdetilnærming (søke mening og forståelse) Stor innsats (aktive og utholdende) Involvering og integrasjon (faglig og sosialt) Mestrings- og resultatforventning (tror de vil klare å lære og det som skal læres oppleves som verdifullt) Kjennetegn på god undervisning Tydelige mål for hva som skal læres, hvor godt det skal læres og begrunnelser for hvorfor det må læres Læringsoppgaver/innhold som oppleves som interessante, nyttige, viktige, relevante og meningsfulle (knytte kunnskapsinnhold til praktiske problemstillinger) Vektlegge studentenes forståelse av innhold Fokusere på nøkkelbegreper / det viktigste Trygt læringsmiljø Engasjerte undervisere Studentaktive læringsformer Undervisning, læringsoppgaver og vurderingsformer som fremmer: o Mestringsopplevelse o Innsats o Selvregulering o Samarbeid mellom studenter (lære sammen og lære av hverandre) Gode tilbakemeldinger på studentenes eget arbeid som fokuserer på den enkeltes kompetanseutvikling, og som vektlegger hva læringsarbeid innebærer av selvkontroll, innsats og bruk av læringsstrategier (fokus på læringsprosess og selvregulering) Kjennetegn på god praksisopplæring Grundig forberedelse av studenter og praksisveiledere fra utdanningsinstitusjonen i forkant av praksisperioder Dekomponering av arbeidsoppgaver i enkeltferdigheter trening på enkeltferdigheter Progresjon i kompleksitet God relasjon mellom studentene og veileder Gode rollemodeller Mulighet til selv å få prøve seg i en autentisk arbeidskontekst Gode tilbakemeldinger og tid til å reflektere sammen med veileder over egne forsøk på profesjonsutøvelse Mulighet til bearbeiding av studentenes praksiserfaringer i etterkant av praksisopplæringen hvor erfaringer fra praksis knyttes til det studentene lærer ved utdanningsinstitusjonen 2

3 III. Hvilke konsekvenser bør dette ha for arbeidet med kvalitetsutvikling ved HiOA? Listen med kulepunkt kan for det første fungere som en sjekkliste som undervisere, praksisveiledere, emneansvarlige og studieansvarlige bør være kjent med og ta i bruk. Når en skal planlegge, utvikle, dokumentere og kontrollere prosesskvalitet bør de nevnte punktene i listen inngå. I tillegg har oversikten konsekvenser for kvalitetsutviklingssystemet: Prosesskvalitet er den dimensjonen ved utdanningskvalitet som i størst grad predikerer studentenes læringsutbytte av utdanningen som tilbys (Gibbs, 2005). Dette innebærer at en bør rette oppmerksomheten mot prosesskvalitet i langt større grad enn det som kjennetegner dagens system. Dette bør videre få konsekvenser for hva en skal gjennomføre av undersøkelser og hvordan det en dokumenterer bør brukes i kvalitetssikrings- og kvalitetsutviklingsarbeidet. I tillegg bør ressursbruken dreies mot kvalitetsutvikling fremfor kvalitetskontroll. Målingen/dokumenteringen av prosesskvalitet med tanke på kontroll foreslås delt inn i to trinn. En grovmasket- og en finmasket måling, hvor den første kan fungere som en type varsellampe som gir informasjon til ledelsen sentralt om at grundigere undersøkelser (trinn 2) eventuelt bør iverksettes. Første trinn Første trinn handler om kvalitetssikring og evaluering på programnivå. Hensikten her er å få et grovt bilde av prosesskvaliteten i det utdanningstilbudet som gis, samt å gi oversikt over hvilke rutiner som finnes for å fremme kvalitetsutvikling (eks kollegaveiledning, oppfølging av nyansatte, bruk av studenttilbakemeldinger mm) og si noe om i hvilken grad disse gjennomføres. Resultatene som kommer frem på dette trinnet kan fungere som en type varsellampe som gir informasjon til ledelsen sentralt om at grundigere undersøkelser eventuelt bør iverksettes. Andre trinn Dersom resultatene som kommer frem i første trinn viser at et studieprogram skiller seg nevneverdig fra andre programmer ved institusjonen, og/eller skiller seg fra tilsvarende studietilbud ved andre institusjoner, kan dette indikere at en bør undersøke om dette faktisk er tilfelle og hva dette eventuelt kan skyldes. Et nylig eksempel på at et utdanningsprogram med HiOA har gjort nettopp dette, er en undersøkelse og sammenligning av to sykepleierutdanninger ved HiOA, som SPS gjorde på oppdrag fra Fakultet for Helsefag våren 2015 (Hatlevik m. fl, 2015). Andre trinn innebærer nettopp en slik nøyere gjennomgang av prosesskvaliteten gjennom intervjuer, observasjoner ol. med hensikt å undersøke nærmere hva som er problemet (evt hva som fungerer godt slik at en kan identifisere suksesskriterier). 3

4 IV. Dagens system Dagens kvalitetssikringssystem er svært omfattende som rapporteringssystem. Dagens system kan også sies å være todelt, om enn noe annerledes. Første del handler om emneevalueringer, andre del om programevaluering. I dag har emneansvarlig ansvar for å gjennomføre emneevaluering, gi sin faglige vurdering og følge opp resultatene av evalueringene gjennom å sette i verk tiltak og rapportere dette til nærmeste leder i fastsatt mal. Studentene har mulighet til å kommentere dersom de finner at evalueringsrapporten er mangelfull. Hvilke konkrete rutiner og kartleggingsformer som brukes i emneevaluering og hvordan resultatene konkret følges opp i de ulike studieprogrammene varierer imidlertid. Kvalitetssikringssystemet på programnivå har, som nevnt innledningsvis, indikatorer for 1) inntakskvalitet, 2) infrastruktur og informasjon, 3) programplan, 4) faglig utbytte og 5) relevans, men mangler gode indikatorer for prosesskvalitet med unntak av studentundersøkelser som fanger opp studentenes opplevelse av enkelte sider av utdanningstilbudet. Det kan også innvendes at dagens mål på kvaliteten på faglig utbytte ikke fanger opp kvaliteten på læringsresultatet, men i realiteten er studenters vurdering av noen spesifikke forhold knyttet til prosesskvalitet. Imidlertid kan det som er ment å måle relevans sies til en viss grad å fange opp resultatkvalitet. V. Forslag til endringer. Første trinn Kartlegging av rutiner for kvalitetsutvikling av prosesskvalitet i både undervisning og praksisopplæring (indikatorer på planlagt prosesskvalitet): - Rutiner og kultur for deltagelse i kollegaveiledning. (Deltar undervisningspersonalet i kollegaveiledning?) - Rutiner for bruk av studenttilbakemeldinger på egen undervisning/veiledning. - Rutiner for emneansvarliges oppfølging av undervisningspersonalet. - Rutiner for spesiell oppfølging av nyansatte lærere/praksisveiledere. - Organisering av møtepunkt som tilrettelegger for samarbeid mellom fagansatte når det gjelder plassering og progresjon av ulike tema, innholdet i og utforming av undervisningen og veiledning/feedback til studentene. - Rutiner for samarbeid mellom utdanningsinstitusjon og praksissted. - Rutiner for sikring av deltagelse i UHPED-kurs for nyansatte. - Tilbud om og rutiner for sikring av deltagelse i veiledningskurs for praksisveiledere. Kartlegging av rutiner for kvalitetsutvikling foreslås å erstatte det som per i dag foregår som emneevaluering. Dokumentering / måling av studenttilfredshet med prosesskvalitet og utdanningsprogrammet som helhet. - Analysere data fra NOKUTs Studiebarometeret, for eksempel annet hvert år 4

5 - Analysere data fra NIFUs kandidatundersøkelse, for eksempel annet hvert år - Analysere StudData de årene de foreligger Normalt bør dette være et tilstrekkelig datagrunnlag for å avdekke studenttilfredshet. For å unngå evalueringstretthet, bør det være spesielle forhold som ønskes kartlagt dersom en skal gjøre egne undersøkelser i tillegg. For å kryss-sjekke resultatene og gi ytterligere analysegrunnlag vil det være interessant å sammenligne resultatene fra studenttilfredshetsundersøkelsene med andre datakilder, som for eksempel indikatorer fra FS på inntakskvalitet og gjennomstrømning, og data fra DBH. Nåværende kvalitetsdimensjon som er kalt «Kvalitet på programplan» kan deles i kvalitet på programmet som plan og prosesskvalitet. I dagens system måles kvalitet på programplan gjennom: Andel førstestillinger (årsverk) per program. Studentundersøkelse og tilsynssensors evaluering av samsvar mellom læringsutbyttebeskrivelsen, arbeidsformer og vurderingsformer i emner og program som helhet. Studentundersøkelse av tilfredshet med tilrettelegging for «internasjonalisering ute og hjemme», kjennskap til relevant FoU-arbeid ved egen institusjon, nasjonalt og internasjonalt. Alle disse momentene, med unntak av andel førstestillinger, kan sies å falle inn under prosesskvalitet, uten at det kan sies å være sentrale sider ved denne. Dokumentering av kvalitet på programmet som plan Programmet som plan handler for det første om kvaliteten på lærernes og praksisveiledernes faglige og pedagogiske kompetanse. For det andre handler det om kvaliteten på det planlagte innholdet i utdanningen, altså studieplan, emneplan læringsutbyttebeskrivelser osv. For det tredje omfatter kvaliteten på programmet som plan også hvilke rutiner som er etablert for å sikre prosesskvaliteten (se ovenfor). Kvaliteten på lærernes kompetanse innebærer fagspesifikk og praktisk kjennskap/kompetanse knyttet til den profesjonen de underviser i. I tillegg handler det om pedagogisk kompetanse. Indikatorer på undervisningspersonalets kompetanse: - Andel med førstestillingskompetanse (årsverk) pr program. - Andel med bakgrunn fra profesjonen (altså som selv er utdannet innenfor samme utdanning) - Pedagogisk kompetanse hos de som underviser (både faste og midlertidige ansatte) (eks andel med gjennomført basiskurs i universitets og høgskole ped eller annen tilsvarende pedagogisk kompetanse). Kvaliteten på praksisveiledernes kompetanse handler om både deres profesjonsutdanning, egen erfaring fra profesjonsutøvelse og pedagogiske bakgrunn. Indikatorer på praksisveiledernes opplærings- og veiledningskompetanse: - Andel som har gjennomført veiledningskurs for praksisveiledere. Kvaliteten på program-, fag- og emneplaner handler både om hvor relevant innholdet i utdanningen er for senere profesjonsutøvelse og hvor godt den kommuniserer, altså hvor tydelig og lett forståelig den er for lærere og studenter. Kjennetegn på kvalitet i 5

6 plandokumenter er ikke tatt opp i Hatlevik sine artikler. Imidlertid er dette et sentralt punkt som en bør se videre på. Måling av kvaliteten på faglig utbytte (resultatkvalitet) og relevans. Dagens mål på kvaliteten på faglig utbytte fanger ikke opp resultatkvalitet, i stedet er det studenters vurdering av forhold knyttet til prosesskvalitet. Imidlertid kan det som er ment å måle relevans sies til en viss grad å fange opp resultatkvalitet. Måling av inntakskvalitet beholder det som er i dag og suppleres med å trekke inn studentenes studiemotivasjon (survey - StudData). Måling av kvaliteten på infrastruktur og informasjon beholdes som de er. Referanser Gibbs, Graham (2010). Dimensions of Quality. York: The Higher education Academy. Gibbs.pdf Hatlevik, I. K. R. (2015a). Hva kjennetegner prosesskvalitet i lærerutdanningen? Artikkel under bearbeiding. Hatlevik, I. K. R. (2015b). Hvordan utvikle og kontrollere prosesskvalitet i profesjonsutdanninger? Under publisering (Uniped). Hatlevik, Ida Katrine Riksaasen; Leseth, Anne; Osland, Oddgeir; Alecu, Andreea Ioana; Hougaard, Peter Forde; Nordberg, Tanja Haraldsdottir; Smeby, Jens-Christian. Utdanningskvalitet i sykepleieutdanningene ved Høgskolen i Oslo og Akershus. Oslo: Høgskolen i Oslo og Akershus s. Småskrift, HiOA(3) HIOA HiOA (2015). System for kvalitetssikring og kvalitetsutvikling av utdanningene ved HiOA. NOKUT (2015). Rapport fra sakkyndig komite, Høgskolen i Oslo og Akershus, 24 november