Til studieutvalget, fakultet for samfunnsfag Dato: 9. september 2013 DISKUSJONSSAK Saksnr.: 41/13 Journalnr.: 2013/4196 Saksbehandler: Unn Målfrid H. Rolandsen og Ann Sofie Winther Nytt kvalitetssikringssystem og nye retningslinjer for oppnevning og bruk av sensorer ved HiOA Et nytt System for kvalitet og kvalitetsutvikling for utdanning og læringsmiljø ved HiOA (kvalitetssikringssystemet/kss) ble vedtatt av høgskolestyret 12. mars 2013 vedlegg 1). Kvalitetssikringssystemet er en beskrivelse av de ordningene som er etablert for å ta imot innspill fra studentene på undervisningsopplegg og rammen rundt studiene, inkludert den løpende dialogen fagmiljøene har med sine studentkull. I tillegg inneholder kvalitetssikringssystemet bestemmelser for hvordan eksempler på god studiekvalitet og evt. tiltak som gjøres på de enkelte programmene skal rapporteres. Rapportene kan tas i bruk i strategiarbeid og planlegging på instituttene, og på fakultets- og institusjonsnivå. I samme møte vedtok styret Retningslinjer for oppnevning og bruk av sensorer som inneholder rutiner for oppnevning av eksamenssensorer og tilsynssensorer ved HiOA (vedlegg 2). Kvalitetssikringssystemet og sensorordningen henger nøye sammen, og de to sakene ble drøftet på ledermøte ved fakultet for samfunnsfag 3. september. Nedenfor følger en kort beskrivelse av hovedmomentene i de to ordningene. Til slutt følger en sammenfatning av ledergruppas forslag til lokale rutiner ved fakultet SAM. I siste del av notatet har vi samlet to spørsmålsstillinger og løsningsforslag fra fakultetets ledergruppe. Spørsmålene og løsningsforslaget diskuteres i studentenes fakultetsråd, fakultetets studieutvalg og instituttenes lærermøter før endelig vedtak på lokal ordning for kvalitetssikring og tilsynssensur gjøres i SAM fakultetsstyre 17. oktober. NYE ORDNINGER I HiOAs SYSTEM FOR KVALITETSSIKRING 1) Hvert år skal det gjennomføres felles survey-undersøkelser der hele årskull blir bedt om å evaluere utdanningskvaliteten ved høgskolen. Disse gjennomføres av HiOAs seksjon for analyse og kvalitetsutvikling (1. og 3. studieår) og NOKUT (2. studieår, nasjonalt «Studentbarometer»). Data fra disse undersøkelsene vil bli rapportert tilbake til instituttene, slik at de kan brukes i arbeidet med kvalitetsutvikling. Det er også vedtatt en «brukerundersøkelse» av arbeidsmiljø og psykososialt miljø for både studenter og ansatte ved HiOA. Denne skal gjennomføres hvert annet år.
2) I tillegg til de formelle og uformelle «kanalene» for tilbakemelding som allerede er etablert på utdanningene, lanseres tjenesten utdanningskvalitet@hioa.no (uke 37). Dette er et samarbeid mellom Læringsmiljøutvalget, driftsseksjonen, studentparlamentet og administrasjonen på ulike nivåer. Tjenesten skal sikre at alle på HiOA (studenter og tilsatte) enkelt kan melde inn bekymringer og problemer knyttet til utdanningskvaliteten på HiOA. Innkomne saker behandles på det relevante fakultet/institutt. 3) Ved fakultet for samfunnsfag har resultater fra utdanningenes arbeid med utdanningskvalitet hittil vært samlet årlig i én skriftlig rapport fra hvert institutt (evt. intervju med med institutt- og studieledere). Nytt i kvalitetssikringssystemet er at instituttene leverer en kort rapport for hvert studieprogram (bachelor, master, ph.d) med utgangspunkt i en felles mal. Malen vedtas i HiOAs studieutvalg året før slik at spørsmålene som skal undersøkes er kjent for utdanningene god tid i forveien. 1 Programrapportene sammenfattes av fakultetsadministrasjonen og inngår som en del av institusjonens årlige rapport og planer til KD. Frist for programrapportene ved Fak. SAM foreslås satt til uke 46 (første gang november 2014. Se også forslag til årshjul, vedlegg 3). Studentenes tilbakemelding til utdanningene og til institusjonen Krav til evalueringsaktiviteter utover den jevnlige formelle og uformelle kontakten mellom studenter/tillitsvalgte og utdanningene: Institutt og fakultet Felles for hele HiOA Evaluering av og rapportering på emner Rapportering på studieprogram Evaluering av inntakskvaliteten NOKUTs «Studiebarometer» Evaluering av studieprogram Kandidatundersøkelse Hyppighet: hvert emne evalueres hver gang det tilbys Metode: metode valgfri For å unngå «evalueringstretthet» oppfordres fagmiljøene til å variere evalueringsmetodene. Se «Verktøykassa» for tips og forslag. Hyppighet: årlig Metode: en felles mal vedtas i juni året før, instituttleder leverer programrapport til fakultetsadministrasjonen i november. Datagrunnlag: emnerapporter, programrapporter, felles undersøkelser gjennomført i vårsemesteret, + øvrige relevante aktiviteter på utdanningene. Hyppighet: årlig, alle 1.årsstudenter, bachelor Metode: Survey gjennomføres hver vår av seksjon for analyse og kvalitetsutvikling, HiOA. Hyppighet: årlig, alle landets 2.årsstudenter, bachelor og master) Metode: Elektronisk undersøkelse gjennomføres av NOKUT. Resultatene offentliggjøres i deres nettportal. Detaljerte data gjøres tilgjengelig for institusjonene. Hyppighet: årlig, alle 3.årsstudenter på bachelor Metode: Survey gjennomføres hver vår av seksjon for analyse og kvalitetsutvikling, HiOA. OBS! P.t diskuteres en ordning for at instituttene skal kunne legge til egne spm. hvis ønskelig Hyppighet: hvert annet år, felles for HiOA. Uteksaminerte kandidater. 1 Programrapporter tas i bruk første gang i rapportering for studieåret 2013-14. Høst 2013 rapporterer vi (for studieåret 2013-13) på samme måte som foregående år. Dvs. én rapport fra hvert institutt/studielederområde. Mal fra seksjon for analyse og kvalitetsutvikling publiseres i nærmeste framtid. Høgskolen i Oslo og Akershus side 2
Arbeidslivsundersøkelse «Brukerundersøkelse» Hyppighet: hvert annet år, felles for HiOA Dette er arbeidsgiveres vurdering av kandidater 2 år etter graden er fullført. Hyppighet: hvert annet år, felles for HiOA For både studenter og tilsatte. Studentene skal bl.a. gi tilbakemelding på fysisk læringsmiljø, på informasjon, administrative tjenester, læringssenter, og internasjonalisering hjemme og ute. Hvordan skal vi rapportere om utviklingen i utdanningskvalitet på fakultet SAM? Merk: Fagmiljøene er organisert ulikt på de forskjellige instituttene. Roller under instituttledernivå som er nevnt i tabellen er eksempler og må tilpasses lokalt. Hva? Når? Hvem rapporterer? (OBS! Kun et forslag!) Emneevalueringer fortløpende Emneansvarlige Hvem mottar rapporten? Programkoordinator e.l./studieleder/instituttleder Programrapporter hver høst kullansvarig/koordinator/ studieleder instituttleder Instituttets rapport november instituttleder prodekan og fak. adm Fakultetets rapport slutten av november prodekan og fak.adm. (Fakultetsstyret? Dekan?) inngår i rapport og planer januar fak. adm. i samråd med ledergruppe HiOA > KD NY TILSYNSSENSORORDNING VED FAKULTET FOR SAMFUNNSFAG Retningslinjer for oppnevning og bruk av sensorer ved HiOA omhandler både oppnevning og bruk av eksamenssensorer og oppnevning og bruk av tilsynssensorer. Formålet med tilsynssensor er å sikre at grader oppnådd ved HIOA holder høy kvalitet og holder høy standard sammenliknet med grader oppnådd ved andre UH-institusjoner, å sikre helhet og sammenheng mellom læringsutbyttebeskrivelsene, arbeidsformene og vurderingsformene i studiet og å sikre at studentenes kunnskaper og ferdigheter blir prøvet og vurdert på en upartisk og betryggende måte. Samtidig som fakultetet arbeider med nytt kvalitetssikringssystem må man diskutere hvilke(n) tilsynssensorordning fakultetet finner mest hensiktsmessig og som best ivaretar formålet med ordningen. Høgskolen i Oslo og Akershus side 3
Tilsynssensor skal integreres i fakultetets kvalitetssikringssystem og i fakultetets rapporteringssyklus: Tilsynssensor skal årlig levere en tilsynssensorrapport om sitt arbeid til fakultetet/instituttet Det skal avholdes årlig møte med tilsynssensor og fakultet for å drøfte forhold som blir omtalt i rapporten og andre forhold knyttet til kvaliteten på det aktuelle studiet. Tilsynsrapporten skal benyttes som grunnlagsmateriale i instituttets programrapporter og i kvalitetssikringsarbeidet. Tilsynssensorordningen er en del av kvalitetssikringen av det enkelte studium. Alle studier skal være under tilsyn av tilsynssensor, men det er det er opp til det enkelte fakultet å finne måter for hvordan ordningen praktiseres. En tilsynssensor ved HiOA kan ikke samtidig benyttes som eksamenssensor ved HiOA. Fakultetet bør ha en diskusjon om hvor mange tilsynssensorer det skal oppnevnes. Skal hver utdanning ha en tilsynssensor knyttet til seg eller skal det være én for hvert institutt? Hvor omfattende skal tilsynssensors oppgave(r) være? Dette bør også ses på i lys av frekvensen på ekstern evaluering fakultetets gradsstudier. Tilsynssensors oppgaver kan være: å føre tilsyn med gjennomførte vurderinger og vurderingsprosesser i hele studiet, for et fagområde eller en emnegruppe i studiet å føre tilsyn med standarden på resultatene innenfor et studium, fagområde eller emnegruppe, sammenliknet med standarden på resultatene i tilsvarende studier, fagområder eller emnegrupper ved andre UH-institusjoner å evaluere eksamensoppgaver og vurderingskriterier for karakterfastsettelse i et emne, emnegruppe, fag, eller alle emner i et studium. å vurdere sammenhengen mellom programplanens læringsutbyttebeskrivelser, undervisningsopplegg og vurderingsformer å gi fagmiljøene/fakultetene tilbakemeldinger og råd som kan brukes i det videre studiekvalitetsarbeidet I henhold til eksamensforskriften er det krav om to sensorer ved alle eksamener. Dersom det ikke benyttes ekstern eksamenssensor på et emne, skal tilsynssensor evaluere evalueringsordningen av eksamen på dette emnet minst én gang i løpet av tilsynssensors funksjonsperiode på tre år. Tilsynssensors arbeidsoppgaver fastsettes i samråd med fakultetet/instituttet. Det skal avtales hvilke deler av evalueringsarbeidet tilsynssensor skal delta i og på hvilken måte. Tilsynssensors funksjonsperiode er normalt tre år. Det er anledning til å forlenge oppdraget med én periode. Tilsynssensor skal ha bred undervisningserfaring og normalt ha kompetanse på minimum høgskolelektornivå. Det kan gjøres unntak fra kvalifikasjonskravet dersom det er behov for en annen type pedagogisk eller faglig kompetanse. * * * 2 SPØRSMÅL FAKULTETET MÅ TA STILLING TIL HØSTEN 2013: 1: Ekstern evaluering: hvor ofte og hvor mye? I kvalitetssikringssystemet slås det fast at fakultetene hvert år skal foreslå gradsstudier til ekstern evaluering (KSS: 4.6). Men, det er ikke lagt føringer i det felles kvalitetssikringssystemet for hvor ofte det foretas ekstern evaluering av et gitt gradsstudium. Samtidig inneholder det nye kvalitetssikringssystemet en tilsynssensorordning (KSS 3.5 og 5.4. Se også vedlagte retningslinjer). HiOA har heller ikke lagt Høgskolen i Oslo og Akershus side 4
føringer for hvor store deler av et studieprogram som skal evalueres av tilsynssensor. Dette betyr at fakultetet i noen grad selv kan bestemme hvordan disse to ordningene skal benyttes. Ekstern evaluering er en ressurskrevende men nyttig gjennomgang av et helt gradsstudium. Bør fakultet for samfunnsfag lage en plan som sikrer at alle gradsstudiene blir evaluert av eksterne med jevne mellomrom? En annen løsning kan være at en så vidt grundig evaluering forbeholdes studier der det er særskilt grunn til bekymring for søkning, gjennomstrømming, studiemiljø e.l. Den nye tilsynssensorordningen vil også være ressurskrevende. Det er derfor viktig å se de to ulike ordningene for ekstern evaluering i sammenheng slik at omfanget av tilsynssensor-oppdragene står i forhold til de ressursene vi bruker på ekstern evaluering. Det er derfor viktig at fagmiljøene ved instituttene, og studentenes fakultetsråd, diskuterer hvordan tilsynssensor-ordningen best kan komme utdanningene til nytte. 2: Ønsker fakultetet å legge føringer for bruk av metode i studentenes evaluering av emner? I det nye kvalitetssikringssystemet (KSS) skal emner evalueres hver gang det tilbys, og det er «opp til emneansvarlig i samarbeid med studentene å velge hensiktsmessig evalueringsmetode» (KSS 4.7). Dersom samme evalueringsmetode brukes med likelydende spørsmål i flere undersøkelser kan resultatene sammenliknes på tvers av emner/utdanninger. Dette er tanken bak de felles surveyundersøkelsene i KSS. I UH-sektoren er erfaringen hittil at svarprosenten ved elektroniske evalueringsmetoder er lav, og at deltakelsen øker dersom metodene varieres. Derfor oppfordres fagmiljøene til å variere metodene i de evalueringene som gjennomføres på den enkelte utdanning. Dersom de emneansvarlige benytter svært ulike metoder vil instituttene imidlertid få en ekstra utfordring når resultatene skal sammenstilles i den årlige programrapporten (svekker muligheten til å sammenlikne resultater på tvers av emner). Dette kan bety at verdien av evalueringene som styringsverktøy svekkes. På den annen side vil evalueringer der både innhold og metode er tilpasset det enkelte emne antakelig gi både bedre data og høyere svarprosent. Dette betyr at vi setter evaluering som pedagogisk virkemiddel og utbyttet av evaluering på «grasrotnivå» høyere enn styringsaspektet. Det er altså to viktige hensyn som (tilsynelatende) står mot hverandre: behovet for sammenliknbare data, og behovet for evalueringsmetoder tilpasset det enkelte emne og studium. Spørsmålet er om fakultetet bør komme med noen anbefalinger til instituttene i valget mellom disse? 2: Ekstern evaluering: hvor ofte og hvor mye? I KSS slås det fast at fakultetene hvert år skal foreslå gradsstudier til ekstern evaluering (KSS: 4.6). Men, det er ikke lagt føringer i det felles kvalitetssikringssystemet for hvor ofte det foretas ekstern evaluering av et gitt gradsstudium. Samtidig inneholder det nye kvalitetssikringssystemet en tilsynssensorordning (KSS 3.5 og 5.4. Se egne retningslinjer for ytterligere detaljer). HiOA har heller ikke lagt føringer for hvor store deler av et studieprogram som skal evalueres av tilsynssensor. Dette betyr at fakultetet i noen grad selv kan bestemme hvordan disse to ordningene skal benyttes. Ekstern evaluering er en ressurskrevende men nyttig gjennomgang av et helt gradsstudium. Bør fakultet for samfunnsfag lage en plan som sikrer at alle gradsstudiene blir evaluert av eksterne med jevne mellomrom? En annen løsning kan være at en så vidt grundig evaluering forbeholdes studier der det er særskilt grunn til bekymring for søkning, gjennomstrømming, studiemiljø e.l. Den nye tilsynssensorordningen vil også være ressurskrevende. Det er derfor viktig å se de to ulike ordningene for ekstern evaluering i sammenheng slik at omfanget av tilsynssensor-oppdragene står i forhold til de ressursene vi bruker på ekstern evaluering. Det er derfor viktig at fagmiljøene ved instituttene, og studentenes fakultetsråd, diskuterer hvordan tilsynssensor-ordningen best kan komme utdanningene til nytte. Høgskolen i Oslo og Akershus side 5
Forslag fra ledergruppas møte 3. september 2013: 1) Det oppnevnes 1 tilsynssensor for hvert institutt. Instituttene definerer selv de konkrete oppdragene. Målet er en slank og fleksibel ordning slik at ressursene kan rekke både til tilsynssensor og til grundige eksterne evalueringer. 2) Det legges ikke føringer fra fakultetet på valg av metode for emneevaluering. * * * Viktige datoer for implementeringen av nytt kvalitetssikringssystem Uke 37: studentparlamentets utdanningskvalitets-uke 17. Oktober. Fakultetsstyret vedtar detaljer for kvalitetssikringssystemet ved SAM Oktober 2013: «Studentbarometeret 2013», NOKUTs undersøkelse av utdanningskvalitet der alle landets 2.årsstudenter på bachelor- og masterstudier deltar. Høst 2013(?): Første runde med «Brukerundersøkelse» som gjelder både studenter og tilsatte ved HiOA. November 2013: Første runde av NOKUTs besøk til HiOA. Kvalitetssikringssystemet skal gjennomgås og godkjennes. Vår 2014: kvantitative undersøkelser sendes ut til 1.årsstudentene og 3.årsstudentene på bachelorprogrammene. Relevante ressurser på HiOAs nettsider: http://www.hioa.no/studier/studiekvalitet-og-evaluering/arbeid-med-utdanningskvalitet-ved-hioa Her finner dere «Verktøykassa» for evalueringer, maler, styringsårshjul, måltavle og annen relevant dokumentasjon. Med hilsen Marja Lundell fakultetsdirektør Ken Henry Hyttemoen seksjonssjef Vedlegg: Vedlegg 1: HiOA kvalitetssikringssystem Vedlegg 2: Retningslinjer for oppnevning og bruk av sensorer Vedlegg 3: Forslag til årshjul for kvalitetssikring, rapportering og programplanarbeid, fakultet SAM Høgskolen i Oslo og Akershus side 6