Kvalitetssikring og kvalitetsutvikling ved NTNU Utdanningsutvalget ved HiST 22.9.2015
Kort historie om kvalitet Tidligere tider: Kontroll/inspeksjon med feilretting (det finnes bilder fra Egypt ca. 1450 f.kr. av kontrollører i arbeid ) Første halvdel av 1900-tallet: Kvalitetskontroll, egne kontrollavdelinger i bedriftene Fra 1950-tallet: Erkjennelse av at det ville være bedre å forebygge feil enn å finne og rette dem, kvalitetsplanlegging, visjon om en sterk kvalitetsavdeling som skulle ha et totalt ansvar for kvalitet i hele virksomheten 1970-tallet: Japan reiser seg virkelig etter 2. verdenskrig, helt annet fokus enn USA/Europa; feilforebygging, kvalitetsprosesser samtidig med lav kostnad, alle ansvar for kvaliteten 2
Kort historie om kvalitet(forts.) 1980-tallet: Total Quality Management lansert, prosess/systemer som garanterer kvalitet fremfor etterskudds kontroll, ISO-9000 1990-tallet: Schizofren parallell utvikling; tyngre/mer omfattende kvalitetssystemer kombinert med sertifiseringspress vs. bygging av kvalitetskultur og implementering av sunne prosesser I dag: Kvalitet så grunnleggende at ingen er i tvil om at enhver virksomhet må ha kundefokus, gode prosesser, kontinuerlig forbedring, osv., oppnådd rimelig balanse mellom system-kulturimplementering 3
Kvalitet og kvalitetssystemer Essensielt å oppnå balanse mellom: Omforent forståelse, ansvar og kultur for kvalitet i hele organisasjonen Lederskap som har fokus på kvalitet og inspirerer medarbeiderne Struktur som ivaretar ansvar og kommandolinjer System som dokumenterer (mangel på kvalitet) og sikrer at avvik håndteres Ubalanse i én eller annen retning vil ha negative konsekvenser!
5
Evaluering av system for kvalitetssikring «Gjennom systematisk arbeid med kvalitet skal lærestedene avdekke sviktende kvalitet og sikre kontinuerlige forbedringer. Lærestedene skal og dokumentere kvalitetsarbeidet og gi styret rapporter fra dette arbeidet.» Vurderingsgrunnlag. NOKUTs 5 evalueringskriterier: a) Stimulans til kvalitetsarbeid og kvalitetskultur b) Mål, plan og ledelsesforankring c) Innhenting av dokumentert informasjon om kvalitet i studiene d) Analyse, vurdering og rapportering e) Bruk av kunnskap til kvalitetsforbedring NOKUT evaluerer system for kvalitetssikring av utdanning minst hvert 6. år Eksempel: NTNU 2012-14 6
«Komiteen anbefaler at system for kvalitetssikring av utdanningen ved NTNU ikke godkjennes.» NOKUTs hovedkonklusjon 5. februar 2013 «Konklusjonen om at systemet har vesentlige mangler, er meget alvorlig.» KD i etatsstyringsbrev til NTNU 25. juni 2013 7
Komiteens råd for videre utvikling Utvikle systembeskrivelse BESKRIVE Systembeskrivelsen gir stor frihet til de ulike enhetene til selv å utforme ordninger for kvalitetssikring av emner og programmer. Det synes å være grunn til å advare mot at slik frihet også bærer i seg en mulighet til ikke å gjøre noe Komiteen vil sterkt anbefale at arbeidet med tydeligere systembeskrivelse prioriteres, og hvor prosedyrer og rutiner beskrives Studentevalueringer og referansegrupper TYDELIGGJØRE OG ETTERLEVE Komiteen anbefaler at det innføres obligatoriske emneevalueringer eller semesterevalueringer, men ikke nødvendigvis for hver gang et emne blir undervist i. Kvalitetssikring av studieprogram UTVIKLE Systembeskrivelsene bør angi hvilken type informasjon og statistikk som skal danne grunnlag for analysene, og utpekingen av program som skal bli gjenstand for grundigere evaluering, bør bli mer systematisk. Kvalitetsmelding og rapportering UTVIKLE Kvalitetsmeldingen til styret bør fokusere sterkere på hva som er gjort med forhold som ble ansett som utfordringer året før. Meldingen bør også fokusere mer på analyse og vurdering av programkvalitet, undervisningskvalitet og læringskvalitet Tydeliggjøre systemet for studentene KOMMUNISERE Kvalitetssikringssystemet, og de mulighetene studentene skal ha til å gi avviksmeldinger og komme med forbedringsforslag, bør synliggjøres tydeligere 8
NTNU NTNUs strategi «All utdanning er preget av kvalitet på høyt internasjonalt nivå, faglig og pedagogisk» «Alle fagmiljøer skal utvikle god utdanningsledelse og kvalitetskultur med bruk av systematisk evaluering og god oppfølging». NTNUs kvalitetssikringssystem «Kvalitetssikringsarbeidet skal bidra til at studentene oppnår læringsutbyttet som er definert for emnene og studieprogrammene» «Målet er å sikre at studieprogrammets læringsmål er oppdaterte og relevante og at emnene som inngår bidrar til at studentene oppnår læringsutbyttet i studieprogrammet. Kvalitetssikring av studieprogram skal sikre at emnene er koordinerte horisontalt og vertikalt». 9
Roller i NTNUs system for kvalitetssikring av utdanning Styret Rektor Dekan Studieprogramleder Instituttleder Emneansvarlig Faglærer Student Utvalg 10
Utdanningsledelse i praksis Prosess for rapportering og oppfølging *Studieprogramleder rapporterer til dekan eller til instituttleder avhengig av hvor oppgavene knyttet til kvalitetssikring av studieprogram er delegert
NTNUs system for kvalitetssikring av utdanning oppgaver Dekan skal sørge for at alle studieprogram har en studieprogramleder og et studieprogramråd. Dekan har ansvar for å fordele ressurser til gjennomføring av studieprogrammet og kvalitetssikringsarbeidet. Dekan skal minimum hvert femte år påse at det gjennomføres en periodisk studieprogram-evaluering. Studieprogramleder skal hvert år gjennomføre en studieprogramevaluering der studieprogrammets indre kvalitet er hovedfokus. Studieprogramleder skal utarbeide en studieprogramrapport. Studieprogramleder skal lede studieprogramrådet og i samråd med dette løpende vurdere kvaliteten i studieprogrammet. 12
NTNUs system for kvalitetssikring av utdanning oppgaver Instituttleder skal påse at kvalitetssikring av instituttets emner gjennomføres i henhold til krav, og at kvalitetssikringsarbeidet dokumenteres og inngår i den årlige kvalitets-meldingsprosessen. Instituttleder skal påse at studieprogramledere får relevant grunnlag fra instituttet, inkludert emnerapporter fra alle emner som inngår i gjeldende studieprogram. Instituttleder vedtar handlingsplaner og følger opp disse gjennom ressurstildeling og personalledelse. Emneansvarlig skal lede emneteamet. Emneansvarlig har ansvar for planlegging, koordinering og gjennomføring av emnet, slik at sammenheng mellom undervisning, læringsaktiviteter og vurdering, blir hensiktsmessig og bidrar til at studentene oppnår læringsutbyttet for emnet. Emneansvarlig skal følge opp handlingsplan besluttet av instituttleder. 13
Krav til evaluering av emner og studieprogram på alle nivå Emneevaluering: Ved hver gjennomføring skal emneansvarlig gjennomføre en emneevaluering. Alle emneevalueringer skal inneholde en studentevaluering, normalt basert på referansegruppe-metodikk. Ved minimum hver tredje gjennomføring av emnet skal emneansvarlig aktivt etterspørre tilbakemelding fra alle emnets studenter for å sikre at informasjonsgrunnlaget er representativt. Studieprogramevaluering: Studieprogramleder skal hvert år gjennomføre en studieprogramevaluering der studieprogrammets indre kvalitet er hovedfokus. Studieprogramleder skal utarbeide en studieprogramrapport. Dekan skal minimum hvert femte år påse at det gjennomføres en periodisk studieprogramevaluering med innspill fra eksterne aktører. 14
Grunnlag for analyse av programkvalitet NTNU Emne- og studieprogramrapporter Datagrunnlag til kvalitetsmelding Kandidatundersøkelser Arbeidsgiverundersøkelser Læringsmiljøundersøkelser 15
Grunnlag for analyse av programkvalitet Helse- og trivselsundersøkelser (SiT) Nasjonal database for statistikk om høyere utdanning i Norge (DBH) Studiebarometeret (NOKUT) Spør studenter om hvor fornøyde de er med kvaliteten i eget studieprogram Resultatene gjøres tilgjengelig i februar hvert år, i god tid før søknadsfrist til høyere utdanning 16
Aktører studieprogram Studieprogramråd Dekan Instituttleder Administrasjon Studieprogramleder Emneansvarlig og faglærere Studenter 17
Kvalitet i studieprogram - noen nasjonale rammer Kunnskapsdepartementets sektormål Universitet og høgskoler skal gi utdanning av høy internasjonal kvalitet i samsvar med samfunnets behov Kunnskapsdepartementets styringsparameter Kvantitativ styringsparameter: Gjennomføring på normert tid Kvalitativ styringsparameter: Studentene skal lykkes med å oppnå læringsutbyttet som er definert for studieprogrammene NOKUTs forskrift Kriterier for akkreditering av nye studietilbud 18
Kvalitet i studieprogram Hva er kvalitet i et studieprogramperspektiv? Samfunns- og arbeidslivsrelevant? Høy inntakskvalitet? Antall studenter? Forskningsbasert? Dyktige undervisere -utdanningsfaglig kompetanse? Tydelig læringsmål? Innovative læringsformer? Godt læringsmiljø? Gjennomstrømning? Alle kandidater får (relevant) jobb? 19
Kvalitetsarbeid i ett studieprogram - en helhet av virkemidler Strategisk programutvikling SP-råd, industribehov Kartlegging etter 2-3 år i jobb Fremtidens PuPstudium Int. benchmarking/læ ring Forskning fornyer emner Læringsmål SP, SR og emner Løpende emne- og programutvikling Rapport fra faglærer og ref.gruppe Ped. koordinator + stud.ass Analyse av rapporter/e valuering Årlig kvalitetsmelding Semestervise møter med IL Undervisningsutvalg inst. Aktiv studentinvolvering Utdanningskomité på fakultetet Pedagogisk og driftsmessig utvikling Pedagogiske støtteressurser Faglærergruppe PuPstrengen Årlige møter mellom faglærere per semester
21 NTNU har revidert systemet for kvalitetssikring av emner Nye element: Spørreundersøkelse i alle emner minst hvert 3. år 3 referansegruppemøter pr semester (oppstart, midt og mot slutten) Emnerapporter og referansegrupperapporter legges i en database som er tilgjengelig for alle studenter og ansatte ved NTNU Evaluering av alle studieprogram minst hver 5. år Handlingsplaner for utvikling av alle studieprogram og undervisning til alle institutt godkjennes av dekanus hvert år etter forslag fra hvert program og institutt Meld avvik - Si fra-side for studenter hvis du opplever at det vanlige kvalitetssikringssystemet ikke virker
22 Roller - Emneansvarlig Opprette referansegruppe, kalle inn til tre møter Skrive emnerapport etter gjennomført undervisning og avsluttende eksamen Sørge for at referansegrupperapportene og sluttevaluering er tilgjengelig for nåværende og nest kull studenter. Sørge for at programleder og instituttleder får emnerapporten Avholde spørreundersøkelse minst hvert 3. år Utvikle emnet på grunnlag av emnerapporten
23 Roller - Studenter Delta i referansegrupper, skrive referansegrupperapport og gi input til referansegruppen Svare på spørreundersøkelser Velge representanter til studieprogramråd, ledergrupper og styrer på ulike nivå ved NTNU Sette seg inn i læringsmål for emner og program Student og lærer samarbeider?
24 Roller - Referansegruppen Representerer studentene i tre møter med emneansvarlig i løpet av semesteret. Skriver en selvstendig rapport som skal legges ved emnerapporten Minst tre studenter deltar, men det bør være minst en student for hvert program der studenter fra flere program tar samme emne. I emner med få studenter kan alle studentene utgjøre referansegruppen. Referansegruppen skal ha løpende dialog med emnets øvrige studenter og representere disse på møtene med emneansvarlig. Studentene skriver referansegrupperapportene.
Dokumenthåndteringsverktøy 25
Dokumenthåndteringsverktøy 26
Si fra-side for studenter 27
28 Målepunkt Oppfølging tiltak 2013 Analyse Prioriterte tiltak 2014 Rammekvalitet/innsatskvalitet: Kjernespørsmål: Hvordan støtter rammene programmenes læringsmål? Infrastruktur Studieadministrative verktøy og tjenester Inntakskvalitet Pedagogisk kompetanse og personalressurser Prosesskvalitet: Kjernespørsmål: Hvordan støtter prosessene læringsarbeidet? Utvikling av undervisnings- og læringskvalitet og vurderingsformer som støtter studentenes læringsarbeid (gode eksempler og utfordringer) Hvordan støtter NTNUs system for kvalitetssikring av utdanning utvikling av kvalitet i studieprogrammene? Resultatkvalitet: Kjernespørsmål: Hvordan lykkes studentene med læringsutbyttet for programmene? Frafall, gjennomstrømning og strykprosent Kandidatproduksjon Samfunns- og arbeidslivsrelevans Sammendrag av fakultetets viktigste utfordringer Eventuelle tiltak fakultetet mener rektor bør prioritere i 2014
29 Bestilling 2014 Målepunkt Oppfølging tiltak 2013 Analyse Prioriterte tiltak 2014 Rammekvalitet/innsatskvalitet: Kjernespørsmål: Hvordan støtter rammene programmenes læringsmål? Infrastruktur Studieadministrative verktøy og tjenester Inntakskvalitet Pedagogisk kompetanse og personalressurser Prosesskvalitet: Kjernespørsmål: Hvordan støtter prosessene læringsarbeidet? Utvikling av undervisnings-og læringskvalitet og vurderingsformer som støtter studentenes læringsarbeid (gode eksempler og utfordringer) Hvordan støtter NTNUs system for kvalitetssikring av utdanning utvikling av kvalitet i studieprogrammene? Resultatkvalitet: Kjernespørsmål: Hvordan lykkes studentene med læringsutbyttet for programmene? Frafall, gjennomstrømning og strykprosent Kandidatproduksjon Samfunns- og arbeidslivsrelevans Sammendrag av fakultetets viktigste utfordringer Eventuelle tiltak fakultetet mener rektor bør prioritere i 2014
Komiteens råd februar 2014 Videreføre det trykket på kvalitetssikring i utdanning som NTNU har vist siden NOKUTs forrige besøk, slik at en kvalitetskultur får feste seg i hele organisasjonen. De viktigste nøkkelordene for å utvikle systemet til et nyttig verktøy for kvalitetssikring, kan være «informere» og «motivere». Fortsette å utvikle rollen som programansvarlig, og sørge for at disse får likere rammebetingelser i form av tid og administrativ støtte, samt ressurser til å gjennomføre programevalueringer. NTNU bør i større grad få frem kunnskap om de gode resultatene og bruke den til læring på tvers i organisasjonen. Videreutvikle retningslinjer for håndtering av sensitive opplysninger i åpne evalueringsrapporter. Fakultetene bør utvikle rutiner for: 1) når det skal være skriftlige evalueringer i tillegg til evalueringer gjennom referansegrupper 2) hvordan de femårige syklusene med grundig programevaluering skal gjennomføres, og spesielt vektlegge hvordan arbeidslivsrelevans skal inngå. 31
32 Tilleggsinformsjon
33 Tilleggsinformasjon
34 Lenker til NTNUs kvalitetssikringssystem for utdanning Beskrivelse av systemet på www: http://www.ntnu.no/utdanningskvalitet/ Alle detaljer finnes på innsida: https://innsida.ntnu.no/wiki/-/wiki/norsk/kvalitetssikring+av+utdanning Side for avviksmelding: https://innsida.ntnu.no/avvik Database for emnerapporter ol: https://irom.ivt.ntnu.no/ivt/adm/kvalitetssikring-utdanning/
35 Revidert prosjekt «Utdanning 2013-2014» fortsatt en koordinert portefølje av utviklingsaktiviteter Enda bedre og mer attraktiv utdanning Utdanningsledelse og kvalitetssikring - kvalitet Hvilken utdanning skal vi tilby - innhold Innovative utdanningsformer - form
NTNU s prioriterte Innovative utdanningsprosjekter nå Virtuelle kjemiske rom Prosjektleder: Hilde Lea Lein Smart læring Prosjektleder: Arne Krokan Video for kvalitet Prosjektleder: Jonas Persson TransArk Prosjektleder: Gro Rødde Fornying av matematikkutdanningen Prosjektleder: Mats Ehrnström Prosjekt innovativ lektorutdanning (PROSJEKTIL) Prosjektleder: Heidi Brøseth Gullkort. Blir flere. 2-IT Prosjektleder: Guttorm Sindre Kunnskap for en bedre verden 36
Kvalitet, tilgjengelighet og differensiering i grunnutdanningen i matematikk (KTDiM) Prosjektleder: Mats Ehrnström Kunnskap for en bedre verden 37
Kvalitet, Tilgjengelighet og Differensiering et opplegg for grunnutdanningen i Matematikk En dyptgripende omlegging av alle deler av undervisningen. Differensiering av undervisningstilbudet basert på digital formidling og evaluering. Omfordeling og kvalitetssikring av lærerressursene. Didaktisk følgeforskning og evaluering. Kunnskap for en bedre verden 38
Virtuelle kjemiske rom Prosjektleder: Hilde Lea Lein Kunnskap for en bedre verden 39
«Virtuelle kjemiske rom» Prosjektets mål: Nye innovative tiltak i fagene i generell kjemi ved IMT og IKJ => fremme økt kjemifaglig forståelse og læringsutbytte Fokus: Aktivisering av studenter i forkant og i løpet av forelesninger (A) Sammenkoble teori og praksis gjennom virtuelle innovative læringsaktiviteter (B) A Aktivisering i forelesninger Virtuelle kjemiske rom B Kobling teori-praksis (Laboratorieaktiviteter) Virkemidler: Digitale selv-testingsoppgaver, personal respons system (PRS) og videointroduksjoner Videobank med demonstrasjonsforsøk (for bruk i forelesninger) Virtuelle ekskursjoner Digitale/web-baserte tester for tilgang til laboratoriet Web-basert videointroduksjon til hver laboratorieoppgave Resultat : Økt forståelse (læringsmål); eksamensresultat; gjennomstrømming Endring/tilpassing av læringsmål Samarbeid om fag og laboratoriekurs mellom instituttene; ressursbesparelse Kontakt: Hilde Lea Lein (IMT), prosjektleder. Kunnskap for en bedre verden Karina Mathisen (IKJ). 40
Prosjekt innovativ lektorutdanning (PROSJEKTIL) Prosjektleder: Heidi Brøseth Kunnskap for en bedre verden 41
PROSJEKTIL prosjekt innovativ lektorutdanning 20 av NTNUs vitenskapelig ansatte får et kompetanseløft innen innovative læringsmetoder. Få kunnskap om ulike læringsformer/metoder og IKT Teste ut IKT og nye læringsformer/metoder i egen undervisning for å styrke studentenes læring 20 innovative undervisningsemner utvikles innenfor lektorutdanningen ved NTNU. Tverrdisiplinær prosjektgruppe Studentene ved NTNUs lektorprogram får økt kunnskap og kompetanse i innovative læringsmetoder. Utdanne lektorer for morgendagens skole Kunnskap for en bedre verden 42
Smart læring Prosjektleder: Arne Krokan Kunnskap for en bedre verden 43
smart læring Vil endre læreprosesser gjennom nye læremidler og nye former for samhandling Bygger på nyere teorier om læring connectivisme Sosial samhandling og personlige læringsnettverk MOOC i digital kompetanse for lærere Flipped class for studenter på campus Etablerer senter for smart læring for å dele erfaringer Kan skalere opp videreutdanning av lærere i flere fag Skaper beredskap for å møte regjeringens fokus på etter- og videreutdanning av lærere Kunnskap for en bedre verden 44
NTNUs fem hovedprioriteringer 2015 Horisont 2020 Fremtidsrettede studier og innovative læringsformer Bærekraftig nyskapingsarbeid Tematiske satsinger Kunnskap for en bedre verden Campusutvikling
46 Kvalitet, tilgjengelighet og differensiering i grunnutdanningen i matematikk (KTDiM) Prosjektleder: Mats Ehrnström
47 Kvalitet, Tilgjengelighet og Differensiering et opplegg for grunnutdanningen i Matematikk En dyptgripende omlegging av alle deler av undervisningen. Differensiering av undervisningstilbudet basert på digital formidling og evaluering. Omfordeling og kvalitetssikring av lærerressursene. Didaktisk følgeforskning og evaluering.
48 Virtuelle kjemiske rom Prosjektleder: Hilde Lea Lein
49 «Virtuelle kjemiske rom» Prosjektets mål: Nye innovative tiltak i fagene i generell kjemi ved IMT og IKJ => fremme økt kjemifaglig forståelse og læringsutbytte Fokus: Aktivisering av studenter i forkant og i løpet av forelesninger (A) Sammenkoble teori og praksis gjennom virtuelle innovative læringsaktiviteter (B) A Aktivisering i forelesninger Virtuelle kjemiske rom B Kobling teori-praksis (Laboratorieaktiviteter) Virkemidler: Digitale selv-testingsoppgaver, personal respons system (PRS) og videointroduksjoner Videobank med demonstrasjonsforsøk (for bruk i forelesninger) Virtuelle ekskursjoner Digitale/web-baserte tester for tilgang til laboratoriet Web-basert videointroduksjon til hver laboratorieoppgave Resultat : Økt forståelse (læringsmål); eksamensresultat; gjennomstrømming Endring/tilpassing av læringsmål Samarbeid om fag og laboratoriekurs mellom instituttene; ressursbesparelse Kontakt: Hilde Lea Lein (IMT), prosjektleder. Karina Mathisen (IKJ).
50 Prosjekt innovativ lektorutdanning (PROSJEKTIL) Prosjektleder: Heidi Brøseth
51 PROSJEKTIL prosjekt innovativ lektorutdanning 20 av NTNUs vitenskapelig ansatte får et kompetanseløft innen innovative læringsmetoder. Få kunnskap om ulike læringsformer/metoder og IKT Teste ut IKT og nye læringsformer/metoder i egen undervisning for å styrke studentenes læring 20 innovative undervisningsemner utvikles innenfor lektorutdanningen ved NTNU. Tverrdisiplinær prosjektgruppe Studentene ved NTNUs lektorprogram får økt kunnskap og kompetanse i innovative læringsmetoder. Utdanne lektorer for morgendagens skole
52 Smart læring Prosjektleder: Arne Krokan
53 smart læring Vil endre læreprosesser gjennom nye læremidler og nye former for samhandling Bygger på nyere teorier om læring connectivisme Sosial samhandling og personlige læringsnettverk MOOC i digital kompetanse for lærere Flipped class for studenter på campus Etablerer senter for smart læring for å dele erfaringer Kan skalere opp videreutdanning av lærere i flere fag Skaper beredskap for å møte regjeringens fokus på etter- og videreutdanning av lærere
54 NTNUs fem hovedprioriteringer 2015 Horisont 2020 Fremtidsrett ede studier og Bærekraftig nyskapingsar beid innovative læringsform Tematiske er Campusutvi
55 Våre satsinger framover
56 La det gnistre av utdanningsdebatter ved lunchbordene og ved lederbordene!