Kvalitetssikring av rapporteringsdata til DBH Hvordan gjør vi det på UiB? og litt om hvordan vi kanskje kommer til å gjøre det sitat hentet fra nederst på USITs brukerhåndbok for rapportering, side 45 Ved Karianne Omdahl og Øystein Ørnegård Studieadministrativ avdeling, Universitetet i Bergen FS-Brukerforum, Gardermoen 4. november 2010
Del I Prosessen
Bakgrunn Rapporteringen er ikke bare gøy også viktig! - deler av institusjonens budsjett er tildelt på bakgrunn av de data vi rapporterer! 1998: Universitetsdirektøren gjør det klart i brevs form til fakultetene at det er fakultetenes ansvar å registrere og kvalitetssikre data som skal rapporteres til Database for statistikk om høgre utdanning (DBH)
Rapporteringsåret ved UiB DBH - rapportering 15. febr: produksjonsdata foregående høstsemester Jan Feb Mars April Mai Juni Juli Aug Sept Okt Nov Des Brev til avdelingene Foreløpige filer distribueres Avdelingsvise møter (med oppdaterte foreløpige filer) Rapporteringsmøte (oppdaterte foreløpige filer sendt ut i forkant) Datalevering 15. mars: registreringsdata inneværende vårsemester Foreløpige filer distribueres Avdelingsvise møter (med oppdaterte foreløpige filer) Rapporteringsmøte (oppdaterte foreløpige filer sendt ut i forkant) Datalevering 15. oktober: produksjonsdata foregående vårsemester og registreringsdata inneværende høstsemester Brev til avdelingene Foreløpige filer distribueres Avdelingsvise møter Rapporteringsmøte Datalevering
Brev til fakultetene Startskuddet for rapporteringsarbeidet Plasserer ansvar Interne frister Når fakultetene kan vente foreløpige lister/talloversikter Påminning om rapporteringsveileder Info/varsel om avdelingsvise møter Info/varsel om rapporteringsmøtet
UiBs rapporteringsveileder Supplement til USITs dokumentasjon, inneholder: Kalender Hva rapporteres når og til hvem Beskrivelse til hver rapport Bakgrunn Utplukk Henvisning til FS-rapport Kvalitetssikringstips Spesielle sjekkpunkter Referanser til aktuell dokumentasjon http://wikihost.uib.no/uawiki/index.php/rapportering_og_analyse_av_studentdata
Foreløpige filer Excel-baserte oversikter for hver rapport som skal leveres til DBH Pivoterte tabeller Hjelpemiddel for fakultetene Kort vei til egne data Gjøre nye pivoteringer Sammenligningsgrunnlag mot forrige rapportering å finne avvik Inneholder individdata For oppslag i FS
Dialogmøter Studiesjef (delegert ansvar) og/eller FS-superbruker Informasjon om nye rapporteringskrav Nytt filsett produsert Hver enkelt rapport gjennomgås Tabellen forklares i den grad det er nødvendig Mangler/feil identifiseres Veiledning angående retting/rydding i FS Møtene er godt mottatt av fakultetene
Rapporteringsmøtet Direktør for Studieadministrativ avdeling leder møtet Deltakere: Fakultetsdirektøren er formelt ansvarlig for rapporteringen, og de eller den de gir fullmakt bes møte for signatur av protokoll ved gjennomgang av data som inngår i rapporteringen til DBH. (Fra brev til fakultetene) Hovedtall for hver enkelt DBH-rapport gjennomgås og eventuelle kommentarer protokollføres Protokollen signeres Fakultetene godkjenner med signatur at gjennomgåtte data kan rapporteres til DBH (...)
Utdrag fra protokollen
Levering av rapporter til DBH Signering av protokoll = samtykke til at data er gode nok for innrapportering Mål: FS-rapportene skal ikke genereres på nytt etter at protokollen er signert Praksis: som regel regenerering av enkelte rapporter grunnet feilmeldinger/varsler ved opplasting til DBH Etter rapportering til DBH lages det endelige oversikter over hva som faktisk ble rapportert noe avvik pga. regenererte datagrunnlag
Internt evalueringsmøte Erfaringer fra fakultetsmøtene og rapporteringsmøtet Identifiserer behov for oppdatering av rapporteringsveileder Identifiserer eventuelle behov for tilbakemeldinger til DBH/USIT Hensikt: Gjøre neste rapporteringsrunde enda bedre!
Del II Produksjon av foreløpige filer
Verktøy FS-rapportene ikke alltid at man får ut akkurat det man trenger SQL Mulighet for skreddersøm Excel sortering, filtrering for å finne mangler/feil krysstabuleringer / oversikter Nytt verktøy i år: Nytt filopplastingssystem hos DBH
Produksjon av foreløpige filer: Eksport fra FS-rapport
Behandle filen i Excel Individbaserte eksamensdata fra FS-rapport FS013.001
...
Produksjon av foreløpige filer Med SQL for å koble rapporteringsdata med bakgrunnstabeller i FS (studieprogram, emne) Finansieringsprosent for studieprogram egenfinansiert studieproduksjon egenfinansierte registrerte studenter egenfinansierte ferdige kandidater Studienivå Omkode nsd-avdelingskode til intern stedkode/navn
Eksempel - Studiepoengproduksjon
Behandle filen i Excel Eksamensdata fra SQL-spørring
Del III Nye muligheter
Nytt filopplastingssystem hos DBH Hva er det nye opplegget? Mulighet til å laste opp foreløpige filer uten at de blir publisert hos DBH Få ut aggregerte oversikter på foreløpige data med sammenligning mellom Foreløpig rapport og tidligere år Ulike versjoner av foreløpige rapporter
Nytt filopplastingssystem hos DBH
Nytt filopplastingssystem hos DBH Fordeler Avdekke feil/mangler på et tidspunkt som gjør det mulig å rette dette før rapporteringsmøtet og før rapporteringsfristen Fremtidige muligheter? Tilgang for fakultetene? Drilling ned til individnivå? Vil da kunne bruke dette i kvalitetssikringsprosessen i stedet for foreløpige filer mye arbeid spart