Data Quality Perspectives. Various roles from arkivdanning to arkivbevaring

Transkript

1 Data Quality Perspectives Various roles from arkivdanning to arkivbevaring

2 Pragmatic Data Quality In this project we explore what data quality is based on observation and understanding within a Noark context Project results are based on observations and discussion Start with analysis of what DQ is for NOARK 4 Who are the stakeholders What factors should be considered

3 Who are municipal DQ stakeholders Records Management (Arkivdanning) Case Handler (Saksbehandler) Manager (Leder) Records Manager (Arkivleder) Municipality Manager (Rådmann) Long Term Preservation (Arkivbevaring) Extraction Processor Record Locator Trends Analysis Archive Manager

4 How do stakeholders view DQ? Case Handler (Saksbehandler) Short term / assume good DQ Manager (Leder) Short term / assume by verify good DQ Records Manager (Arkivleder) Short to medium term (long term?) Knows the truth! Municipality Manager (Rådmann) Short to medium term (long term?) Assumption that all is well

5 How do stakeholders view DQ? Extraction Processor Very short term, probably only one that ever makes a formal DQ judgement Record Locator Wish that DQ is good. Sees fragments of the truth Trends Analysis Assumption of good DQ, but irrelevant Archive Manager Long term, cost perspective

6 Wangs 15 DQ Dimensions Data Quality Intrinsic Contextual Representational Accessibility Accuracy Believability Objectivity Reputation Value-added Relevancy Timeliness Completeness Appropriate amount of data Interpretability Ease of understanding Accessibility Access Security

7 Wangs 15 DK Dimensjoner Datakvalitet Iboende Kontekstuele Representasjon Tilgjengelighet Nøyaktig Troverdig Objektiv Omdømme Verdi Relevans Tidsriktig Helhetlig Passende mengde data Tolkes Enkel forståelse Konsistent Konsis Tilgjengelig Tilgangsikkerh et

8 Intrinsic Data Quality Accuracy Believability Objectivity Reputation

9 Iboende DK Dimensjoner Nøyaktighet Troverdighet Objektivt Omdømme

10 Nøyaktighet c Snakk om avvik, feks distansen fra v til v' v er databasen og v' er uttrekket

11 Trodverdighet Er dataene i uttrekket sann og troverdig? Hva skjer hvis finner et dokument uten tilknytning til arkivstrukturen? Hva skjer hvis finner en registrering uten tilsvarende dokument? Kanskje den viktigste av alle dimensjoner Hvordan måle det? Dokumentasjon Objektivt / Subjektivt? Bruken av sjekksummer, automatisk avlevering til depot, logger Jo mer vi har, jo mer objektiv vi kan måle

12 Trodverdighet Viktig å skille mellom troverdighet til systemet og innhold/saksgang Eksempel* Danning Depot Saksbehandler/Leder Arkivtjenesten Motakk/Ledelse Forsker Algoritmer

13 Objektivitet Er datene nøyaktig, konsis og upartisk? Har noen prøvd å "dempe" en betent sak? Ser vi fordommer fra saksbehandler/kommunen i en sak? Forskjell mellom innhold og metadata? tittel / dokument type sak, hva og hvem Systemet / Noark sørger for et nivå av objektivitet

14 Objektivitet Danning Depot Saksbehandler/leder Arkivtjenesten Mottakk/Ledelse forsker/algoritmer Kan vi måle objektivitet? antall ord/tegn brukt i tittel / innholdsbesrivelse

15 Omdømme Kan vi si noe om pålitlighet og viktigheten av en gitt informasjonskilde Kilder kan være interne/eksterne Integrasjon med fagsystem Noen baser ansees å være mer pålitlig På systemnivå så kan et system ha en bedre omdømme enn et annet Saksgang kan utløse et omdømme problem for kommunen feks noe informasjon fra en betent byggesak /reguleringsplan som blir lekket

16 De krysser hverandre Flere dimensjoner krysser hverandre Omdømme / sikkerhet Omdømme / objektiviet Omdømme / troverdighet Veldig kontekst (Noark) og rolle avhengig hvordan de krysser hverandre

17 Kontekstuele DK Dimensjoner Verdi Relevans Tidsriktig Helhetlig Passende mengde data

18 Contextual Data Quality Value-added Relevancy Timeliness Completeness Appropriate amount of data

19 Verdi Hva slags verdi gir Noark systemet? Utenom det lovpålagte Hvis loven ikke var der mye rot og kostnader Danning saksbehandler/leder arkivtjeneste/kommunen Depot (verdi på uttrekk) Når Volum øker, kan få bedre omdømme mottak/ledelsen forskeren / algoritmene

20 Relevans Under danning er Noark relevant / nyttig? jobber med arkivbegrensing postmottak Heller et spørsmål om vi fanger alt som er relevant Er det eksempler der vi ser at Noark ikke er nyttig? Hva hvis ikke kan lage uttrekk fra systemet? For depot er det litt anderledes Alt i uttrekket er relevant

21 Tidsriktig Er systemet / data tilstrekkelig oppdatert Ingen bruker et Noark 3 system i dag "Data delayed is data denied På saksbehandling, får politikerne data tidsnok til å gjøre grundig vurdering? Folkeregisteret/BBREG holder data oppdatert Data inn i system vil ofte være tidsriktig fordi adressen står der Endring av eksterne kilder som feks oppdatering i offentlighetsloven/postnummer

22 bevarings/kassasjons regler Tidsriktig Forskrift om byggesak 7-4 Gebyrbortfall ved kommunens fristoverskridelse Når uttrekket blir laget mister dataene evnen til å bli oppdatert / dynamikken forsvinner Tilgang og forståelse kan spille en rolle om tidsriktig Hvis det er mye arbeid / tar lang tid å hente data da er vi i en "data denied" situasjon Volum og tid til å prossesere/lage uttrekk med/uten feil kan være en del at tidsriktig Uttrekk er tidsriktig bilde av det som skjedde

23 Helhetlig Har vi fanget nok data? Noark sier hva vi skal fange Er basen fullstendig? mangler det data? Er bredden og dybden av opplysningene riktige? Tolkning av standarden spiller en rolle her Krav til epost adresse? Ikke alle har epost.

24 Passende mengde data Brukeren / skjermbilde, tanke på hvordan man presenterer data Politikere blir presenter med et dokument på 500 sider som de skal stemme over På systemnivå burde ikke være et problem ephorte søk Basen vokser sakte men sikkert over tid Depot får alt og da er det ikke nødvendigvis en passende mengde data Så lite innholdsvurdering som kan gjøres, kun det som kan scriptes

25 Passende mengde data Forsker med verktøy behøver ikke være et problem, men uten verktøy så kan det være et problem Teknologiske utviklingen gjør at det er ikke et problem på kommunalt nivå Kanskje mer et problem for RA

26 Representational Data Quality Interpretability Ease of understanding Consistent Representation Concise Representation

27 Representasjons DK Dimensjoner Enkel forståelse Tolkes Konsistent Konsis

28 Enkel forståelse (understand) Er systemet / dataene for komplisert slik at det er vanskelig å forstå I forhold til prosess Depot Kan vi forstå at et sett med filer utgjør et uttrekk, uten av vi nødvdendigvis kan bruke det Litt forbi å sikre lesbarheten

29 Tolkes (interpret) Kan dataene tolkes / brukes Du må først forstå noe før du kan tolke det Du kan forstå dataene du ser i tabelluttrekket (tall, dato, tekst) men du tolker at et data produkt er en sak eller journalpost

30 Konsistent Med GUI tankegang, Depot å være konsitent med visuell utforming å være konsistet med navngivning For Noark så bør uttrekkene til et vist nivå være konsistent Fagsystem og andre kilder Heterogene uttrekk kan være et problem

31 Konsis Beskrivelser er utformet på en konsis måte feks titelfelt ikke bruker mye unødvendig informasjon/språk Tabellnavn og attributter er "riktig" I forhold til å lage uttrekk konsis er at du får med det som trengs Unngå 200 tomme systemtabeller Unngå en overdokumentasjon

32 Accessibility Data Quality Accessibility Access Security

33 Tilgjengelighets DK Dimensjoner Tilgjengelig Tilgangsikkerhet

34 Tilgjengelig Problemer med systemet, nedetid Bruken av skytjenester Data er tilgjengelig og kan lett innhentes Bruken av gamle tegnsett Bruken av disker som ikke kan lenger leses Bruken av teritær lagring med lang hentetid Bruk av kryptering

35 Tilgangsikkerhet Sikker sone Tilgangskontroll på objekter Skille mellom lese og redigerings muligheter i forhold til materiale For noe informasjon skal ikke være mulig å fastslå eksistens På systemnivå er dette relatert til tillit

36 Mye informasjon... OAIS Modellen Iboende / Kontekstuelt / Represetasjon / Tilgang Arkivpakke?? Hva sitter vi igjen med nå? Hvordan kan dette brukes? Hva kan måles subjektivt / objektivt? I et Noark kontekst så krysser disse dimensjone hverandre på måter som de ikke gjør i andre kontekster Utfordring til å samle tankene og publisere dette