FEILSITUASJONER I ARKIVENE Erfaringer fra prosjekter hos Justisdep. + noen til... Automatiserer og effektiviserer deponeringsarbeidet

FEILSITUASJONER I ARKIVENE Erfaringer fra prosjekter hos Justisdep. + noen til... Automatiserer og effektiviserer deponeringsarbeidet

4. DEPONERING automatisert mapping av arkivdata til NOARK 5-avleveringsformat. Maskinell generering av alle filer som skal deponeres, samt all annen nødvendig informasjon. HVORFOR NOARK 5? HVA MED FAGSYSTEMER? 3. KORREKSJON maskinell korrigering av avvik, mangler og feil i arkivdataene på en etterettelig måte i forhold til det arkiveier og lov- og regelverk krever. All korrigering dokumenteres maskinelt i de aktuelle postene + merknader i INFO.txt. >>>>> 1. UTTREKK automatisert / maskinelt uttrekk av arkivdata ut fra ulike arkivdatabaser. (ulike leverandører, ulike databaser,...) 2. ANALYSE dedikert analyse av arkivets tilstand i forhold til de krav som lovverk og mottakende depot setter. 160 testrutiner kjøres mot uttrekket. Også tester mot daglig føring av arkivet. Ut fra on-line rapporter kan man drille ned i arkivdataene ned på postnivå. >>>>>

FEILSITUASJONER I ARKIVENE Arkivdatabaser er ikke feilfrie! Ryddejobben kan synes stor og kostnadskrevende Krever kompetanse mellom arkivfag / datafikling ASTA MAPPER rydder maskinelt og raskt Det etableres raskt oversikt over arkivets tilstand feil og avvik rettes og dokumenteres i henhold til arkiveiers føringer og Riksarkivets krav til deponering av Noark-arkiver

Spesifikke hendelser påvirker datakvaliteten i arkivet Hvis arkivet har vært utsatt for: data registrert i eldre Noark-strukturer overgang til nytt arkivsystem/ny leverandør, versjonsoverganger konverteringer / historisk arkiv Organisatoriske endringer så oppstår det noen gjennomgående feil og avvik i arkivets metadata I tillegg kan vi oppleve: feil bruk av systemet svakheter / feil i programvaren

FEILSITUASJONER I ARKIVENE ASTA MAPPER Analysemodulen er bygd opp iht hovedstrukturen i et arkiv. Tester for deponering: Feil / avvik som ligger på arkivnivå Feil / avvik som ligger på saksnivå Feil / avvik som ligger på journalnivå ca.20 tester ca.30 tester ca.40 tester Feil / avvik som ligger på dokumentnivå ca.10 tester

ARKIV- OG KLASSIFIKASJONSNIVÅET ca 20 tester går mot dette nivået FEIL / AVVIK I ARKIVDATABASEN MERKNAD KORREKSJON Ca. ANTALL Manglende registrering av arkivperioder (fra/til dato) Kritisk Maskinell 0-8 Arkivdeler som ikke er satt til 'B' - bortsatt/avsluttet Viktig Maskinell 0-8 Arkivdeler som ikke er satt til Utgår (merket i navn) Viktig Maskinell 0-3 Ordningsprinsipp mangler betegnelse (kun kode) Mindre viktig Manuell / maskinell 0-5 Ordningsverdi uten betegnelse / navn (bare kode) Mindre viktig Manuell / maskinell 0-133

SAKSNIVÅET Vanlige feil og avvik på saksnivået. Mangelfull registrering, brudd i nøkler, inkonsistenser, m.v. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Saker med ugyldig referanse fra sak til arkivdel Kritisk Maskinell 0 194 Saker som ikke er avsluttet (riktig) Viktig Maskinell 1 860 Saker mangler saksdato Viktig Manuell / maskinell 0 3 Saker med avvik i registrert antall journalposter vs. tellet antall Info. Maskinell 0 574 Saker uten journalposter Kritisk Maskinell 24 2.163 Saker med hull i saksnummerrekkefølgen Kritisk Maskinell / manuell 0 5 Saksposter som kan settes til U basert på tittel Viktig Maskinell 0 138 Saksposter som kan settes til U basert på beskrivelse Viktig Maskinell 0 955 Saker har ikke registrert kassasjon Info Maskinell 724 129.882

SAKSNIVÅET (saksbehandlere / brukere) En feil som går igjen er brutte lenker til saksbehandlere og ulike brukere ellers i systemet. Disse har en tendens til å forsvinne med årene. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Sjekk om referanse fra sak til saksansvarlig er gyldig. Mindre viktig Maskinell 42 129.882 Sjekk om referanse fra dokument til bruker 'tilknyttet av' er gyldig. Sjekk om referanse fra dokumentversjon til bruker 'registrert av' er gyldig. Sjekk om referanse fra sak til ansvarlig enhet er gyldig. Info Maskinell 0 1.223 Mindre viktig Maskinell 1223 70.951 Mindre viktig Maskinell 0 130.045

SAKSNIVÅET (klassering) Mest vanlige feil / avvik ved klassering av saker. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Uklassifiserte saker Kritisk Manuell 0 114 Saker uten primær klassering. Viktig Manuell / maskinell 0 114 Saker med ugyldig referanse fra klassering til ordningsverdi. Mindre viktig Maskinell 4 23.200 Klassering uten betegnelse / navn (bare kode) Mindre viktig Manuell / maskinell 0-163

JOURNALNIVÅET Ulike feilårsaker. Feil og avvik på dette nivået har ofte stort antall. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ca. ANTALL Journalposter med feil i referansen til sak (eierpost). Kritisk Manuell/maskinell 0 218 Journalpost ikke ferdigstilt / ugyldig status for deponering Kritisk Maskinell 1.123-597.917 Restanser for (inngående) journalposter. Viktig Maskinell 0-2.323 Restanser for N-notat. Mindre viktig Maskinell 0-24.524 Journalposter med avvik i registrert skjerming, gradering og hjemmel. Viktig Maskinell 0-12.254

JOURNALNIVÅET (avsender / mottaker) Det er ofte (i alle DB) ulike feil knyttet til avsendere og mottakere i sakene og jornalpostene. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Inngående journalpost / dokument uten registrert avsender Viktig Manuell / maskinell 4 1.644 Utgående journalpost / dokument uten registrert mottaker Viktig Manuell / maskinell 2 492 Int.notat (N) uten registrert mottaker Mindre viktig Maskinell 8 28.535

JOURNALNIVÅET (datoer) Ulike situasjoner i forbindelse med datoer som skal stå i forhold til hverandre. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Journalposter mangler journaldato. Kritisk Maskinell 0 42 Journalposter med feil/avvik i journalår, journaldato. Info. Indikerer feil. Maskinell 0 1.210 Journalposter med avvik i ekspedert dato vs. andre datoer satt i posten. Journalposter som har ugyldig forfallsdato vs. andre datoer satt i posten. Journalposter med journaldato utenfor arkivperiodens start- og sluttdato Info. Indikerer feil. Konvertering? Maskinell / ingen 0 5.038 Info. Indikerer feil. Maskinell / ingen 0 595 Mindre viktig Maskinell 0 8.662

JOURNALNIVÅET (dokumenter) Knyttning til journalpostens dokumenter er et ledd i arkivstrukturen hvor det ofte oppstår feil, både når det gjelder fysisk knyttning (det er ingen dokument der) og logiske feil.. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Journalposter uten tilknyttet dokument. Kritisk Maskinell 0-509 Journalposter med registrert antall dokument større enn reelt (tellet) antall dokument. Info. Indikerer feil. Maskinell 0 10.399 Journalposter uten tilknyttet hoveddokument. Kritisk Maskinell 0 5.087 Journalposter tilknyttet flere hoveddokument Viktig Maskinell 0 1.123

DOKUMENTNIVÅET Dokumentbeskrivelser, dokumentversjoner, dokumenter (fysisk) dokumentfil. FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Ugyldig referanse fra dokument opp til (eiende) journalpost. Kritisk Maskinell 0 16.231 Dokumenter som ikke er ferdigstilt. Kritisk Maskinell 0 55.162 Dokumentbeskrivelse med ugyldig verdi for dokumentkategori. Mindre viktig Maskinell 0 310.116 Digitalt dokument har ikke tilknyttet dokumentversjon. Kritisk Maskinell 0 55

DOKUMENTNIVÅET (dokumentobjekt) Under dokumentbeskrivelsen lagres de ulike versjonene: prod.versjon, arkivversjon,... I disse instansene lagres pekeren (lenken) til de fysisk digitale filene FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Digitale dokumentobjekter (versjoner) uten tilknyttede (fysisk) dig.dokumentfiler. Digitale dokumentobjekter (versjoner) hvor koden angir det ikke er lagd arkivformat. Digitale dokumentobjekter (versjoner) som ikke er lagret i arkivformat. Poster med tilknyttet dokbeskriv og dokversjon, men mangler aktiv dokversjon Kritisk Maskinell 0 210 Viktig Maskinell 0 17.900 Viktig Maskinell 0 4.364 Viktig Maskinell 0 200.708

DOKUMENTNIVÅET (annet) FEIL / AVVIK I DATABASEN MERKNAD KORREKSJON ANTALL Konvertering. Dobbelt sett med dokumenter lastet inn. Kritisk Maskinell 16.231 Konvertering. Manglende obligatoriske data. Kritisk Maskinell 16.231

VIRKER DET? Eksempel: 6 arkivdatabaser tilhørende Justisdepartementet Arkivbaserbaser tilbake til 1991 4 stk på Noark 3 og 2 stk på Noark 4 form Størrelser: Fra 11.243 til 598.484 journaler. Fra 0 til 431.783 dokumenter. En av arkivdatabasene / papirene ble skadet av terrorangrepet 2011 Flere av arkivbasene var forsøkt deponert tidligere (2 ganger) Ved bruk av ASTA MAPPER ble deponering av disse arkivdatabasene godkjent av Riksarkivet ved første forsøk.

Etter gjennomførte deponeringer av 6 arkivdatabaser tilhørende Justisdepartementet:

Oppsummering / de mest hyppige : manglende avslutning av arkiv / arkivperiode. Mye følgefeil. manglende BK; bevaring- / kassasjonsangivelse manglende klassifisering; mangler helt /mangler primær / mangler betegnelse manglende avslutning av sakene poster i restanse / manglende avskrivning inkonsistenser i koder / metadata ift hva som reelt ligger i arkivet manglende konverteringer av dokumenter spesielle filformater henger igjen + 10-15 andre som alltid ser ut til å slå til. Registreringfeil, dato-problematikk,...

Erfaringer Generelle problemstillinger/observasjoner under arbeid med deponeringer: krever god kjennskap til Riksarkivets krav krever gode arkivkunnskaper krever til tider god kapasitet av arkiveier kan trekke ut i tid datauttrekket må være komplett og korrekt, ellers vil det bli avvist Riksarkivet innfører ny, effektiv mottaksløsning: ARKADE 5 Vi håper at ASTA MAPPER vil avhjelpe på noen av de andre problemområdene

Etterslep Mange og ulike årsaker til etterslep av deponeringer ARKIVEIERNE Uttrekksprogrammene Datakvaliteten Kompetanse Ressurser / tid Størrelser dokumentmengder datamengder DEPONIENE Må ivareta datakvalitet Tidkrevende prosesser for oppretting Store arkiv / tunge jobber tar tid Kapasitetsproblemer (?!) Riksarkivet innfører ny, effektiv mottaksløsning: ARKADE 5 Vi håper at ASTA MAPPER vil avhjelpe på noen av de andre problemområdene

TAKK FOR OSS ASTA MAPPER

Hvorfor deponering på Noark 5 form? To stikkord: kompleksitet og effektivitet NOARK 3? Standarden er veldig tynn. Kun en saksjournal stort sett uten dokumentmetadata Hvis du deponerer ihht Noark 3-standarden vil du miste unødvendig mye metadata Nemlig: Noark 3-systemene/-databasene inneholder (vanligvis) mye mer arkivverdige metadata enn standarden foreskriver Det går an (med litt hjelp) å deponere en NOARK 3 database på Noark 5-form (jeg har aldri sett noen lov som forhindrer dette)

Hvorfor deponering på Noark 5 form? To stikkord: kompleksitet og effektivitet NOARK 4? En deponering som består av en rekke enkeltstående tabeller (>70 ) som refererer til hverandre gjennom fremmednøkler og forutsetter at alt er konsistent; dvs.: du aldri har slettet en bruker eller saksbehandler, det har ikke vært organisasjonsendringer, det har ikke vært ryddet i registeret over hjemler siden Offentleglova kom og du har selvfølgelig aldri flyttet noen sak eller journaldata Så skal du få disse 70 filene til å henge sammen i en (konsistent) deponering (!) GLEM DET

Hvorfor deponering på Noark 5 form? To stikkord: kompleksitet og effektivitet NOARK 5 Kun arkivdata i klartekst i èn fil på en strukturert xml-form. Ingen inkonsistenter (Ingen fremmednøkler som skal koble tabellrader) Alle data blir pent strukturert i XML en i henhold til arkivstrukturen: Arkiv arkivdeler klassifisering saker journaler dokumenter Et stort strukturert tre som henger sammen. YESS <<<<<<

SLUTT (2)

Hva med fagsystemer? ASTA MAPPER 4. DEPONERING automatisert mapping av arkivdata til ADDML-avleveringsformat. Maskinell generering av alle filer som skal deponeres, samt all annen nødvendig informasjon. 1. UTTREKK Må bygge mapping (for hvert nytt domeneområde) basert på BK-standard for domeneområdet og system leverandørens DB-løsning. 3. KORREKSJON eventuelle korreksjonsrutiner for testene innen domeneområdet for fagsystemet. All korrigering dokumenteres maskinelt i de aktuelle postene + merknader i INFO.txt. 2. ANALYSE i et fagsystem vil det også finnes regler som må testes: Vi må ivareta strukturell konsistens og dataenes kompletthet. <<<<<<

SLUTT (3)

UTDRAG AV FEILRAPPORT <<<<<

UTDRAG AV FEILRAPPORT (etter korreksjon) <<<<<