Erfaringsrapport Justis- og beredskapsdepartementet Deponeringsprosjektet Stiftelsen Asta gjennomførte fra høsten 2015 til våren 2017 et deponeringsprosjekt for Justis- og beredskapsdepartementet (JD). Dokumentet berører ulike problemstillinger vi møtte under deponeringsprosjektet, og er en oppsummering av utviklings- og prosjektarbeidet som ble utført. Noen av problemstillingene i rapporten er generelle, andre igjen er spesielle for JD. Vi har også gitt plass til en presentasjon av vårt uttrekksverktøy Asta Mapper.
INNHOLDSFORTEGNELSE Innhold Innledning 1 Bakgrunn for prosjektet 4 Arkivene som inngår 4 Ekstraordinære hendelser 6 Generelle problemstillinger ved deponering 6 Eldre arkiver: Veien fra Noark 3 til Noark 4 til Noark 5 7 De mest sentrale problemstillingene 7 Oppsummering 11 Asta Mapper 13 Generelt om uttrekksprosjekter 18 Vedlegg 21
INNLEDNING Innledning Det mangler ikke på overskrifter, analyser og oversikter. Det er krise! På konferanser og seminarer blir dimensjonene på problemet diskutert, og det er full enighet: Manglende uttrekk til arkivversjon er et samfunnsproblem som bare vokser. Konsekvensene er potensielt store. Papirene, de er vi flinke til å ordne og ta vare på. Arkivverkets magasiner er fulle, og listen over dem som vil deponere er lang. Hvorfor skjer ikke det samme med de elektroniske arkivene? Hvorfor er veien fra ord til handling så mye lengre for de elektroniske arkivene? Det er ikke veldig lenge siden digital saksbehandling og arkivering ble innført: Tidslinje for elektronisk arkiv, uttrekk og deponering Bakgrunn Digital saksbehandling og arkivering innføres Problemer i Riksarkivet med mottak av deponeringer Arbeid med ASTA M APPER igangsettes Inntaksstopp midlertidig for digitale arkiver (!) ASTA M APPER ferdigstilles 1
INNLEDNING Hvorfor uttrekk? Arkiv-Norge har i 2017 et stort etterslep på uttrekk av elektroniske arkiver: Noe av forklaringen på etterslepet, ligger i tilgangen til kompetanse og verktøy. Som det går frem av neste kapittel, hadde JD gjort flere forsøk på deponering tidligere. Det sto ikke på viljen. Men når regningen til konsulenten er betalt og uttrekkene kommer i retur fra Arkivverket, blir det stadig vanskeligere å overbevise om at det skal bevilges penger til nye forsøk. I første del av dette dokumentet går vi gjennom hvordan vi løste et svært krevende uttrekksprosjekt ved hjelp av Asta Mapper. Lys i sikte Forståelsen for og kunnskapen om hvordan vi skal løse problemene med etterslepet på uttrekk er heldigvis økende. Arkivverket har tatt flere gode grep i den senere tid. Konseptutredningen MAVOD (Modernisering av ArkivVedlikehold og Overføring til Depot) og nyutviklingen av testverktøyet Arkade, lover godt. I Stiftelsen Asta har vi arbeidet med uttrekk i en årrekke. Vi kjenner de praktiske detaljene og utfordringene i uttrekksprosjekter. Andre del av dette dokumentet presenterer uttrekksverktøyet Asta Mapper nærmere. Avgrensning Det vi i stiftelsen er opptatt av er den veien dataene og dokumentene må ta, fra systemet der de ble skapt, frem til et utrekk (arkivpakke) som kan testes av depot. Vi har liten eller ingen inflytelse på systemvalg, implementering og bruk. Vi arbeider for det meste med data som ble skapt i perioden 1985-2010. Vi forholder oss til, men har liten eller ingen 2
INNLEDNING innflytelse på standarder som defineres, testkriterier for mottak av arkivpakker eller hvordan disse behandles i etterkant av deponering. Vårt anliggende med Asta Mapper er data- og dokumenters integritet fra database til arkivpakke. Tre erkjennelser Til grunn for utviklingen av Asta Mapper og vårt arbeid i uttrekksprosjekter ligger det tre erkjennelser: 1. Alle arkiver må ordnes. Der det er mennesker oppstår det feil og avvik. Et verktøy for utrekk fra elektroniske arkivbaser må ha en strukturert metode for analyse, testing og korrigering av disse avvikene. All data- og dokumentbehandling i uttrekksprosessen må dokumenteres. 2. Vi kommer ikke utenom «transformasjon». Dataene skapes i mange forskjellige databaser. Det er en rekke systemleverandører og teknologier som anvendes i arkivdanningen. Disse mange skal bli til ett bevaringsformat. Dette gjelder også for dokumentene, som må konverteres til arkivformat. Vi kommer ikke utenom at data lagret på forskjellige språk, med forskjellige uttrykk i en rekke forskjellige strukturer, må oversettes til en felles standard. Håndtering av denne transformasjonen er utgangspunktet for utviklingen av Asta Mapper og kjernen i produktet. 3. Vi må ha kontroll på prosessen. Vi må vite og kunne etterprøve hva som skjer med data- og dokumenter hele veien fra systemet der de er skapt til ferdig arkivpakke. Prosessen må være generell, altså kunne anvendes på forskjellige arkiver uavhengig av systemleverandør eller standarder for arkivdanning (noark). Som konsekvens kan vi ikke bruke arkivsystemenes funksjonalitet. Denne er spesiell for hvert system og vi vet ikke konkret hvordan den virker. Av samme grunn må vi begrense bruken av 3- partsverktøy mest mulig. Kontroll på prosessen innebærer også at den er tilgjengelig for arkiveier. All data- og dokumentbehandling må derfor kunne presenteres i grafiske brukergrensesnitt og/eller rapporteres ut i f.eks. excel format. 3
BAKGRUNN FOR PROSJEKTET Bakgrunn for prosjektet JD har en del eldre arkiver fra tidlig 90-tall og frem til 2009, som av både ukjente og ulike årsaker ikke var blitt deponert. Det er snakk om 6 arkiver. Disse er: skapt i ulike arkivsystemer med ulike leverandører skapt i henhold til ulike versjoner av Noark-standarden skapt over en svært lang tidsperiode Metadataene i disse arkivdatabasene bærer preg av å ha gjennomlevd flere systemversjoner og konverteringer. Det er til dels mye feil og mangler i datagrunnlaget både sett i forhold til en Noark 4- og Noark 5-deponering. I tillegg ble prosjektet samkjørt med et pågående prosjekt for å rydde og ordne det såkalte Konteinerarkivet. Det vil si saker, journaler og dokumenter som ble påvirket av terrorangrepet mot regjeringsbygget 2011. Tidligere deponeringsforsøk De eldste av arkivbasene ble forsøkt deponert i juli 2004. Etter mye frem og tilbake ble dette gitt opp eller avbrutt i desember 2005. Det nyeste arkivet; perioden 2004-2009, ble forsøkt deponert i januar 2010. Dette prosjektet ble også gitt opp eller avbrutt i 2012. [Her kunne man kanskje ha kommet i mål. Papirarkivet ble imidlertid skadet under terroranslaget 2011. I 2011/2012 ble det i tillegg innført nytt arkivsystem fra en ny leverandør i Justis- og beredskapsdepartementet. Dette kan ha vært medvirkende årsaker til at deponeringsprosjektet ble gitt opp den gangen]. Raskt oppsummert hadde vi her en rekke forutsetninger for å mislykkes med en deponering. Arkivene som inngår Arkivene som inngikk i deponeringen: Arkiv 1 1994-1998 Arkiv 2 1994-1998 Arkiv 3 1994-1998 Arkiv 4 1995-1999 Fellesjournalen 1991-2003 4
ARKIVENE SOM INNGÅR Sakarkivet 2004-2009 Arkivenes omfang Arkivene som ble deponert var svært ulike i omfang: Fra i underkant av 4.000 til i overkant av 130.000 saker Fra 11.000 til i overkant av 598.000 journalposter Fra 0 til i overkant av 430.000 dokumenter Kort om det enkelte arkiv: Arkiv Beskrivelse Periode Fellesjournalen Arkiv 1-4 Sakarkiv Arkivet er det største arkivet når det gjelder antall journaler, går fra 1991 og frem til 2003 og har de eldste dataene. Dette arkivet er skapt i DocuLive og siden konvertert til historisk base i WebSak. Her fikk Asta Mapper grundig teste kapasitetsevnen mot håndtering av store mengder metadata. (Saker: 130.045, Journaler: 598.482, Dokumenter: 11.792). 4 av arkivene (kun journaler) er skapt i Forum WinSak i perioden 1994-1999, en Noark 3-løsning fra Ergo Pharma. Arkivene ble konvertert inn i DocuLive før de siden ble konvertert over i historisk arkiv i WebSak. I disse tilfellene har vi da data som er skapt i ett system, konvertert til et annet og konvertert til et tredje system før dataene deponeres. Her fikk Asta Mapper teste funksjonaliteten rundt håndtering av manglende metadata i postene med avledninger og registreringer basert på data oppgitt av arkiveier. Arkivet er størst når det gjelder digitale dokumenter. Her fikk Asta Mapper grundig teste kapasitetsevnen mot håndtering av store mengder dokumenter og formatkonverteringer med jobber som kunne ta opp 1991-2003 1994-1999 2004-2009 5
EKSTRAORDINÆRE HENDELSER mot en uke å kjøre ferdig. (Saker: 57.000, Journaler: 280.000, Dok: 430.000). Arkivet ble i tillegg skadet under terroranslaget 2011. Dette ga ulike problemstillinger med håndtering av dokumentene. Ekstraordinære hendelser Det ene av disse arkivene ble skadet i terrorangrepet i Regjeringskvartalet 22. juli 2011. Dette arkivet var i utgangspunktet digitalt, men ikke helt oppdatert. Papirarkivet ble utsatt for både eksplosjonen og det påfølgende sluknings- og rivningsarbeidet i etterkant før det ble sikret og lagt i noen kontainere (blant annet fordi man mistenkte at asbeststøv hadde forurenset materialet). I ettertid er dette arkivet blitt kalt Konteinerarkivet. Hva gjør man når deler av papirarkivet egentlig tilhørte det elektroniske arkivet? Som vi skal komme tilbake til ga dette en del problemstillinger å jobbe med under deponeringsarbeidet. Generelle problemstillinger ved deponering De generelle problemstillinger ved deponering er i høy grad gjeldende også for arkivene til Justis- og beredskapsdepartementet. I mange tilfeller kan vi likevel fylle ut manglende metadata gjennom avledning. Den obligatoriske informasjon som for eksempel registrert av, saksbehandler, og liknende viste seg ofte å mangle. Tidligere brukere er ofte er fjernet fra registeret ved uttrekkstidspunktet. Hvis Noark 5 krever at den aktuelle verdien skal være med i deponeringen, kan vi avlede denne fra et overliggende - og logisk relatert metadata for saken for eksempel navnet på ansvarlig enhet eller til sist navnet på arkiveier. Hvis det ikke finnes noe informasjon å avlede eller registrere, settes det f.eks. Ikke angitt som verdi og på den måten får saken igjennom det er tross alt bedre enn å forkaste hele saken basert på et (mer eller mindre viktig) manglende informasjonselement. I andre tilfeller må vi endre data for at uttrekket skal bli konsistent. Et eksempel kan være i de tilfeller det ikke ligger et hoveddokument på saken noe Arkivverkets kontroller krever. Da kan f. eks. korreksjonsrutinen gå inn og endre det første dokumentet i rekken av dokumenter til å bli et hoveddokument slik at saken kan la seg deponere. Det mest klassiske tilfellet vi har når det gjelder å korrigere data på eldre arkivuttrekk, er å avslutte sakene maskinelt (sette status). Dette burde selvfølgelig vært gjort av brukerne når saken egentlig var ferdigbehandlet, men av ulike årsaker blir sakene ofte liggende uten å bli avsluttet... NB: Feil i data som er registrert av bruker blir ikke korrigert. 6
ELDRE ARKIVER: VEIEN FRA NOARK 3 TIL NOARK 4 TIL NOARK 5 Eldre arkiver: Veien fra Noark 3 til Noark 4 til Noark 5 I utgangspunktet skulle man tro det er vanskelig eller umulig å konvertere data fra et Noark 3 system til en Noark 5 struktur som kan deponeres. Stort sett er den viktigste arkivinformasjonen gjennomgående tilstede i alle Noarkversjonene, slik at en konvertering fra Noark 4 til Noark 5 fint kan la seg gjøre. Også konvertering fra Noark 3 til Noark 5 kan gå selv om en da får et noe tynnere arkiv når det gjelder metadatainnhold. De data som ofte mangler er metadata som ligger rundt selve innholdet i sak-, journal- og dokumentinformasjonen. Det kan være ulike datoer, hvem som har registrert, ulik bruk av kodeverdier som beskriver sakene, osv. For utdypende informasjon, se faktaboks. De mest sentrale problemstillingene Det er underveis i dette - og i andre prosjekter - erfart en del generelle problemstillinger under arbeid med deponeringer. Dette er beskrevet her. Krever god kjennskap til Arkivverkets krav Krever gode arkivarkunnskaper De enkelte arkiv som deponeres kan være opp mot 25/30 år gamle! De kan ha vært underlagt ulike rutiner og regler og skriveregler for arkivføringen. Dette betyr at det vil forekomme feil og avvik i arkivets metadata som må behandles før en deponering. Dette krever gode kunnskaper om både arkivføring, de enkelte Noark-versjonenes oppbygging og bruk av kodeverk og til sist; hvordan Arkivverket forventer at deponeringen skal være. «Nobody knows». En tilhørende utfordring her kan være at personene som skapte arkivbasen ikke lenger er tilgjengelige ved deponeringen. Kunnskap og historikk om arkivet er borte. Krever til tider god kapasitet av kunden 7
DE MEST SENTRALE PROBLEMSTILLINGENE Arkiveier må være forberedt på at en reell deponering vil kreve opprydding og preparering av data og dokumenter. Dette kan oppleves ressurskrevende. Spesielt ved rydding av gamle arkiv, hvor arkiveier kanskje må gå gjennom store feillister før det kan deponeres. Det kan være store dokumentmengder noe på papir og noe digitalt - som må håndteres, og så videre. I en hverdag hvor de daglige rutinene også må ivaretas kan dette være krevende. Kan trekke ut i tid Datauttrekket må være fullstendig og eksakt, ellers vil Arkivverket tilbakevise det. Erfaringsmessig kan det oppleves at en godkjenning fra Arkivverket kan ta svært lang tid, fordi mottakerapparatet i Arkivverket har kapasitetsproblemer. Det kan være krevende å få behandlet innspill vedrørende feil og svakheter i testprogrammene (Arkade) i Arkivverket. Hvilke rutiner finnes og hvordan er det best å håndtere ulike problemstillinger? Det kan være frustrerende å bli henvist til forskrifter, regelverk og eventuelle prosjekter som kan ligge langt frem i tid. Kvaliteten på metadata Ut fra historikk kan vi se at spesifikke hendelser som arkivet kan ha vært igjennom, påvirker datakvaliteten på uttrekkene. Hvis arkivet har vært utsatt for registrering i eldre databasestrukturer (veien fra Noark 3 til Noark 4 til Noark 5 kan være lang om man ikke har et veikart ) versjonsoverganger (endret kodeverk, og så videre.) konverteringer til nytt arkivsystem konverteringer til historisk arkiv eier-endringer med ulike rutiner, skriveregler etc. manglende konverteringer av dokumenter spesielle filformater så oppstår det naturlig nok en del feil og mangler i arkivets metadata. Og selvfølgelig, når det gjelder JD: skadet materiale etter feillagring, ulykker, brann, eksplosjoner (22. juli 2011). 8
DE MEST SENTRALE PROBLEMSTILLINGENE Gjennomgående er det disse konkrete feil eller avvik som går igjen: Manglende periodeangivning Manglende bevaring- / kassasjonsangivelse Manglende avslutning av sakene Feil eller manglende registrering av kode for papir / digitalt arkiv Felles for disse feilene er at de er gjennomgående i alle saker og journaler i arkivet. De er relativt enkle å korrigere hvis vi ser bort fra at det tar mye kjøretid å korrigere såpass store mengder. Skadet arkivmateriale etter 22. juli 2011 Det ene av de deponerte arkivene ble skadet i terrorangrepet den 22. juli 2011. I ettertid er dette arkivet blitt kalt Konteinerarkivet. Vi startet med friskt mot i 2015 med opprydding i dette arkivet. Dette arkivet var i utgangspunktet digitalt, men ikke helt oppdatert. Etterslep er imidlertid ikke uvanlig. Papirarkivet ble utsatt for både eksplosjonen og det påfølgende sluknings- og rivingsarbeidet i etterkant, før det ble sikret og lagt i noen kontainere. Før dette arkivet ble destruert måtte vi finne hvilke dokumenter som ikke var digitale, men lå kun på papirformat. Tanken først var å skanne inn disse dokumentene og legge de opp i et «tilleggsarkiv» til Fellesjournalen. Konteinerarkivet i Nydalen før de siste mugg- og asbestmålingene ble utført av Mycoteam AS. Det ble lagd spørringer mot databasen for å finne hvilke journalposter som ikke hadde tilknyttet digitale dokumenter men skulle hatt det. Det viste seg nå at metadataene (kodene) i arkivdatabasen var av en så dårlig kvalitet at vi ikke kunne bruke normale spørringer som på basis av metadata i arkivet skulle gitt oss direkte referanse til de journalene vi ønsket finne. Det måtte lages spesielle programmer som via ulike «veier» i databasen greide å plukke ut de journalene som hadde papirdokumenter og manglet digitale dokumenter. 9
DE MEST SENTRALE PROBLEMSTILLINGENE Dette tok litt tid da det var relativt store mengder data i arkivdatabasen (ca. 57.000 saker, 280.000 journaler og 430.000 dokumenter). Da journalene var identifisert var det en smal sak å digitalisere de aktuelle dokumentene. Mengden viste seg å være overkommelig. Det ble besluttet å importere de aktuelle dokumentene i den opprinnelige arkivdatabasen, og gå bort fra løsningen med et «tilleggsarkiv» for disse dokumentene. For å ivareta strukturen i arkivdatabasen måtte det maskinelt genereres metadata i Noark-tabellene (DOKBESKRIV, DOKVERSJON), for de digitale dokumentene som ble skannet og importert. JD registrerte de nødvendige metadata, og disse ble importert disse i den eksisterende arkivbasen. Innskanning av papirdokumenter og generering av tilhørende metadata før deponering er nå en tilleggsfunksjonalitet i Asta Mapper. Da det var ryddet opp etter 22. Juli 2011 kunne vi begynne å klargjøre de andre databasene for deponering. Feil- og avviksituasjoner I dette avsnittet ligger de mest forekommende feil- og avvikssituasjonene beskrevet konkret. I tabellen under Oppsummering ligger oversikt over mengden poster i de enkelte arkivdatabaser. Her finner man også de feil- og avvik som er korrigert for å gjøre arkivene deponerbare. Antall feil og avvik er mange, men dette kommer mest av to forhold: Grunnet alder på arkivene mangler de en del gjennomgående metadata. I tillegg mangler da alle oppføringer disse dataene, dermed blir det store feiltall. Arkivdatabaser er ikke feilfrie. Ryddejobben kan synes uoverkommelig. Asta Mapper gjør dette maskinelt. R 10
OPPSUMMERING Men denne type feil er ikke de vanskeligste å korrigere. Det er ofte vanskeligere å korrigere de få, men spesielle feil og avvik. Det andre er at disse arkivene har gått gjennom flere konverteringer. 4 av arkivene - som kun er journaler - er skapt i Forum WinSak i perioden 1994-1999. Dette er en Noark 3- løsning fra Ergo Pharma. Disse arkivene ble konvertert inn i DocuLive før de siden ble konvertert over i historisk arkiv i WebSak. Oppsummering 1. Dataene i DocuLive databasen bærer preg av å ha gjennomlevd flere systemversjoner og konverteringer. Det er utført en rekke korreksjoner mot uttrekket for å få det i den stand som kreves for deponering og avlevering til Noark 5. 2. Korreksjonene går i hovedtrekk mot 'omkringliggende' data til arkivenheten, så som statuser og prosessrelaterte datoer, f.eks. ved maskinell avskrivning av sak, maskinell ferdigstilling (status=a) av journalposten, og så videre. 3. I den grad metadata som gjelder selve saken eller journalposten er korrigert, er dette behandlet / godkjent spesielt av arkiveier. 4. Ved eventuelle korreksjoner mot poster på sak-, journal- og dokumentnivået blir det lagt en merknad - korreksjonsmerknad - inn på den posten det gjøres korreksjon mot. Denne inneholder data før og etter. Korreksjonsmerknad følger med til deponering. 5. I de tilfeller hvor uttrekket mangler data er dette verifisert i databasen og hvis Noark 5 krever denne informasjonen er verdien satt til 'Ikke definert'. 6. Det er ikke funnet om det er gjort formell kassasjonsvurdering på materialet. Etter kontakt med Arkivverket besluttet arkiveier å sette materialet til B Bevares 7. På grunn av noe restriktivt bruk av kodeverk ved deponering, må 'lokale' kodeverdier brukt i Noark 4-løsningen, konverteres til godkjente verdier definert i Noark 5. Ellers vil ikke XML-filene som skal deponeres validere. Der settes det opp en konverteringstabell fra de lokale kodeverdiene som er brukt i systemet over til verdier som er lovlige standardkoder i N4/N5. 11
OPPSUMMERING Oversikt over antall poster og feil og avvik: ARKIVDATABASE ANTALL ARKIV-SAK-JOURNAL-DOK ANTALL FEIL / AVVIK ARKIV-SAK-JOURNAL- DOK VALIDERE XML Arkiv 1. 1994-1998 1 3956 83102 0 6 14837 172180 0 Ok Ok Arkiv 2. 1994-1998 1-11294 28333 0 3 11369 95160 0 Ok Ok Arkiv 3. 1994-1998 1 4299 11243 0 7 4505 37681 0 Ok Ok Arkiv 4. 1995-1999 1 9121 52478 0 3 9199 158712 0 Ok Ok Fellesjournalen 1991-2003 1 130045 598484-11792 27 139457 1651711 11793 Sakarkiv 2004-2009 1 56659 281300 431783 1080 66079 524164 403225 Ok Ok ARKADE Ok Ok Merk: Disse feil / avvik er korrigert og databasene er gått feilfritt igjennom xmlvalideringen for Noark 5 og gjennom testprogrammet ARKADE. For detaljert oversikt over feil og avvik i de forskjellige databasene, se vedlegg. 12
ASTA MAPPER Asta Mapper Utfordringene i prosjektet som er beskrevet ovenfor er løst ved hjelp av Asta Mapper. I denne delen gjør vi en presentasjon av Asta Mapper, og hvordan man arbeider seg gjennom et uttrekksprosjekt ved hjelp av funksjonene i programmet. Hva er Asta Mapper? Asta Mapper er et system for maskinell deponering av elektroniske arkiver. Det fungerer like godt for fagsystemer som for Noark- baserte sak-/arkivsystemer. Det etablerer raskt oversikt over arkivets tilstand. Feil og avvik rettes og dokumenteres i henhold til Arkivverkets deponeringskrav. Asta Mapper kan beskrives som en uttrekksfabrikk. Oppgavene blir i størst mulig grad løst maskinelt og standardisert. Like tilfeller behandles likt, i henhold til et sett med regler. Alle uttrekkene får derfor også samme struktur, noe som er fordelaktig for fremfinning og innsynsløsninger i fremtiden. Asta Mapper er tilgjengelig. Som arkivskaper er man ansvarlig for hva som arkiveres og hva som eventuelt skal kasseres. Manglende forståelse for eller innsikt i hva som gjøres med dine data i et uttrekksprosjekt er risikabelt, og prinsipielt problematisk. Asta Mapper presenterer hvert steg i prosessen i lettfattelige skjermbilder. Asta Mapper er et verktøy for arkivaren. 13
ASTA MAPPER Prosessen Asta Mapper har en definert prosess, som er gyldig for alle uttrekksprosjekter. I avsnittet ovenfor beskriver vi Asta Mapper som en fabrikk. Alle prosjekter går gjennom de samme stegene, og vi kan definere en lettfattelig metodikk. 1) «Uttrekk» er egentlig bare det første steget i prosessen. Begrepet brukes gjerne noe misvisende om «arkivversjonen» av dataene som deponeres. For å trekke arkivverdige data ut av en database behøver vi en definisjon. For sakarkivsystemer har vi en slik definisjon gjennom Noark standardene. Den gjeldende standarden forteller oss at disse dataene skal i hvert fall med. De er arkivverdige, per definisjon. I praksis betyr dette at en tekniker må lage et sett med koblinger mellom databasen og standarden. Det er dette vi kaller en «mapping». Vi får en mapping per system, med noen varianter for versjoner. Det er verdt å merke seg at vi trekker ut dataene direkte fra databasens tabeller. Prosessen anvender ikke på noe punkt arkivsystemets funksjoner eller forretningslogikk. Likeledes går de påfølgende analyser og korreksjoner mot uttrekksdataene i Asta Mapper og ikke mot arkivsystemet. 14
ASTA MAPPER 2) Asta Mapper inneholder mappinger for de vanligste sak / arkivsystemer og det er en overkommelig oppgave å mappe nye systemer. Det er først når vi har trukket ut dataene at arbeidet begynner. Det første Asta Mapper produserer er en analyse av dataene opp mot kravene til deponering. Med andre ord, «hva er forskjellen på dette uttrekket og et som vil bli godkjent av testverktøyet Arkade?». 3) Analysen setter oss i stand til å svare på et annet viktig spørsmål, hvor mye vil dette koste? Basert på analyseresultatene kan vi beregne hvor mange arbeidstimer som går med til korreksjoner og deponeringsarbeidet. En gjennomgang av analyseresultatene avslutter første fase av uttrekksprosjektet. Som arkivskaper vet du nå hva tilstanden er på ditt arkiv. De fleste avvikene har en åpenbar årsak og det er lett å konkludere hvordan de skal rettes. Som regel er det et lite utvalg av feiltyper som må undersøkes nærmere i fellesskap for å finne frem til årsaken. 4) Asta Mapper inneholder over 250 forskjellige retteprogrammer, og vi legger stadig til nye. Hvert retteprogram korrigerer en feiltype maskinelt. Andre fase av uttrekksprosjektet starter med en korreksjonsrapport. Rapporten dokumenterer alle avvik, hvordan de skal håndteres og hvorfor. Altså, hvilke korreksjonsprogrammer som skal anvendes, hvilke verdier som skal korrigeres og hvordan dette skal dokumenteres i uttrekket. Om det for eksempel er 5 eller 575 saker uten journalposter betyr ikke så mye, så lenge vi kan rette og dokumentere alle tilfellene likt. I skjermbildet under kan vi velge mellom å korrigere alle avvik likt (sette status til U), eller behandle hvert avvik for seg ved å trykke på «velg 15
ASTA MAPPER avvik». Maskinell behandling oppdaterer alle de 575 sakene i en operasjon. Vi har én feiltype mindre, og er ett skritt nærmere deponering. 5) Når alle feiltyper er korrigert og/eller dokumentert er vi klare for å forberede deponeringspakken. I det store og det hele handler dette om å gjøre alt formelt riktig. Det stilles strenge krav til format og dokumentasjon. Dette kan være vanskelig å sette seg inn i. Vi har erfaringen og håndterer også dette. 6) Asta Mapper kan «oppgradere» Noark 3 og 4 uttrekk til Noark 5. Dette har flere fordeler. Det er blant annet lettere å teste et Noark 5 uttrekk. Arkade er et godt testverktøy som vi har integrert i de avsluttende testene vi kjører i Asta Mapper. Når uttrekket «validerer», betyr det at det går gjennom Arkade. At vi gjennomfører dette siste steget gir trygghet for at det blir godkjent og senker 16
ASTA MAPPER arbeidsbelastningen hos depot. 17
GENERELT OM UTTREKKSPROSJEKTER Generelt om uttrekksprosjekter Kunden, konsulenten og ansvaret Det er arkiveier som er ansvarlig for alt som gjøres med arkivet frem til det er testet, godkjent og deponert. Ansvaret for innholdet beholder man frem til en eventuell avlevering. For kommunene fortsetter ansvaret til evig tid. Dette er kjent stoff for de fleste som har ansvar for arkiver. Når arkivene blir elektroniske håndteres dette ansvaret svært annerledes enn om det var snakk om papirarkiver. Ofte foregår det slik at man inngår uttrekksavtale med en konsulent eller leverandør og leverer fra seg en kopi av databasen. Deretter er kunden (arkiveier) lite eller ikke involvert frem til en godkjenning/avvisning mottas fra testavdelingen i depot. Slik bør det naturligvis ikke være. Som konsulent opererer vi på vegne av arkiveier. Oppgaven er ikke «bare» å få uttrekket godkjent. Vi må føre en dialog underveis og ta arkiveier med på de avgjørelsene som må tas. Arkiveier må vite og være innforstått med de endringene som gjøres i dataene i uttrekksprosessen. Det bør stilles tydeligere krav til leverandørs uttrekksprosess. Riktig pris I tilbudsinnbydelser og anbudsdokumenter oppgis det gjerne antall saker, dokumenter og størrelsen på databasen. Dette er ikke uvesentlige opplysninger, men det er ikke tilstrekkelig til å estimere et prosjekt. Det kan sammenlignes med å be om tilbud på ordning av et papirarkiv ut fra dimensjonene på rommet der arkivene står oppbevart. Før vi gir tilbud på prosjekter for ordning av papirarkiver får vi gjerne befare arkivene og vurdere tilstanden. For større og mer komplekse oppdrag er det ikke uvanlig med en kartlegging i form av et forprosjekt. For at at det skal være mulig å gi fornuftige tilbud på uttrekksprosjekter bør det gjøres tilsvarende. Dersom vi får tilgang på databasen(e) vil vi kunne utlede hvor mange avvik og hvor mye arbeid det er med hvert av arkivene i form av en analyserapport. Noark og fagsystemer Når det snakkes eller skrives om uttrekksprosjekter, dreier diskusjonen seg raskt til å handle om Noark. Det kan være fordi det er mest håndgripelig. I uttrekkssammenheng er Noark en definisjon på hvilke data som er arkivverdige, hvordan de skal være formatert og strukturert. Man har en definisjon for hva uttrekket må inneholde og hvordan det skal se ut. Man har et utgangspunkt. Vi vet «hva» vi skal hente ut av databasen. Det kan også 18
GENERELT OM UTTREKKSPROSJEKTER være fordi dette er en felles problemstilling i statlig og kommunal sektor. Alle har et sakarkivsystem. De fleste uttrekksprosjekter som er gjennomført så langt dreier seg også om sak-arkivsystemer. I kommunal sektor er det langt flere forekomster av fagsystemer. Hva med disse? Den gjengse oppfatningen er at uttrekk fra Noark systemer er krevende nok. Alle fagsystemene får vi ta siden. Skrekk og gru. Med Asta Mapper behøver det ikke være slik. Systemet er klargjort for også å håndtere fagsystemer. Den store forskjellen er at vi ikke har en ferdig definisjon, slik Noark er for sak-arkivsystemer. Vi må altså ta et steg tilbake og gjøre en bevaringsvurdering av dataene i systemet. Dette er en arkivfaglig vurdering som egentlig ikke skiller seg vesentlig fra tilsvarende vurderinger for papirarkiver. Av de dataene som er registrert, hvilke bør bevares og hvordan bør de henge sammen. Med bevaringsvurderingen til grunn setter vi opp en mapping og kjører prosjektet etter samme prosess som beskrevet ovenfor. I mangel av en standard (Noark) for hva som er bevaringsverdig, må denne vurderingen gjøres i prosjektet. På den annen side er Noark en streng standard som tillater få unntak. For mange fagsystemer vil det være en fordel at uttrekksprosjektet kan ta utgangspunkt i hvordan systemet faktisk ble brukt, uten å være bundet av en generell standard. Regnskapsfører og revisor Arkivseksjonen er ansvarlig for at arkivskapningen går riktig for seg. For de elektroniske arkivene oppleves dette som vanskelig for mange. Som arkivar mangler man verktøyene for å trenge inn i dataene, analysere og isolere avvik, som så kan følges opp. Innenfor økonomifaget er føring av regnskap og tilsyn naturlig delt i separate funksjoner. Asta Mapper kan anvendes til å «revidere» arkivskapningen periodisk. En lokal installasjon av Asta Mapper kan foreta periodiske analyser og rapportere ut avvik som kan følges opp av arkivar. 19
GENERELT OM UTTREKKSPROSJEKTER Om Stiftelsen Asta Stiftelsen Asta ble opprettet 18. september 1995 av foreningen Landslaget for lokal- og privatarkiv (endret i 2016 navn til Arkivforbundet) i samarbeid med Riksarkivaren. Stiftelsens overordnede formål er å fremme standardisering, kvalitetssikring og tilgjengeliggjøring av informasjon om arkivbestanden i offentlige og private virksomheter. Dette skjer ved hjelp av informasjonssystemet Asta 5, Arkivportalen, Asta Mapper og ved å levere konsulenttjenester innenfor praktisk arkivarbeid. Gjennom 20 år har vi utviklet oss til Norges fremste leverandør innen arkivordning, uttrekk av elektroniske arkiver og andre arkivfaglige konsulenttjenester. Stiftelsen har over 30 høyt kvalifiserte ansatte med mange års erfaring med arkivarbeid. 20
VEDLEGG Vedlegg Detaljert oversikt over feil og avvik på arkivdatabasene. Feil- og avvik på Arkiv 1. Arkiv 1 Arkiv Sak Journal Dokument Antall poster 1 3.956 83.102 0 Antall feil/avvik korrigert 6 14.837 172.180 0 Arkivdata Korrigert for arkivperioden Saksposter Korrigert ca. 13.900 poster for manglende kassasjonsregistrering. Resten: 881 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 6%. (Akseptabelt). Eks. feil/avvik: mangler arkivdel, uten journalposter, mangler klassering,... Journalposter Korrigert ca. 83.000 poster for feil kode for papir/digitalt dokumenter. (Sannsynligvis skjedd under konvertering (default)). Korrigerte ca. 5.500 poster for manglende hjemmel (sannsynligvis ikke registrert initielt). Avslutta ca. 83.000 poster. Resten: ca. 400 korreksjoner - er spredt over en rekke ulike føringsfeil. Hensyntatt de gjennomgående korreksjonene har vi her en feil-/avviksrate på 0,5%. (Særledes bra). Eks. feil/avvik: uten mottaker,... Feil- og avvik på Arkiv 2 Arkiv 2 Arkiv Sak Journal Dokument Antall poster 1 11.294 28.333 0 Antall feil/avvik korrigert 3 11.369 95.160 0 21
VEDLEGG Arkivdata Korrigert for arkivperioden Saksposter Korrigert ca. 11.000 poster for manglende kassasjonsregistrering. Resten: 75 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 0,7%. (Dette er særledes bra føring). Eks. feil/avvik: mangler arkivdel, uten journalposter, utlånte poster,... Journalposter Korrigert ca. 28.000 poster for feil kode for papir/digitalt dokumenter. (Sannsynligvis skjedd under konvertering (default)) Korrigerte ca. 28.000 poster for manglende hjemmel. Avslutta ca. 28.000 poster. Resten: 10.177 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør en feil-/avviksrate på 36%. Av disse 36% er det korrigert ca. 9.234 restanser på inngående journalposter. Trekker vi fra disse får vi en feil-/avviksrate på 3,3%. (Akseptabelt når vi ser bort fra restansene). Eks. feil/avvik: inkonsistens i datoer, manglende avskrivning, mangler avsender, mangler mottaker,... Feil- og avvik på Arkiv 3 Arkiv 3 Arkiv Sak Journal Dokument Antall poster 1 4.299 11.243 0 Antall feil/avvik korrigert 7 4.505 37.681 0 Arkivdata Korrigert for arkivperioden 22
VEDLEGG Saksposter Korrigert ca. 4.300 poster for manglende kassasjonsregistrering. Resten: 206 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 4,8 %. (Bra føring). Eks. feil/avvik: mangler arkivdel, uten journalposter, utlånte poster,... Journalposter Korrigert ca. 11.000 poster for feil kode for papir/digital dokumenter. (Sannsynligvis skjedd under konvertering (default)) Korrigerte ca. 11.000 poster for manglende hjemmel. Avslutta ca. 11.000 poster. Resten: 4036 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør da en feil-/avviksrate på 35,9%. Langt de fleste av disse korreksjonene gjelder manglende avskrivning av inngående dokumenter (3251 stk.). Eks. feil/avvik: manglende avskrivning, inkonsistens i datoer, mangler avsender, mangler mottaker,... Feil- og avvik på Arkiv 4 Denne journalen utmerker seg med god føring. Arkiv 4 1995-1999 Arkiv Sak Journal Dokument Antall poster 1 9.121 52.478 0 Antall feil/avvik korrigert 3 9.199 158.712 0 Arkivdata Korrigert for arkivperioden Saksposter Korrigert ca. 9.000 poster for manglende kassasjonsregistrering. Resten: 78 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 0,8%. (Det er særledes bra føring). Eks. feil/avvik: mangler arkivdel, uten journalposter,... 23
VEDLEGG Journalposter Korrigert ca. 52.000 poster for feil kode for papir/digital dokumenter. (Sannsynligvis skjedd under konvertering (default)) Korrigerte ca. 52.000 poster for manglende hjemmel. Avslutta ca. 52.000 poster. Resten: 1.485 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør en feil-/avviksrate på 2,8%. (Det er svært bra føring). Eks. feil/avvik: manglende avskrivning, restanser, inkonsistens i datoer, mangler avsender, mangler mottaker,... Feil- og avvik på Fellesjournalen 1991-2003 Dette er det største arkivet når det gjelder antall registrerte poster. Fellesjournalen 1991- Arkiv Sak Journal Dokument 2003 Antall poster 1 130.045 598.484 11.792 Antall feil/avvik korrigert 27 139.457 1.651.711 11.793 Arkivdata Korrigert for arkivperioden. Saksposter Korrigert ca. 129.000 poster for manglende kassasjonsregistrering. Resten: 9.575 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 7,3%. (Akseptabelt, spesielt nå vi vet dette er Noark 3 basert arkiv). Eks. feil/avvik: mangler arkivdeler, uavslutta poster, mangler journalposter, utgårposter m/journal, utlånte poster,... Journalposter Korrigert ca. 584.000 poster for feil kode for papir/digital dokumenter. Korrigerte ca. 424.000 poster for manglende hjemmel. Avslutta ca. 597.000 poster. Resten: 45.528 korreksjoner - er spredt over en rekke ulike føringsfeil. 24
VEDLEGG Det utgjør en feil-/avviksrate på 7,6%. (Akseptabelt, spesielt nå vi vet dette er Noark 3 basert arkiv). Stor andel av dette er N-notat uten mottaker. Eks. feil/avvik: ugyldig status, inkonsistens i datoer, mottakere av N-notat ikke avskrevet, utenfor perioden, mangler avsender, mangler mottaker, manglende avskrivning,... Dokumenter Korrigert ca. 11.700 dokumenter for feil format (konvertert til riktig pdf/a-format). Resten: 13 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør en feil-/avviksrate på 0,1%. (Særledes bra føring). Eks. feil/avvik: manglende ferdigstilling,... Feil- og avvik på Sakarkivet 2004-2009 Dette er det største arkivet når det gjelder antall dokumenter. Sakarkivet 2004-2009 Arkiv Sak Journal Dokument Antall poster 1 56.659 281.300 431.783 Antall feil/avvik korrigert 1080 66.079 524.164 403.225 Arkivdata Korrigert for arkivperioden. Korrigert ca. 1.000 poster for inkonsistens i ordningsprinsipp / ordningsverdi. Resten: 6 korreksjoner er spredt over en rekke ulike føringsfeil. Saksposter Korrigert ca. 54.000 poster for manglende kassasjonsregistrering. Korrigerte ca. 7.000 jevnfør sak poster (ivareta referansen). Resten: 4.510 korreksjoner er spredt over en rekke ulike føringsfeil. Dette utgjør en feil-/avviksrate på 7,9%. (Akseptabelt) Eks. feil/avvik: ulike datofeil, utgår saker, inkonsistens i ant journalposter,... Journalposter Korrigerte ca. 154.500 poster for manglende hjemmel. Avslutta ca. 269.000 poster. 25
VEDLEGG Resten: ca. 99.000 gir en feil-/avviksrate på 35%. Av dette var det mangelfull føring av N- notater som utgjorde størsteparten av avvikene. Korrigerte ca. 54.000 N-notat uten reg. mottaker. Korrigerte ca. 23.000 N-notat uten avskrivning. Resten: 23.000 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør en feil-/avviksrate på 8,1% (Akseptabelt). Eks. feil/avvik: Journaldato, forfallsdato, inkonsistens i datoer, utenfor arkivperiode, uten H- dok., ugyldige koder,... Dokumenter Korrigert ca. 309.000 dokumenter for feil format (konvertert til riktig pdf/a-format. Korrigert ca. 85.000 dokumenter for digital-/papir-kode. Resten: 8040 korreksjoner - er spredt over en rekke ulike føringsfeil. Det utgjør en feil-/avviksrate på 1,7% (Særdeles bra). Eks. feil/avvik: ikke ferdigstilt, ugyldige referanser til fil, mangler arkivformat,... 26