White paper e-arkiv Martin Bould Sjefskonsulent ECM Delivery Ragnar Sturtzel Sjefskonsulent ECM Product Management Ole Desalu Vold Løsningsansvarlig ephorte ECM Product Management
Innhold 1. Bakgrunn... 3 2. Betraktninger... 4 3. Anbefalinger... 6 4. Tjenester... 7 4.1. Avlevering fra Noark system... 7 4.1.1. Arkivfaglige... 7 4.1.2. Datatekniske tjenester... 7 4.2. Avlevering fra fagsystem... 7 4.2.1. Bevaringsvurdering... 7 4.2.2. Produksjonskrav... 7 4.3. Integrasjon mellom fagsystem og Noark arkiv.. 7
White paper earkiv 3 1. Bakgrunn Beskrivelse av earkiv er hentet fra rapport datert 19. januar 2015 utarbeidet av Sopra-Steria på oppdrag fra og i samarbeid med Riksarkivet. Innføring av earkiv som en felleskomponent i offentlig forvaltning etablerer en moderne infrastruktur for arkivering og dokumentasjon. earkiv åpner for automatisert overføring av arkivmateriale fra dagligarkiv hos arkiveier til en arkivkjerne (earkiv) basert på Noark-standarden. En løsning som enten er forvaltet av egen kommune eller virksomhet, eller forvaltet av en selvstendig tjenesteleverandør (for eksempel en interkommunal arkivdepotinstitusjon, eller en annen som kan levere tjenester til statlige virksomheter). I en slik løsning vil man løpende kunne sikre forsvarlig kvalitet, bevaring og tilgjengelighet på arkiv materialet, frem til endelig avlevering og langtidslagring i digitale sikringsmagasin. Det er viktig å merke seg at et mellomarkiv eller en slik tjeneste vil fungere som et langtidsbevaringsarkiv, men ikke et permanent langtidsbevaringsarkiv. For eksempel vil materiale som kun skal tas vare på en viss tid etter at det har gått ut av bruk være der før materialet enten slettes eller avleveres til permanent arkivdepot fordi det foreligger bevaringsbestemmelser i henhold til arkivloven eller fordi kunden ønsker å ta vare på materialet permanent 1 Sentralt i løsningen står et digitalt mellomarkiv (earkiv) som en felles, obligatorisk offentlig tjeneste. Tjenesten åpner for automatisert overføring av arkivmateriale fra dagligarkiv hos arkiveier til en arkivkjerne, earkiv, basert på Noarkstandarden. I en slik løsning vil man løpende kunne sikre kvalitet, bevaring og deling av arkiv materialet, frem til endelig avlevering og langtidslagring. I henhold til nevnte rapport er det forventet at innføring av earkiv vil åpne for store innsparinger i forhold til dagens metoder gjennom betydelig effektivisering og automatisering. I tillegg vil man kunne dele informasjon mer effektivt, samt tilby publikum bedre digitale tjenester. En ny arkitektur basert på earkiv vil på flere områder kunne samkjøres med utvikling av ny versjon av OEP, en viktig tjeneste for å sikre innbyggerne innsyn i forvaltningen. Hovedgrepet med earkiv er: å ta ut den samfunnsøkonomiske gevinsten ved en mer effektiv, datadrevet arkivforvaltning å forebygge store, kostnadskrevende etterslep, med dårlig kvalitet og fare for tap av viktige data som resultat, og å etablere en fleksibel arkitektur som åpner for utvikling av nye og bedre offentlige tjenester. Tre tiltak (arkivarkitektur) er anbefalt: 1. Mellomarkiv og Langtidsarkiv Arkivpliktige data overføres løpende fra arkivskaper til et earkiv for umiddelbar kvalitetssikring med tilbakemelding og fysisk sikring av dataene. Man mellomlagrer dataene sentralt før den bevaringsverdige delmengden overføres til langtidslagring senere (Utprøving i fase 2). 2. Dagligarkiv earkiv er en felleskomponent som eksponerer funksjonalitet slik at det kan brukes direkte som alternativ til dagligarkiv hos arkivskaper med enklere behov (Utprøving i fase 3). Dette avhenger av at man har utført punkt 1. Man tilbyr da et standardisert grensesnitt (API) mot earkiv som en tjeneste. earkiv tilbyr et API hvor man kan gjøre basis arkivfunksjoner for opprettelse, henting, endring og logisk sletting av arkivpliktig informasjon. 3. Man legger til rette for at Noark-kjernen i earkiv kan publiseres som åpen kildekode. 1 Det er viktig å presisere at en earkivtjeneste vil levere langtidsbevaring i henhold til OAIS definisjonen «The information being maintained has been deemed to need Long Term Preservation, even if the OAIS itself is not permanent. Long Term is long enough to be concerned with the impacts of changing technologies, including support for new media and data formats, or with a changing user community. Long Term may extend indefinitely. (side 1-1 REFERENCE MODEL FOR AN OPEN ARCHIVAL INFORMATION SYSTEM (OAIS) juni 2012 http://public.ccsds.org/publications/archive/650x0m2.pdf lest 8.4.2015
4 White paper earkiv 2. Betraktninger Rapporten som beskriver earkiv er for bred og for lite detaljert. Avlevering av elektronisk arkivmateriale til offentlig arkivdepot omtales som en tidstyv, og det beskrives store etterslep i offentlig forvalting relatert til dette. Det foreligger flere grunner til det: 1. Vi leverandører har ikke vært gode nok på å fokusere på langtidsbevarings- og uttrekksfunksjonalitet, og derigjennom ikke laget tilstrekkelig gode uttrekksmoduler som kan kompensere for dårlig datakvalitet (ref. punkt 3 og 4. 2. Våre kunder har ikke (før i den siste tiden) vært opptatt av den type funksjonalitet 3. Arkivskaperene har ikke alltid vært like gode og dyktige på å sikre at arkivene er tilstrekkelig klare for avlevering (ikke gjort nødvendig rydding i sine arkivbaser i tråd med kravene). Det har også vært svakheter i rutinene knyttet til ferdigstilling av saker og dokumenter i arkivene. 2 4. En rekke migrasjoner fra forgjengersystemer til etterkommersystemer har gjort at det foreligger mange utfordringer med datakvaliteten i de systemene som skal produsere uttrekk for avlevering. Nyere versjoner av standarden forutsetter nye metadata, samt at metadata som tidligere kunne slettes ikke lenger kan det. Dette gjelder spesielt administrative registre. 5. Tolkningsforskjeller av Noark mellom leverandør av arkivsystem, arkivskaper, leverandør av testprogrammer for depotet og arkivdepot, medfører systematiske avvik. earkiv er tenkt å ha en automatisk overføing av arkivmateriale fra dagligarkiv til earkiv mellomarkiv, og det legges opp til betydelig effektivisering og automatisering. Problemstillingen beskrevet over vil fremdeles være delvis gjeldende ved overføring til earkiv mellomarkiv fordi overføring til earkiv forutsetter at ferdigstilte arkivdokumenter / saker blir overført. Mye etterslep skyldes at saksbehandler ikke ferdigstiller. Når dokumentasjon skal overføres, er en problemstilling som ikke uten videre er enkel. Et dokument eller en journalpost kan tilføres nye opplysninger eller bli brukt i andre sammenhenger helt frem til saken eller oppgaven er ferdig. Det betyr at man må finne regler for overføring av arkivobjekter som tar hensyn til hvordan saksdanningen i produksjonssystemene foregår. Tidstyvene blir da flyttet fra avslutningen av arkivperioden til fortløpende arbeid underveis med den daglige arkivdanningen. Fordelen med løpende overføring til et mellomarkiv er at kvalitetssikringen må gjøres underveis og ikke som en stor jobb ved avlevering av en hel Noark base som i dagens avlevering. Denne overføringen fremtvinger også omforente tolkninger av Noark-krav. Vi kan forvente at bedre datakvalitet i utgangspunktet vil nok gi besparelser. Får saksbehandler fortløpende tilbakemeldinger på mangler i datakvalitet kan vi forutsette at kvaliteten etter hvert blir bedre. Det vil heller ikke være nødvendig å prøve å gjenskape og rekonstruere data mange år etter at de er skapt som er tilfelle i dagens avleveringsog uttrekksmetode. Tiltak 2 i rapporten beskriver løsning for å benytte earkiv som dagligarkiv. Dette betyr at earkiv skal erstatte etablerte Noark arkiv i dagens standard Sak- og arkivløsninger. Dagligarkivet bør være komplett og uavhengig av earkiv. Fagsystemer og saksbehandlerløsninger bør kobles på dagligarkivet via standard etablerte grensesnitt og ikke på earkiv. 3 earkiv vil sannsynligvis ikke spare forvaltningen for store utgifter siden utgiftene til avleveringene i hovedsak skyldes dårlig datakvalitet og kravene til at kvaliteten må være perfekt før Noark avleveringen kan godkjennes. En annen faktor som ikke er nevnt i rapporten er at alle offentlige virksomheter har en Noark arkivkjerne tilgjengelig, og har allerede investert i denne. I tillegg er det er også investert store beløp i å etablere integrasjoner mellom interne fagsystem og Noark arkivkjernen. Disse kostnadene må da tas på nytt Rapporten åpner også for utvikling av nye digital tjenester som innsynstjenester for publikum gjennom kobling mot OEP. Dette er noe som må utredes nærmere, og det er en rekke problemstillinger som må adresseres, bl.a. tilgangskontroll, offentlighetsvurdering og begjæring av innsyn i dokumenter. 2 Det er mulig disse rutinene for avslutning av arkiver er utdaterte og reflekterer den perioden da arkivsystemene var et verktøy for arkivarene og ikke et saksbehandlingssystem. Faktum er at man i dag må påføre saker og dokumenter statusverdier og andre egenskaper som ikke reflekterer hva som faktisk skjedde i saksbehandlingen. Det er derfor mulig man må vurdere å skille tydeligere mellom egenskaper ved saker og dokumenter som et resultat av saksbehandlingen og det man må gjøre av klargjøring for avlevering. 3 Det foreligger noen forbehold: Der hvor fagsystemet har en helt selvstendig rolle og arkivmaterialet ikke må være tilgjengelig for brukerne av dagligarkivløsningene kan en direkte overføring fra fagsystemet til earkiv være en aktuell løsning. Dette forutsetter at fagsystemet har innbygget grunnleggende funksjonalitet for oppbevaring av dokumentasjon så lenge oppgavene systemet brukes til er aktive og levende.
White paper earkiv 5
6 White paper earkiv 3. Anbefalinger I informasjonsmøter er det presisert at det i først omgang skal vektlegges earkiv som mellomarkiv med fortløpende overføring av data fra Noark dagligarkiv, og ikke som langtidsarkiv og dagligarkiv. earkiv bør avgrenses til å være et mellomarkiv som håndterer løpende avlevering fra dagligarkiv etter hvert som data blir ferdig. De positive konsekvensene av dette vil være at Løsningen bidrar til å fange opp systematiske feil, feilregistreringer og mangler fordi mellomarkivet stiller krav om at arkivobjektene som overføres må være ferdigstilte og at tolkningen av Noark må være lik hos arkivskaper og arkivdepot Løsningen vil være en sikkerhetskopi av dagligarkivet Man slipper avlevering fra en komplett Noark base Vi anbefaler at kommunene stiller krav om at deres arkivdepottjenesteleverandør for eksempel IKA (Interkommunalt arkivdepottjeneste) også kan levere mellomarkivtjeneste eller ha avtale med noen som kan levere de tekniske tjenestene. Dersom en løsning med fortløpende overføring til et sentralt mellomarkiv skal etableres må det utvikles et API for dette. Dette må være et API som er begrenset til kun denne tjenesten for minimere kompleksiteten og omfanget av en slik integrasjon. earkiv beskriver kun avlevering fra Noark system, og ikke avlevering fra fagsystem. Det er en kjensgjerning at det er et stort etterslep på forskriftsmessig arkivering og bevaring fra fagsystem. Det er viktig at denne delen av bevaringen ivaretas. Vi vil anbefale at fagsystem integreres med Noark Sak- arkivløsninger som er praksis i dag, og ikke direkte til earkiv. Fagsystemene har ikke alltid tilstrekkelig funksjonalitet for å ivareta forsvarlig arkivering, og har ikke blitt testet og godkjent for den typen funksjonalitet. Det er mulig å integrere fagsystem med Noark arkivkjernen, og det er etablert integrasjoner for en rekke fagsystem basert på standard tjenestegrensesnitt, 4 eller å gjøre et separat avleveringsuttrekk direkte fra fagsystemet. Hva som er mest hensiktsmessig vil være avhengig av fagsystemet, kompleksiteten i dette og hvilke data som skal avleveres. For en del kommunale fagsystem er det allerede etablert gode integrasjoner mot Noark arkivkjerne og dermed også for avlevering. Her er det mulig å etablere en til mange integrasjoner basert på standard tjenestegrensesnitt. For andre fagspesifikke løsninger må det etableres en til en integrasjoner, og her må det vurderes i hvert tilfelle om det er mest hensiktsmessig å gjøre direkte avlevering uten å først integrere fagsystemet med Noark arkivkjernen. 4 I dagens hyllevare Noark-5 løsninger foreligger det en del begrensninger som skyldes at de har (og det var delvis det Riksarkivaren i sin tid ønsket) videreført funksjonaliteten, men dessverre også noen av begrensningene fra Noark-4 løsninger (som det ikke var nødvendig å videreføre). Dette innebærer at hyllevare Noark-5 løsninger har begrensninger som gjør at de ikke alltid har ønsket fleksibilitet knyttet til arkivering av dokumenter og metadata i nøyaktig samme form som fagsystemenes arkiv- og metadatastruktur.
White paper earkiv 7 4. Tjenester Det er etablert en rekke tjenester for å bistå offentlige virksomheter i avlevering fra Noark system og fagsystem, og med å etablere integrasjoner mellom fagsystem og Noark arkiv. Basert på dette kan vi anbefale ulike tjenester for å ivareta integrasjon mellom fagsystem og Noark arkiv, og for avlevering for langtidsbevaring. 4.1. Avlevering fra Noark system Avlevering fra Noark system kan bestå av både arkivfaglige tjenester og datatekniske tjenester. 4.1.1. Arkivfaglige Etablering av prosesser, rutiner og sjekkpunkt for å sikre vellykket avlevering når denne skal gjennomføres. Ved avlevering, gjennomgang av arkivmateriale som skal avleveres med sjekk av avslutning av saker, avskriving av restanser og journalføring av dokumenter. Sjekk av gyldig arkivformat og klassering av saker. Gjennomgang av hva som skal avleveres og hvor det skal avleveres fra, database, arkivdel, tekstdokumenter, logger m.m. Løpende dialog med mottaker av avlevering. 4.1.2. Datatekniske tjenester Installasjon og konfigurering av avleveringsmodul. Kjøring av avlevering Overføring til avleveringsmedium 4.2. Avlevering fra fagsystem Avlevering fra fagsystem utføres som en kundespesifikk tjeneste for hvert fagsystem. Tjenester som er nødvendige vil variere fra system til system avhengig av fagsystemet, kompleksiteten i dette og hvilke data som skal avleveres. Eksempel på tjenester som leveres ved avlevering fa fagsystem: 4.2.1. Bevaringsvurdering Innledende arbeidsmøte- og avklaringer om omfang detaljeringsgrad og annet. Utarbeidelse av krav til dokumentasjon og innhenting av dokumentasjon, vurdering og gjennomgang Informantintervjuer med faglige- og tekniske ressurser Faglige avklaringer med Arkivverket med for- og etterarbeid 4.2.2. Produksjonskrav Gjennomgang av vedtak og avklaring av hva som inngår i uttrekket Detaljspesifisering av hva som skal inngå i uttrekk møter med Arkivverket og arbeid med prosjektplan og oppgavefordeling Produksjon av tabelluttrekk Produksjon og sammenstilling av dokumentasjon og øvrige opplysninger 4.3. Integrasjon mellom fagsystem og Noark arkiv Det er mulig å opprette integrasjoner mot fagsystemer for automatisk utveksling og arkivering av metadata og dokumenter fra fagsystem og Noark arkiv. Ved å etablere denne type integrasjoner vil arkivering fra fagsystem ivareta Noark krav, og avlevering vil bli ivaretatt ved avlevering fra Noark løsningen. Vanlige integrasjoner som kan etableres er: Opprette nye saksmapper i arkivet Opprette registreringer/journalposter og knytte til filer/ dokumenter Lagre knytninger/lenker på saksmappe eller registrering mot sentrale forretningsobjekter i fagsystemet Hente ut metadata, inkl. lenker, om alle dokumenter og saksmapper som har knytning til et forretningsobjekt i fagsystemet
EVRY er et av de ledende IT-selskapene i Norden. Vår ambisjon er å gi mening og liv til informasjon gjennom ideer, teknologi og løsninger som skaper verdi for våre kunder og nytte for samfunnet vi lever i.evry kombinerer omfattende bransjekunnskap med en kundenær tilnærming. Vi kombinerer det store foretakets muskler med lokal tilstedeværelse for å hjelpe våre kunder med å realisere sitt fulle IT-potensiale.