Tidskapselen Digital langtidslagring i Arkivverket

Transkript

1 Tidskapselen Digital langtidslagring i Arkivverket Klikk for å Ole redigere Myhre Hansen, undertittelstil Fagdirektør, Arkivverket i malen 1

2 Arkivverket Riksarkivaren Riksarkivet og Statsarkivene Samisk arkiv Helsearkivet Ny organisasjon fra 1. november 2016 Én organisasjon, 10 tjenestesteder Digitalt depot er del av den generelle Depottjenesten i organisasjonen

3 Tidskapselen Kongesegl oppbevart i Riksarkivet. Magnus 6. (Håkonsson) Lagabøte Er det mulig å overlevere et digitalt skapt objekt til ettertiden med samme status som dokumenter med seglet over?

4 Integritet og autentisitet Digital informasjon kan enkelt endres og manipuleres Digitale arkiver kan ikke bevares statiske. De er i en prosess med stadig transformasjon gjennom hele livssyklusen - til fundamental forskjell fra papirarkiver Men hvordan kan folk stole på at stadig omskapt arkivmateriale fortsatt er autentisk? Hva svarer vi når det settes søkelys på hva ulike aktører har hatt mulighet for å endre? Hvordan lar det seg bekrefte at en aktør kun har foretatt de endringer som sies å være utført?

5 Tidskapselen Hvordan skal Arkivverket og andre arkivinstitusjoner Kunne garantere for ekthet på digitalt skapt materiale? At informasjonen er Autentisk? At integriteten ikke er kompromittert? Over tid? Om 800 år? TILLIT

6 Hvordan skape «Tidskapselen» In 1996 the Task Force on Archiving of Digital Information (reference [B1]) declared, a critical component of digital archiving infrastructure is the existence of a sufficient number of trusted organizations capable of storing, migrating, and providing access to digital collections. The task force saw that trusted or trustworthy organizations could not simply identify themselves. To the contrary, the task force declared, a process of certification for digital archives is needed to create an overall climate of trust about the prospects of preserving digital information.

7 Hva er Arkivverkets digitale depot? Det digitale depotet er ikke kun ett eller flere fysiske rom hvor arkivmateriale oppbevares. Det er i like stor grad forvaltningsrutiner og - metode. På overordnet nivå kan man si at det digitale depotet består av to deler: Rutiner i håndteringen (mottak, validering, sikring, vedlikehold tilgjengeliggjøring) av deponert og avlevert materiale Det digitale sikringsmagasinet (DSM) Det digitale sikringsmagasinet, består igjen av tre ulike deler: Et dedikert forvaltningssystem Et dedikert nettverk Ulike lagringsmedier

8 Hva er Arkivverkets digitale depot? Rutinene, metodene, sikringen og vedlikeholdet skal legge til rette for at omverdenen og ettertiden skal kunne stole på det digitalt skapte arkivmaterialet som Arkivverket har mottatt. Arkivmaterialet skal kunne benyttes som dokumentasjon på transaksjoner og handlinger utført av forvaltningen, bedriften eller personen. Man kan hevde at standardene, metodikken og den etablerte infrastrukturen er rigget for å møte kravet og forventningene om at offentlig og privat arkivmateriale skal beholde sin «autentisitet og integritet» over tid.

9 Prosjekter fram mot en metode Elmag ( ) (p.t. Elmag-3): - Ny depotløsning for Arkivverkets digitalt skapte arkivmateriale Ny lagringsløsning (disk + tape) Ny organisering av arkivpakker (iht. OAIS og TRAC) Nytt forvaltningssystem for arkivpakker DIAS ( ) ( Digital arkivpakkestruktur ): - Et samarbeidsprosjekt mellom Arkivverket og 4 kommunale aktører Løsnings-/teknologiuavhengig - Behandler ikke lagringsløsning Utdyper og generaliserer arkivpakkemodellen fra Elmag-2 Utvikler norsk standardmodell for arkivpakkestruktur med tilhørende XML-skjemaer Spesifiserer generelle krav til forvaltningssystem for arkivpakker (Repository-system)

10 fram mot en metode For å etablere beste praksis innen feltet, forholder Arkivverket seg til to ISO-standarder: ISO 14721:2012 er en videreføring av rammeverket OAIS og beskriver arbeidsflyt, ulike stadier og bestanddeler som inngår i et digitalt depot. ISO 16363:2012 er en videreføring av den såkalte TRAC-standarden og tar mål av seg å definere beste praksis for å kunne hevde å ha et «trustworthy digital repository».

11 OAIS Open Archival Information System ISO 14721:2012

12 OAIS and TRAC OAIS-begreper Information packages AIC Archival Information Collection (Arkiv generasjonssamling) SIP Submission Information Package (Innleveingspakke) AIP Archival Information Package (Arkivpakke) DIP Dissemination Information Package (Tilgjengeliggjringspakke) AIU Archival Information Unit (Arkivdokumentasjon) TRAC Brukt som sertifisering og referanseramme

13 Data producers (creators, providers and owners) are responsible for archiving their digital content to ensure the objects are preserved Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

14 Informasjonsforvaltning Dokumentasjonsforvaltning Arkiv

15 Arkivbegrensning Hva er og gjør og kassasjon ADDML? Innen informasjonsforvaltningen svever det store mengder data til enhver tid Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont Arkiv skal sikres til evig tid!

16 Arkivbegrensning Hva er og gjør og kassasjon ADDML? Innen informasjonsforvaltningen svever det store mengder data til enhver tid (legge til rette for kvalitet og effektivitet) Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont (imøtekomme virksomhetens og samfunnets krav) Arkiv skal sikres til evig tid! (imøtekomme ettertidens krav)

17 Data producers might meet this obligation by depositing data to be preserved in a certified digital archive (one that meets the current definition of a trusted digital repository) Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

18 Ansvar Hva og er institusjoner og gjør ADDML? i Norge Det norske arkivlandskapet: Arkivverket: Betjener statlig sektor (regionalt og sentralt) Private arkivskapere Byarkiver, fylkesarkiver og kommunearkiver: Betjener lokal sektor Private arkivskapere IKAer: Kommunal sektor Private arkivskapere KDRS: Kommunenes digitale ressurssenter

19 Data producers (or the digital archives they engage) should select data for preservation so that sufficient resources can be designated to maintain the data over time Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

20 Hva gjør Hva vi? er og gjør ADDML? Det er egne rutiner for Bevaring og kassasjonsvedtak Hva skal tas vare på og hva skal kasseres, (NOARK m.v.) Standarder bør utvikles bredt Skal dokumenteres i Arkivplaner Ideelt sett skal dette gjennomføres for alle systemer og alle virksomheter Her svikter vi? Er metodikken ikke tilstrekkelig «modernisert»?

21 Data selected to be preserved must be packaged and prepared for preservation with sufficient metadata and in formats that are able to be preserved (e.g. avoiding software-dependent formats where possible, embracing ASCII and now XML formats) Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

22 Hva gjør Hva vi? er og gjør ADDML? Vi har tatt i mot flate filer (faste postlengder og csv) inntil 2005 (og fremdeles kommer det noe) Vi foretrekker XML i dag Data lagres i strukturer ala relasjonsdatabaser Vi tar vare på dokumentasjonen og beskriver funksjonen Vi samarbeider med svenskene og finnene om ADDML

23 Hva er Hva og er hva og gjør ADDML? ADDML filers format er gitt ved en.xsd det vil si en XML mal. En XML mal bestemmer hvilke dataelementer som skal/kan finnes i en XML fil, deres format og deres sammenheng Alle systemer har et antall informasjonselementer Disse skal beskrives formelt i en XML fil før lagring/depot ADDML gir retningslinjer for hvordan denne XML filen bør se ut, men begrenser ikke hvilken informasjon som skal være med Med andre ord: ADDML gir både fleksibilitet og standardisering

24 Struktur 3 hoveddeler i ADDML Metadata, datastruktur, dokumentbeskrivelse Definerer: Filer/referanser Felter/formater etc. Relasjoner Grenseverdier Prosesser - Analyse Prosesser - Sjekk Definerer: Filer/referanser XML velformethet - og validitet

25 Informasjonsforvaltning Dokumentasjonsforvaltning Arkiv

26 Godkjenning av lagringsformater Formatet skal følge en internasjonal standard (ISO, ANSI eller lign.) Formatet skal være åpent spesifisert Formatet skal være i utstrakt bruk Formatet skal ikke være lisens belagt Formatet skal ha en lang forventet levetid Formatet skal ikke inneholde eksterne avhengigheter. Det vil si at all informasjon som er nødvendig for fremtidig presentasjon skal være inneholdt i selve dokumentet. Formatet skal være uavhengig av operativsystem og presentasjonsplattform

27 Hva er et dokument?

28 En mer fleksibel tilnærming US National Archives Må være NSA kompatibelt

29 Data producers (or the digital archives they engage) should identify a technology environment (software and hardware combination) sufficient in scale and security to manage the data Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

30 TRAC Trustworthy Repositories Audit & Certification ISO 16363:2012 TRAC-standarden har tre områder som det stilles krav til for at vi skal kunne ha et digitalt depot med unbroken chain of custody : 1. Organisering; krav til institusjonens strukturelle, administrative, kompetansemessige, finansielle, juridiske og avtalemessige forhold 2. De digitale arkivene; krav til behandling av de digitale objektene fra uttrekk til bruk i et evighetsperspektiv 3. Teknologi, infrastruktur, personvern og informasjonssikkerhet; krav til teknologien som brukes for å håndtere de digitale arkivene (digitale objekter) Forvaltningssystem: EssArch. Systemet er «OAIS-compliant»

31 EssArch forholder seg til OAIS rammeverket

32 Technical installation

33 Ødeleggelse av data Sabotasje og innbrudd Feil på lagringsmedia Brann, vann og andre fysiske hendelser Skade påført av elektromagnetiske pulser (EMP) Kan skade elektronikk og magnetiske lagringsmedia Arkivverket har ikke tilgjengelig godkjente EMP sikrete magasiner (p.t.)

34 Console FRONT CONTROL PANEL Smart-UPS DC POWER 48V STORAGETEK SL150 LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION V- 4A 50-60Hz POWER EXPRESSCARD Console Smart-UPS DC POWER 48V LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION V- 4A 50-60Hz POWER EXPRESSCARD PSU1 PSU0 Console Gb2 Gb Gb2 Gb Smart-UPS Gb2 Gb Gb2 Gb1 DC POWER 48V Gb2 Gb Gb2 Gb Gb2 Gb1 LOCK Gb2 Gb1 KMM FPM Gb2 Gb1 I T EST O AMERICAN POWER CONVERSION Gb2 Gb Gb2 Gb V- 4A 50-60Hz POWER Gb2 Gb1 EXPRESSCARD Console FRONT CONTROL PANEL Smart-UPS DC POWER 48V STORAGETEK SL150 LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION V- 4A 50-60Hz POWER EXPRESSCARD Sikring av data vhja flere lokasjoner 42 U 42 U 42 U 42 U Mediaserver Sør Hovedserver Oslo Backupserver Lokasjon 2 Mediaserver Nord

35 Data producers (or the digital archives they engage) should adopt and implement migration and other preservation strategies to ensure that data are usable over time Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009

36 Migrasjon som strategi Migrasjon eller emulering? Vi har satset på migrering. Dette innebærer i hovedsak to aktiviteter: Flytting til det til enhver tid optimale lagringsmedium Disk Tape Optisk medier Konverteringer av data Tegnsett Formater

37 ESSArch Preservation Platform SIP Mottak Testing Vedlikehold Tilgang DIP Check-in Pakking og lagring Tilgjengeliggjøring AIP Reports DSM Repositorycontrol

38

39 Pakker generasjoner og versjoner AIC SIP AIP AIP 1. generasjon 2. generasjon 3. generasjon

40 Tilgang til materialet Tilgjengeliggjøring Tre steg Sjekk ut datasettet Tilrettelegg data for gjenbruk (DIP) Legg på egnet plattform Voliá! Website «Digitalarkivet» LoCloud

41 Tillit Aftenposten

42

43 Før overføring av arkivpakken Utredning Hvilket system og hvilken funksjon? Bevaringsvurdering Hva skal bevares? Hva kan kasseres? Avtalen Hva skal overføres og når? Opprette en overføringspakke (SIP) Aktørens (arkivskapers) ansvar Depot bidrar ved behov

44 Overføring og mottak Overføring Pakken (SIP) overføres som oftest manuelt Formell akseptanse av pakken (SIP) Mottak Virussjekk Kontroll av checksum Kvalitetssikring av info.xml Test Teknisk QA Godkjenning Sikring (innsjekk i Digitalt sikringsmagasin)

45 Overordnet prosess Utredning Avtale Mottak Teknisk test BK vurdering Uttrekk (SIP) Formell test Langtidsbevaring Vedlikehold

46 Ineffektivitet Etterslep Kommunal sektor: ca systemer Statlig sektor: ca systemer Behovene og forslag til løsning Presenterte rapporten earkiv i 2015 Bejublet for initiativet Kritisert for å Gå rett å løsning uten å drøfte alternativer Ha en «for løs» samfunnsøkonomisk analyse

47 Arbeidsprosesser for arkiv - det store bildet Behov og forventninger Forvaltningsorgan Arkivinstitusjon Skap e Bruke og forvalte Lage og sende arkivversjon Overføre Motta Vedlikeholde Tilgjengeliggjøre Arkivskaper Arkivdepot

48 Utfordringene i dagens situasjon Ressurskrevende å produsere og motta arkivversjon (datauttrekk, dokumentasjon, eksport) Utilfredsstillende teknisk kvalitet på arkivversjoner Ressurskrevende vedlikehold av arkivert materiale etter at det har gått ut av administrativ bruk Stort etterslep på overføring av arkiv som har gått ut av administrativ bruk Uten tiltak, vil utfordringene vedvare og øke i omfang etter hvert som informasjonsmengden i arkivene vokser

49 De syv brukerbehov som skal ivaretas i våre fellesløsninger 1: Fulldigitale løsninger Digitale løsninger skapes sammen med innbyggere, næringsliv og ansatte (samskaping); Dette betyr at tjenestereisen kartlegges ved hjelp av brukere av tjenestene og ansatte i kommunen. Brukeren ønsker å løse oppgaven (søknaden/henvendelsen) der og da. Dette betyr i mange sammenhenger at de digitale tjenestene samhandler på tvers av kommuner og statlige etater i sanntid. Bort med papiret. Alle digitale henvendelser fra det offentlige (kommune og stat) kommuniserer helelektronisk, dvs. at det på sikt ikke sendes ut brev på papir. Digitale løsninger bidrar til å effektivisere tjenesteproduksjonen, eksempelvis ved å automatisere deler av en arbeidsprosess. 2: Tilgjengelighet De digitale løsningene er døgnåpne, syv dager i uken, året rundt. De digitale løsningene er universelt utformet og kommuniserer med klart språk. Digitale tjenester presenteres på det medium som innbyggere og næringsliv benytter. Innbygger og næringsliv har tilgang til historiske data/informasjon i egne saker. Digitale løsninger ivaretar kommunens identitet. 3: Personvern Digitale tjenester har personvern og sikkerhet i høysete. Digitale tjenester øker mulighetene for at innbyggere ivaretar sine innsynsrettigheter på en bedre måte. 4: Innsyn: Elektronisk innsyn i alle sine saker (innbygger og næringsliv). Dette gjelder både pågående og historiske saker inkl. korrespondanse med det offentlige. Innbygger og næringsliv er eiere av sin egen informasjon. Innsyn i hva som skjer f.eks. i mitt nærmiljø hvor er det nå reguleringsplaner, byggesaker til behandling/vedtak osv. 5: Pre-utfylt informasjon: Innbygger og næringsliv slipper å registrere opplysninger som det offentlige har fra før. 6: Proaktiv informasjon/tiltak: Det offentlige sitter med en mengde informasjon som innbygger og næringsliv bør være informert om for å ivareta aktuelle fremtidige behov, f.eks. barnehagesøknad. Proaktivitet sees i sammenheng med livsfaser og/eller områder som du selv ønsker å abonnere på, f.eks. byggesaker i ditt nærmiljø. 7: Åpne data: Det offentlige tilgjengeliggjør informasjon/data som markedet kan bruke til å utvikle nye digitale løsninger. Dette bidrar til muligheter for innovasjon i markedet.