Tidskapselen Digital langtidslagring i Arkivverket Klikk 16.11 2016 for å Ole redigere Myhre Hansen, undertittelstil Fagdirektør, Arkivverket i malen 1
Arkivverket Riksarkivaren Riksarkivet og Statsarkivene Samisk arkiv Helsearkivet Ny organisasjon fra 1. november 2016 Én organisasjon, 10 tjenestesteder Digitalt depot er del av den generelle Depottjenesten i organisasjonen
Tidskapselen Kongesegl oppbevart i Riksarkivet. Magnus 6. (Håkonsson) Lagabøte 1263-1280 Er det mulig å overlevere et digitalt skapt objekt til ettertiden med samme status som dokumenter med seglet over?
Integritet og autentisitet Digital informasjon kan enkelt endres og manipuleres Digitale arkiver kan ikke bevares statiske. De er i en prosess med stadig transformasjon gjennom hele livssyklusen - til fundamental forskjell fra papirarkiver Men hvordan kan folk stole på at stadig omskapt arkivmateriale fortsatt er autentisk? Hva svarer vi når det settes søkelys på hva ulike aktører har hatt mulighet for å endre? Hvordan lar det seg bekrefte at en aktør kun har foretatt de endringer som sies å være utført?
Tidskapselen Hvordan skal Arkivverket og andre arkivinstitusjoner Kunne garantere for ekthet på digitalt skapt materiale? At informasjonen er Autentisk? At integriteten ikke er kompromittert? Over tid? Om 800 år? TILLIT
Hvordan skape «Tidskapselen» In 1996 the Task Force on Archiving of Digital Information (reference [B1]) declared, a critical component of digital archiving infrastructure is the existence of a sufficient number of trusted organizations capable of storing, migrating, and providing access to digital collections. The task force saw that trusted or trustworthy organizations could not simply identify themselves. To the contrary, the task force declared, a process of certification for digital archives is needed to create an overall climate of trust about the prospects of preserving digital information. https://www.clir.org/pubs/reports/pub63watersgarrett.pdf
Hva er Arkivverkets digitale depot? Det digitale depotet er ikke kun ett eller flere fysiske rom hvor arkivmateriale oppbevares. Det er i like stor grad forvaltningsrutiner og - metode. På overordnet nivå kan man si at det digitale depotet består av to deler: Rutiner i håndteringen (mottak, validering, sikring, vedlikehold tilgjengeliggjøring) av deponert og avlevert materiale Det digitale sikringsmagasinet (DSM) Det digitale sikringsmagasinet, består igjen av tre ulike deler: Et dedikert forvaltningssystem Et dedikert nettverk Ulike lagringsmedier
Hva er Arkivverkets digitale depot? Rutinene, metodene, sikringen og vedlikeholdet skal legge til rette for at omverdenen og ettertiden skal kunne stole på det digitalt skapte arkivmaterialet som Arkivverket har mottatt. Arkivmaterialet skal kunne benyttes som dokumentasjon på transaksjoner og handlinger utført av forvaltningen, bedriften eller personen. Man kan hevde at standardene, metodikken og den etablerte infrastrukturen er rigget for å møte kravet og forventningene om at offentlig og privat arkivmateriale skal beholde sin «autentisitet og integritet» over tid.
Prosjekter fram mot en metode Elmag (2005-2010) (p.t. Elmag-3): - Ny depotløsning for Arkivverkets digitalt skapte arkivmateriale Ny lagringsløsning (disk + tape) Ny organisering av arkivpakker (iht. OAIS og TRAC) Nytt forvaltningssystem for arkivpakker DIAS (2010-2012) ( Digital arkivpakkestruktur ): - Et samarbeidsprosjekt mellom Arkivverket og 4 kommunale aktører Løsnings-/teknologiuavhengig - Behandler ikke lagringsløsning Utdyper og generaliserer arkivpakkemodellen fra Elmag-2 Utvikler norsk standardmodell for arkivpakkestruktur med tilhørende XML-skjemaer Spesifiserer generelle krav til forvaltningssystem for arkivpakker (Repository-system) http://arkivverket.no/arkivverket/arkivbevaring/elektronisk-arkivmateriale/langtidslagring/digitalt-depot
fram mot en metode For å etablere beste praksis innen feltet, forholder Arkivverket seg til to ISO-standarder: ISO 14721:2012 er en videreføring av rammeverket OAIS og beskriver arbeidsflyt, ulike stadier og bestanddeler som inngår i et digitalt depot. ISO 16363:2012 er en videreføring av den såkalte TRAC-standarden og tar mål av seg å definere beste praksis for å kunne hevde å ha et «trustworthy digital repository».
OAIS Open Archival Information System ISO 14721:2012
OAIS and TRAC OAIS-begreper Information packages AIC Archival Information Collection (Arkiv generasjonssamling) SIP Submission Information Package (Innleveingspakke) AIP Archival Information Package (Arkivpakke) DIP Dissemination Information Package (Tilgjengeliggjringspakke) AIU Archival Information Unit (Arkivdokumentasjon) TRAC Brukt som sertifisering og referanseramme
Data producers (creators, providers and owners) are responsible for archiving their digital content to ensure the objects are preserved Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
Informasjonsforvaltning Dokumentasjonsforvaltning Arkiv
Arkivbegrensning Hva er og gjør og kassasjon ADDML? Innen informasjonsforvaltningen svever det store mengder data til enhver tid Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont Arkiv skal sikres til evig tid!
Arkivbegrensning Hva er og gjør og kassasjon ADDML? Innen informasjonsforvaltningen svever det store mengder data til enhver tid (legge til rette for kvalitet og effektivitet) Dokumentasjonsforvaltningen tar vare på informasjon som skal oppbevares innenfor en kortere eller mellomlangt tidshorisont (imøtekomme virksomhetens og samfunnets krav) Arkiv skal sikres til evig tid! (imøtekomme ettertidens krav)
Data producers might meet this obligation by depositing data to be preserved in a certified digital archive (one that meets the current definition of a trusted digital repository) Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
Ansvar Hva og er institusjoner og gjør ADDML? i Norge Det norske arkivlandskapet: Arkivverket: Betjener statlig sektor (regionalt og sentralt) Private arkivskapere Byarkiver, fylkesarkiver og kommunearkiver: Betjener lokal sektor Private arkivskapere IKAer: Kommunal sektor Private arkivskapere KDRS: Kommunenes digitale ressurssenter
Data producers (or the digital archives they engage) should select data for preservation so that sufficient resources can be designated to maintain the data over time Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
Hva gjør Hva vi? er og gjør ADDML? Det er egne rutiner for Bevaring og kassasjonsvedtak Hva skal tas vare på og hva skal kasseres, (NOARK m.v.) Standarder bør utvikles bredt Skal dokumenteres i Arkivplaner Ideelt sett skal dette gjennomføres for alle systemer og alle virksomheter Her svikter vi? Er metodikken ikke tilstrekkelig «modernisert»?
Data selected to be preserved must be packaged and prepared for preservation with sufficient metadata and in formats that are able to be preserved (e.g. avoiding software-dependent formats where possible, embracing ASCII and now XML formats) Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
Hva gjør Hva vi? er og gjør ADDML? Vi har tatt i mot flate filer (faste postlengder og csv) inntil 2005 (og fremdeles kommer det noe) Vi foretrekker XML i dag Data lagres i strukturer ala relasjonsdatabaser Vi tar vare på dokumentasjonen og beskriver funksjonen Vi samarbeider med svenskene og finnene om ADDML
Hva er Hva og er hva og gjør ADDML? ADDML filers format er gitt ved en.xsd det vil si en XML mal. En XML mal bestemmer hvilke dataelementer som skal/kan finnes i en XML fil, deres format og deres sammenheng Alle systemer har et antall informasjonselementer Disse skal beskrives formelt i en XML fil før lagring/depot ADDML gir retningslinjer for hvordan denne XML filen bør se ut, men begrenser ikke hvilken informasjon som skal være med Med andre ord: ADDML gir både fleksibilitet og standardisering http://arkivverket.no/arkivverket/arkivbevaring/elektronisk-arkivmateriale/standarder/addml
Struktur 3 hoveddeler i ADDML Metadata, datastruktur, dokumentbeskrivelse Definerer: Filer/referanser Felter/formater etc. Relasjoner Grenseverdier Prosesser - Analyse Prosesser - Sjekk Definerer: Filer/referanser XML velformethet - og validitet
Informasjonsforvaltning Dokumentasjonsforvaltning Arkiv
Godkjenning av lagringsformater Formatet skal følge en internasjonal standard (ISO, ANSI eller lign.) Formatet skal være åpent spesifisert Formatet skal være i utstrakt bruk Formatet skal ikke være lisens belagt Formatet skal ha en lang forventet levetid Formatet skal ikke inneholde eksterne avhengigheter. Det vil si at all informasjon som er nødvendig for fremtidig presentasjon skal være inneholdt i selve dokumentet. Formatet skal være uavhengig av operativsystem og presentasjonsplattform
Hva er et dokument?
En mer fleksibel tilnærming US National Archives http://www.archives.gov/records-mgmt/policy/transfer-guidance-tables.html Må være NSA kompatibelt
Data producers (or the digital archives they engage) should identify a technology environment (software and hardware combination) sufficient in scale and security to manage the data Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
TRAC Trustworthy Repositories Audit & Certification ISO 16363:2012 TRAC-standarden har tre områder som det stilles krav til for at vi skal kunne ha et digitalt depot med unbroken chain of custody : 1. Organisering; krav til institusjonens strukturelle, administrative, kompetansemessige, finansielle, juridiske og avtalemessige forhold 2. De digitale arkivene; krav til behandling av de digitale objektene fra uttrekk til bruk i et evighetsperspektiv 3. Teknologi, infrastruktur, personvern og informasjonssikkerhet; krav til teknologien som brukes for å håndtere de digitale arkivene (digitale objekter) Forvaltningssystem: EssArch. Systemet er «OAIS-compliant»
EssArch forholder seg til OAIS rammeverket
Technical installation
Ødeleggelse av data Sabotasje og innbrudd Feil på lagringsmedia Brann, vann og andre fysiske hendelser Skade påført av elektromagnetiske pulser (EMP) Kan skade elektronikk og magnetiske lagringsmedia Arkivverket har ikke tilgjengelig godkjente EMP sikrete magasiner (p.t.)
Console FRONT CONTROL PANEL Smart-UPS 3 0 0 0 DC POWER 48V STORAGETEK SL150 LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION 100-240V- 4A 50-60Hz POWER EXPRESSCARD 1 2 1 2 Console Smart-UPS 3 0 0 0 DC POWER 48V LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION 100-240V- 4A 50-60Hz POWER EXPRESSCARD 3 4 3 4 PSU1 PSU0 Console 2 3 0 1 Gb2 Gb1 2 3 0 1 Gb2 Gb1 2 3 0 1 Smart-UPS Gb2 Gb1 3 0 0 0 2 3 0 1 Gb2 Gb1 DC POWER 48V 2 3 0 1 Gb2 Gb1 2 3 0 1 Gb2 Gb1 2 3 0 1 Gb2 Gb1 LOCK 2 3 0 1 Gb2 Gb1 KMM FPM185 2 3 0 1 Gb2 Gb1 I T EST O 2 3 0 1 AMERICAN POWER CONVERSION Gb2 Gb1 2 3 0 1 Gb2 Gb1 100-240V- 4A 50-60Hz POWER 2 3 0 1 Gb2 Gb1 EXPRESSCARD Console FRONT CONTROL PANEL Smart-UPS 3 0 0 0 DC POWER 48V STORAGETEK SL150 LOCK KMM FPM185 I T EST O AMERICAN POWER CONVERSION 100-240V- 4A 50-60Hz POWER EXPRESSCARD Sikring av data vhja flere lokasjoner 42 U 42 U 42 U 42 U Mediaserver Sør Hovedserver Oslo Backupserver Lokasjon 2 Mediaserver Nord
Data producers (or the digital archives they engage) should adopt and implement migration and other preservation strategies to ensure that data are usable over time Principles and Good Practice for Preserving Data Interuniversity Consortium for Political and Social Research (ICPSR) 2009
Migrasjon som strategi Migrasjon eller emulering? Vi har satset på migrering. Dette innebærer i hovedsak to aktiviteter: Flytting til det til enhver tid optimale lagringsmedium Disk Tape Optisk medier Konverteringer av data Tegnsett Formater
ESSArch Preservation Platform SIP Mottak Testing Vedlikehold Tilgang DIP Check-in Pakking og lagring Tilgjengeliggjøring AIP Reports DSM Repositorycontrol
Pakker generasjoner og versjoner AIC SIP AIP AIP 1. generasjon 2. generasjon 3. generasjon
Tilgang til materialet Tilgjengeliggjøring Tre steg Sjekk ut datasettet Tilrettelegg data for gjenbruk (DIP) Legg på egnet plattform Voliá! Website «Digitalarkivet» LoCloud
Tillit Aftenposten 29.09.16
Før overføring av arkivpakken Utredning Hvilket system og hvilken funksjon? Bevaringsvurdering Hva skal bevares? Hva kan kasseres? Avtalen Hva skal overføres og når? Opprette en overføringspakke (SIP) Aktørens (arkivskapers) ansvar Depot bidrar ved behov
Overføring og mottak Overføring Pakken (SIP) overføres som oftest manuelt Formell akseptanse av pakken (SIP) Mottak Virussjekk Kontroll av checksum Kvalitetssikring av info.xml Test Teknisk QA Godkjenning Sikring (innsjekk i Digitalt sikringsmagasin)
Overordnet prosess Utredning Avtale Mottak Teknisk test BK vurdering Uttrekk (SIP) Formell test Langtidsbevaring Vedlikehold
Ineffektivitet Etterslep Kommunal sektor: ca. 12.000 systemer Statlig sektor: ca. 6000 systemer Behovene og forslag til løsning Presenterte rapporten earkiv i 2015 Bejublet for initiativet Kritisert for å Gå rett å løsning uten å drøfte alternativer Ha en «for løs» samfunnsøkonomisk analyse
Arbeidsprosesser for arkiv - det store bildet Behov og forventninger Forvaltningsorgan Arkivinstitusjon Skap e Bruke og forvalte Lage og sende arkivversjon Overføre Motta Vedlikeholde Tilgjengeliggjøre Arkivskaper Arkivdepot
Utfordringene i dagens situasjon Ressurskrevende å produsere og motta arkivversjon (datauttrekk, dokumentasjon, eksport) Utilfredsstillende teknisk kvalitet på arkivversjoner Ressurskrevende vedlikehold av arkivert materiale etter at det har gått ut av administrativ bruk Stort etterslep på overføring av arkiv som har gått ut av administrativ bruk Uten tiltak, vil utfordringene vedvare og øke i omfang etter hvert som informasjonsmengden i arkivene vokser
De syv brukerbehov som skal ivaretas i våre fellesløsninger 1: Fulldigitale løsninger Digitale løsninger skapes sammen med innbyggere, næringsliv og ansatte (samskaping); Dette betyr at tjenestereisen kartlegges ved hjelp av brukere av tjenestene og ansatte i kommunen. Brukeren ønsker å løse oppgaven (søknaden/henvendelsen) der og da. Dette betyr i mange sammenhenger at de digitale tjenestene samhandler på tvers av kommuner og statlige etater i sanntid. Bort med papiret. Alle digitale henvendelser fra det offentlige (kommune og stat) kommuniserer helelektronisk, dvs. at det på sikt ikke sendes ut brev på papir. Digitale løsninger bidrar til å effektivisere tjenesteproduksjonen, eksempelvis ved å automatisere deler av en arbeidsprosess. 2: Tilgjengelighet De digitale løsningene er døgnåpne, syv dager i uken, året rundt. De digitale løsningene er universelt utformet og kommuniserer med klart språk. Digitale tjenester presenteres på det medium som innbyggere og næringsliv benytter. Innbygger og næringsliv har tilgang til historiske data/informasjon i egne saker. Digitale løsninger ivaretar kommunens identitet. 3: Personvern Digitale tjenester har personvern og sikkerhet i høysete. Digitale tjenester øker mulighetene for at innbyggere ivaretar sine innsynsrettigheter på en bedre måte. 4: Innsyn: Elektronisk innsyn i alle sine saker (innbygger og næringsliv). Dette gjelder både pågående og historiske saker inkl. korrespondanse med det offentlige. Innbygger og næringsliv er eiere av sin egen informasjon. Innsyn i hva som skjer f.eks. i mitt nærmiljø hvor er det nå reguleringsplaner, byggesaker til behandling/vedtak osv. 5: Pre-utfylt informasjon: Innbygger og næringsliv slipper å registrere opplysninger som det offentlige har fra før. 6: Proaktiv informasjon/tiltak: Det offentlige sitter med en mengde informasjon som innbygger og næringsliv bør være informert om for å ivareta aktuelle fremtidige behov, f.eks. barnehagesøknad. Proaktivitet sees i sammenheng med livsfaser og/eller områder som du selv ønsker å abonnere på, f.eks. byggesaker i ditt nærmiljø. 7: Åpne data: Det offentlige tilgjengeliggjør informasjon/data som markedet kan bruke til å utvikle nye digitale løsninger. Dette bidrar til muligheter for innovasjon i markedet.