Ny modell for et digitalt depot i Arkivverket i Norge Terje Pettersen-Dahl Seksjon for Digitalt Depot Riksarkivet Nordiske Arkivdager 2012 Hämeenlinna (Tavastehus), 25. mai 2012 1
Elmag, Elektronisk Magasin Prosjekt i Arkivverket med tanke på: Teknisk løsning ved lagring av elektroniske arkiver, både hardware og software. Sette opp retningslinjer og behandlingsregler av elektronisk mottatt materiale. Sikkerhetsaspekter rundt elektronisk materiale. Egentlig bestående av flere prosjekter over flere år. 2
Elmag, Elektronisk Magasin Elmag 1 prosjektet avdekket behovet for en enhetlig tenking. behov for en sikkerhetsorganisasjon. Elmag 2 prosjektet utarbeidet et utkast til en generell struktur for en arkivpakke. et utkast til en struktur for en teknisk løsning. avdekket et behov for behandlingsregler. 3
Elmag, Elektronisk Magasin DIAS prosjektet ble opprettet som en følge av Elmag 2 prosjektet. Elmag 3 prosjektet er pågående og er delt opp i flere delprosjekter ett for den tekniske løsningen. ett for behandlingsregler. ett for sikkerhetsproblematikk. 4
Dias, Ny lagringsmodell for elektroniske arkiver Nasjonalt samarbeidsprosjekt mellom Arkivverket og kommunale arkiver (IKA er og byarkiv) Støttet med midler fra ABM-U (Kulturrådet) Baserer seg på standardene OAIS og TRAC Skal munne ut i standarder for arkivpakker og utvikling av verktøy for håndtering og oppfølging av disse 5
Dias, Målformuleringer Utprøving og komplettering av den logiske arkivpakkemodellen foreslått gjennom Arkivverkets Elmag-prosjekt. Vurdering og valg av standarder for implementering av modellen. Spesifikasjon av strukturen gjennom XMLskjemaer for den definerte arkivpakkemodellen. Utforming av kravspesifikasjon til programvare for generering av arkivpakker m.m. Programutvikling av programvare for generering av arkivpakker m.m. 6
Dias, Skjemaer og standarder Pakkeinformasjon - METS Bevaringsmetadata - PREMIS Arkivbeskrivelse - EAD Aktørbeskrivelse EAC-CPF Tekniske metadata ADDML Muligens fler spesialiserte standarder knyttet til formater. F.eks. MIX for bilder. 7
Dias, Standarder OAIS (Open Archival Information System) Definert av den amerikanske romfartsorganisasjonen Er bygd opp rundt informasjonspakker Er en modell for å innlemme, administrere og bruke bevart arkivmateriale i et depot Beskriver funksjoner, prosesser og informasjonsflyt Er ikke en implementeringsmodell, men en referanse- og begrepsmodell 8
Dias, Standarder OAIS (Open Archival Information System) Preservation planning P r o d u c e r SIP Descriptive info Ingest AIP Data management Archival storage Descriptive info AIP Access DIP C o n s u m e r Administration Management 9
Dias, Standarder OAIS (Open Archival Information System) SIP (Submission Information Package) - Innleveringspakke AIP (Archival Information Package) Arkivpakke DIP (Dissemination Information Package) - Visningspakke Admin(istration) Administrasjon og Overvåkning Ingest Mottak Storage Lagring/Lager/Magasin Access Tilgjengeliggjøring og Vedlikehold 10
SIP Mottakskontroll Dias-modell Adgang etc Testing Standard operasjoner Innhenting Pakking 5 DIP Admin Rapportering Innlegging Magasin Søk Uthenting Magasinkontroll Asta Magasinstyringssystem (m/san el.) 11
Forvaltningssystem Automatisert magasinforvalter Legger arkivpakker inn i magasinet Henter arkivpakker ut av magasinet Genererer arkivpakker Automatisert kontrollør Kontrollerer innholdets integritet Har egne lukkede områder for materialet Genererer rapporter 12
Arkivpakke Overordnet struktur AIC SIP AIU AIP AIU AIP 1. generasjon Supplement 2. generasjon Supplement 3. generasjon Navngis som AIP 0 1. generasjon 2. generasjon 13
Arkivpakke AIP Struktur En arkivpakke (AIP) kan deles opp i følgende hoveddeler Informasjonsinnhold Selve informasjonen som skal bevares Administrative metadata Arkivskaper, proveniens og annen kontekstuell informasjon Tekniske metadata Teknisk beskrivelse av informasjonsinnholdet Depotoperasjoner Håndtering og arbeidsoperasjoner depotet har utført på informasjonsinnholdet 14
Arkivpakkemodell Alt bevares i sin opprinnelige form (SIP). Ved tekniske endringer dannes en ny pakke (AIP) i tillegg til den opprinnelige. Operasjoner i depotet bevares og dokumenteres som tillegg. Ved senere vedlikehold (f.eks. konvertering av formater) dannes alltid en ny pakke (AIP). All informasjon fra pakkenivå ned til filnivå kan verifiseres med sjekksummer. 15
Planer og fremdrift Prosjektet gjennomføres ved at ES Solutions programmerer og tilpasser til våre behov. Dette ble gjort i form av 6 iterasjoner (sprinter). En demonstrasjon ble holdt etter hver iterasjon og så ble neste iterasjon planlagt samme dag. Prosjektgruppen ville så teste innstallasjonen som var implementert på Riksarkivet. Alt vil bli avsluttet med en akseptansetest. 16
Planer og fremdrift Akseptansetesten skal inneholde følgende tester: Funksjonstest Robusthetstest Integrasjonstest Kapasitet og svartidstest Gjennomgang av all dokumentasjon Installasjonstest Test av driftsprosedyrer 17
Planer og fremdrift Iterasjon 1 til 3 ble gjennomført i 2011. Iterasjon 4 ble ferdigstilt 20. januar. Iterasjon 5 ble ferdigstilt 14. februar. Iterasjon 6 ble ferdigstilt 24. februar. Testing og supplerende utvikling ble utført i april og mai. Akseptansetest avholdes 14. til 25. mai. Prosjektet ferdigstilles 31. mai. Produksjon i Arkivverket startes 1. juni. 18
Oversikt Gradert materiale Digitalt sikringsmagasin (DSM) Sluse Sluse Kontroll område Bruksversjoner for Arkivverket Arkivpakker - Versjoner for langtidslagring Forvaltningssystem Arbeids område Tilrettelagte brukskopier 19
Revidert oversikt 20
Revidert oversikt 21
Pre mottak Tilsvarer førstehånds mottak. Vil kjøre viruskontroll på egen dedikert PC, etter at materialet først har ligget 3 uker i karantene. Deretter en enkel visuell kontroll av at det ser ut til at materialet er komplett. Denne kontrollen medfører ikke åpning av noen filer. I Arkivverket gjøres dette av Seksjon for Elektronisk Arkivdanning (Elark). 22
Pre mottak Oppgavene gjelder både SIP og info.xml (info.txt). I tillegg må det manuelt registreres alle hendelser som er skjedd med materiale i en hendelseslogg. 23
Mottak Manuell overføring av SIP fra pre mottak. Info.xml og hendelseslogg kan overføres ved minnepinne eller ved kommunikasjon. Hovedoppgave er å gjøre Check-in fra en dedikert maskin til Områdekontrollen. Må også registrere sine hendelser i hendelsesloggen. Denne oppgaven utføres av koordinator eller leder i Seksjon for Digitalt Depot. 24
Kontroll Dette er selve hjernen i Forvaltningssystemet (ESSArch). Begrepene Check-in og Check-out er i henhold til om materiale går inn eller ut av kontroll(området). Alle operasjoner her utføres av ESSArch. 25
Kontroll Operasjoner Generering av sjekksummer. Tildeling av unik id (ved første gangs check-in). Er den som faktisk utfører en Check-in. og en Check-out. Foretar en Diff-Check (kontroll sammenligning mellom versjoner av materialet). Oppretter AIC. Genererer AIPer og AIUer. Foretar pakking. 26
Kontroll Operasjoner Kontrollerer pakking. Kontrollerer hvortil det lagres disk og tape. Ansvarer for all kommunikasjon ut. og all kommunikasjon inn. Håndterer logging. Genererer rapporter. 27
Arbeidsområde All testing vil bli foretatt mot tildelte arbeidsområder. Hver tester vil få sitt dedikerte arbeidsområde. Testverktøyene vil være tilgjengelig for alle testere. Det vil ikke ha mulighet for å kopiere materiale ukontrollert ut av rosa sone. Testing utføres av medarbeidere i Seksjon for Digitalt Depot og utvalgte medarbeidere i noen Statsarkiv. 28
Arbeidsområde Seksjon for Digitalt Depot Testing gjøres i et eget testrom (testlab). Alle maskiner i testrommet er satt opp i rosa sone. Noe etterarbeid kan være mulig å gjøres via VPN. på eget kontor etter å ha flyttet testrapporter ut av rosa sone. Alle flyttinger skal skje via ESSArch. Kun bestemte filer vil være mulig å flytte. 29
Arbeidsområde Statsarkivene Statsarkivenes medarbeidere vil foreta testing over VPN. Statsarkivenes medarbeidere vil ikke ha tilgang til ESSArch, disse oppgavene utføres av Koordinator. Kan muligens også få mulighet for å foreta etterarbeid på samme måte som DDmedarbeidere. 30
Digitalt sikringsmagasin (DSM) Den tekniske løsningen vil være i rød sone. Rød sone vil inneholde En lagringsserver det egentlige DSM To taperoboter som en del av DSM En server med kontrollområde som vil være områdekontrollens ene arbeidsområde. En server med ESSArch og et temp-område for pakking av AIPer områdekontrollens andre arbeidsområde. 31
Digitalt sikringsmagasin (DSM) Rosa sone vil inneholde En server med testernes arbeidsområder. En skjemaserver med standard skjemaene som benyttes av ESSArch dvs. METS, PREMIS, EAD, EAC-CPF, ADDML, osv. Mellom rosa og blå sone vil det være en brannmur. Kun ESSArch vil ha tilgang til å gå gjennom brannmuren. 32
Kommunikasjon med omverdenen All kommunikasjon gjennom brannmur mellom rosa sone og blå sone utføres av ESSArch. Behovet for overføring mellom sonene er: Forespørsel om ASTA-informasjon med unik ID. Innhenting av ASTA-informasjon fra Betty. Innhenting av info.xml og hendelseslogg. Innhenting av nye versjoner av xml-skjemaer. Innhenting av nye versjoner av testverktøy. 33
Kommunikasjon med omverdenen Behovet for overføring mellom sonene er (forts): Innhenting av bearbeidede testrapporter. Utlegging av testresultater. Utlegging av rapporter statistikk, årsrapporter, sikkerhetsrapporter, osv. 34
Testlokaliteter Eget rom med kortleser for adgangskontroll. Kun utvalgte medarbeidere vil få tilgang. 5 arbeidsstasjoner som alle er i rosa sone. samt en printer. Alle operasjoner mot ESSArch må gjøres i dette rommet. Tilgang til arbeidsområder over VPN. 35
Grunnprinsipper for behandling av materiale Sikkerhet Sikkerhet - Sikkerhet. Alle hendelser på materialet skal logges. Ikke mulig å kopiere ut materiale uautorisert. Ikke mulig å uforvarende endre materiale. Alle endringer skal kunne dokumenteres for evt. å kunne tilbakestilles. Bruk av sjekksummer. Områdekontrollen utfører sammenligninger for å avdekke uregelmessigheter. 36
Ny modell for et digitalt depot Spørsmål? terje.dahl@arkivverket.no 37