Nordisk Arkivakademi Arkivpakkestruktur i det norske Arkivverkets nye digitale magasin Boden, 10.11.2009 Trond Sirevåg 1
Arkivverkets digitale magasin Disk lagring + tape roboter Gradert materiale (eget anlegg) Taperobot(er) SA-medarbeidere med testoppgaver Indre, lukket sone DSM - Digitalt sikringsmagasin for orginalversjoner Sluse Eget kontrollområde Ytre, åpen sone For bruksversjoner DD-seksjonen Elark-medarbeideres mottakskontroll
Bit bevaring Rammebetingelser for å opprettholde autentisitet Det er umulig å langtidslagre et digitalt arkivdokument uten at noe element endres Duranti: There is no such thing as an uncorrupted record Vi må nøye oss med å kreve at arkivdokumenter er bevart intakt og ukorrumpert i alle vesentlige henseender at det ikke har skjedd endringer som berører materialets identitet og innholdsintegritet at fravær av uakseptable modifikasjoner kan verifiseres at dette inngår i et forvarings og vedlikeholdsopplegg med kontinuerlig beskyttelse mot uautoriserte hendelser og logging av utførte operasjoner ( unbroken chain of custodianship ) 3
Eksempel på endret bit innhold Dette dokumentet i ppt 2000 og ppt 2007 versjon ppt-2000 ppt-2007
Planlagt anvendelse av standarder METS PREMIS Standarder for implementering av OAIS TRAC Standard for integritetssikring i depot OAIS Standard for arkivering 5
Arkivverkets digitale magasin Anvendelsen av OAIS og TRAC (1) Hvert bevaringsobjekt skal lagres som en autonom og selv forklarende AIP permanent forbundet med sine tilhørende logiske og tekniske metadata Slik skal det fortsatt kunne fremstilles som arkivmateriale, og fortsatt være forståelig og autentisk som arkivmateriale En mottatt arkivversjon (SIP) skal bevares uendret og sjekksum sikret for alltid 6
Arkivverkets digitale magasin Anvendelsen av OAIS og TRAC (2) Sjekksummer og dokumentasjon skal vise om/hvordan integritetssikring ble ivaretatt: ved fremstilling av SIP ved overføring av SIP ved mottak av SIP Operasjoner i depot etter mottak skal bevares og dokumenteres som tillegg med nye sjekksummer Ved en senere transformering/formatkonvertering skal en ny versjon bevares som tillegg til den opprinnelige Sjekksummer skal både være knyttet til elementer i pakken og til pakken som helhet 7
Organisering av arkivpakker i digitalt magasin Flernivå implementering av OAIS objektstrukturen AIP er innbygd i AIP er Begrunnelser: 1. Rasjonelt å bevare nye versjoner av informasjonsinnhold (Content) som tillegg innenfor én samlet AIP Bevaringsobjekter typisk 5 årsperioder fra Noark systemer og store database uttrekk holdes samlet De sentrale, autentiserende bevaringsmetadata (PDI) er stabile, og kan være felles for alle versjoner 2. Behov for oversiktlighet og forenklet kompleksitet i digitalt magasin (motsats: atomisering) Magasinets administrasjonssystem bør bare se samlede pakker, ikke innholdet i dem 8
Arkivpakke basiselement Arkivpakke Bevaringsobjekt / arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold (representasjon) Datafiler Tekniske metadata 9
Arkivpakke uten sjekk summer Unik ID ( reference info. ) Kontekst-info. (Asta-info.) Proveniens-info. Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold Original mottatt representation (SIP) Datafil(er) Tekniske metadata Annen oppr. SIP-info Depot-operasjoner Migrert representation OAIS-betegnelser: Identifier Record Preservation description information Content information (Representations) Digital object (venstre) Representation metadata (høyre) Datafil(er) Tekniske metadata Depot-operasjoner Migrert representation. Sjekksum (for samlet AIP) algoritme hashverdi 3 seksjoner: Identifikator (ID) Bevaringsobjekt Samlet sjekksum
Arkivpakke med sjekk summer
Arkivpakke trinnvis gjennomgang
Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold Sjekksum (for samlet AIP)
Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold Original mottatt representation (SIP) Sjekksum (for samlet AIP)
Deler av Bevaringsmetadata er gjenstand for ajourhold. Oppdatering skjer ved tilføyelse av (repeterbare) delobjekter Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold Original mottatt representation (SIP) Datafil(er) Tekniske metadata Annen oppr. SIP-info Annen oppr. SIP info: omfatter bl.a. medfølgende PDI Sjekksum (for samlet AIP)
Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Depot operasjoner er et repeterbart objekt innenfor seksjonen (ved endring) Omfatter bl.a.: Testing og verifisering ved mottak Endring av med flg. tekniske metadata Senere depot operasjoner Informasjonsinnhold Original mottatt representation (SIP) Datafil(er) Tekniske metadata Annen oppr. SIP-info Depot-operasjoner Sjekksum (for samlet AIP)
Arkivpakke (AIP) Pakke-ID Bevaringsobjekt/arkivdokument Bevaringsmetadata (logiske metadata) Informasjonsinnhold Original mottatt representation (SIP) Datafil(er) Tekniske metadata Annen oppr. SIP-info Depot-operasjoner Ny, fullstendig seksjon genereres ved transformering av info innhold Migrert representation Migrert representation. Sjekksum (for samlet AIP)
Arkivversjoner fra Noark systemer o.a. RM systemer må ha Bevaringsmetadata (PDI) på individuelt record nivå, enten: 1) i overordnet PDI 2) i SIP delen, eller 3) i Migrert representasjon
Arkivpakke (AIP) Pakke-ID Bevaringsobjekt / arkivdokument Bevaringsmetadata (logiske metadata) Bevaringsmetadata Sjekksummer Informasjonsinnhold Original mottatt representation (SIP) Datafil(er) Sjekksum Tekniske metadata Sjekksum Sjekksum for SIP Depot-operasjoner Sjekksummer Migrert representation (1) Datafil(er) Sjekksum Depot-operasjoner Tekniske metadata Sjekksum Sjekksummer Migrert representation (n). Sjekksum (for samlet AIP) Algoritme Hashverdi Samlet sjekksum lagres fysisk utenfor pakken
Spørsmål vedr. AIP strukturen som logisk modell Cluster pakkemodellens legalisme i forhold til OAIS OAIS punkt 4.1.1.5: krever generering av ny AIP (på nærmere definert måte) når Content Info. eller DPI oppdateres OAIS legalisme kan hvis den gis avgjørende vekt fremtvinge en oppdeling av pakkemodellen Seksjonene i pakkemodellen er for øvrig ikke mappet mot OAIS enhetene AIP, AIU og AIC foreløpig Praktiske spørsmål Hvor praktisk håndterbare vil store arkivpakker være? Blir det for intrikat å operere med et road map i hver arkivpakke for å vise de forskjellige gjeldende objekter? Valg mht. content packaging omfang og container format 21
Andre spørsmål Integritetssikring av overordnede bevaringsmetadata som kan være gjenstand for oppdatering Lokalisering av tekniske metadata mm. som er felles for flere pakker Arbeidsdeling mellom arkivpakker og sentralt adm.system Hvilken informasjon fra arkivpakkene skal også finnes i (SAN )administrsjonssystemet? Implementeringen av logisk arkivpakkestruktur i METS, PREMIS mm. 22
Generering av AIP er Krever XML skjema for AIP + egen programvare (tilknyttet SAN administrasjonssystemet) for følgende oppgaver: Generering av ny arkivpakke (inkludering av SIP med tilleggs informasjon for depothåndtering) herunder også generering av sjekksummer Endring av innhold i arkivpakke inkludert ny sjekksum generering Migrering av innhold i arkivpakke inkludert ny sjekksum generering Generering av informasjon til (SAN )administrasjonssystem for digitalt depot Generering av informasjon til arkivbeskrivelsessystem (Asta) Inn og utpakking av tar fil (eller annet pakkeformet) som skal omslutte arkivpakken 23
Valg mht. container og pakkings format AIP container for alt info innhold eller for deler av det? Bruk av Base64. Eller mer presist: hvordan unngå Base64 ved bruk av altomfattende container? Xml vs. tar som pakkingsformat, jf. edavid prosjektets (Filip Boudrez ) argumentasjon for bruk av xml: Forenklende (bl.a. krever tar sjekksum før og etter pakking) Gjør det mulig å supplere pakkefilen med xml metadata METS vs. XFDU som standard for Content Packaging Implikasjoner? Muligheter mht. valg av pakkingsformater? 24
Noen foreløpige konklusjoner i Elmag prosjektet METS brukes som header og container men dmdsec i METS (for Descriptive Info) brukes ikke PREMIS brukes for Preservation metadata PREMIS skal da knyttes samlet til METS (via admsec) Konvertering av binærfiler til Base64 velges ikke tar format velges som container format men implikasjoner må klargjøres før en endelig konklusjon
Vedlegg (fra juni seminaret med Karin B.): OAIS, METS og PREMIS
OAIS overordnet modell (1) Informasjonspakke Pakkeidentifikator, arkivbeskrivelse o.a. info. for tilgang Package Description Information Package Packaging Information Pakkens innhold av objekter og dens sammen knytning av objekter Descriptive information Representasjonen av informasjonsinnholdet (data) Content information Preservation Description information Bevaringsbeskrivende info. Logiske metadata for å forstå content information Datafiler Data object Representation information Tekniske metadata En referanse og begrepsmodell, ikke en implementeringsmodell!!
OAIS ekspandert overordnet modell Package Description Information Package Packaging Information Content information Preservation Description information Data object Representation information Reference info. Provenance info. Entydig identifikasjon av dok. og metadata Arkivdokumentenes opprinnelse Physical object Digital object Context Info. Tilknytning til aktiviteter/ prosesser + relasjoner til andre arkivdokumenter Bit Sequence Descriptive information (no.: Asta informasjon ) er innbygd i Package Description, men er her tegnet inn som egen enhet (nest nederst under Preservation Description information) (Spesifisert i ISAD(G) mv.) (Spesifisert i PREMIS) Fixity info. Descriptive info. Preservation metadata Integritets og autentisi tetsbevarende info. Arkivdepotets metadata for søking/fremfinning (jf. Package Description) Operasjoner på bevart materiale i arkivdepot. Historikk/vedl.holdslogg
Fra nåværende norsk praksis til OAIS Inngår i norsk SIP ("arkivversjon ): Proveniensinfo: INFO.TXT Package Description Information Package Packaging Information Tekniske metadata: ADDML eller XML Schema Tekniske metadata: Noark-4-DTD'er Content information Preservation Description information Noark-5 metadata Datafiler Data object Representation information Reference info. Provenance info. Operasjoner etter mottak: Asta - arkivbeskrivelse Physical object Digital object Context Info. Testrapport Bit Sequence Fixity info. Logger Forklaringer Descriptive info. Senere endringer Preservation metadata
METS Metadata Encoding & Transmission Standard Utviklet som tillegg til OAIS og som implementeringsalternativ XML Schema spesifisert av Digital Library Federation Vedlikeholdes av Library of Congress XML container for ulike typer metadata Arkivbeskrivende, strukturbeskrivende og administrative metadata Beskriver den indre strukturen i en container/pakke Knytter sammen Descriptive Metadata og Digital Content Knytter sammen Administrative Metadata og Digital Content Kan inkludere Wrapping Packaging information iht. OAIS (inventory) Beskrivelsesinformasjon iht. EAD/EAC (og Asta) Link til andre metadata,f.eks. PREMIS Men mulig å velge f.eks. tar format som alternativ løsning Spesifikke METS profiler for ulike formål er utviklet
7 seksjoner: METS (2) METS Header Beskriver METS dokumentet, opphavsperson etc. Descriptive Metadata Dvs. "Asta informasjon". Kan være innbygd eller ekstern Administrative Metadata Hvordan filene ble skapt, proveniens, opphavsrettigheter mv. + tekniske metadata + info. om migrering/transformering. Innbygd eller ekstern File Section Oversikt over alle filer som inngår i "digital object" Structural Map (obligatorisk) Sammenbinding av "content filer og metadatafiler til hierarkisk struktur Structural Links Hyperlinks innenfor Structural Map, f.eks. for web arkiv Behavior Tilknyttet eksekvérbar mekanisme/kode
Fra OAIS til METS Fortolkning MetsHdr Package Description Information Package Packaging Information structmap filesec Content information Preservation Description information admsec dmdsec Data object Representation information Reference info. Provenance info. behaviorsec Physical object Digital object Context Info. Bit Sequence Fixity info. PREMIS Descriptive info. Preservation metadata Prikket område: mappes til PREMIS enten innenfor eller utenfor METS
PREMIS Preservation Metadata: Implementation Strategies Utviklet av OCLC Online Computer Library Center og RLG Research Libraries Group Data dictionary støttet av XML Schemas Vedlikeholdes av Library of Congress Definerer metadata for å støtte forståelighet, autentisitet og identitet Håndterer arkivbeskrivelse (descriptive metadata) Håndterer tekniske metadata PREMIS har egen container, men kan også innordnes i METS (under seksjonen Descriptive Metadata) PREMIS container skal ikke brukes ved inkorporering i METS Overlapping mellom PREMIS og METS Krever valg Men bare PREMIS har godt utbygde metadata for operasjoner/hendelser utført i repository Egne PREMIS profiler (kan også implementeres i Asta)
PREMIS modell F.eks. en bok eller en database (kan også være en sammensatt enhet). Descriptive Metadata tilknyttes dette nivået (vanligvis). Bestemmelser/rettigheter mv. som er fastsatt for Objects Undergrupper: file bistream representation Organisasjoner, personer eller SW tilknyttet Events eller Rights Hendelser/operasjoner som Objects (i repository) er gjenstand for
Fra nåværende norsk praksis til METS/PREMIS Fortolkning Inngår i norsk SIP ("arkivversjon ): Proveniensinfo: INFO.TXT Tekniske metadata: ADDML eller XML Schema Tekniske metadata: Noark-4-DTD'er Noark-5 metadata Datafiler MetsHdr structmap filesec admsec dmdsec behaviorsec Operasjoner etter mottak: Asta - arkivbeskrivelse Testrapport Logger Forklaringer Senere endringer PREMIS Alternativet med å tilknytte PREMIS samlet til METS (via admsec) er her valgt. Piler fra Datafiler er tegnet både til METS og PREMIS for spesielt å markere at det her er tale om redundans (referanser til filene lagres også i METS, men filene i seg selv lagres bare i PREMIS)