Metadata for gjenfinning og bevaring Jonny Edvardsen Avdelingsdirektør Tilvekst og kunnskapsorganisering Nasjonalbiblioteket
Metadata: definisjon «Data om data.» «Metadata er en formell beskrivelse av indre og ytre karakteristika ved tradisjonelle og digitale dokumenter og objekter som understøtter formidlingen av dem (dokumenter og objekter) til personer.» (Aalberg og Hegna, 2000).
Metadata kan være Deskriptive: forfatter, tittel, emne Administrative: format, størrelse Strukturelle: overskrift, avsnitt
Metadata ikke bare for arkivarer
Behov for beskrivelse og gjenfinning?
Litt om teknikk
Litt om teknikk
Litt om teknikk
Litt om teknikk -Tilgang på avspillingsutstyr blir en stadig større trussel -Forvent at det som digitaliseres av Lyd- og bildemedier ikke kan digitaliseres på nytt om 10-20-30 år -Digitalisering i (for) lav kvalitet vil sannsynligvis ikke kunne rettes på
Litt om teknikk - eksempel
Litt om teknikk - eksempel -DAT (Digital Audio Tape) -Ble utviklet av Sony og introdusert i 1987 -I hovedsak profesjonell bruk, bl.a. lydarkiv hos kringkastingsselskap -Avspillere produseres ikke lenger -Begrenset levetid på utstyret -Sannsynligvis mer innhold enn avspillingskapasitet i verden
Avspillingsutstyr i NB Prøver å være operativ på alle mediebærere som har eksistert i Norge Krevende øvelse å holde utstyret i teknisk stand Kjøper relevant bruktutstyr der vi kan finne det Foreløpig bare én mediebærer som er gitt opp (2 videobånd, overspilt og digitalisert først)
Metadata for bevaring Bevaringsmetadata: De dataene som sikrer at vi vet nok om objektene (både fysiske og digitale) til at de kan bevares i et langtidsperspektiv.
Bevaring og metadata -Langtidsbevaring av de fleste fysiske materialtyper krever tilgjengelige metadata -Langtidsbevaring av digitale objekter krever metadata -Måten vi velger å lagre objektene på avgjør om innholdet er tilgjengelig i et langtidsperspektiv
Metadata for bevaring for gjenfinning forfatter, tittel, emne, år for å beskrive fila format, størrelse, passord for å beskrive omgivelsene visningsprogram, operativsystem, maskinvare for å beskrive dokumenthistorien relasjoner, opprinnelse, endringer, rettigheter
PREMIS: standard for bevaringsmetadata, ansvarlig: Library of Congress Metadataskjema som definerer hva som bør/kan registreres og hvordan. http://www.loc.gov/standards/premis/
METS: XML-skjema for koding av deskriptive, administrative og strukturelle metadata. PREMIS kan «pakkes inn» i METS. http://www.loc.gov/standards/mets/
Fra bevaringspolitikken i NB Metadata For alle materialtyper er det viktig å ha tilstrekkelige metadata for å kunne arkivere, gjenfinne og bevare materialet. Valg av nivå, mengde og system for metadata gjøres med utgangspunkt i Bibliografisk plan. Bevaringsmetadata gir opplysninger om forhold vedrørende kildens fysiske og tekniske karakteristika, slik at den for ettertiden kan oppleves mest mulig slik den opprinnelig framstod. Bevaringsmetadata gjør det mulig å lese eller avspille innholdet, å forstå dets historie og kontekst og gir grunnlag for å iverksette bevaringstiltak.
Fra bevaringspolitikken i NB Metadata (forts) For å sikre at bevaringsmetadata registreres på et forsvarlig nivå, må det finnes prosedyrer for alle materialtyper. Prosedyrene må definere mengde og type bevaringsmetadata som er nødvendig, samt aktuelt registreringssystem for dataene. Alle metadata, inkludert bevaringsmetadata må sikres optimal levetid. Det betyr at bevaringspolitikken også må omfatte metadata.
OAIS- Open Archive Information System
F-1.4 SIP, AIP [for audit] [Updated] SIP 2. Ingest Audit report Format stds., Documentation stds., Procedures Receive Submission SIP Report request Report Generate AIP AIP Generate Descriptive Info Database update response Status of updates 4. Data Management Report Report Descriptive info Database update request System updates Review updates Report request Report request Policies Receive Database Updates Generate Report Administer Database Report request Query request Perform Queries Query request Query request Report Descriptive info Result set Descriptive info Query request Report request Receipt confirmation Resubmit request QA results Descriptive SIP AIP info. Descriptive SIP info. Quality Assurance Co-ordinate Updates Storage mgmt policies Storage confirmation 3. Archival Storage Storage management policies Operational statistics Disaster recovery policies Storage request, AIP Manage Storage Hierarchy Error logs Replace Media database Receive Data Provide Data AIP AIP request Error Checking data AIP Notice of AIP transfer Disaster Recovery Dissemination request Dissemination request Descriptive info Result set Co-ordinate Access Activities DIP Descriptive info Report Noticed of shipped order 7. Access Deliver DIP Response Result set Report Assistance Dissemination request Order Assistance request Query request Report request DIP Result set Report Assistance Policies Disaster Recovery Policies Report request Updates commands AIP AIP media backup media AIP request AIP Notice of AIP transfer Generate DIP P R O D U C E R Lien Surveys Audit report Final ingest report Submission/schedule agreement Product technologies 5. Administration Physical Access Control Format stds. Documentation stds. Procedures Policies [Updated] SIP SIP, AIP Appeal Establish Standards and Policies Audit Submission Final ingest report Archival Information Update Negotiate Submission Agreement System evolution policies DIP SIP design SIP [for approval] Report Recommendations, Proposals Budget, Policies Change requests, Procedures, Tools AIP/SIP review AIP/ SIP templates Customization advice Status of updates Activate Requests Manage System Configuration Dissemination request Dissemination request Customer Service Billing info Payment Approved standards Migration goals Reports Inventory reports, Performance info Migration packages AIP/SIP review Consumer comments Develop Packaging Designs & Migration Plans Preservation requirements Prototype results Recommendations, Proposals Bill Issues Advice Consumer comments Develop Preservation Strategies and Standards Reports, Alerts, Standards, Monitor Designated Community Surveys 6. Preservation Planning Technology alerts External data standards Prototype results Reports Product technologies Service requirements Prototype results Prototype requests Monitor Technology DIP Billing info Payment Surveys Bill C O N S U M E R MANAGEMENT 26
Truslene Utdaterte lagringsmedium Utdaterte format Utdaterte program Utdaterte datamaskiner 23.05.2014 27
Truslene Løsningene Utdaterte lagringsmedium Migrere til nye lagringsmedium Utdaterte format Utdaterte program Konvertere til nye format Velge riktige format Utdaterte datamaskiner Metadata 23.05.2014 28
Langtidsbevaring i NB Lagring: Sikker fysisk lagring, sikre fra ødeleggelse eller ulykker. Riktig lagringsmedium: standard, stor kapasitet, stabilt og utskiftbart, konvertere ved behov.
Langtidsbevaring i NB Krav til objektene som skal lagres: metadata, unik identifisering, formatkrav (standard, ukomprimert) bevaringskopi/brukskopi.
Langtidsbevaring i NB NB har i dag over 5 petabyte data, lagret i tre kopier, på flere fysiske lokasjoner og på to ulike lagringsteknologier
Prinsipper for langtidsbevaring i NB 1. Alle digitale objekt tildeles en unik identifikator (URN) 2. Alle digitale objekt må ha tilstrekkelig metadata for gjenfinning og bevaring 3. Velge format som sikrer lang levetid: åpne, ukomprimerte 4. Sikre bevaring gjennom konsistenskontroll, konvertering, migrering og emulering 5. Behandle alle filer likt, uansett innhold 6. Skjule lagringsteknologien fra applikasjonene 7. Bruke hyllevare der det er mulig 23.05.2014 32
Samarbeid Små enheter vil ofte mangle ressurser til å sikre god langtidsbevaring av truede objekter Viktig å inngå i robuste nettverk Eksempel er samarbeidet mellom Nasjonalbiblioteket og NRK Kompetanse finnes utnytt den Nasjonalbiblioteket, Riksarkivet, Kulturrådet, internasjonale organisasjoner osv
Samarbeid NRK - NB Nasjonalbiblioteket digitaliserer historiske lydopptak for NRK Lagres i høykvalitet, lavkvalitet for pålytt Selve digitalarkivet for NRK ligger i fjellet i Mo i Rana Basert på avklarte tekniske standarder og metadata både innholdsmetadata og bevaringsmetadata Lydfilene inngår i NBs bevaringsstrategi
Kompetanse
Kompetanse
Tips på veien videre Ha kontroll på formålet med det du gjør Ha en bevaringsstrategi Tenk langsiktig Følg standarder Standardiser på (god)kjente formater Samarbeid med andre Lagre gjerne data hos andre - også