DRI2020 Emne: Om databaser og norske arkiver /NOARK (7) Onsdag 12. oktober 2011 Foreleser: Anne Mette Dørum, Riksarkivet

Transkript

1 DRI2020 Emne: Om databaser og norske arkiver /NOARK (7) Onsdag 12. oktober 2011 Foreleser: Anne Mette Dørum, Riksarkivet 1

2 Pensum og studiemål Pensum: Kjos, B. m. fl. (red.): Innføring i informasjonsteknologi, Kap Fonnes, Ivar: Arkivhåndboken, Kommuneforlaget. avsn. 6.1, side , avsn , s og , , 30 sider. Studiemål: Her er fokus arkivet, og spesielt NOARK, og forståelse av Noarks funksjon som nasjonal standard. Forelesningen skal også gi en elementær innføring i (strukturerte) databaser med eksempler fra NOARK-organiseringen 2

3 Kort om Riksarkivet hovedbølet i Arkivverket Arkivverket består av Riksarkivet, åtte statsarkiver, Samisk arkiv og Norsk helsearkiv. Leder for Arkivverket er riksarkivar Ivar Fonnes. Arkivverkets viktigste oppgaver Ta vare på arkivmateriale fra statlige virksomheter Gjøre materialet tilgjengelig for bruk Føre tilsyn med arkivarbeidet i staten, fylkeskommunene og kommunene Bidra til at private arkiver blir tatt vare på Riksarkivarens myndighet er hjemlet i arkivloven. 3

4 Dagens tema Om Noark-standarden Om databaser MER om Noark-standarden 4

5 Om Noark-standarden Tidslinje En standard for journalsystem i norsk offentlig forvaltning 1984 Noark Noark 2 En lovhjemlet spesifikasjon for elektronisk journalføring og arkivering i offentlig forvaltning (også for journal- og arkivfunksjoner innebygget i fagsystem) 1994 Noark Noark 4 MoReq Noark 5, MoReq2 MoReq2010 Model Requirements (editable standard requirements) Noark 5: En ERM standard; MoReq2 kompatibilitet; kjernekrav MoReq2: A strict compliance regime, core requirements, chapter 0 Modular Requirements, pluggable and extensible architecture 5

6 Noark 5 gjeldende standard - en nasjonal, obligatorisk standard En nasjonal standard, ikke en kravspesifikasjon Definert som obligatorisk, nasjonal standard i DIFIs referansekatalog Forankret i arkivloven siden 1999 Påbudt i for offentlige organ, frivillig i det private En rendyrking av arkiv og arkivdanning Lar saksbehandlere, ledere og alle andre styre med sitt nesten uten innblanding fra arkivet Krav til hva som skal til arkivet, hvordan det skal skje og hvilke opplysninger som skal følge med Fange, fryse, søke og finne, bevare på kort og lang sikt Elektronisk arkivdanning hva betyr det? 6

7 Noark 5: En arkivstandard med funksjonelle krav i tre lag Den indre kjernen: Grunnleggende funksjonalitet for journalføring og arkivering. O- og B-krav. Den ytre kjernen: Kjernens krav til eksterne moduler. Funksjonalitet som kan styres utenfra, men som påvirker innholdet i kjernen. O- og B-krav. Den indre og ytre kjernen utgjør tilsammen Noark 5 kjerne. Noark 5 komplett: Eksterne moduler. V-krav. 7

8 Funksjonalitet i indre kjerne? ( Records Inneholder arkivdokumenter (engelsk: Arkiver dannes gjennom dokumentfangst Når dokumenter arkiveres må de tilføres metadata Dokumentene blir dermed organisert i en arkivstruktur Denne strukturen må kunne administreres Dokumentene skal kunne gjenfinnes raskt og sikkert Det må kunne foretas kassasjon av arkivdokumenter Dokumentene må kunne periodiseres, dvs. deles opp i aktive og avsluttede arkivperioder Dokumenter og tilhørende metadata skal kunne avleveres til arkivdepot (i form av datauttrekk) 8

9 Arkivstrukturen basert på UML-notasjon Arkivets indre orden Bygd opp av arkivenheter Jf. arkivrom, arkivskap, hengemapper, omslag osv. i papirbaserte arkiver Inngår i et hierarki Øverste nivå er arkiv, nederste er dokumentobjekt som inneholder referanse til selve det elektroniske dokumentet Arkivenhetene består av metadata Referansene mellom arkivenhetene er også metadata Nye navn i forhold til Noark 4 Klassifikasjonssystem (ordningsprinsipp), klasse (ordningsverdi), mappe (sak), registrering ( versjon ) (journalpost) og dokumentobjekt 9

10 Tema 2: Om (strukturerte) databaser Målet med denne forelesningen er ikke at dere skal lære datamodellering eller opprettelse og bruk av relasjonsdatabaser. Målet er derimot at dere skal kunne forstå en eksisterende datamodell og hvordan en relasjonsdatabase er strukturert og fungerer på et overordnet nivå (f.eks. for å kunne delta i bevaringsvurdering og spesifisering av arkivuttrekk fra databaser). Begreper og faguttrykk er spesielt viktig! 10

11 Strukturer for ekstern lagring av data En database er en mengde av data som består av minst én fil, og som er tilrettelagt for et bestemt formål eller for et bestemt databehandlingssystem (kalt databasesystem) (fra Norsk dataordbok). Hierarkiske databaser og nettverksdatabaser er to tidligere benyttede databasetyper. Den dominerende typen siden ca har vært relasjonsdatabaser (RDBMS). Objektorienterte databaser har vært et logisk begrep siden ca. 1990, men blir i praksis realisert ved hjelp av relasjonsteknologi (f.eks. Oracle 8). XMLdatabaser er en nyvinning fra 2000-tallet (exist m.fl.). 11

12 Relasjonsdatabaser (1) I en relasjonsdatabase er dataene organisert i en eller flere sammenhørende tabeller (engelsk: relations) En tabell inneholder opplysninger om flere ting av samme type (kalt entitetstype), f.eks. personer, eiendommer, kjøretøy, land, konti, bøker, fag osv. Opplysningene om hver enkelt ting (ofte kalt entitet eller objekt) utgjør en rad (post) i tabellen. Enkeltopplysningene innenfor hver rad i tabellen kalles dataverdier eller feltverdier, og er av en bestemt datatype (heltall, tekst, tegn, dato osv.) Opplysningene om samme egenskap tilhørende alle tingene (radene) utgjør en kolonne (felt) i tabellen. Tabellen og kolonnene i denne har egne navn. 12

13 Eks 1: Databasetabell (éntabellbase) personer 1 Per Olsen Pia Jørgensen Nina Pril Anne Vik Jens Ås Vidar Blom persnr fornavn etternavn postnr f_aar 13

14 Relasjonsdatabaser (2) En kolonne (eller flere kolonner i kombinasjon) med dataverdier som identifiserer radene i en tabell entydig, kalles en kandidatnøkkel (eng: candidate key) for tabellen. Én av kandidatnøklene (hvis flere) velges ut som primærnøkkel (eng: primary key). De resterende kalles da sekundærnøkler (eng: alternate keys). Nøkkelkolonnene skal ha en verdi i hver rad, og verdiene skal altså være unike. En kolonne (eller flere kolonner i kombinasjon) i en tabell som henviser til primærnøkkelen i en annen tabell, kalles en fremmednøkkel (eng: foreign key). Det er fremmednøklene som knytter tabellene i en relasjonsdatabase sammen. 14

15 Eks. 2: personer Databasetabeller med nøkler biler 1 Per Olsen Pia Jørgensen Nina Pril Anne Vik Jens Ås Vidar Blom persnr fornavn etternavn postnr f_aar PN Subaru DA Volvo BP Skoda VF Toyota LH Audi ZT Jeep bilnr merke aarsmod eier primærnøkkel primærnøkkel fremmednøkkel 15

16 Relasjonsdatabaser (3) En sammenheng mellom to tabeller kalles en relasjon (eng: relationship). Vi skiller mellom tre ulike relasjonstyper : Hvis det til en rad i en tabell hører maksimalt én rad i en annen tabell, har vi en en-til-en-relasjon (1:1) mellom tabellene. Hvis det til en rad i en tabell kan høre flere rader i en annen tabell, har vi en en-til-mange-relasjon (1:M) mellom tabellene. En mange-til-mange-relasjon (M:M) mellom to entitetstyper må realiseres ved hjelp av en hjelpetabell i databasen. 16

17 personer Eks. 3: Relasjonstyper biler 1 Per Olsen Pia Jørgensen Nina Pril Anne Vik Jens Ås Vidar Blom :M PN Subaru DA Volvo BP Skoda VF Toyota LH Audi ZT Jeep personer biler 1 Per Olsen PN Pia Jørgensen ZT Nina Pril BP Anne Vik DA Jens Ås VF Vidar Blom LH :1 PN Subaru DA Volvo BP Skoda VF Toyota LH Audi ZT Jeep

18 Databasedesign Aktiviteten databasedesign vil typisk bestå av følgende faser: Konseptuelt design: Formell og komplett beskrivelse av informasjonsinnholdet i databasen, uavhengig av databasesystemets egenskaper og krav. Resultat: Konseptuelt skjema = datamodell Noark 5 Logisk design: Omforming av datamodellen fra forrige fase til en databasemodell tilpasset det aktuelle databasesystemet, dvs. med navngitte tabeller og kolonner istedenfor entitetstyper og attributter. Optimaliseringsarbeid som normalisering inngår her. Resultat: Logisk skjema = databasemodell Noark 4 Fysisk design: Komplettering av databasemodellen med fysiske detaljer (f.eks. datatyper og indekser) bestemt av det aktuelle databasesystemet. Resultat: Fysisk skjema = f.eks. SQL-setninger (spørresetninger) for opprettelse og strukturering av databasen (CREATE DATABASE / CREATE TABLE) 18

19 Datamodellering En datamodell er en formell, visuell strukturbeskrivelse av informasjonsinnholdet i en database. Datamodellen viser entitetstypene, deres attributter og relasjonene mellom dem. Det finnes flere teknikker for datamodellering, f.eks. EAR (entity attribute relationship), ofte forkortet til E-R, og NIAM (Nijssen s information analysis model). 19

20 EAR-datamodell for Noark 3-system Sak Arkivnøkkel Dokument Avsender/ Mottaker Selve hoveddelen av systemet er Sak og Dokument. Arkivnøkkel og Avsender/Mottaker er (hjelpe)registre. Arkivnøkkel kan også oppfattes som et koderegister. 20

21 Datamodellering: kråkefot -notasjon Symbol Betydning Entitet Enhet, vanligvis en enkelt tabell Relasjonsformer 1 : 1 1 : M M : M Angir hvordan entiteter (tabeller) forholder seg til hverandre i en database Attributter Dataelementene i en entitet. Tilsvarer kolonner i en tabell eller felt når tabell vises i skjemaform 21

22 Relasjonsformer - eksempler Firmabil Ansatt 1:1 Skole Elev 1:M Lærer Klasse M:M Oppløst M:M-relasjon: Lærer Lærer i Klasse klasse Klasse 22

23 Tabellform vs. skjemaform Felt 1 Felt 2 Post 1 Post 2 Medl.nr. Enavn Fnavn Født Adresse 100 Andersen Marie Guristuvn Andersen Mette Kranvn Andersen Morten Maridalsvn Andersen Nils Heggelivn Andersen Ole Utmarksvn Andersen Per Ullernvn. 34 Ajourhold av medlemsregister Medl.nr. 108 Født: E.navn: F.navn: Andersen Per Adresse: Ullernvn

24 Telefonkatalogen i 4 ulike sorteringer NAVNEFORTEGNELSE Andersen Marie Lærer Guristuvn Oslo Andersen Mette Arkivar Kranvn Oslo Andersen Morten Direktør Maridalsvn Oslo Andersen Nils Selger Heggelivn Oslo Andersen Ole Telemontør Utmarksvn Oslo Andersen Per Lærer Ullernvn Oslo Andersen Rita Sykepleier Fuglevn Oslo ADRESSEFORTEGNELSE Fuglevn. 46 Andersen Rita Sykepleier 0667 Oslo Guristuvn.35 Andersen Marie Lærer 0690 Oslo Heggelivn. 49 Andersen Nils Selger 0375 Oslo Kranvn. 78 Andersen Mette Arkivar 0684 Oslo Maridalsvn. 57 Andersen Morten Direktør 0467 Oslo Ullernvn. 34 Andersen Per Lærer 0280 Oslo Utmarksvn. 42 Andersen Ole Telemontør 0689 Oslo YRKESFORTEGNELSE Arkivar Andersen Mette Kranvn Oslo Direktør Andersen Morten Maridalsvn Oslo Lærer Andersen Marie Guristuvn Oslo Lærer Andersen Per Ullernvn Oslo Selger Andersen Nils Heggelivn Oslo Sykepleier Andersen Rita Fuglevn Oslo Telemontør Andersen Ole Utmarksvn Oslo TLF.NR.-FORTEGNELSE Andersen Mette Arkivar Kranvn Oslo Andersen Nils Selger Heggelivn Oslo Andersen Marie Lærer Guristuvn Oslo Andersen Per Lærer Ullernvn Oslo Andersen Morten Direktør Maridalsvn Oslo Andersen Ole Telemontør Utmarksvn Oslo Andersen Rita Sykepleier Fuglevn Oslo 24

25 Teledatabase ( flertabell-database ) Enav n Fnav n Adresse Postnr. Telefon Andersen M arie Guristuvn Oslo Andersen Mette Kranvn Oslo Andersen Morten Maridalsvn Oslo Andersen Nils Heggelivn Oslo Andersen Ole Utmarksvn Oslo Andersen Per Ullernvn Oslo Andersen Rita Fuglevn Oslo Fast pr. kvartal 1 Fast pr. kvartal Telefon Ant. tellerskritt 1 Ant. tellerskritt Pris pr. tellerskritt 1 Pris pr. tellerskritt ,76 Teleregningen som en rapport fra teledatabasen: Faktura gjelder: Telefonregning 1. kvartal BANKGIRO Marie Andersen Telenor Guristuvn. 35 Kongensgate OSLO 0102 OSLO Fra bankkontonr. (11 siffer) Kroner Øre Til bankkontonr. (11 siffer) Referansenr

26 Synkronisering av tabeller vha. "fremmednøkler" Tlf-nr Etternavn Fornavn Adresse Postnr Abonnent Forbruk Tlf-nr (fn) Tellerskrittype (fn) Brukte tellerskritt Tellerskrittsatser Tellerskrittype. Pris pr. tellerskritt = Fremmednøkkel Enav n Fnav n Adresse Postnr. Telefon Andersen M arie Guristuvn Oslo Andersen Mette Kranvn Oslo Andersen Morten Maridalsvn Oslo Andersen Nils Heggelivn Oslo Andersen Ole Utmarksvn Oslo Andersen Per Ullernvn Oslo Andersen Rita Fuglevn Oslo Telefon Tellerskrittype Ant. tellerskritt Tellerskrittype 1 2 = Fremmednøkkel Pris pr. tellerskritt 0,97 2,76 26

27 NOARK-3: forenklet datamodell Sak M:1 Arkivkode 1:M Avsender/ mottaker 1:M Journalpost 27

28 28

29 Datamodellen i Noark 5- basert på UML Archive (Fond) Classification scheme Archive group Archive (arkiv): Mulig å inkludere mange arkiv (fra flere arkivskapere) I en og samme løsning Class Archive group (arkivdel): Deler arkivet i serier, sakstyper, perioder osv. File File (mappe): Selvdefinert antall nivå for undermapper Component (versjon, format, variant): håndterer ulike versjoner, varianter og formater for samme dokument Record Document Version Format Redaction Document file Transfer (avlevering/deponering): Hvert dokument skal bli avlevert/deponert som en fil (bit stream). Riksarkivet aksepterer disse filformatene: Tekst (UTF-8 or ISO 8859) TIFF v. 6 XML PDF/A 29

30 Komplett Noark-5 MER om Noark! Eller datamodellens konsekvenser ved avlevering! Noark-5 kjerne saksbehandling E-post Noark-5 Noark-5 kjerne Tekst osv. E-post Tekst Saksbehandling osv. Noark-5 kjerne 30

31 Konseptuell datamodell i Noark 5 Archive (Fond) Classification scheme Archive group Archive (arkiv): Mulig å inkludere mange arkiv (fra flere arkivskapere) I en og samme løsning Class Archive group (arkivdel): Deler arkivet i serier, sakstyper, perioder osv. File (mappe): Selvdefinert antall nivå for undermapper File Component (versjon, format, variant): håndterer ulike versjoner, varianter og formater for samme dokument Record Document Version Format Redaction Document file Transfer (avlevering/deponering): Hvert dokument skal bli avlevert/deponert som en fil (bit stream). Riksarkivet aksepterer disse filformatene: Tekst (UTF-8 or ISO 8859) TIFF v. 6 XML PDF/A 31

32 Noark 4: komplett data(base)modell Del 2: Tekniske spesifikasjoner Beskrivelse av datamodell for et komplett system Men ingen leverandører har implementert sine systemer akkurat slik det er beskrevet her 95 tabeller ( basisversjon ) 28 tabeller inneholder O-attributter 39 tabeller inneholder O- og O2-attributter (elektronisk arkiv) 885 attributter ( basisversjonen ) 215 O-attributter ( arkiv 69 O2-attributter (elektronisk Noark 5: Ingen datamodell, istedet konseptuelle modeller som beskriver datastrukturen og sammenhengen mellom metadatene. Tabell og attributtlistene er erstattet med en metadatakatalog. 32

33 Konsekvenser ved avlevering Noark 4 Samme format for avlevering/deponering til arkivdepot og migrering (eksport/import) mellom system - og det virker dessverre dårlig Noark 5 Bare format for avlevering/deponering, formatet testes og godkjennes av Riksarkivet. Migrering (eksport/import) mellom system er ikke definert. - og vi innbiller ingen at det finnes en enkel løsning på kompliserte utfordringer 33

34 Avleveringsformatet i Noark 4 Bevaring av hele databasen i XML-format basert på datamodellen og attributtlistene Tabelluttrekk (95 tabeller): innholdet i hver tabell eksporteres som én XML-fil De aller fleste attributter (885) er inkludert i tabelluttrekkene Egen fil (NOARK.IH) som dokumenterer uttrekkene Tilgjengeliggjøring ved import i ny database Ofte svært vanskelig p.g.a. inkonsistens i tabelluttrekkene (primærnøkler og fremmednøkler) (Skyldes m.a. at uttrekket omfatter sakene i én arkivdel, ikke alle saker i databasen, så det blir tekniske hull.) 34

35 Avleveringsformatet i Noark 5 Avleveringsuttrekket består av metadata og dokumenter Skal (vanligvis) omfatte alle mapper og dokumenter som tilhører en avsluttet arkivdel (dvs. en avsluttet arkivperiode) Metadata avleveres i et hierarkisk XML-format Basert på arkivstrukturen, metadata er nøstet inn i hverandre En stor XML-fil, alternativt egne filer for hver mappe Vedlegg: XML Skjema for avleveringsuttrekket (definisjon av struktur og innhold i XML-fila) Dokumentene avleveres i formater som er godkjent av Riksarkivaren ( 8-17 i forskriften av nr. 1566) Avleveringsuttrekk skal følge ISO OAIS (dvs være en Submission Information Package i tråd med ( Standard OAIS Open Archival Information Avleveringen kan tilgjengeliggjøres på alle måter. 35

36 Avleveringsuttrekk Metadata om den enkelte mappe med alle underordnede arkivenheter er knyttet sammen i én fil. Dokumentene er separate filer. 36

37 Finn Noark på nettet Noark 1, 2 og 3 er her: Noark 4 er her: Noark 5 er her: 37

38 Og slik er fortidens arkiv Takk for meg! 38