PRESENTASJON Uttrekk og bevaring av eldre fagsystem med dots kjernen

Transkript

1

2 UTTREKK OG BEVARING FRA ELDRE FAGSYSTEM 21 nov 2012 KDRS Samling

3 PROSJEKT Prosjektet fokuserer på utfordringen knyttet til bevaring av fagsystem slik beskrevet i Riksrevisjonens rapport. Prosjektets har som ma l a utvikle et forsystem for friprog Noark-5 kjerne som tillater innsyn i eldre fagsystem ved a flytte data fra disse over i en Noark-5 kjerne. Som grunnlag for dette ma let ligger det en fullstendig bevaringsvurdering samt uttrekk av aktuelle fagsystem.

4 BAKGRUNN I Riksrevisjonens rapport om kommunal arkiv sa er det pa pekt at situasjonen ansees a være kritisk na r det gjelder bevaring av informasjon fra fagsystemer. Bevaringssituasjonen er spesielt kritisk for dokumentasjon i spesialiserte fagsystemer. Riksarkivaren ansla r at det per 2009 er mange tusen ulike fagsystemer i bruk i kommunal sektor. Mange av disse inneholder sentral rettighetsdokumentasjon for enkelt individer

5 DAGENS SITUASJON Avlevering av fagsystemer har dessverre ikke blitt standardisert slik sak/arkiv er med Noark standarden. Fagsystem kunnskap har utviklet seg over de siste a rene til a være noe som er veldig teknisk av natur og det er en tydelig kunnskaps mangel på teknisk arkivforsta else i fagfeltet selv om dette bedrer seg hvert a r. Ut fra fagfeltets perspektiv sa mener vi at den største utfordringen er at fagsystem kunnskapen ligger godt gjemt hos leverandørene. Det er ikke nødvendigvis slik at det er leverandørenes feil at situasjonen er slik den er men KAI miljøet er nødt til a tilegne seg denne kunnskapen fordi det er dette miljøet som skal bevare dette materialet med integritet og autentisitet i lang tid framover.

6 DAGENS SITUASJON Ansvaret for a lage fagsystem uttrekk ligger hos kommunen, men kommunene har ofte ikke kompetansen som trengs for a lage slike uttrekk, og dette er ofte noe som overhodet ikke har vært en del av systemet. Primærbehovet er a sikre danning, mens bevaring er ofte glemt. Kompetansen til a lage slik uttrekk finnes til en hvis grad hos IKAene, men det er varierende i hvilken grad dette er en rolle IKA ønsker a pa ta seg. Omfanget av et slikt arbeid er ukjent og hvordan dette materialet egentlig skal forvaltes i depot er ogsa usikkert. Det overordnete ma let med vårt prosjekt er a studere fagsystem og uttrekk-problemstillingen slik det er beskrevet i Riksrevisjonens rapport og komme med en praktisk løsning.

7 HVA ER PROSJEKTETS MÅL Rent konkret ønsker vi: 1. A finne ut hvilken kunnskaper og ferdigheter KAI miljøet trenger for a trekke ut rettighetsdokumentasjon fra fagsystem. 2. Hvordan skal dette materialet forvaltes hos en KAI institusjon. 3. Sikre og teste datakvalitet

8 Vi ønsker her a signalisere muligheten for a utvikle prosjektet videre med de erfaringene vi gjør i a r 1. Følgende ser vi som mulig: 1. Vurdere bruk av DIAS i denne konteksten. 2. Integrasjon med KS-initiativ på digitalisering for kommunal sektor. 3. Krav til avlevering og bruk av tredjeparts aktører til tilsyn og avlevering. 4. Etablere friprog løsning som tilrettelegger kommunesektoren til a kunne gjøre uttrekk og avlevering selv. 5. Etablere kurs i kommunesektoren for øke kompetanseniva et rundt avlevering av fagsystem.

9 For a oppnå ma la med prosjektet ønsker vi a utvikle case studier der vi ga r inn og jobber direkte på et fagsystem i en kommune. To case-studier skal utvikles. En for en kommune som tilhører IKA Møre og Romsdal og en for en kommune som tilhører IKA Trøndelag. En bevaringsvurdering av materialet i fagsystemet skal utføres og et uttrekk skal generes i XML format. Dette uttrekket brukes som et grunnlag til a lage en kravspesifikasjon på hvordan materialet skal forvaltes i depot og som brukes til a lage et forsystem til dots kjernen.

10 Leveranse 1. Valg av kommune og systemer til case Det første arbeidet som skal utføres er valg av kommune og hvilke systemer som prosjektet skal utvikle case mot. Kommunene er ikke tenkt som finansiert partnere. Kommunene trenger bare a bidra med dokumentasjon og gi IKA tilgang til system for a foreta bevaringsvurdering og uttrekk. Denne leveransen er en rapport.

11 Leveranse 2. Bevaringsvurdering av metadata og innhold I denne leveransen innga r det en bevaringsvurdering av metadata og innhold for begge case systemene. Dette er en blanding av det arkivfaglige opp mot det tekniske som ligger i databasene og systemene for a identifisere det som må bevares. Dette arbeid har et forsknings element i seg. Slike systemer har ofte lite teknisk dokumentasjon tilgjengelig da systemet anses a være en forretningshemmelighet. Dette må veies opp mot kommunens rett til a eie egen data og de forpliktelsene kommunen har til a sikre materialet for ettertiden. Denne leveransen skal også detaljere hvordan informasjonen skal trekkes ut som en fornuftig tabell struktur eller XSD-fil (XML-skjema). Denne leveransen er en rapport.

12 Leveranse 3. Utføre uttrekk I denne leveransen innga r arbeidet med a trekke informasjonen ut fra systemet til et sett med XML filer. Dette arbeidet krever utvikling av kode for a ha ndtere jobben. Denne leveransen er en rapport som er en teknisk beskrivelse av hvordan uttrekket blir generert. Leveransen kan også inkludere SQL kommandoer / php kode for a generere uttrekket.

13 Leveranse 4: Kravspesifikasjon for forsystem til Noark 5 kjerne På bakgrunn av bevaringsvurderingen av metadata, innhold og selve uttrekket skal det utvikles en kravspesifikasjon for 2 forsystemer til en friprog Noark 5 kjerne som skal brukes for a importere, bevare og fungere som innsynsløsning for materialet.

14 Leveranse 5. Utvikling av forsystem og innsynsmodul I denne leveransen innga r arbeidet med a utvikle et forsystem for hver av casene slik at de kan fungere som innsynsløsning for materialet. Det finnes ingen systemer som er utviklet for dette behovet og det er veldig viktig a gjøre noe med dette. En innsynsløsning er elementært viktig for depot na r de skal forvalte materiale for framtiden, spesielt fra fagsystem. Prosjektet har valgt a satse på friprog Noark 5 kjerne som innsynsløsning fordi vi ønsker a avslutte prosjektet med et reelt produkt som IKA kan bruke for dette forma let. Produktet blir utviklet i tra d med statens IKT politikk om bruk av tjenesteorientert arkitektur med en sterk felleskomponent tankegang. Denne leveransen er et produkt utviklet som friprog.

15 HVA HAR VI IDAG? Et stort antall eldre spesialiserte systemer som ikke bruker NOARK eller noen som helst standard. DOTS er en ren NOARK 5 kjerne som fokuserer på metadata De fleste av alle NOARK løsningene på markedet i dag er laget for mange år siden DOTS har bortimot INGEN forretningslogikk (saksbehandling, arbeidsflyt) DOTS er en mye renere implementeringen av standarden enn alle løsninger på markedet i dag. Men: DOTS inkludere ingen modul for import av data Vi har utviklet 2 nye moduler Modul 1: får data fra en db og overfører til en annen db med nødvendig konvertering Den andre modulen tar data ut av hvilken som helst relasjonsdatabase og indekserer dette på en måte at det blir søkbart som om det var i en relasjonsdatabase.

16 Bevaring For å bevare data, må dataene konverteres til en enhetlig format, slik at dataene gir mening også I fremtiden. Et slikt format er definert av NOARK og er basert på XML. Uttrekk fra et fagsystem og konvertere det til NOARK kan bli gjort med et system som SIARD. Men, hvis man kun trekker data ut og konverterer dette til NOARK, så sette man en end-of-life for disse dataene fordi de ikke blir søkbare.

17 LØSNING Med de modulene vi har allerede, så kan vi hente ut data fra fagystem og lagre dette i en NOARK base (databases som brukes av DOTS) Vi kan benytte alle de supporterte arkivstrukturene Indekseringsmodulen kan brukes til å indeksere den DOTS basen Indekseringsmodulen tilbyr Google-style search as well as advanced search capabilities auto-complete for all searchable fields full-text auto-complete Når dataene først er i DOTS basen, så er visualiseringen av det ganske enkel. Siden dataene nå er i DOTS basen, så kan vi eksportere det til bevaringsverdig format med ett klikk

18

19 DATAKVALITET

20 DATAKVALITET God datakvalitet er avgjørende i arkivsystem, men disse to områdene har aldri vært studert sammen. Vi har også utviklet et innovativt språk for å angi data kvalitetskrav i form av regler. Språket tillater datakvalitet objektivt målt i et bredt utvalg av systemer uavhengig av deres underliggende teknologi.

21

22 ?