Bevaring av elektroniske arkiv Innsyn og deponering Olav Alexander Mjelde og Nina Klæboe oktober 2011
Bergen kommune og elektroniske fagsystemer Bergen kommune var veldig tidlig ute med egenutvikling av datasystemer for kommunale tjenester. Dermed frigjorde de seg fra datasentralene. Den første HP3000-minimaskin ble kjøpt inn i 1976. Alt i 1978 tok man i bruk et egenutviklet system med indeks-sekvensielle filer for registrering av saker som var til behandling i formannskap og andre offentlige utvalg, Saksindeks. Det var i bruk helt til BKSAK overtok i 1998. I 1981 ble databaser tatt i bruk. Nye datasystemer innen flere kommunale områder ble utviklet av egne folk, bl.a. økonomi, byggesak, personal mm. HP3000-maskiner på de kommunale avdelingene ble koblet sammen i et X25-nett, slik at data var tilgjengelige fra brukerterminaler andre steder. Fra 1983 tok man i bruk Powerhouse, et 4GL-programmeringspråk, som forenklet utvikling av data-dictionary, skjermbilder, rapporter og oppdateringsrutiner.
Avslutning gammel teknologi Kommunens gamle HP-3000 minimaskin med egenutviklete systemer ble besluttet avslått 01.jan.07 pga høye kostnader og utgått teknologi. Via et forprosjekt i 2003 fikk man oversikt over de ulike elektroniske fagsystemene, som var eller hadde vært i bruk i Bergen kommune Det ble rapportert inn 100 datasystemer for ulike kommunale virksomheter. De fleste systemene var erstattet av nye, moderne dataløsninger. Det var fortsatt stort behov for oppslag i gamle data. HEA-prosjektet (Historisk Elektronisk Arkiv) ble i 2005 igangsatt og betalt av Bergen Byarkiv for å bevare og tilgengeliggjøre data fra HP3000 systemer
HEA-prosjektet - uttrekk Tok utgangspunkt i systemer på HP3000-maskin. Data lå i Turbo Image database og applikasjoner utviklet med Powerhouse programmeringsspråk. 46 systemer ble vurdert som bevaringsverdig BKØ-økonomisystem med data fra 18 enheter, til sammen 106 databaser ble samlet i en felles modul 9 kundemoduler for fakturering av tjenester ble samlet i to moduler 19 andre systemer innen personal, tekniske tjenester, avgifter, mm ble lagt i egne moduler Utarbeidet regler for hvordan data-uttrekk skulle gjøres, formater osv. Uttrekkene ble utført av 4 personer med ansvar for sine fagområder i kommunen. Laget felles regler for dokumentasjon av arbeidsprosessene. Innholder i tabellene fra de ulike systemene ble lagt ut i flate filer på to format: semikolonseparert faste feltlengder
HEA-prosjektet innsyn og bevaring Oracle database på Unix-maskin hos IKT Drift i BK Opprettet tablespace for hver modul i Oracle-databasen Brukte Oracle Designer for å lage tabeller med felt og nøkler Flate filer ble overført via FTP til Unix-maskin og lastet inn oracletabellene med SQL-loader Ved feilmeldinger rettet vi i filene og lastet på nytt (uleselige tegn, datoformat, osv) Innsynløsningen utviklet med gratis-verktøyet APEX fra Oracle Innleid konsulent laget mal for oppsett og bilder i INNSYN Hver modul består av søkebilder, detalj- og underbilder Ingen oppdatering, kun presentasjon av data på en logisk, enkel form Tilgangskontroll som kobler bruker mot den enkelte modul for innsyn
HEA-prosjektet Deponering Deponering av data fra tabellene til XML-format Brukte verktøyet Pervasive Hentet data fra database-tabellen eller fra flatfilene Overførte til XML-filer Litt redigering på beløp, datoer, tomme felt Dokumentasjon av prosessen Oversikt alle tabeller med felt og antall transaksjoner Beskrivelse av utførte oppgaver - hvem, når, hva Utskrift av skjermbilder fra gammelt system Gammel bruker- eller systemdokumentasjon hvis det finnes INFO.txt Lage info-filen etter mal fra avleveringsregler METADATA og ADMML-fil Utført ved hjelp av spesiallaget Pervasive-rutine og excel-fil
Avlevering av systemer på andre formater Fra 2008 har vi tatt imot systemer på mange ulike formater Det leveres tilbud på avlevering av data, for innlasting til database, deponering og utarbeiding av innsynsløsning med søk og rapporter. Gratis bruk av innsynsløsning for ansatte i Bergen kommune. Følgende moduler er overført til depot og innsyn: Utekontakten - DataEase på separat maskin Forliksrådet - Fsys 2000 på Firebird database Ecolink Økonomisystem. Bergen Bolig og Byfornying, data levert i Access database fra leverandør ARDIS inkasso. Unix, program Acucobol, indekserte filer EKKO inkasso fra Ergo-group i oraclebase Royal lønn oraclebase, tabeller med utrolig mange felt, fåtall i bruk KKS - system for kontantstøtte - Access database Bar-Net egenutviklet system for barnehage og SFO oraclebase GIS elevsystem hver skole sin versjon på egen PC. Samlet i felles excel-filer for avlevering MD-flyktning DataEase database NLP lønnsdata fra CD-plater
Ny rutine for utfasing av datasystemer Oppsigelse av fagsystemer i Bergen kommune meldes til IKT Drift med 3 måneders varsel iht. Driftsavtalen BKDOK 2008-00581. Bekreftelse på oppsigelsesmelding sendes med Bergen byarkiv som kopimottaker. I bekreftelse pålegges systemeier å avklare med Bergen byarkiv om systemet inneholder arkivverdig innholdsinformasjon. Bergen byarkiv melder til systemeier og IKT drift, i form av en bevaringsvurdering eller på annen måte, om systemet skal bevares/kasseres. Bevaringsvurdering utformes for hvert system, som et internt notat. Vi avgir en skriftlig melding til systemeier om systemet kan slettes eller om dataene er arkivverdige og må avleveres til byarkivet. Det er utarbeidet et avleveringsreglement fastsatt av byarkivaren 20.05.2009 Retningslinjer for avlevering av elektronisk arkivmateriale til Bergen byarkiv
Retningslinjer for avlevering av elektronisk arkivmateriale til Bergen byarkiv
Når et system skal avsluttes IKT Drift Melding Byarkivet Systemeier Melding Bevaringsvurdering Iht. avleveringsreglement (20.05.2009) Bevaringsverdig Ikke bevaringsverdig Melding sendes om at Data er arkivverdig Melding sendes om at systemet kan slettes
Vurdering av system, grunnlag for tilbud Datauttrekk og avlevering gjennomføres som eget prosjekt for hvert system etter en fastsatt prosedyre. Hvis dataformat er Oracle-base, overfører IKT-drift databasen til nytt tablespace, INNSYN_navn Ekko inkassosystem Bar-Net barnehagesystem Hvis dataene er på annet format Hvis mulig, bruke Pervasive for dataoverføring fra gammelt format til Oracle. Konvertere data først. Dette kan noen ganger by på store problemer. Ved behov for ekstern konsulent, må det avklares med systemeier Tabeller og innhold vurderes, skjermbilder fra gammelt system sjekkes På grunnlag av dette estimeres tidsbruk og tilbud sendes til systemeier Ved aksept blir dette en oppdragsavtale og arbeidet starter
Vurdering av system, grunnlag for tilbud Databaseteknologi på avlevert system Oracle Kjent db-format Ukjent dbformat Analysering av data Konvertering til åpent format (XML,.txt) Ved behov, leie inn konsulent for konvertering Nytt Tablespace INNSYN_navn Utarbeiding av tilbud basert på analyse og behov Møte med systemeier og brukere Analysering av datamengde, kvalitet, gamle skjermbilder Systemeier får utført deponering av data Ikke aksept av tilbud Aksept av tilbud Arbeidet iverksettes
Overføring av data 1. Tablespace opprettes av IKT Drift 2. Tabeller opprettes m. nøkler 3. Data overføres 1. Database > Database 2. Pervasive > Database
Pervasive - Kilde
Pervasive - mål
Pervasive - Kobling av felt Etter feltene er koblet, lastes data inn i databasen
De ulike arbeidsprosessene Vi har en sjekkliste for alle punkter i prosessen fra gammel til ny løsning. Denne oppdateres etter hvert som arbeidet utføres. Analyse av tabeller med data, felt og nøkler for å finne sammenheng Utarbeide oversikt over sammenheng mellom tabeller, felt og nøkler Opprette excel-ark med tabellnavn, ant. felt, ant. records, nøkler, osv Dette er en stor hjelp i videre arbeid, særlig i systemer med mange tabeller Bruk av fargekoder for å skille tabellkategorier Opprett ny applikasjon i Innsynsløsningen, finn neste ledige sidenummer. Plasser applikasjonen under korrekt fane. Lage forside-bilde med knapper og forklarende tekst Lage søke- og detaljbilder, på listeform (sql) eller som oversikt (plsql).
Oversikt alle tabeller med antall, nøkler osv
Analyse av tabellstruktur og nøkler Effektiviserer prosessen ved utarbeiding av SQL-setninger
Mappestruktur Felles mal for mapper og undermapper på arbeidsområdet Navn på system m. fra-til år på dataene Mappestruktur for arbeidsprosessene Påkrevde filer
Dokument med oversikt alle moduler. Systemnavn, hvem, hva, når, hvor
Byarkivets innsynsløsning Tilgangskontroll (Active Directory) Systemtilgang definert per bruker Snarvei på skrivebord rulleres ut til brukere Statistikk Brukeroppslag, bruker, m.m. Stor fleksibilitet i presentasjon av data
Hver modul har tilgangskontroll Forside til hver modul består av Informasjon om systemet / data Knapper som fører til underbilder (søk, skjermbilder, rapporter, o.a.)
XML-filer lages via pervasive
Sjekk av source-data Pervasive - Kilde
Sjekk av source-data
Pervasive Mål - XML
Pervasive - Kobling av felt
Formattering av verdier
XML-fil av hver tabell <?xml version="1.0" encoding="iso-8859-1"?> -<recordset> - <R1> <ODINNR>d0043805</ODINNR> <SAKSNR>100561</SAKSNR> <GRUPPE>gr3</GRUPPE> <BESKRIVELSE>143-201 KJØKKELVIKVEIEN 135 nybygg bolig 4-265</BESKRIVELSE> <PLATE>byg001a</PLATE> <LOPENR>1</LOPENR> </R1> - <R1> <ODINNR>d0043806</ODINNR> <SAKSNR>100561</SAKSNR> <GRUPPE>gr4</GRUPPE> <BESKRIVELSE>143-201 KJØKKELVIKVEIEN 135 nybygg bolig 4-265</BESKRIVELSE> <PLATE>byg001a</PLATE> <LOPENR>2</LOPENR> </R1>
Rutine for ADDML-fil Åpnes i Pervasive Map-designer
Excelmal for ADDML-fil
<?xml version="1.0" encoding="iso-8859-1"?> <!DOCTYPE addmml (View Source for full doctype...)> - <addmml version="7.3"> - <reference> - <archives ar_id="byggesak-1981-1998"> <ar_name>inneholder data om byggesaker, om eiendom, adresse, byggherre, notater, gebyrer, saksforløp,osv knyttet til hver byggesak</ar_name> </archives> - <system sy_id="byggesak"> <sy_name>system for registrering og saksbehandling av byggesaker. Systemer kommer fra HP3000-maskin. TurboImage database.</sy_name> <startdate>1981</startdate> <enddate>1998</enddate> </system> </reference> - <structure> - <dataset ds_id="byggesak-1981-1998"> <ds_descr>inneholder data om byggesaker, om eiendom, adresse, byggherre, notater, gebyrer, saksforløp,osv knyttet til hver byggesak. Pluss ODIN-filer med henvisning til tegninger, dokumenter,ol</ds_descr> <charset>iso-8859-1</charset> <format>xml</format> <recsep>no</recsep> <string_null>@null@</string_null> <integer_null>@null@</integer_null> <float_null>@null@</float_null> <date_null>@null@</date_null> <nu_files>10</nu_files> - <file name="byggesak_boks.xml" path="byggesak_boks.xml"> <nu_rectypes>1</nu_rectypes> <nu_records>13583</nu_records> - <rectype name="r1"> <rt_maxlength>4</rt_maxlength> <nu_fields>4</nu_fields> - <fieldtype name="gaard"> <ft_maxlength>4</ft_maxlength> <datatype>string</datatype> </fieldtype> - <fieldtype name="bruk"> <ft_maxlength>4</ft_maxlength> <datatype>string</datatype> </fieldtype> - <fieldtype name="aakode"> <ft_maxlength>2</ft_maxlength> <datatype>string</datatype> </fieldtype> - <fieldtype name="boksnr"> <ft_maxlength>4</ft_maxlength> <datatype>string</datatype> </fieldtype> </rectype> </file>
Administrasjon av brukertilgang
Tilgang opprettes mellom person og modul
Statistikkmodul Viser bruk av innsynsløsning (antall klikk) Fordelt på applikasjon Fordelt på avdelingen til brukeren Fordelt på bruker Har statistikk-data fra og med januar 2008 Både tall og grafisk fremstilling av resultat Kan lese av pr dag, måned, år Tar ut summert bruk på år fordelt på applikasjon og avdeling Nyttig verktøy for måling av Bruk av applikasjoner Aktive brukere
Brukerstatistikk, Innsynsløsningen 01.01.2011-18.10.2011
Statistikkmodul noen tall År Brukere Antall klikk Avdelinger Moduler 2008 105 42596 29 25 2009 120 52708 30 29 2010 147 69926 27 31 2011 149 70162 25 35
Erfaringer / Oppsummering Innsynsløsningen Et viktig og verdsatt verktøy for brukere. Effektivt utviklingsmiljø Pervasive Fleksibelt verktøy for migrering av data (inn og ut av database) Alle systemene er overført til XML-format for langtidslagring via Pervasive ADDML-fil generes ved hjelp av Excel-mal og Pervasiverutine (utviklet med hjelp av pervasivekonsulent).