marc2rdf - konvertering av MARC-data (Ref #1054)

Transkript

1 marc2rdf - konvertering av MARC-data (Ref #1054) Søknadssum: Varighet: Ettårig Kategori: Innsatsområder Samarbeid og partnerskap Ny formidling Opplysninger om søker Organisasjonsnavn / nr Oslo kommune Kulturetaten Deichmanske bibliotek / Postboks 1453 Vika 0116 Oslo Institusjonens leder Liv Sæteren Ansvarlig kontaktperson (søker) Benjamin Rokseth / Mål for prosjektet Utvikle et gjenbrukbart rammeverk for konvertering av bibliografiske MARC-data fra bibliotekskataloger til RDF Prosjektbeskrivelse *Hvordan* * Rammeverket bygges for å håndtere tilvekst og endring i eksisterende katalog via automatiserte prosesser. * Det utvides med et system for beriking av katalogdata fra eksterne ressurser. * Legge tilrette grunndata for eksperimentering med nye tjenester gjennom åpne APIer. * Koble opp mot prosjekt som Library of Congress Subject Headings og Dewey.info sine åpne data for å utvide klassifiseringsmodell og emnebeskrivelser * Rammeverket testes ved å implementeres på utvalgte referansebibliotek og som grunnlag i tjenester basert på åpne data *Hva* * Rammeverket utforsker potensialet som ligger i semantiske data, systemer og arbeidsmetoder, med tanke på anvendelse i bibliotek *Forventede resultater* * En radikalt utvidet mulighet for vasking/deduplisering av data. Ved et eksponert datasett vil inkonsistenser i eksisterende katalogdata lett kommer til syne, samtidig Side 1 av 6

2 som de automatiserte prosessene i konverteringen/vedlikeholdet/berikingen kan avdekke svakheter i katalogstruktur * Bedre tjenester for bibliotekbrukerne basert på programmering mot åpne APIer og kobling mellom datasett * Konsolidering av katalogdata slik at den følger etablerte og nye W3C-standarder og dermed lett kan gjenbrukes av programmerere uten katalogkunnskap * Beriking av katalogen gjennom RDF-dataenes lenkestruktur *Beskrivelse* Prosjektet har til hensikt å utvikle et rammeverk for å konvertere bibliografiske metadata fra MARC-poster i et biblioteksystem til semantiske data (RDF) tilpasset internett-utvikling og utvikling av nettjenester og åpne grensesnitt. Utgangspunktet for prosjektet er basert på Deichmanske biblioteks egen erfaring med konvertering av biblioteksposter og nye tjenester basert på åpne data, slik som «Aktive hyller» og «Bokanbefalinger til brukerne». Kartlegging av eksisterende data og modellering er en omfattende oppgave som bør gjøres i et biblioteksfaglig fellesskap, og mange bibliotek har allerede kontaktet oss om muligheten for å låne av vår erfaring til å konvertere egne biblioteksposter. På bakgrunn av dette ser vi et klart behov for et rammeverk som er utviklet i fellesskap med andre bibliotek og som skal kunne brukes av alle. Derfor ønsker vi å flytte denne innsatsen over i et community, slik at alle bibliotek kan dra nytte av hverandres erfaringer med biblioteksdata og bidra. To av innsatsområdene for Nasjonalbiblioteket for 2013, Samarbeid og partnerskap, samt Ny formidling ligger implisitt til grunn for denne søknaden - hvis mål er å etablere en mulighet for alle bibliotek til å åpne og konsolidere sine bibliotekskataloger mot fremtidens formidling. *Begrepsavklaring* RDF står for Resource Description Format og er et relativt nytt format for å beskrive metadata i et format tilpasset internett og lenkede ressurser. Det er også et velegnet format til å utvide den tradisjonelle bibliotekskatalogen til å kunne brukes i et moderne og variert publikumstilbud. MARC står for MAchine Readable Catalogue og er det tradisjonelle metadata-formatet for å beskrive bibliografiske ressurser i bibliotek. Formatet er solid og velutviklet, men står idag foran en rekke utfordringer mht. begrensninger og gjenbrukbarhet. API står for Advanced Programming Interface og er i prinsippet et grensesnitt mellom en database eller en webtjeneste og applikasjoner. Et godt dokumentert API vil gjøre det enkelt og fristende for utvikling av nye tjenester, både for programmerere og lekfolk. Et eksempel er Google Maps API som gjør det veldig enkelt å lage lokasjonsbaserte tjenester, som f.eks. Oslo Bysykkel, som tilbyr sanntids informasjon om tilgjengelige sykler. OAI står for Open Archives Initiative og er en dataprotokoll for høsting om overføring av katalogdata i MARC-formatet. Bakgrunnsinformasjon MARC-formatets fokus på boka og katalogkortet har gjort det vanskelig å lage tjenester som ikke er basert på ren informasjon om fysiske eksemplarer av bøker, men som utvider metadatabegrepet til andre ressurser (digitale og multimediale) samt lenking til annen relevant informasjon. Tjenester på tvers av bibliotek er også vanskelig på grunn av MARC-formatets begrensninger og utallige lokale variasjoner. MARC setter også store begrensninger på gjenbruk av metadata. Ved å Side 2 av 6

3 konvertere til RDF blir godt gjennomarbeidede MARC-data gjort tilgjengelig for alle, og det åpner seg et vell av muligheter for å lage tjenester basert på disse dataene. Deichmanske bibliotek har gjennom flere prosjekter (Pode, Bokanbefalinger, Aktive hyller) undersøkt mulighetene for å berike opplevelsen av egen katalog og har sett et klart behov for å bytte ut MARC-formatet på formidlingssiden. I tråd med store standardsettende biblioteker som Library of Congress og British Library har vi fokusert innsatsen på RDF og lenkede åpne data. Flere verktøy og referansedatasett har vært under utprøving i de nevnte prosjektene, blant annet Ross Singer fra Talis marc2rdf-modeler, Library of Congress code4rda, Libris datasett Öppna data. Felles for disse er at 1) de er konsentrert rundt marc21-formatet, 2) de gjør begrensede utvalg av datasett og 3) de er unødvendig komplekse og manuelle å ta i bruk. Vi valgte derfor å gjøre modellering og konvertering selv for å kartlegge katalogens hele omfang og muligheter som lå i et konvertert datasett. Resultatet er å finne på data.deichman.no. Flere andre bibliotek har meldt sin interesse for arbeidet vårt (jf. vedlagte Letters of Intent) og dette er grunnlaget for at vi ønsker å løfte dette over i et prosjekt som trenger eksterne midler. *Retningslinjer for prosjektet* 1. APIer og modularitet Verktøyet skal være modulært og gjenbrukbart, helt eller delvis uavhengig av programmeringsspråk. Transaksjoner/tilvekst/spørringer skal skje gjennom et godt dokumentert API slik at administrering og vedlikehold holdes til et minimum. Det skal også være mulig å lage egne API-er mot deler av RDF-basen som biblioteket ønsker å eksponere for utvikling av tjenester. 2. Programvare og dokumentasjon All programvare som utvikles skal være åpen kildekode og publisert på Github.com med en åpen lisens. Programvaren skal dokumenteres i sin helhet, både i kode og på github. 3. Rammeverket skal være enkelt Konverteringsverktøyet skal være enkelt nok til å kunne brukes av et bibliotek med et minimalt driftsmiljø, eller settes ut til en ekstern aktør uten å medføre en kostbar driftsmodell for vedlikehold. 4. Fokus på eksisterende metadata Verktøyet skal overføre mest mulig informasjon. All metadata/informasjon som er tilgjengelig i MARC-formatet skal også være tilgjengelig i RDF. RDF-representasjonen skal kunne leve midlertidig side om side med MARC så lenge MARC er i bruk. Derfor må ALL metadata tas hensyn til. Det skal også gi mulighet for et bibliotek til å reflekterer egne spesielle tilpasninger. Verktøyet skal håndterere tilvekst/oppdatering fra allerede eksisterende bibliotekskatalog via OAI. 5. Beriking Verktøyet skal gi mulighet for automatisk høsting fra andre kilder (bildelenker, isbn, lenker til omtaler, etc.). Det skal også i best mulig grad koble mot allerede eksisterende datasett (f.eks Rådatanå's personautoriteter, DBpedia's personer, emner, geografiske steder, o.l., OpenLibrarys verks- og personautoriteter, VIAF, LCSH, Dewey.info etc.) 6. Samarbeid Rammeverket skal utvikles med tanke på å eksistere i et community. Det bør samarbeides med utvalgte bibliotek i startfasen, men senere åpnes for hele Biblioteknorge. Side 3 av 6

4 *Inspirasjon/utgangspunkt* Side 4 av 6

5 Start- og sluttdato for prosjektet Prosjektvarighet Ettårig Fra dato Til dato Aktivitetsplan for prosjektet Beskrivelse Fra dato Til dato Kartlegging av katalogpraksiser og etablerte rammeverk Opprettelse av community og kontakt med samarbeidspartnere Utvikling av prototy Testing mot referansebibliotek og ekstern utvikler Feilretting og videreutvikling Funksjonell testing Dokumentasjon og publisering av kode Andre opplysninger Samarbeidspartnere Organisasjon/institusjon Formell avtale Rolle Bergen offentlige bibliotek Strømgaten Bergen ja Referansebibliotek. Bruke verktøyet til "Bergens musikkhistorie" Høgskolen i Oslo og Akershus Postboks 4 St. Olavs plass 0130 Oslo LibrioTech Svarthammarveien Bodø ja ja Utviklingsreferanse. Bistand på modellering og konvertering. Ekstern utvikling. Implementering av verktøyet i det frie biblioteksystemet Koha. Side 5 av 6

6 Budsjett Søknadsbeløp fra Nasjonalbiblioteket Utgifter Beskrivelse Denne periode Totalt for prosjektet Teknisk utvikling Kartlegging av datagrunnlag Mapping av katalogdata, med ekstern konsulent Konferanser, reiser og kompetanseheving Overhead (lokaler, rekvisita, støttefunksjoner økonomi/personal) Totale utgifter Inntekter Beskrivelse Denne periode Totalt for prosjektet Tilskudd fra Nasjonalbiblioteket Egeninnsats Deichmanske bibliotek (bekreftet tilskudd) Totale inntekter Vedleggsoversikt Beskrivelse Side 6 av 6