Verk, semantisk web og autoriteter KORG-dagene 30. mai 2016

Transkript

1 Verk, semantisk web og autoriteter KORG-dagene 30. mai 2016

2 Asbjørn Risan (BIBSYS) Asbjørn Risan Tjenesteansvarlig, BIBSYS Autoritetsregister Tjenester og leveranser Masterutdannet bibliotekar ved Høgskolen i Oslo med spesialisering innen kunnskapsorganisasjon og gjenfinning Er nå tjenesteansvarlig i seksjonen for Tjenester og leveranser, med hovedansvar for BIBSYS Autoritetsregister Vært med i prosjektet «Bibliotekbasen i Semantisk Web» og sitter i en arbeidsgruppe for verk

3 Agenda BIBSYS Autoritetsregister og BIBSYS BARE Semantisk web prosjektet Verksregister Kan man generere et verksregister basert på eksisterende bibliografiske data?

4 BIBSYS Autoritetsregister Består av ca 1.8 millioner personautoriteter Danner grunnlag for det nasjonale autoritetsregisteret som er en delmengde av BIBSYS Autoritetsregister (ca ) Nasjonalbiblioteket bruker og vedlikeholder BIBSYS Autoritetsregister ved at de i sitt bibliografiske arbeid oppgraderer autoriteter som blir del av det nasjonale autoritetsregisteret Autoritetsregisteret er ryggraden i autoriseringen av bibliografiske poster i biblioteksystemet

5 BIBSYS Autoritetsregister I tillegg til personautoriteter inneholder registeret autoriteter for: Konferanser, korporasjoner og organisasjoner (ca ) Standardtitler (ca ) De nasjonale personautoritetene blir eksportert til VIAF: The Virtual International Authority File: Det er tilrettelagt for at autoritetene i autoritetsregisteret skal oppdateres med VIAF-ID, ISNI (International Standard Name Identifier) og ORCID (Open Researcher and Contributor ID) Tilgjengelig for søk maskin til maskin (spørsmål inn, XML tilbake) Format: Dublin Core eller MARC Alle kan få tilgang

6 BIBSYS Autoritetsregister BIBSYS arbeider med å etablere emneord som en delmengde av autoritetsregisteret Starter de emneordene som ble vedlikeholdt i det forrige biblioteksystemet (Humord og Tekord) Vil bli mulig å legge inn andre lokale emneordssystemer også BIBSYS er i dialog med Nasjonalbiblioteket om etablering av et verksregister

7 BIBSYS BARE BIBSYS BARE er en applikasjon for å vedlikeholde autoriteter (opprette, endre, søke og slette) Utviklet i samarbeid med og brukt av Nasjonalbiblioteket Har mer avanserte funksjoner for vedlikehold enn det man finner i Alma, f.eks. Slå sammen autoriteter Splitte autoriteter Flytte bibliografiske poster mellom autoriteter Vil bli åpnet opp slik at andre bibliotek kan bruke applikasjonen

8 BIBSYS BARE Integrert med Alma slik at oppdateringer gjort i BARE blir synlige og tilgjengelige i Alma og endringer i Alma blir synlige og tilgjengelige i BARE Legger til rette for integrasjon, bruk og vedlikehold av autoriteter i andre systemer, f.eks leverandør av nasjonale bibliografiske data Vil bli verktøyet for å vedlikeholde emneord og verk

9 Bibliotekbasen som semantisk web Prosjekt mellom: NTNU Universitetet i Bergen Universitet i Oslo Universitetet i Tromsø BIBSYS Finansiert av prosjektmidler fra Nasjonalbiblioteket

10 Leveranser fra prosjektet Totalt 6 leveranser fra prosjektet Kartlegge interessenter Identifisere relevante brukshistorier/use-cases Artikkel/workshop Kartlegge relevante datasett Pilot Sluttrapport Innlegg på BIBSYS Konferansen 2016 Artikkel om prosjektet

11 Pilot Inneholder data fra autoritetsregisteret (person, korporasjon, konferanse og standardtittel) og Bibliotekbasen (bibliografiske poster og beholdning for NB, UBO, UBB og NTNU 4.3 millioner poster) Postene er konvertert til RDF/Tripler (brutt opp i påstander) Tilgjengelig betaversjon på livedata.bibsys.no Rådgivende gruppe for Biblioteksystemkonsortiet har anbefalt at denne tjenesten videreføres og utvides til en fullverdig tjeneste i produksjon

12 Verksregister Som en del av tildelingen av prosjektmidler lå det en føring om å se på «behov knyttet til utvikling av et verksregister» For å bygge erfaringer ble det besluttet å se om vi kunne generere et verksregister som en del av prosjektet

13 Definisjon av verk (i piloten) Underliggende ønske: samle bibliografiske poster som representerer den samme intellektuelle entiteten Pragmatisk definisjon: to bibliografiske poster med samme forfatter og samme tittelinformasjon tilhører det samme verket Hver bibliografisk post ble tildelt en nøkkel basert på bibliografiske data. Poster som deler samme nøkkel er knyttet til samme verk

14 Regler for verksdefinisjon Regelsett 1: A. Originaltittel + autid for hovedordningsord (1XX) B. Originaltittel + hovedordningsord (1XX) C. Originaltittel + tittel (245 a og b) D. Originaltittel E. Tittel (245 a og b) + standardtittel (240 alle felt) + autid for hovedordningsord (1XX) F. Tittel (245 a og b) + standardtittel (240 alle felt) + hovedordningsord (1XX) G. Tittel (245 a og b) + autid for hovedordningsord (1XX) H. Tittel (245 a og b) + hovedordningsord (1XX) I. Standardtittel (130 alle felt) J. Tittel (245 a og b)

15 Regler for verksdefinisjon Regelsett 2 (repeterbart) (ikke realisert): Standardtittel (730 alle felt) + autid for hovedordningsord (1XX) Standardtittel (730 alle felt) + hovedordningsord (1XX) Standardtittel (730 alle felt) Regelsett 3 (repeterbart) (ikke realisert): Bi-inførsel på tittel (740 a) + autid for hovedordningsord (1XX) Bi-inførsel på tittel (740 a) + hovedordningsord (1XX) Bi-inførsel på tittel (740 a)

16 Regler for verksdefinisjon Generert verkskandidater basert på bibliografiske poster Fordeling i regelsettet A = Originaltittel + autid B = Originaltittel + hovedordningsord C = Originaltittel + tittel D = Originaltittel E = Tittel + standardtittel + autid F = Tittel + standardtittel + hovedordn. G = Tittel + autid H = Tittel + hovedordningsord I = Standardtittel J = Tittel* * Piloten har ikke tatt med 110, 111 eller 130 som autid eller hovedordningsord A B C D E F G H I J Fordeling i regelsettet

17 Eksempel på verk

18 Veien mot et verksregister Bevisst generert «for mange» verk Enklere å slå sammen verk enn å opprette et nytt Ikke tatt hensyn til informasjon i noter Kan vi maskinelt gjøre forbedringer?

19 Case: Helge Ingstad

20 Case: Helge Ingstad Det er generert 43 verkskandidater for Helge Ingstad Det «korrekte» antallet er 21 verk Avhengig av verksdefinisjon, spesielt med tanke på sammenstilte verk Helge Ingstad har autoritets-id:

21 (Noen) utfordringer vi ser Poster som ikke er autorisert Varianter i skrivemåte Forkortede titler / bruk av undertitler Titler uten originaltittel

22 Poster som ikke er autorisert Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv

23 Poster som ikke er autorisert Det var verkskandidater basert på kombinasjoner som inkluderer hovedordningsord og som ikke er autorisert Ved å gjøre oppslag mot autoritetsregisteret på hovedordningsord kan vi prøve å finne en autoritets-id Antall vellykkede erstatninger % Antall ingen treff % Antall multiple treff %

24 Poster som ikke er autorisert Ved å erstatte hovedordningsord med autoritets-id i verkskandidatene kan vi redusere antall verk med ca ved at vi da fikk match på allerede eksisterende verkskandidater Helge Ingstad var en av de vi fikk match på og antall verk kunne reduseres med 7 Antall verksnøkler er da 36 for Helge Ingstad

25 Varianter i skrivemåte Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv Nunamiut : blant Alaskas indlandseskimoer Nunamiut : blant Alaskas innlandseskimoer Nunamiut : Blant Alaskas innlands-eskimoer

26 Varianter i skrivemåte Ved å sammenligne verksnøklene ved hjelp av ulike sammenligningsalgoritmer kan vi definere om to verksnøkler er like nok til at de representerer det samme verket Forutsetning at de er knyttet til den samme autoriteten Testet ved hjelp av Levenshtein-metoden (ser på hvor mange endringer som må gjøres for å få to tekster til å bli like) Kunne også brukt andre metoder som N-Gram

27 Varianter i skrivemåte Eksempel: Sammenligner: Nunamiut : blant Alaskas indlandseskimoer Nunamiut : blant Alaskas innlands-eskimoer Levenshtein-faktor: 2.0 Prosentvis: Grensen er satt til: 75.0% Titlene er like

28 Varianter i skrivemåte Kjører vi denne sammenligningen på verksnøklene for Helge Ingstad så ville vi kunne fjerne 5 verksnøkler Antall verksnøkler for Helge Ingstad er da nede i 31

29 Forkortede titler / undertitler Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv Klondyke Bill : roman Klondyke Bill : roman Ingstad, Helge Klondyke Bill

30 Forkortede titler / undertitler Typisk for utenlandske verk med originaltittel at norsk undertittel ikke er tatt med som en del av originaltittel Hvis vi hadde kjørt en sammenligning kun på første ledd av tittel for verkskandidater som er basert på originaltittel kunne vi redusert antall verk med 4 Dette er en litt mer upresis sammenligning og øker risikoen for falske positiver

31 Utenlandske titler uten originaltittel Apacheindianerne : jakten på den tapte stamme ; Apache-indianerne : jakten på den tapte stamme ; Apache-indianerne ; Die Letzten apachen ;

32 Utenlandske titler uten originaltittel En del poster mangler originaltittel En mulighet er å sjekke andre databaser om du får match på kombinasjon av forfatter og tittel og se om denne posten har en originaltittel som matcher med en eksisterende verkskandidat Bruk av VIAF og/eller ISNI på autoriteten vil sikre at man søker på samme person

33 Utenlandske titler uten originaltittel Die Letzten apachen

34 Utenlandske titler uten originaltittel Ett slikt oppslag vil redusere antall resterende verkskandidater med 1

35 Sammenligne poster basert på digitaliseringer fra Nasjonalbiblioteket Nasjonalbiblioteket har gitt oss tilgang til termfrekvens og assosiasjon for de digitaliserte postene i Bokhylla Assosiasjonsmålet sier noe om hvor pregnant en term er for et dokument Ved å sammenligne de X antall termene med høyest assosiasjonsmål kan man finne ut om innholdet i to verk sammenfaller med hverandre

36 Deler 52 av 60 termer med høyest assosiasjonsmål Tittel: Pelsjegerliv Forfatter: Ingstad, Helge Publisert: [Stabekk] : Den norske bokklubben, 1977 Omfang: 235 s., pl. ill. Språk: Norsk (Bokmål) ISBN: Tittel: Pelsjegerliv blant Nord- Canadas indianere Forfatter: Ingstad, Helge Publisert: Oslo : Gyldendal, 1957 Omfang:234 s., pl.(noen fold.) ill. Språk: Norsk (Bokmål)

37 Deler 51 av 60 termer med høyest assosiasjonsmål Tittel: Klondyke Bill Forfatter: Ingstad, Helge Publisert: Oslo : Storskriftforl., 1995 Omfang: 325 s. Språk: Norsk (Bokmål) ISBN: Tittel: Klondyke Bill : roman Forfatter: Ingstad, Helge Publisert: Oslo : Gyldendal, 1941 Omfang: 308 s. Språk: Norsk (Bokmål)

38 Oppsummering: Case Helge Ingstad Metode Antall verksnøkler redusert Gjenstående verk Verksnøkkelgenerering 43 Ikke autoriserte poster 7 36 Tekstanalyse på nøkler 5 31 Tekstanalyse kun på første ledd for poster basert på originaltittel 4 27 Oppslag i andre kataloger 1 26 Sammenligning basert på digitaliseringer 2 24 Antall reelle verk = 21 Rekkefølgen har betydning for effekten på metoden

39 Oppsummering Å autorisere bibliografiske poster som ikke er autorisert har en begrenset effekt (ca 5% totalt), men vil ha større effekt på forfattere med stor produksjon Bidrar også positivt til å samle verk knyttet til en person Tekstanalyse av verksnøkler har god effekt Sammenligning av verk basert på innholdsanalyse av digitaliserte poster kan redusere antall verk ytterligere Har primært effekt på norske utgivelser med store variasjoner i tittelinformasjon Innhenting av informasjon fra eksterne kilder/kataloger kan også ha positiv effekt

40 Konklusjon Vi kan komme et godt stykke på vei mot et utgangspunkt for et verksregister basert på eksisterende metadata Denne fremgangsmåten bevarer koblingen mellom verksautoriteten og alle de bibliografiske postene som inngår i genereringen Det må allikevel gjøres en intellektuell jobb med å kvalitetssikre og forbedre verksregisteret (både på selve autoritetene og algoritmene)

41 Takk for oppmerksomheten! E-post: Semantisk web: livedata.bibsys.no Autoritetsregister: authority.bibsys.no

42 Gjenstående verk 1. Apache-indianerne : jakten på den tapte stamme 2. Eirik Raude 3. En lysende foregangsmann 4. Fridtjof Nansen and Vinland research 5. Ingstads beste : høydepunkter fra et eventyrlig liv 6. Klondyke Bill ; Siste båt 7. Klondyke Bill 8. Landet med de kalde kyster 9. Landet under leidarstjernen 10. Norse explorers 11. Norse sites at L'Anse aux Meadows 12. Nunamiut : Blant Alaskas innlands-eskimoer 13. Oppdagelsen av det nye land 14. Pelsjegerliv blant Nord-Kanadas indianere 15. Siste båt 16. Siste båt : skuespill i fem akter 17. Songs of the Nunamiut : historical recordings and transcriptions of an Alaskan Eskimo community 18. Spor i sneen : etterlatte dikt 19. The historical background and the evidence of the Norse settlement discovered in Newfoundland 20. The Viking discovery of America 21. Verker i samling 22. Vesterveg til Vinland : oppdagelsen av norrøne boplasser i Nord-Amerika 23. Vinland ruins prove Vikings found the New World 24. Øst for den store bre