Automatisk ekstrahering av verk Veien til et verksregister. Seminar 14. oktober 2016

Transkript

1 Automatisk ekstrahering av verk Veien til et verksregister. Seminar 14. oktober 2016

2 Asbjørn Risan (BIBSYS) Asbjørn Risan Tjenesteansvarlig, BIBSYS Autoritetsregister Tjenester og leveranser Masterutdannet bibliotekar ved Høgskolen i Oslo med spesialisering innen kunnskapsorganisasjon og gjenfinning Er nå tjenesteansvarlig i seksjonen for Tjenester og leveranser, med hovedansvar for BIBSYS Autoritetsregister Vært med i prosjektet «Bibliotekbasen i Semantisk Web» og sitter i en arbeidsgruppe for verk

3 Agenda Verksregister Kan man generere et verksregister basert på eksisterende bibliografiske data? Use-case: Helge Ingstad Kan man bruke metoder for å forbedre den automatiske ekstraheringen av verk?

4 Ekstrahering av verk: Datakildene BIBSYS Autoritetsregister Bibliotekbasen

5 BIBSYS Autoritetsregister Består av ca 1.8 millioner personautoriteter Danner grunnlag for det nasjonale autoritetsregisteret som er en delmengde av BIBSYS Autoritetsregister (ca ) Nasjonalbiblioteket bruker og vedlikeholder BIBSYS Autoritetsregister ved at de i sitt bibliografiske arbeid oppgraderer autoriteter som blir del av det nasjonale autoritetsregisteret Autoritetsregisteret er ryggraden i autoriseringen av bibliografiske poster i biblioteksystemet

6 BIBSYS Autoritetsregister I tillegg til personautoriteter inneholder registeret autoriteter for: Konferanser, korporasjoner og organisasjoner (ca ) Standardtitler (ca ) De nasjonale personautoritetene blir eksportert til VIAF: The Virtual International Authority File: Det er tilrettelagt for at autoritetene i autoritetsregisteret skal oppdateres med VIAF-ID, ISNI (International Standard Name Identifier) og ORCID Tilgjengelig for søk maskin til maskin (spørsmål inn, XML tilbake) Format: Dublin Core eller MARC

7 BIBSYS Autoritetsregister BIBSYS arbeider med å etablere emneord som en delmengde av autoritetsregisteret Starter de emneordene som ble vedlikeholdt i det forrige biblioteksystemet (Humord og Tekord) Vil bli mulig å legge inn andre lokale emneordssystemer også Er i dialog med Nasjonalbiblioteket om etablering av et verksregister

8 Bibliotekbasen Bibliotekbasen oppdateres og vedlikeholdes i Alma og består av i overkant av 7 millioner bibliografiske poster Verksregisteret er basert på de data som ble migrert fra det forrige biblioteksystemet (ca 5.5 millioner poster) og inkluderer ikke elektroniske tidsskrift/e-bøker Inkrementell oppdatering fra Alma planlagt i 2017

9 Verksregister Bakgrunn: BIBSYS gjennomførte i et prosjekt om semantisk teknologi sammen med NTNU, UiB, UiO og UiT med finansiering av Nasjonalbiblioteket. Som en del av tildelingen lå det en føring om å se på «behov knyttet til utvikling av et verksregister» For å bygge erfaringer ble det besluttet å se om vi kunne generere et verksregister som en del av prosjektet

10 Definisjon av verk (i prosjektet) Underliggende ønske: samle bibliografiske poster som representerer den samme intellektuelle entiteten Pragmatisk definisjon: to bibliografiske poster med samme forfatter og samme tittelinformasjon tilhører det samme verket Hver bibliografisk post ble tildelt en nøkkel basert på bibliografiske data. Poster som deler samme nøkkel er knyttet til samme verk

11 Verksnøkkel 1 *100 1 # $aingstad, Helge $d $0(NO-TrBIB) * $apelsjegerliv blant Nord-Canadas indianere $chelge Ingstad = Pelsjegerliv blant Nord-Canadas indianere = b9303c1d6c4186d33852f403c810fb4a (verksnøkkelen)

12 Verksnøkkel 2 *100 1 # $aingstad, Helge $d $0(NO-TrBIB) * $amein Leben in der Wildnis $cübertragung aus dem Norwegischen von Helen Uhlschmid *246 1 # $apelsjegerliv blant Nord-Canadas indianere $ioriginaltittel = Pelsjegerliv blant Nord-Canadas indianere = b9303c1d6c4186d33852f403c810fb4a (verksnøkkelen)

13 Regler for verksdefinisjon Regelsett 1: Originaltittel + autid for hovedordningsord (1XX) Originaltittel + hovedordningsord (1XX) Originaltittel + tittel (245 a og b) Originaltittel Tittel (245 a og b) + standardtittel (240 alle felt) + autid for hovedordningsord (1XX) Tittel (245 a og b) + standardtittel (240 alle felt) + hovedordningsord (1XX) Tittel (245 a og b) + autid for hovedordningsord (1XX) Tittel (245 a og b) + hovedordningsord (1XX) Standardtittel (130 alle felt) Tittel (245 a og b)

14 Regler for verksdefinisjon Ved første kjøring i mai ble det generert verkskandidater* basert på bibliografiske poster 1,22 bibliografisk post pr verk Ved andre kjøring i september ble det generert verkskandidater* basert på bibliografiske poster 1,19 bibliografisk post pr verk *Basert på regelsett 1

15 Regler for verksdefinisjon Fordeling regelsett 1 i % 60,00 55,77 57,23 50,00 40,00 30,00 20,00 10,00 0,00 26,24 23,76 11,55 12,14 2,56 0,29 3,15 0,25 1,95 0,47 1,35 0,00 0,31 0,31 1,44 0,00 0,18 1,56 A B C D E F G H I J Ma September 2016 A = Originaltittel + autid B = Originaltittel + hovedordningsord C = Originaltittel + tittel D = Originaltittel E = Tittel + standardtittel + autid F = Tittel + standardtittel + hovedordn. G = Tittel + autid H = Tittel + hovedordningsord I = Standardtittel J = Tittel* * Første kjøring tok ikke med 110, 111 eller 130 som autid eller hovedordningsord

16 Regler for verksdefinisjon Hensikt med regelsett 2 og 3 Fange opp verk som ikke ble dekket av regelsett 1 Koble bibliografiske poster til andre verk

17 Regler for verksdefinisjon Regelsett 2 (repeterbart*): Standardtittel (730 alle felt) + autid for hovedordningsord (1XX) Standardtittel (730 alle felt) + hovedordningsord (1XX) Standardtittel (730 alle felt) Regelsett 3 (repeterbart*): Bi-inførsel på tittel (740 a) + autid for hovedordningsord (1XX) Bi-inførsel på tittel (740 a) + hovedordningsord (1XX) Bi-inførsel på tittel (740 a) *Repeterbarhet ikke realisert

18 Regler for verksdefinisjon Regelsett 2 og P Q R U V W Regelsett 2 og 3 P = Standardtittel (730) + autid Q = Standardtittel (730) + hovedordn. R = Standardtittel (730) + tittel U = Bi-innførsel (740) + autid V = Bi-innførsel (740) + hovedordn. W = BI-innførsel (740)

19 Regler for verksdefinisjon Regelsett 2 og 3 - grad av kobling til andre verkskandidater 0,9 % 44,3 % 54,8 % Nye verksnøkler Koblet til en annen verksnøkkel Koblet til to eller flere verksnøkler N =

20 Eksempel på verk

21 På vei mot et verksregister Bevisst generert «for mange» verk Enklere å slå sammen verk enn å opprette et nytt Ikke tatt hensyn til informasjon i noter Kan vi maskinelt gjøre forbedringer?

22 Case: Helge Ingstad

23 Case: Helge Ingstad Det er generert 54 verkskandidater for Helge Ingstad (43 i mai) Det «korrekte» antallet er 29 verk (21 i mai) Avhengig av verksdefinisjon, spesielt med tanke på sammensatte verk Helge Ingstad har autoritets-id:

24 Utfordringer vi ser Poster som ikke er autorisert Varianter i skrivemåte Forkortede titler / bruk av undertitler Titler uten originaltittel Sammensatte verk

25 Poster som ikke er autorisert Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv

26 Poster som ikke er autorisert Det var verkskandidater (mai 2016) basert på kombinasjoner som inkluderer hovedordningsord og som ikke er autorisert Ved å gjøre oppslag mot autoritetsregisteret på hovedordningsord kan vi prøve å finne en autoritets-id Antall vellykkede erstatninger % Antall ingen treff % Antall multiple treff %

27 Poster som ikke er autorisert Ved å erstatte hovedordningsord med autoritets-id i verkskandidatene kan vi redusere antall verk med ca ved at vi da fikk match på allerede eksisterende verkskandidater

28 Poster som ikke er autorisert Det var 15 verksnøkler med Helge Ingstad som ikke var autorisert Helge Ingstad var en av de vi fikk match på og antall verk kunne reduseres med 7 Antall verksnøkler er da 47 for Helge Ingstad 5 av de 8 resterende verksnøklene er reelle verk, mens resten skulle vært koblet til andre verk

29 Varianter i skrivemåte Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv Nunamiut : blant Alaskas indlandseskimoer Nunamiut : blant Alaskas innlandseskimoer Nunamiut : Blant Alaskas innlands-eskimoer

30 Varianter i skrivemåte Ved å sammenligne verksnøklene ved hjelp av ulike sammenligningsalgoritmer kan vi definere om to verksnøkler er like nok til at de representerer det samme verket Forutsetning at de er knyttet til den samme autoriteten Testet ved hjelp av Levenshtein-metoden (ser på hvor mange endringer som må gjøres for å få to tekster til å bli like) Kunne også brukt andre metoder som N-Gram

31 Varianter i skrivemåte Eksempel: Sammenligner: Nunamiut : blant Alaskas indlandseskimoer Nunamiut : blant Alaskas innlands-eskimoer Levenshtein-faktor: 2.0 Prosentvis: Grensen er satt til: 75.0% Titlene er like

32 Varianter i skrivemåte Kjører vi denne sammenligningen på verksnøklene for Helge Ingstad så ville vi kunne fjerne 5 verksnøkler Antall verksnøkler for Helge Ingstad er da nede i 42

33 Forkortede titler / undertitler Pelsjegerliv blandt Nord-Kanadas indianere Pelsjegerliv blant Nord-Canadas indianere Pelsjegerliv blant Nord-Canadas indianere Ingstad, Helge Pelsjegerliv blant Nord-Kanadas indianere Pelsjegerliv Klondyke Bill : roman Klondyke Bill : roman Ingstad, Helge Klondyke Bill

34 Forkortede titler / undertitler Typisk for utenlandske verk med originaltittel at norsk undertittel ikke er tatt med som en del av originaltittel Hvis vi hadde kjørt en sammenligning kun på første ledd av tittel for verkskandidatene kunne vi redusert antall verk med 8 Dette er en litt mer upresis sammenligning og øker risikoen for falske positiver Antall verksnøkler er da 34

35 Utenlandske titler uten originaltittel Apacheindianerne : jakten på den tapte stamme ; Apache-indianerne : jakten på den tapte stamme ; Apache-indianerne ; Die Letzten apachen ;

36 Utenlandske titler uten originaltittel En del poster mangler originaltittel En mulighet er å sjekke andre databaser om du får match på kombinasjon av forfatter og tittel og se om denne posten har en originaltittel som matcher med en eksisterende verkskandidat Bruk av VIAF og/eller ISNI på autoriteten vil sikre at man søker på samme person

37 Utenlandske titler uten originaltittel Die Letzten apachen

38 Utenlandske titler uten originaltittel Ett slikt oppslag vil redusere antall resterende verkskandidater med 2 Resterende antall verksnøkler er da 32

39 Sammenligne poster basert på digitaliseringer fra Nasjonalbiblioteket Nasjonalbiblioteket har gitt oss tilgang til termfrekvens og assosiasjon for de digitaliserte postene i Bokhylla Assosiasjonsmålet sier noe om hvor pregnant en term er for et dokument Ved å sammenligne de X antall termene med høyest assosiasjonsmål kan man finne ut om innholdet i to verk sammenfaller med hverandre

40 Deler 52 av 60 termer med høyest assosiasjonsmål Tittel: Pelsjegerliv Forfatter: Ingstad, Helge Publisert: [Stabekk] : Den norske bokklubben, 1977 Omfang: 235 s., pl. ill. Språk: Norsk (Bokmål) ISBN: Tittel: Pelsjegerliv blant Nord- Canadas indianere Forfatter: Ingstad, Helge Publisert: Oslo : Gyldendal, 1957 Omfang:234 s., pl.(noen fold.) ill. Språk: Norsk (Bokmål)

41 Deler 51 av 60 termer med høyest assosiasjonsmål Tittel: Klondyke Bill Forfatter: Ingstad, Helge Publisert: Oslo : Storskriftforl., 1995 Omfang: 325 s. Språk: Norsk (Bokmål) ISBN: Tittel: Klondyke Bill : roman Forfatter: Ingstad, Helge Publisert: Oslo : Gyldendal, 1941 Omfang: 308 s. Språk: Norsk (Bokmål)

42 Sammensatte verk

43 Sammensatte verk Problem: De viktigste ordene i det sammensatte verket stammer fra en annen tekst enn den det sammenlignes med. Løsning: Det sammensatte verket representeres med de viktigste ordene fra kildeteksten.

44 De viktigste ordene Klondyke Bill Siste båt Sammensatt verk med begge { 'Athabaska-sjøen': 2, 'Mackenzie-flodens': 2, 'Nome-karen': 4, 'Twelve-': 3, 'beverdal': 3, 'morénehaug': 2 } { 'sommerbåtene':3, 'Polarlandets': 3, 'taubana': 2, 'finansgruppen': 2, 'SJØHOLMEN': 34, 'skru-is': 2 } { 'OPPTAS': 7, 'Athabaska-sjøen': 2, 'sommerbåtene': 3, 'Mackenzie-flodens': 2, 'beverdal': 3, 'morénehaug': 2 } Det sammensatte verkets topp 6 sammenfaller med Klondyke Bill for 4 ord. Siste båt er representert med bare ett ord.

45 Sammensatte verk Ta de ordene fra det sammensatte verket som du finner i enkeltverket og se på sammenfall av ordene med høyest assosiasjonsmål Finner da at det sammensatte verket representerer verket Klondyke Bill og Siste båt Kuriositet: Under testing var det en utgave av Klondyke Bill som ikke ga match. Viste seg at det var feil metadata knyttet til den digitaliserte teksten og at teksten var et annet verk av Helge Ingstad

46 Andre mulige metoder Sjekke andre lands nasjonalbibliografier Sjekke om andre verk kan ha alternative titler som korresponderer med andre verksnøkler

47 Oppsummering: Case Helge Ingstad Metode Antall verksnøkler redusert Gjenstående verk Verksnøkkelgenerering 54 Ikke autoriserte poster 7 47 Tekstanalyse på nøkler 5 42 Tekstanalyse kun på første ledd for poster basert på originaltittel 8 34 Oppslag i andre kataloger 2 32 Sammenligning basert på digitaliseringer Sammenligning digitaliseringer for sammensatte verk Antall reelle verk = 29 Rekkefølgen har betydning for effekten på metoden

48 Oppsummering Å autorisere bibliografiske poster som ikke er autorisert har en begrenset effekt (ca 5% totalt), men vil ha større effekt på forfattere med stor produksjon Bidrar også positivt til å samle verk knyttet til en person Tekstanalyse av verksnøkler har god effekt Sammenligning av verk basert på innholdsanalyse av digitaliserte poster kan redusere antall verk ytterligere. Har primært effekt på: norske utgivelser med store variasjoner i tittelinformasjon sammensatte verk Innhenting av informasjon fra eksterne kilder/kataloger kan også ha positiv effekt

49 Konklusjon Vi kan komme et godt stykke på vei mot et utgangspunkt for et verksregister basert på eksisterende metadata Denne fremgangsmåten bevarer koblingen mellom verksautoriteten og alle de bibliografiske postene som inngår i genereringen Metodene bør kombineres og verk som blir samlet gjennom flere metoder er «tryggere» enn andre Det må allikevel gjøres en intellektuell jobb med å kvalitetssikre og forbedre verksregisteret (både på selve autoritetene og algoritmene)

50 Takk for oppmerksomheten! E-post: Semantisk web: livedata.bibsys.no Autoritetsregister: authority.bibsys.no