Rune Lain Knudsen og Ruth Vatvedt Fjeld: LBK2013: Korpusressurs med mange anvendelsesmuligheter

Transkript

1 Rune Lain Knudsen og Ruth Vatvedt Fjeld: LBK2013: Korpusressurs med mange anvendelsesmuligheter

2 Hva er LBK og LBK2013? LBK dokumenterer ordforrådet i moderne bokmål og inneholder tekster fra perioden 1985 til i dag (monitor korpus). LBK2013 er et representativt, vektet korpus laget for leksikografiske formål. LBK2013 består av ca.100 millioner ord fra Institutt for lingvistiske og nordiske studier (ILN)

3 LBKs arkitektur IMS Open Corpus Workbench 1 Morfologisk annotert av OBT-Stat 2 Metadata annotert manuelt, lagres i XML Søkbart via webgrensesnittet Glossa 3 Alle tekster deles inn i tekstkategorier og gis en eller flere emnekategorier hvis hensiktsmessig april 2011 Ny Powerpoint mal

4 Hovedkategorifordeling i LBK % 5 % 5 % 35 % Skjønnlitteratur Sakprosa Unormert Aviser og kulørte ukeblader TV-tekster 49 % 11. april 2011 Ny Powerpoint mal

5 Kriterier for fordeling Sjangre og teksttyper, f.eks. Emner, f.eks. Moderne romaner Lærebøker Blogger Juridiske dokumenter Artikkelsamlinger Fagtidsskrifter Biografier Jus Medisin Realfag Humaniora Sport og fritid Religion og livssyn Sykepleie Institutt for lingvistiske og nordiske studier (ILN)

6 Demografiske variabler Alder Kjønn Oppvekststed Fødselsår Utgiver Utgivelsesår Altså: gode muligheter for å lage strukturerte subkorpus for spesielle undersøkelser. Institutt for lingvistiske og nordiske studier (ILN)

7 Tidsperioden for LBK2013 Fra 1985 og fremover mer vanlig med digitale dokumenter Fokus på moderne bokmål Vi ønsker å tilby et statisk korpus bl.a. for repeterbare og sammenlignbare eksperimenter 11. april 2011 Ny Powerpoint mal

8 Arbeidshistorikk for LBK2013 Minimumskrav til arbeidsstab: Prosjektleder Teknisk ansvarlig / ingeniør Assistent LBK2013 har krevd ca. 11 årsverk, men kunne krevd mindre Kontinuitet fremfor kvantitet 11. april 2011 Ny Powerpoint mal

9 Arbeidsstatistikk for LBK M M M PROJECT LEADER ASSISTANT ENGINEER SIZE 11. april 2011 Ny Powerpoint mal

10 Verktøy Vi så et behov for ett sammenslått grensesnitt for tekstprosessering, XML, filhåndtering og loggføring Det bør ikke være slik at assistenten(e) må kunne noe om teknologien bak tekstene. 2012: Forenklet arbeidsprosess for assistenter 11. april 2011 Ny Powerpoint mal

11 LBKtexts 11. april 2011 Ny Powerpoint mal

12 Hvorfor lage et korpus av moderne tekster? Lemmaseleksjon Endring i bruksfrekvens Neologismer Paleologismer Betydningsbeskrivelse Endring i betydning Betydningsutvidelse Endring i konnotasjoner 11. april 2011 Ny Powerpoint mal

13 Bruk av variantformer Wordform TV-tekst LBK NoTa tiden/tida (time) 72/28 92/8 60/40 takken/takka (thanks) 100/0 100/0 - hjelpen/hjelpa (help) 91/9 95/5 50/50 lysten/lysta (desire) 100/0 100/0 100/0 moren/mora (mother) 81/19 91/9 79/11 kvinnen/kvinna (woman) 100/0 99/1 100/0 uken/uka (week) 42/58 63/37 21/ april 2011 Ny Powerpoint mal

14 Historisk utvikling: muslim Språkendringer speiler kulturendringer: Periode Ant. Treff Totalt Relativt (%) , , , , , , april 2011 Ny Powerpoint mal

15 Muslim som førsteledd ( ) muslim 215 muslim 164 muslim 1 muslimsk 176 muslimsk 139 muslimsk 8 muslimsk-kroatisk 2 muslimsk-kroatiske 6 muslimsk-dominert 2 muslimske 2 muslimsk-dominert 11. april 2011 Ny Powerpoint mal

16 Muslim som førsteledd ( ) muslim 1217 muslim 948 muslim 987 muslimsk 923 muslimsk 499 muslimsk 14 muslimbrødrene 4 muslimene 3 muslimhat 5 muslimbror 1 muslimhets 2 muslimskdominert 3 muslimskføde 1 muslimsirkel 1 muslimhater 2 muslimsk-arabisk 1 muslimdominert 1 muslimhatende 1 muslimhater 1 muslimskhet 1 muslimvennlig 1 muslimsk-jødisk 1 muslimfrykten 1 muslimisme 1 muslimskdominert 1 muslimdebatt 1 muslimhets 11. april 2011 Ny Powerpoint mal

17 Hvorfor et balansert korpus for leksikografisk dokumentasjon? Lemmaseleksjon bør støtte seg på frekvens i korpus Nye lemmaer inn, gamle lemmaer merkes som foreldet Ordbokstyper: allmennspråklige ordbøker fagspråklige ordbøker populariserte for eksperter 11. april 2011 Ny Powerpoint mal

18 Hvorfor lage et balansert korpus? Er det en myte at alle tekster på samme språk har et kjerneordforråd som er likt for de aller fleste? Eller har tekster av forskjellig art også forskjellig ordforråd? Balansert og merket korpus gir god anledning til subkorpus og komparativ analyse av teksttyper 11. april 2011 Ny Powerpoint mal

19 Strukturord Det juridiske språket har mange flere preposisjoner og subjunksjoner i høyfrekvent bruk: LBK og være i det en som på jeg ha DOMMER i være det at til av og for som 11. april 2011 Ny Powerpoint mal

20 Innholdsord Frekvensrangering (Juridiske tekster vs. allmennspråk) LEMMA JUR LBK sak lagmannsrett ville dom anke part gi gjelde seg høyesterett grunn ledd ta komme krav spørsmål forhold side rett vise foreligge følge krone bestemmelse lov eiendom april 2011 Ny Powerpoint mal

21 Fraseologi grunn hvorfor er det så frekvent i juridiske tekster? Flerordsanalyse viser at kollokasjonen legge til grunn er høyfrekvent i dommer. Slik analyse er viktig når man skal finne ut hva som skiller et slikt fagspråk fra allmennspråk 11. april 2011 Ny Powerpoint mal

22 Legge til grunn : Hele LBK: 581 treff ( %) Jur: 469 treff (0.0073%) at dersom retten ikke finner å kunne legge til grunn et vanlig samvær for begge barna, informasjon om garantiens innhold Banken måtte kunne menneskerettssituasjonen blir stadig verre Man kan ikke ved steining. ( 57 ) Jeg må som er den riktige, må jeg enighet mellom partene om at Høyesterett kan legge til grunn legge til grunn legge til grunn legge til grunn legge til grunn at garantien ble lest av selskapets representanter at rettsvesenet og domstolene opptrer gjennomsiktig og at opplysningen om dødsdommen faktisk ble gitt at ambassadens rådgiver er faglig dyktig og dette som gjengs vilkår i bransjen på 11. april 2011 Ny Powerpoint mal

23 Kollokasjonsanalyser av LBK : DeepDict-analyse 1 fra GramTrans på 40 millioner ord 2013: Samme type analyse, men på 100 millioner ord Vi har nå muligheten til å kvantifisere forandringene i resultatene fra 40 millioner til 100 millioner ord 1 Fjeld et. al Semi-automatic retrieval of multiword phrases in a corpus of modern Norwegian. In Computergestützte und korpusbasierte Methoden in der Phraseologie, Phraseografe und der Lexikografie 11. april 2011 Ny Powerpoint mal

24 Hvorfor 100 millioner løpeord? Sammenliknende kollokasjonsanalyse ved 40 og 100 mill: Tro Premodifers (2008): 5.54:6 kristen 7.54:3 usvikelig 4.88:5 religiøs 2.66:6 god 2.23:6 stor 2.11:5 liten 3.08:4 rett 4.03:3 overdreven 3.84:3 PROP-hum's 4.53:2 urokkelig 3.4:3 vane 2.25:4 sterk 2.11:4 katolsk 3:3 sann 2.99:3 muslimsk 3.19:2 optimistisk 0.67:4 ny 0.57:4 gammel 2.35:2 blind 3.33:1 inderlig 1.27:3 jødisk 2.09:2 ortodoks 1.02:3 mangle 1.63:2 luthersk 2.58:1 enfoldig Tro Premodifers (2013): 6.14:7 kristen 5.09:8 god 5.3:6 religiøs 3.46:7 stor 5.45:5 PROP-hum's 7.4:3 usvikelig 4.13:6 sterk 6.46:3 urokkelig 5.28:4 overdreven 4.99:4 han's 2.79:6 liten 3.71:5 rett 4.64:4 vane 4.56:4 naiv 3.95:4 blind 2.68:5 katolsk 3.59:4 sann 3.56:4 ond 3.94:3 PROP-hum 2.92:4 muslimsk 4.62:2 henne's 3.41:3 optimistisk 1.19:5 ny 2.09:4 mangle 3.7:2 all 11. april

25 Videre arbeid: Sammenkobling med andre ressurser Pilot: Korpus-ordbok (LBK-Bokmålsordboka) Gi brukere definisjoner fra en ordbok i f.eks. konkordanseoppslag ved søk i korpus Eksperimenter med automatisk disambiguering av delbetydninger 11. april 2011 Ny Powerpoint mal

26 Sammenkobling med andre ordbok Ordbøker er ofte problematiske som betydningsinventar pga. finkornede betydningsinndelinger Lav grad av enighet blant menneskelige annotører lav presisjon for algoritmer 11. april 2011 Ny Powerpoint mal

27 Sammenkobling med andre ressurser I fremtiden ønsker vi å utforske andre ressurser som betydningsinventar, i første omgang ordnett Vil sannsynligvis by på noen av de samme problemene som ordbøker iht. finkornethet Vil kunne gi interessant informasjon til bruker om f.eks. semantiske relasjoner mellom ord i konteksten 11. april 2011 Ny Powerpoint mal