INF2820 Datalingvistikk V Gang Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang Jan Tore Lønning

2 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 25. februar

3 Eksempel: grammar1 25. februar

4 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 2/25/2015 Speech and Language Processing - Jurafsky and Martin 4

5 Avledning α β, leses: β kan direkte avledes fra α dersom: α har formen γ C δ for en ikke-terminal C det er en regel på formen C ψ og β = γ ψ δ α 1 * α m, leses: α m kan avledes fra α 1 dersom: det fins en sekvens α 1, α 2,, α m der m>1, og α i α i+1 En kontekstfri grammatikk G generer språket L(G) = { w A* S * w} 25. februar

6 Eksempel: Avledning S NP VP Det N VP the N VP the dog VP the dog V NP PP the dog saw NP PP the dog saw Det N PP the dog saw a N PP the dog saw a man PP the dog saw a man P NP the dog saw a man in NP the dog saw a man in Det N the dog saw a man in the N the dog saw a man in the park Flere avledninger av samme streng, for eksempel: S NP VP NP V NP PP NP V NP P NP NP V NP P Det N NP V NP P Det park 25. februar

7 Hva betyr kontekstfri? Generell frasestrukturgrammatikk: venstresiden kan være en vilkårlig symbolstreng: α β Kontekstfri grammatikk = kontekstfri frasestrukturgrammatikk: Venstresiden består av én ikke-terminal A β 2/25/2015 Speech and Language Processing - Jurafsky and Martin 7

8 Konvensjoner Forenkling, kan skrive A β γ δ for A β A γ A δ 25. februar

9 Flertydighet Samme streng kan avledes på flere måter Er vi interessert i dette? Noen ganger Andre ganger ikke Interessant hvis de representerer ulike måter setningen er bygget opp på (=) ulike strukturer (trær) ulike betydninger ved flertydighet 25. februar

10 Eksempel: grammar1 25. februar

11 Trær Et lokalt tre: En node som ikke er et blad Alle døtrene Rekkefølgen mellom døtrene Kantene mellom mor og datter En regel B s1, s2,, sn tillater ( license ) et lokalt tre hvis og bare hvis det har formen: B s1 s2.. sn 25. februar

12 Trær En CFG G, generer et tre t hviss Toppen av t er merket med S Bladene er merket med terminaler Hvert lokalt tre er tillatt av en produksjonsregel T(G) for mengde av trær generert av G Utkomme ( yield ) av treet t er symbolene på bladene i riktig rekkefølge Forkortelse: hviss for hvis og bare hvis En streng w er avledbar fra G hviss w er utkomme til et tre i T(G). 25. februar

13 Ekvivalens Definisjon To grammatikker, G1 og G2, er (svakt) ekvivalente hvis og bare hvis L(G1)=L(G2) G1 og G2 er sterkt ekvivalente hvis T(G1)=T(G2) 25. februar

14 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 25. februar

15 Fra regulært til kontekstfritt S svarer til starttilstand En ikketerminal per tilstand: S, A1, A2, A3 En regel per transisjon: S a A1 A1 b A2 A2 b S A2 c A3 A3 c A1 En regel per sluttilstand A3 ε Ethvert regulært språk kan beskrives av en kontekstfri grammatikk 25. februar

16 Kontekstfrie og regulære språk Alle regulære språk er kontekstfrie Det fins kontekstfrie språk som ikke er regulære: L = {a n b n n > 1} S ab S asb 25. februar

17 Kontekstfrie og regulære språk Alle regulære språk er kontekstfrie Det fins kontekstfrie språk som ikke er regulære. En CF grammatikk er høyrelinjær hviss: Høyresidene i reglene ikke inneholder mer enn en ikke-terminal. Og den må stå lengst til høyre Venstrelinjær defineres tilsvarende Konstruksjonen fra NFA til CFG viser at: Ethvert regulært språk kan beskrives av en høyrelinjær grammatikk 25. februar

18 Kontekstfrie og regulære språk Hvis L=L(G) og G er høyrelinjær, så er L regulært. Hvis L=L(G) og G er venstrelinjær, så er L regulært. OBS, L=L(G) kan være regulær selv om G verken er høyre- eller venstrelinjær. Hvorfor? 25. februar

19 Eksempel A = {a, b, c} S A S a A A b c A A c b A A a a B B b C C c C C a Lag DFA 25. februar

20 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 25. februar

21 CFGs for naturlige språk CFG er en generell og fleksibel formalisme Hvordan kan vi best lage CFG for å modellere naturlige språk? Hva er det korrekte/beste treet for en setning i et naturlig språk? Skal vi begrense CFG-formalismen som vi bruker for naturlige språk? Ulike lingvistiske teorier, ulike svar Svaret kan avhenge av formålet: lingvistisk generalisering eller effektive beregninger Men det er en viss enighet på tvers av dette 21

22 Eksempelgrammatikk L0 25. februar

23 Leksikalske regler i L0 OBS L0 er ikke lingvistisk realistisk men illustrerer formalismen 25. februar

24 Hoder ( heads ) I en CFG-regel har alle elementer på høyresiden samme status I en NL regel har som oftest et ledd hovedrollen NP Det N PP P NP VP V NP VP VP PP a house to the house built the house built the house in a week I et PS-tre og en CFG-regel kan en frase være hodet i en annen frase I noen modeller snakker en bare om ord som hodet 24

25 Egenskaper ved hoder Semantisk kriterium: Hode og frase synses å være samme type ting Syntactic criteria for a relation between a head H and a dependent D in a construction C [Zwicky, Hudson]: 1. H determines the syntactic category of C; H can replace C. 2. H determines the semantic category of C; D specifies H. 3. H is obligatory; D may be optional. 4. H selects D and determines whether D is obligatory. 5. The form of D depends on H (agreement or government). 6. The linear position of D is specified with reference to H. Ikke alltid enkelt å avgjøre hva som er hodet Ulike grammatiske teorier skiller seg i detaljene (eks. Er the car en DP (the er hodet) eller NP (car er hodet)?) 25

26 X-bar En antagelse i flere grammatiske modeller/teorier En frase har tre nivåer: Full frase, eks. NP (= N ) Ord, eks N Midtnivå, eks. N (Called Nominal in J&M) NP Det N N AP N N N PP VP V V V PP V V NP For generell form og mer informasjon, se Wikipedia 26

27 Komplementer vs. modifikatorer Komplement (argument): Kim gave the book to Mary Obligatorisk Eks, ugrammatisk: *Kim gave the book Kan ikke skifte med en annen preposisjon: *Kim gave the book from Mary Plasseres i X-bar-teori som Søster til X Datter til X Eks.: P P NP, eks. til skolen V V NP, eks. så Kari V V NP PP, eks. gave the book to Mary 27

28 Komplementer vs. modifikatorer Modifikator: Kim sang in the garden Kan fjernes uten at det blir ugrammatisk Kan gjentas: sang in the garden with great joy Kan bruke annen preposisjon: sang with great joy Plasseres i X-bar-teori som Søster til X Datter til X Eks.: N N PP, eks. mannen med pistolen N AP N, eks. rød bil V V PP, eks. traff Kari på stasjonen Kan noen ganger være vanskelig å avgjøre om det er komplement eller modifikator 28

29 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 25. februar

30 Representasjon av grammatikk i NLTK Interaktiv innlesning >>> gram = nltk.parse_cfg(""" S -> NP VP VP -> V NP V NP PP PP -> P NP V -> 'saw' 'ate' 'walked' NP -> PN Det N Det N PP 'I' PN -> 'John' 'Mary' N -> 'dog' 'man' 'telescope' 'park' P -> 'in' 'by' 'on' 'with' Det -> 'a' 'an' 'the' 'my' """) >>> Les fra fil: <name>.cfg S -> NP VP VP -> V NP V NP PP PP -> P NP V -> 'saw' 'ate' 'walked' NP -> PN Det N Det N PP 'I' PN -> 'John' 'Mary' N -> 'dog' 'man' 'telescope' 'park' P -> 'in' 'by' 'on' 'with' Det -> 'a' 'an' 'the' 'my' Entering >>> gram = nltk.data.load( file:<name>.cfg ) February 25,

31 Tilgang til grammatikken >>> gram <Grammar with 25 productions> >>> gram.start() S >>> for i in gram.productions(): print i S -> NP VP VP -> V NP VP -> V NP PP PP -> P NP V -> 'saw' V -> 'ate' V -> 'walked' NP -> PN Etc. >>> rule0 = gram.productions()[0] >>> rule0.lhs() S >>> rule0.rhs() (NP, VP) >>> rule5 = gram.productions()[5] >>> rule5 V -> 'ate' >>> rule5.lhs() V >>> rule5.rhs() ('ate',) >>> February 25,

32 Representasjon av trær I Python 1. En enkel repr. (S, [(NP, [(Det, ['the']), (N, ['dog'])]), (VP, [(V, ['saw']), (NP, [(Det, ['a']), (N, ['man'])]), (PP, [(P, ['in']), (NP, [(Det, ['the']), (N, ['park'])] )])])]) Et tre = Et par av En streng Morens kategori En liste av trær døtrene Eller en streng et blad, en terminal February 25,

33 2. NLTKs noe mer raffinerte repr. 1. Enkel repr. 2. NLTK s klasse: tree >>> atree ('S', [('NP', [('PN', ['Mary'])]), ('VP', [('V', ['saw']), ('NP', [('PN', ['John'])])])]) >>> print atree ('S', [('NP', [('PN', ['Mary'])]), ('VP', [('V', ['saw']), ('NP', [('PN', ['John'])])])]) Mother s category, S atree[0] atree.node First daughter atree[1][0] atree[0] Second daughter atree[1][1] atree[1] Tree('S', [Tree('NP', [Tree('PN', ['Mary'])]), Tree('VP', [Tree('V', ['saw']), Tree('NP', [Tree('PN', ['John'])])])]) (S (NP (PN Mary)) (VP (V saw) (NP (PN John)))) Adding daughter atree[1].append( ) atree.append( ) February 25,