INF2820 Datalingvistikk V Gang Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang Jan Tore Lønning

2 I dag Kontekstfrie grammatikker, avledninger og trær Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 16. februar

3 Eksempel: grammar1 16. februar

4 Context-Free Grammars Det mest sentrale verktøyet i datalingvistikk 2/16/2016 Speech and Language Processing - Jurafsky and Martin 4

5 Eksempel: Avledning S NP VP Det N VP the N VP the dog VP the dog V NP PP the dog saw NP PP the dog saw Det N PP the dog saw a N PP the dog saw a man PP the dog saw a man P NP the dog saw a man in NP the dog saw a man in Det N the dog saw a man in the N the dog saw a man in the park Flere avledninger av samme streng, for eksempel: S NP VP NP V NP PP NP V NP P NP NP V NP P Det N NP V NP P Det park 16. februar

6 Avledning α β, leses: β kan direkte avledes fra α dersom: α har formen γ C δ for en ikke-terminal C det er en regel på formen C ψ og β = γ ψ δ α 1 * α m, leses: α m kan avledes fra α 1 dersom: det fins en sekvens α 1, α 2,, α m der m>1, og α i α i+1 En kontekstfri grammatikk G generer språket L(G) = { w A* S * w} Alle sekvenser av terminaler som kan avledes fra startsymbolet 16. februar

7 Hva betyr kontekstfri? Generell frasestrukturgrammatikk: venstresiden kan være en vilkårlig symbolstreng: α β Kontekstfri grammatikk = kontekstfri frasestrukturgrammatikk: Venstresiden består av én ikke-terminal A β 2/16/2016 Speech and Language Processing - Jurafsky and Martin 7

8 Konvensjoner Forenkling, kan skrive A β γ δ for A β A γ A δ 16. februar

9 Flertydighet Samme streng kan avledes på flere måter Er vi interessert i dette? Noen ganger Andre ganger ikke Interessant hvis de representerer ulike måter setningen er bygget opp på (=) ulike strukturer (trær) ulike betydninger ved flertydighet 16. februar

10 Eksempel: grammar1 16. februar

11 Trær Et lokalt tre: En node som ikke er et blad Alle døtrene Rekkefølgen mellom døtrene Kantene mellom mor og datter En regel B s1, s2,, sn tillater ( license ) et lokalt tre hvis og bare hvis det har formen: 16. februar B s1 s2.. sn

12 Trær En CFG G, generer et tre t hviss Toppen av t er merket med S Bladene er merket med terminaler Hvert lokalt tre er tillatt av en produksjonsregel T(G) for mengde av trær generert av G Utkomme ( yield ) av treet t er symbolene på bladene i riktig rekkefølge Forkortelse: hviss for hvis og bare hvis En streng w er avledbar fra G hviss w er utkomme til et tre i T(G). 16. februar

13 Ekvivalens Definisjon To grammatikker, G1 og G2, er (svakt) ekvivalente hvis og bare hvis L(G1)=L(G2) G1 og G2 er sterkt ekvivalente hvis T(G1)=T(G2) 16. februar

14 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 16. februar

15 som Kari kjente en mann Et barn så løp by Kontekstfrie frasestruktur-grammatikker (CF P-SG) S NP VP NP DET N VP IV VP TV NP NP NP som VP NP NP PP PP P NP NP kari ola N barn by mann fra

16 Fra regulært til kontekstfritt S svarer til starttilstand En ikketerminal per tilstand: S, A1, A2, A3 En regel per transisjon: S a A1 A1 b A2 A2 b S A2 c A3 A3 c A1 En regel per sluttilstand A3 ε Ethvert regulært språk kan beskrives av en kontekstfri grammatikk 16. februar

17 Kontekstfrie og regulære språk Alle regulære språk er kontekstfrie Det fins kontekstfrie språk som ikke er regulære. Eksempel:L = {a n b n n > 1} S ab S asb 16. februar

18 Kontekstfrie og regulære språk En CF grammatikk er høyrelinjær hviss: Høyresidene i reglene ikke inneholder mer enn en ikke-terminal. Og den må stå lengst til høyre Venstrelinjær defineres tilsvarende Hvis L=L(G) og G er høyrelinjær, så er L regulært. Hvis L=L(G) og G er venstrelinjær, så er L regulært. 16. februar

19 Oppgave: venstrelinjær Lag en venstrelinjær grammatikk for denne FSA-en 16. februar

20 Eksempel A = {a, b, c} S A S a A A b c A A c b A A a a B B b C C c C C a Lag DFA 16. februar

21 Oppgave A = {d, a, n, v, w} S A w S B n B B a B C d C A v A D n D D a D d Lag DFA 16. februar

22 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 16. februar

23 CFGs for naturlige språk CFG er en generell og fleksibel formalisme Hvordan kan vi best lage CFG for å modellere naturlige språk? Hva er det korrekte/beste treet for en setning i et naturlig språk? Skal vi begrense CFG-formalismen som vi bruker for naturlige språk? Ulike lingvistiske teorier, ulike svar Svaret kan avhenge av formålet: lingvistisk generalisering eller effektive beregninger Men det er en viss enighet på tvers av dette 24

24 Eksempelgrammatikk L0 16. februar

25 Leksikalske regler i L0 OBS L0 er ikke helt lingvistisk realistisk men illustrerer formalismen 16. februar

26 Hoder ( heads ) I en CFG-regel har alle elementer på høyresiden samme status I en NL regel har som oftest et ledd hovedrollen NP Det N PP P NP VP V NP VP VP PP a house to the house built the house built the house in a week I et PS-tre og en CFG-regel kan en frase være hodet i en annen frase I noen modeller snakker en bare om ord som hodet 27

27 Egenskaper ved hoder Semantisk kriterium: Hode og frase synses å være samme type ting Syntactic criteria for a relation between a head H and a dependent D in a construction C [Zwicky, Hudson]: 1. H determines the syntactic category of C; H can replace C. 2. H determines the semantic category of C; D specifies H. 3. H is obligatory; D may be optional. 4. H selects D and determines whether D is obligatory. 5. The form of D depends on H (agreement or government). 6. The linear position of D is specified with reference to H. Ikke alltid enkelt å avgjøre hva som er hodet Ulike grammatiske teorier skiller seg i detaljene (eks. Er the car en DP (the er hodet) eller NP (car er hodet)?) 28

28 X-bar En antagelse i flere grammatiske modeller/teorier En frase har tre nivåer: Full frase, eks. NP (= N ) Ord, eks N Midtnivå, eks. N (Called Nominal in J&M) Gjelder i prinsippet for all fraser: NP, VP, AP, PP Men ikke alle delene like hyppige for alle typer NP Det N N AP N N N PP VP V V V PP V V NP For generell form og mer informasjon, se Wikipedia 29

29 Komplementer vs. modifikatorer Komplement (argument): Kim gave the book to Mary Obligatorisk Eks, ugrammatisk: *Kim gave the book Kan ikke skifte med en annen preposisjon: *Kim gave the book from Mary Plasseres i X-bar-teori som Søster til X Datter til X Eks.: P P NP, eks. til skolen V V NP, eks. så Kari V V NP PP, eks. gave the book to Mary 30

30 Komplementer vs. modifikatorer Modifikator: Kim sang in the garden Kan fjernes uten at det blir ugrammatisk Kan gjentas: sang in the garden with great joy Kan bruke annen preposisjon: sang with great joy Plasseres i X-bar-teori som Søster til X Datter til X Eks.: N N PP, eks. mannen med pistolen N AP N, eks. rød bil V V PP, eks. traff Kari på stasjonen Kan noen ganger være vanskelig å avgjøre om det er komplement eller modifikator 31

31 I dag Kontekstfrie grammatikker, avledninger og trær (delvis repetisjon) Kontekstfrie grammatikker og regulære språk Kontekstfrie grammatikker for naturlige språk Grammatikker og trær i NLTK 16. februar

32 Representasjon av grammatikk i NLTK Interaktiv innlesning >>> gram = nltk.cfg.fromstring(""" S -> NP VP VP -> V NP V NP PP PP -> P NP V -> 'saw' 'ate' 'walked' NP -> PN Det N Det N PP 'I' PN -> 'John' 'Mary' N -> 'dog' 'man' 'telescope' 'park' P -> 'in' 'by' 'on' 'with' Det -> 'a' 'an' 'the' 'my' """) >>> Les fra fil: <name>.cfg S -> NP VP VP -> V NP V NP PP PP -> P NP V -> 'saw' 'ate' 'walked' NP -> PN Det N Det N PP 'I' PN -> 'John' 'Mary' N -> 'dog' 'man' 'telescope' 'park' P -> 'in' 'by' 'on' 'with' Det -> 'a' 'an' 'the' 'my' Entering >>> gram = nltk.data.load( file:<name>.cfg ) February 16,

33 Tilgang til grammatikken >>> gram <Grammar with 25 productions> >>> gram.start() S >>> for i in gram.productions(): print i S -> NP VP VP -> V NP VP -> V NP PP PP -> P NP V -> 'saw' V -> 'ate' V -> 'walked' NP -> PN Etc. >>> rule0 = gram.productions()[0] >>> rule0.lhs() S >>> rule0.rhs() (NP, VP) >>> rule5 = gram.productions()[5] >>> rule5 V -> 'ate' >>> rule5.lhs() V >>> rule5.rhs() ('ate',) >>> February 16,

34 Representasjon av trær i Python En mulig implementasjon ville være å bruke et par (tuppel) Et tre kan forstås som Et par av En streng Morens kategori En liste av trær døtrene Eller en streng et blad, en terminal (S, [(NP, [(Det, ['the']), (N, ['dog'])]), (VP, [(V, ['saw']), (NP, [(Det, ['a']), (N, ['man'])]), (PP, [(P, ['in']), (NP, [(Det, ['the']), (N, ['park'])] )])])]) February 16,

35 NLTKs tre-klasse En klasse Tree Utvider klassen List List-en brukes til døtrene: tre[0] er første datter Utvidet med: label for mora Metoden tre.label() gir mors kategori Metoder for pen uttegning: Prøv S VP NP NP ND TV ND barnet elsket kosedyret 16. februar