INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

2 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 2

3 CKY Parsing og Chart parsing Er dette egentlig en parser? Strengt tatt: Nei! Det er en anerkjenner Hvordan kan vi lage en parser som følger denne algoritmen? 3/16/2017 Speech and Language Processing - Jurafsky and Martin 3

4 Alternativ Alt 1: Bygg trær underveis og legg dem i chartet S S S S a Med en flertydig grammatikk kan chartet/tabellen vokse eksponensielt 4

5 Eksempel (0) a (1) a (2) a (3) a (4) 0) (Sa) (S(Sa)(Sa)) (S(S(Sa)(Sa))(Sa)) (S(S(S(Sa)(Sa))(Sa))(Sa)) (S(Sa)(S(Sa)(Sa))) (S(S(Sa)(S(Sa)(Sa)))(Sa)) (S(S(Sa)(Sa))(S(Sa)(Sa))) (S(Sa)(S(S(Sa)(Sa))(Sa))) (S(Sa)(S(Sa)(S(Sa)(Sa)))) 1) (Sa) (S(Sa)(Sa)) (S(S(Sa)(Sa))(Sa)) (S(Sa)(S(Sa)(Sa))) 2) (Sa) (S(Sa)(Sa)) 3) (Sa) March 16,

6 Et bedre alternativ Ikke bygg hele trær Men inkluder i strukturen informasjon som gjør det mulig å konstruere alle trær. (Merk: Hvis vi vil skrive ut alle trær får vi uansett en eksponensiell algoritme fordi antallet trær til en streng kan være eksponensielt i lengden av inputt.) 6

7 Eksempel (0) a (1) a (2) a (3) a (4) 0) (1,S,'a') (3,S,[(1,2)]) (6,S,[(1,5),(3,4)]) (10,S,[(1,9),(3,8),(6,7)]) 1) (2,S,'a') (5,S,[(2,4)]) (9,S,[(2,8),(5,7)]) 2) (4,S,'a') (8,S,[(4,7)]) 3) (7,S,'a') 7

8 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 8

9 Trekk ( features ) trinn for trinn NLTK ch.9, ex. 8 S NP_SG VP_SG S NP_PL VP_PL NP_SG Det_SG N_SG NP_PL Det_PL N_PL VP_SG V_SG VP_PL V_PL Det_SG 'this' Det_PL 'these' N_SG 'dog' N_PL 'dogs' V_SG 'runs' V_PL 'run' Kategorier og trekk S NP[NUM=sg] VP[NUM=sg] S NP[NUM=pl] VP[NUM=pl] NP[NUM=sg] Det[NUM=sg] N[NUM=sg] NP[NUM=pl] Det[NUM=pl] N[NUM=pl] VP[NUM=sg] V[NUM=sg] VP[NUM=pl] V[NUM=pl] Det[NUM=sg] 'this' Det[NUM=pl] 'these' N[NUM=sg] 'dog' N[NUM=pl] 'dogs' V[NUM=sg] 'runs' V[NUM=pl] 'run' March 16,

10 Trekk trinn for trinn 2 Kategorier og trekk S NP[NUM=sg] VP[NUM=sg] S NP[NUM=pl] VP[NUM=pl] NP[NUM=sg] Det[NUM=sg] N[NUM=sg] NP[NUM=pl] Det[NUM=pl] N[NUM=pl] VP[NUM=sg] V[NUM=sg] VP[NUM=pl] V[NUM=pl] Saml sammen likheter S NP[NUM=?x] VP[NUM=?x] NP[NUM=?x] Det[NUM=?x] N[NUM=?x] VP[NUM=?x] V[NUM=?x] Det[NUM=sg] 'this' Det[NUM=pl] 'these' N[NUM=sg] 'dog' N[NUM=pl] 'dogs' V[NUM=sg] 'runs' V[NUM=pl] 'run' Det[NUM=sg] 'this' Det[NUM=pl] 'these' N[NUM=sg] 'dog' N[NUM=pl] 'dogs' V[NUM=sg] 'runs' V[NUM=pl] 'run' March 16,

11 Intuitiv tolkning CFG S NP VP Med trekk S NP[NUM=?x] VP[NUM=?x] Hvis words[i,j] er en NP og words[j,k] er en VP Så kan words[i,k] være en S Hvis words[i,j] er en NP og words[j,k] er en VP og NP sin NUM = VP sin NUM Så kan words[i,k] være en S March 16,

12 I NLTK Samme grammatikken forts. i 9.3 i NLTK-boka. VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar V[SUBCAT=intrans, TENSE=pres, NUM=sg] > 'disappears' 'walks' V[SUBCAT=trans, TENSE=pres, NUM=sg] > 'sees' 'likes' V[SUBCAT=clause, TENSE=pres, NUM=sg] > 'says' 'claims' V[SUBCAT=intrans, TENSE=pres, NUM=pl] > 'disappear' 'walk' V[SUBCAT=trans, TENSE=pres, NUM=pl] > 'see' 'like' V[SUBCAT=clause, TENSE=pres, NUM=pl] > 'say' 'claim' V[SUBCAT=intrans, TENSE=past, NUM=?n] > 'disappeared' 'walked' V[SUBCAT=trans, TENSE=past, NUM=?n] > 'saw' 'liked' V[SUBCAT=clause, TENSE=past, NUM=?n] > 'said' 'claimed' 12

13 Noen observasjoner - formalismen S NP[NUM=?x] VP[NUM=?x] VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar En kategori kan ha mer enn ett trekk Et trekk kan ta en atomær verdi, eks.: trans eller være en (delt) variabel Vi behøver ikke spesifisere alle trekk: F.eks. VP i de to reglene er forenlige 13

14 Noen observasjoner - anvendelse S NP[NUM=?x] VP[NUM=?x] VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar Færre syntaktiske regler, men i utgangspunktet like stort leksikon Mange muligheter for å skrive en grammatikk i denne formalismen ikke én fasit Eksempelet viser en mulig behandling av subkategorisering av verb Men like mange regler som i en CFG Skal se alternative måter senere Flere trekk, som tense, kan være nyttige 14

15 Eksempel med tysk Tysk har en rikere morfo-syntaks Enda mer å spare her ved å bruke trekk F.eks 16 former av bestemt artikkel Case Masc Fem Neut Plural Nom der die das die Gen des der des der Dat dem der dem den Acc den die das die 15

16 Hvordan kan vi takle dette i CFG? NP_neut_sg_nom Det_neut_sg_nom N_neut_sg_nom NP_neut_sg_acc Det_neut_sg_acc N_neut_sg_acc NP_neut_sg_gen Det_neut_sg_gen N_neut_sg_gen NP_neut_sg_dat Det_neut_sg_dat N_neut_sg_dat NP_fem_sg_nom Det_fem_sg_nom N_fem_sg_nom NP_fem_sg_acc Det_fem_sg_acc N_fem_sg_acc NP_fem_sg_gen Det_fem_sg_gen N_fem_sg_gen NP_fem_sg_dat Det_fem_sg_dat N_fem_sg_dat NP_mask_sg_nom Det_mask_sg_nom N_mask_sg_nom NP_mask_sg_acc Det_mask_sg_acc N_mask_sg_acc NP_mask_sg_gen Det_mask_sg_gen N_mask_sg_gen NP_mask_sg_dat Det_mask_sg_dat N_mask_sg_dat NP_pl_nom Det_pl_nom N_pl_nom NP_pl_acc Det_pl_acc N_pl_acc NP_pl_gen Det_pl_gen N_pl_gen NP_pl_dat Det_pl_dat N_pl_dat 16

17 Observasjoner Dette gir 16 ulike regler Kanskje ikke nok. Vi må skille mellom Bestemt: der gute Mann Ubestemt: ein guter Mann (begge er nom, mask, sg) Og vi må kanskje dra på forskjellene i andre deler av gramamtikken, eks S NP_neut_sg_nom S NP_mask_sg_nom S NP_fem_sg_nom Osv. VP_3p_sg VP_3p_sg VP_3p_sg 17

18 Tysk med trekkgrammatikk, alt 1 S NP[CASE=nom, NUM=?x, PERS=?y] VP[NUM=?x, PERS=?y] NP[CASE=?z,NUM=?x, PERS=3rd] Det[CASE=?z,NUM=?x, GEN=?u] N[CASE=?z,NUM=?x, GEN=?u] VP[NUM=?x, PERS=?y] V[SUBC= dtv, PERS=?y, NUM=?x] NP[CASE=dat] NP[CASE=acc] Det[NUM=sg, CASE=nom, GEN=mask] 'der' N[NUM=sg, CASE=nom, GEN=mask] Mann' 18

19 Tysk med trekkgrammatikk, alt 2 S NP[CASE=nom, AGR=?x] VP[AGR=?x] NP[CASE=?z, AGR=?x] Det[CASE=?z, AGR=?x,] N[CASE=?z, AGR=?x,] VP[AGR=?x] V[SUBC= dtv, AGR=?x] NP[CASE=dat] NP[CASE=acc] Vi kan samle flere trekk som hører sammen i en «pakke», en trekkstruktur innenfor en større struktur Det[CASE=nom, AGR=[NUM=sg, GEN=mask]] 'der' N[CASE=nom, AGR=[NUM=sg, GEN=mask]] Mann' 19

20 Trekkstrukturer Lang tradisjon i lingvistikk Eks.: fonologi En mengde trekk og verdier: For hvert trekk er det definert hvilke verdier som er mulige Et skritt videre: Hele trekkstrukturer som verdier 20

21 Trekkstrukturer som grafer Attribute Value Matrices (AVMs) Directed Acyclic Graphs (DAGs) To alternative notasjoner for det samme 21

22 Deling («Reentrancies») 22

23 1. Regler med trekkstrukturer S NP VP NP Det N V serve V serves En ikke terminal suppleres med en partiell trekkstruktur Mulig deling mellom trekkstrukturene i en regel Terminalene er uendret 16. mars

24 1B. NLTKs format S NP VP S NP[AGR=?x] VP[AGR=?x] NP Det N NP[AGR=?x] Det[AGR=?x] Nom[AGR=?x] V serves V[AGR=[NUM=SG, PERS=3rd]] serves NLTKs format er en implementasjon av denne formalismen Men som vi vil se senere, har implementasjonen en del begrensninger i forhold til formalismen 16. mars

25 Liten eksempelgrammatikk: S > NP[AGR=?x] VP[AGR=?x] NP[AGR=?x] > DET[AGR=?n] N[AGR=?n] VP[AGR=?x] > V[AGR=?x] NP V[AGR = [NUM = 'pl']] > 'serve' V[AGR = [NUM = 'sg', PERS = '3rd']] > 'serves' DET[AGR = [PERS = '3rd']] > 'the' DET[AGR = [PERS = '3rd', NUM = 'sg']] > 'a' DET[AGR = [PERS = '3rd', NUM = 'pl']] > 'many' N[AGR = [PERS = '3rd', NUM = 'sg']] > 'restaurant' N[AGR = [PERS = '3rd', NUM = 'pl']] > 'restaurants' N[AGR = [PERS = '3rd', NUM = 'sg']] > 'hamburger' N[AGR = [PERS = '3rd', NUM = 'pl']] > 'hamburgers' N[AGR = [PERS = '3rd', NUM = 'sg']] > 'customer' N[AGR = [PERS = '3rd', NUM = 'pl']] > 'customers' N[AGR = [PERS = '3rd']] > 'fish' mars 2017

26 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 26

27 Anerkjenning med grammatikken the restaurant serves many hamburgers 16. mars

28 De leksikalske reglene Det N V Det N the restaurant serves many hamburgers 16. mars

29 En regel svarer til partielt lokalt tre NP Det N Det N V Det N the restaurant serves many hamburgers 16. mars

30 Prøver å unifisere regel med noder NP Det N V Det N the restaurant serves many hamburgers 16. mars

31 Tilsvarende NP Det N NP Det N V Det N the restaurant serves many hamburgers 16. mars

32 (strukturen for the utvides) NP NP Det N V Det N the restaurant serves many hamburgers 16. mars

33 VP V NP NP NP Det N V Det N the restaurant serves many hamburgers 16. mars

34 (VP samsvarer med SUBJ ikke OBJ) VP NP NP Det N V Det N the restaurant serves many hamburgers 16. mars

35 S NP NP VP NP NP Det N V Det N the restaurant serves many hamburgers 16. mars

36 Strukturene unifiseres (2=3=4) S VP NP NP Det N V Det N the restaurant serves many hamburgers 16. mars

37 Ikke en grammatisk setning Det N V Det N the restaurant serve many hamburgers 16. mars

38 4 kan ikke unifiseres med både 2 og 3 S NP NP VP NP NP Det N V Det N the restaurant serve many hamburgers 16. mars

39 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 39

40 En generalisering av formalisme 1 Trekkstrukturgrammatikk Syntaktisk regel: En trekkstr. på v.s Null eller flere t.s. på h.s Deling mellom trekkstr.ene Leksikalsk regel: En trekkstr. på v.s En terminal på h.s. gives 16. mars

41 En generalisering av formalisme 1 Hvis det er et trekk som alle strukturene i reglene har, f.eks. CAT (eller *TYPE*) dette trekket bare tar atomære verdier, så blir dette det samme som å ha en ikke terminal + trekkstruktur Men dette formatet gir også muligheter for utvidelser: F.eks. regler med variable cat trekket Bruke neste gives 16. mars 2017 uke 41

42 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 42

43 Trekkstrukturer Lang tradisjon i lingvistikk Eks.: fonologi En mengde trekk og verdier: For hvert trekk er det definert hvilke verdier som er mulige Et skritt videre: Hele trekkstrukturer som verdier 43

44 Trekkstrukturer som grafer Attribute Value Matrices (AVMs) Directed Acyclic Graphs (DAGs) To alternative notasjoner for det samme 44

45 Deling («Reentrancies») 45

46 Trekkstrukturer - formelt To endelige mengder F = {f 1, f 2,, f n } A = {a 1, a 2,, a n } En trekkstruktur over F og A er Atomær, dvs et element i A, eller Ikke atomær. Det er et objekt. Dette inneholder En mengde trekk, dvs en delmengde av F: f 1, f 2,, f j Til hvert av disse trekkene er det en verdi, som igjen er en trekkstruktur (atomær eller ikke atomær) En trekkstruktur kan ikke inneholde to par av trekk og verdier (f k, a k ), (f p, a p ) der f k = f p, men a k =/= a p To trekkstrukturer som inneholder de samme trekk verdiparene kan være identiske, men behøver ikke være det 16. mars 2017 (som dictionaries i python) 46

47 Unifikasjon av trekkstrukturer 16. mars

48 16. mars

49 16. mars

50 16. mars

51 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 51

52 Subsumpsjon og unifikasjon Subsumpsjon F subsummerer G F er minst like generell som G Hvis og bare hvis: F er atomær og F=G Ellers For hvert trekk x i F: F(x) subsumerer G(x) For alle stier p, q in F: Hvis F(p) = F(q), så G(p) = G(q) Unifikasjon H er unifikasjonen av F og G H = Hvis og bare hvis Og H er den mest generelle slike trekkstrukturen 16. mars

53 NLTK - implementasjon >>> fs1 = nltk.featstruct(tense='past', NUM='sg') >>> fs1 [NUM='sg', TENSE='past'] >>> print fs1 [ NUM = 'sg' ] [ TENSE = 'past' ] >>> from nltk import FeatStruct >>> fs2 = FeatStruct(CAT='vp', AGR = fs1) >>> print fs2 [ AGR = [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] 16. mars

54 NLTK - implementasjon >>> fs3 = fs2.unify(featstruct( "[AGR =?x, SUBJ = [AGR =?x]]")) >>> print fs3 [ AGR = (1) [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] [ ] [ SUBJ = [ AGR > (1) ] ] 16. mars

55 I dag grammatikker med trek og unifikasjon Fortsatt:) CKY og Chart: Parsing vs anerkjenning Grammatikker med trekk Tolkning av grammatikkene, eksempel En generalisering av formalismen Trekkstrukturer, mer formelt Subsumpsjon og unifikasjon Trekkstrukturgrammatikker, mer formelt 55

56 Betingelser på grammatikalitet S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, DET, N, V, NP, DET, N, the restaurant serves many fish 16. mars

57 Lokalt tre tillatt av regel eks 1 t1: S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, R1: S NP VP Regelen R1 svarer til et lokalt tre t2 R1 tillater t1 hvis t1 «utvider» t2, Mer formelt: hvis t2 subsummerer t1 16. mars

58 Subsumpsjon av trær Vi kan utvide definisjonen av subsumpsjon fra trekkstrukturer til trær med trekkstrukturer på nodene Et tre T subsummerer et tre T dersom Trekkstrukturen på T subsummerer strukturen på T Inkludert at hvis T har en kategori, så har T samme kategori Hvis T har døtrene D 1, D 2,, D n, så har T like mange døtre D 1, D 2,, D n, der D i subsummerer D i for i = 1, 2,, n, og Alle delinger i T er også delinger i T. 58

59 Tolkning av grammatikk Et tre T med trekkstrukturer er tillatt av grammatikk G hvis og bare hvis. Hvis t 1, t 2,, t n er alle de lokale trærne i T, så fins det tilsvarende regler i G, si g 1, g 2,, g n s.a.: tre t i er tillatt av regel g i for i= 1, 2,, n Hvis T er et annet tre tillatt av de samme reglene g 1, g 2,, g n, på tilsvarende subtrær og T subsummerer T, så subsummerer T også T. "Det skal ikke være med mer i treet enn det reglene krever. " 16. mars