INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang 20.3 Jan Tore Lønning

2 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 2

3 Trekkstrukturer Lang tradisjon i lingvistikk Eks.: fonologi En mengde trekk og verdier: For hvert trekk er det definert hvilke verdier som er mulige Et skritt videre: Hele trekkstrukturer som verdier 3

4 Trekkstrukturer som grafer Attribute Value Matrices (AVMs) Directed Acyclic Graphs (DAGs) To alternative notasjoner for det samme 4

5 Trekkstrukturer - formelt To endelige mengder F = {f 1, f 2,, f n } A = {a 1, a 2,, a n } En trekkstruktur over F og A er Atomær, dvs et element i A, eller Ikke atomær. Det er et objekt. Dette inneholder En mengde trekk, dvs en delmengde av F: f 1, f 2,, f j Til hvert av disse trekkene er det en verdi, som igjen er en trekkstruktur (atomær eller ikke atomær) 25. mars 2017 Begrensning: En trekkstruktur kan ikke inneholde to par av trekk og verdier (f k, a k ), (f p, a p ) der f k = f p, men a k =/= a p (som dictionaries i python) Observasjon: To trekkstrukturer som inneholder de samme trekk verdiparene kan være identiske, men behøver ikke være det 5

6 Unifikasjon av trekkstrukturer 25. mars

7 25. mars

8 Unifikasjon - grafisk SUBJ AGR PERS NUM 3rd sg SUBJ AGR AGR 8

9 Unifikasjon - grafisk SUBJ AGR PERS NUM 3rd sg SUBJ AGR AGR AGR PERS 3rd SUBJ AGR NUM sg 9

10 Subsumpsjon og unifikasjon Subsumpsjon F subsummerer G F er minst like generell som G Hvis og bare hvis: F er atomær og F=G Ellers For hvert trekk x i F: F(x) subsumerer G(x) For alle stier p, q in F: Hvis F(p) = F(q), så G(p) = G(q) Unifikasjon H er unifikasjonen av F og G H = Hvis og bare hvis Og H er den mest generelle slike trekkstrukturen 25. mars

11 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 11

12 NLTK - implementasjon >>> fs1 = nltk.featstruct(tense='past', NUM='sg') >>> fs1 [NUM='sg', TENSE='past'] >>> print(fs1) [ NUM = 'sg' ] [ TENSE = 'past' ] >>> from nltk import FeatStruct >>> fs2 = FeatStruct(CAT='vp', AGR = fs1) >>> print(fs2) [ AGR = [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] 25. mars

13 NLTK - implementasjon >>> fs3 = fs2.unify(featstruct( "[AGR =?x, SUBJ = [AGR =?x]]")) >>> print(fs3) [ AGR = (1) [ NUM = 'sg' ] ] [ [ TENSE = 'past' ] ] [ ] [ CAT = 'vp' ] [ ] [ SUBJ = [ AGR > (1) ] ] 25. mars

14 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 14

15 Gram.1. Regler med trekkstrukturer S NP VP NP Det N V serve V serves En ikke terminal suppleres med en partiell trekkstruktur Mulig deling mellom trekkstrukturene i en regel Terminalene er uendret 25. mars

16 Betingelser på grammatikalitet S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, DET, N, V, NP, DET, N, the restaurant serves many fish 25. mars

17 Lokalt tre tillatt av regel eks 1 t1: S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, R1: S NP VP Regelen R1 svarer til et lokalt tre t2 R1 tillater t1 hvis t1 «utvider» t2, Mer formelt: hvis t2 subsummerer t1 25. mars

18 Subsumpsjon av trær Vi kan utvide definisjonen av subsumpsjon fra trekkstrukturer til trær med trekkstrukturer på nodene Et tre T subsummerer et tre T dersom Trekkstrukturen på T subsummerer strukturen på T Inkludert at hvis T har en kategori, så har T samme kategori Hvis T har døtrene D 1, D 2,, D n, så har T like mange døtre D 1, D 2,, D n, der D i subsummerer D i for i = 1, 2,, n, og Alle delinger i T er også delinger i T. 18

19 Tolkning av grammatikk Et tre T med trekkstrukturer er tillatt av grammatikk G hvis og bare hvis. Hvis t 1, t 2,, t n er alle de lokale trærne i T, så fins det tilsvarende regler i G, si g 1, g 2,, g n s.a.: tre t i er tillatt av regel g i for i= 1, 2,, n Hvis T er et annet tre tillatt av de samme reglene g 1, g 2,, g n, på tilsvarende subtrær og T subsummerer T, så subsummerer T også T. "Det skal ikke være med mer i treet enn det reglene krever. " 25. mars

20 Grammatikker to alternative format 1. Trekkstrukturer i reglene NLTK er et (begrenset) forsøk på å implementere dette formatet 2. Regler + likninger Jurafsky og Martin 25. mars

21 Grammatikker to alternative format 1. Trekkstrukturer i reglene 2. Regler + likninger S NP VP NP Det NOM V serves 25. mars

22 Lokalt tre tillatt av regel eks 1 S, Hvert lokalt tre må tillates av en grammatikkregel NP, VP, J&M format: Det lokale treet lystrer alle likningene 25. mars

23 Lokalt tre tillatt av regel eks 2 DET, Hvert lokalt tre må tillates av en grammatikkregel the Trekkstr. i regel DET[AGR=[PERS= 3rd ]] > the DET, Regler + likninger: Det lokale treet lystrer alle likningene the DET the <DET AGR PERS>=3rd 25. mars

24 Sammenlikning av formatene 1. Trekkstrukturer i reglene Utvid ikke terminaler med partielle trekkstrukturer Variable i trekkstrukturene for deling («reentrancy») Brukt for eksempel i tidlig Head driven Phrase Structure Grammars (HPSG) 2. Regler + likninger Legg likninger til CFG reglene En likning mellom To stier, eller En sti og en atomær verdi Inspirert av PATR Lexical Functional Grammar Blir det samme (før evt utvidelser) 25. mars

25 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 25

26 Videre Vise noen eksempler på hvordan trekk og unifikasjon anvendes i moderne lingvistiske teorier, spesielt til subkategorisering: ved å lage en serie av grammatikk(fragment)er gå lengre enn NLTK være mer detaljert enn J&M og samtidig se hvor mye av dette som kan og ikke kan gjøres i NLTKs fcfg-er 26

27 Subkategorisering Tidligere 3 VP regler for mønstrene: VP V sleep VP V NP love VP V NP NP give Men det er mange andre mønstre (jfr. Oblig. 2) VP V NP PP[to] give VP V NP VP[inf] persuade VP V CP tell (that Mary left) VP V NP CP tell (John that Mary left) VP V AP grow VP V NP PP save etc. Hvert verb kan forekomme i noen slike mønstre ikke i andre Mål: Unngå overgenerering og falske flertydigheter 25. mars

28 Løsning med CFG Innføre forskjellige kategorier (ikke terminaler) for de forskjellige verbene, f.eks: VP IV VP TV NP VP DTV NP NP IV sleep TV love DTV give Osv. Svakheter med denne løsningen: Mange regler Mange kategorier Manglende generalisering: «verb er verb» 25. mars

29 Med eksempelgrammatikk 1 Eksempel først i seksjon 9.3 i NLTK-boka. VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar V[SUBCAT=intrans, TENSE=pres, NUM=sg] > 'disappears' 'walks' V[SUBCAT=trans, TENSE=pres, NUM=sg] > 'sees' 'likes' V[SUBCAT=clause, TENSE=pres, NUM=sg] > 'says' 'claims' V[SUBCAT=intrans, TENSE=pres, NUM=pl] > 'disappear' 'walk' V[SUBCAT=trans, TENSE=pres, NUM=pl] > 'see' 'like' V[SUBCAT=clause, TENSE=pres, NUM=pl] > 'say' 'claim' V[SUBCAT=intrans, TENSE=past, NUM=?n] > 'disappeared' 'walked' V[SUBCAT=trans, TENSE=past, NUM=?n] > 'saw' 'liked' V[SUBCAT=clause, TENSE=past, NUM=?n] > 'said' 'claimed' 29

30 Noen observasjoner - anvendelse S NP[NUM=?x] VP[NUM=?x] VP[TENSE=?t, NUM=?n] > V[SUBCAT=intrans, TENSE=?t, NUM=?n] VP[TENSE=?t, NUM=?n] > V[SUBCAT=trans, TENSE=?t, NUM=?n] NP VP[TENSE=?t, NUM=?n] > V[SUBCAT=clause, TENSE=?t, NUM=?n] SBar Eksempelet viser en mulig behandling av subkategorisering av verb Generaliserer over verb Men like mange regler som i en CFG Skal se alternative måter senere 30

31 En generalisering av formalismen Eksempelgrammatikk 2 serves Så sist at grammatikk 2 sees på som en notasjonell variant av grammatikk mars

32 NLTK og grammatikk 2 NLTKs format for trekkgrammatikker tillater ikke regler som i grammatikk 2. Men vi kan «lure» NLTKs fcfg ved å innføre en dummy kategori og la alle fraser være av denne kategorien, f.eks.: X[CAT=S] > X[CAT=NP,AGR=?x] X[CAT=VP,AGR=?x] X[CAT=NP,AGR=?x] > X[CAT=Det,AGR=?x] X[CAT=N,AGR=?x] X[CAT=VP,AGR=?x] > X[CAT=V,AGR=?x] X[CAT=NP] X[CAT=V,AGR =[NUM = 'sg', PERS = '3rd']] > 'serves' Obs: Parsing kan bli mindre effektiv 25. mars

33 Grammatikk 2 i likningsformalismen I likningsformalismen som brukes i J&M kan grammatikker som grammatikk 2 skrives med regler som denne (fra J&M seksj ) 33

34 Eksempelgrammatikk 2: subkat. Tilsvarende løsning som i grammatikk 1 Samme styrker og svakheter serves osv. 25. mars

35 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 35

36 Eksempelgrammatikk 3 Den samme regelen virker for alle verb som tar ett argument. says (Kim says that Lee is asleep) serves (The restaurant serves fish) Resten i leksikon 25. mars

37 Eksempelgrammatikk 3 En regel for hvert mulig antall av argumenter til en V Resten i leksikon 25. mars

38 Eksempelgrammatikk 3 COMP2 Forhindrer verb som tar 2 argumenter her says serves COMP2 Forhindrer at disse verbene tar flere enn to argumenter 25. mars

39 Så langt, grammatikk 3 Færre og mer generelle regler Mer informasjon i leksikon Et verb velger sine argumenter 39

40 I NLTK NLTK boka drøfter denne type løsninger (seksj. 9.3), men implementerer dem ikke. Denne løsningen kan implementeres i NLTKs fcfg med samme trikk som for grammatikk 2: X[CAT=VP,AGR=?x] > X[CAT=V,AGR=?x,SC=[COMP1=?y, COMP2]] X[CAT=?y] X[CAT=V, AGR=[NUM=sg,PERS=3rd],SC=[COMP1=NP, COMP2]] > 'serves' 40

41 X-bar (husker du?) En frase har tre nivåer: Full frase, eks. NP (= N ) Ord, eks N Midtnivå, eks. N (kalt Nominal i J&M) Felles struktur for fraser av ulike kategorier: NP, VP, PP For generell form og mer informasjon, se Wikipedia En del egenskaper er felles for NP og hodet N (og N =Nom), f.eks. kasus En del egenskaper er delt mellom VP og V, f.eks. tempus Bar V N PP Adj? 2 S: V NP: N PP: P 1 VP: V Nom: N PP: P 0 V N P 41

42 N =NP N =NOM DET An A =AP old N =NOM N =NOM P =PP A =AP boring N professor N =NOM P =PP of German from Sweden 42

43 Grammatikk 4 basert på X-bar Vi representerer det som er felles mellom N, Nom og NP i et trekk «head» Tilsvarende for S, VP og V, og for P og PP, osv. Hva med forskjellen mellom NP (=N ), Nom (=N ), N (ordet)? Flere muligheter. En av dem er å bruke et trekk for dette BAR: 43

44 Head-complement rule+lexicon serves En regel for verb som tar ett komplement uavhengig av komplementets kategori Samme regel virker for PP P NP with Resten i leksikon 25. mars

45 Head complement-rules En regel for hvert mulig antall (0, 1, 2) av argumenter uavhengig av kategori Resten i leksikon 25. mars

46 Specifier rules Den første regelen vil både dekke S NP VP NP DET NOM hamburger 25. mars

47 Eksempel with a hamburger 47

48 Leksikalsk regel with a hamburger 48

49 Head-complement-0-regel with a hamburger 49

50 Resultat with a hamburger 50

51 Leksikalsk regel (?) with a hamburger 51

52 Head-specifier-regel-1 with a hamburger 52

53 Resultat with a hamburger 53

54 Leksikalsk regel with a hamburger 54

55 HC-1-regel with a hamburger 55

56 Resultat with a hamburger 56

57 Grammatikk 4 i NLTKs fcfg-formalisme Kan vi uttrykke grammatikk 4 i NLTKs fcfg formalisme (med trikket for kategorier)? Noe går, men regler hvor strukturer både er delt og (delvis) instansiert er ikke mulig å uttrykke i fcfggrammatikker, f.eks. 25. mars

58 Vurdering av grammatikk 4 Denne uttrykker langt på vei en generell X-bar grammatikk Noen fenomener er problematiske: Skal enhver SPEC være BAR2, f.eks. er dette naturlige for DET? Er alle argumenter fulle fraser (BAR2), f.eks. Kari prøvde [å synge] (er dette en V?) Det er ikke bare kategorien til argumentet som avgjør om det kan være komplement F.eks. form Kari hørte [Ola synge]. (+INF) 25. mars

59 Grammatikk 4b Grammatikk 4 er gjort enkel dels for å få plass til strukturene serves Vi kunne like gjerne brukt dette formatet serves I stedet for dette dette formatet 25. mars

60 Grammatikk 4b Sammen med denne regelen I stedet for dette denne regelen og tilsvarende for de andre reglene 25. mars

61 Så langt Grammatikk 4b vil beskrive akkurat det samme som grammatikk 4 Men med dette formatet ser vi muligheten for at hodet kan stille flere krav til sine komplementer og SPEC., f.eks. at den må ha en spesiell form Vi kan legge inn mere i f.eks. COMP1 61

62 Frasetyper. Kan være argumenter. Ulik subkategorisering av verb. (J&M, fig 15.3) 62

63 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 63

64 Grammatikk 5 Hovedide: Hodet kan spesifisere hele strukturen til sine komplementer og til specifier ikke bare kategorien Spesielt kan hodet spesifisere «Bar-nivået» på argumentene Formen til argumentene f.eks. finit/infinite Grammatikkformalismen må tillate variable over hele strukturer 64

65 Head specifier regel Head complement regel 0 house Eksempel på leksikalsk oppslag, eller egentlig: Leksikalsk oppslag + Leksikalsk regel som gir entallsform 65

66 Head complement regler 66

67 sleeps 67

68 gives 68

69 gives 69

70 persuades 70

71 Grammatikk 5 i NLTKs fcfg? NLTK tillater ikke variable over hele strukturer. F.eks. kunne vi ønsket å skrive X[HEAD=?y, VAL=[BAR=1, SPEC=?z]] X[HEAD=?y, VAL=[BAR=0, SPEC=?z, COMP1=?u, COMP2=False]]?u for 71

72 Grammatikk 5 i NLTKs fcfg? Vi kan ikke skrive grammatikk 5 direkte i NLTK selv med vårt trikk Vi kan ta noen av ideene og gjøre litt mer ut av subkat enn i grammatikk 3/4 72

73 Grammatikk 5 i likningsformatet I prinsippet er dette mulig J&M, seksj skisserer tre suksessive løsninger til subkat som svarer omtrent til våre Grammatikk1/2 Grammatikk 3/4 Grammatikk 5 Men gjør noen litt rare ting 73

74 Grammatikk 5 i likningsformatet F.eks burde Hvis argumentets CAT er bestemt av <VP subcat> skal den ikke også i regel Heller vært X X SUBCAT kan ikke være et HEAD-trekk fordi det ikke er delt mellom mor og datter 74

75 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 75

76 Unifikasjonbaserte/trekkstrukturbaserte grammatiske teorier Flere moderne grammatiske teorier/modeller/rammeverk Bruker: trekk («features») og unifikasjon Leksikaliserte: Mye informasjon i leksikon Få frasestrukturregler. Inklusive Generalized Phrase Structure Grammar (GPSG) Head Driven Phrase Structure Grammar (HPSG) Lexical Functional Grammar (LFG) 76

77 Hvert rammeverk består av 1. Grunnleggende unifikasjonsformalisme 2. Utvidelser og begrensninger i forhold til denne formalismen 3. Prinsipper som gjelder for alle menneskespråk 4. Språkspesifikke regler og leksika ( (2) og (3) er ofte nøstet i hverandre og vanskelige å skille.) 77

78 HPSG og oss HPSG endrer og utvider det vi har gjort: Lister for subkategorisering av komplementer Bruk av typer og arv 78

79 Lister (HPSG) HPSG bruker lister i VAL(ency) trekket BAR2 tilsv. tom SPEC-liste og tom COMPS-liste BAR1 tilsv. tom COMPS-liste persuades We HPSG 79

80 Fotnote Vi har i HPSG skilt argumentene mellom SUBCAT som en liste av komplementer SPEC, specifier, f.eks. subjekts-np til et verb Begge lærebøkene har også eksempler med SUBCAT-lister: NLTK har en liste av CAT-navn (tilsv. grammatikk 3/4) J&M har en liste av strukturer (tilsv. grammatikk 5) Begge legger også specifier (subjekts NP) (først) på SUBCAT-lista og har ikke SPEC-trekk Tilsvarer en tidlig variant av HPSG 80

81 I dag (Fra sist Trekkstrukturer og unifikasjon (J&M, seksj 15.1, J&M, seksj. 15.2) Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK-boka seksj 9.3 Subkategorisering: a. Enkel løsning, grammatikk 1 og 2 b. Valg på kategori, grammatikk 3 og 4 c. Valg på hel struktur, grammatikk 5 Forhold til grammatiske modeller Implementasjon og parsing 81

82 Implementasjon av unifikasjon Du må kunne: Gitt to trekkstrukturer f1 og f2: Avgjøre om de er unifiserbare Hvis de er unifiserbare, konstruere en struktur f3 som er resultatet av å unifisere de to. J&M seksj 15.4 er ikke pensum: Trenger ikke å kunne konstruksjonen med ekstra pekere 82

83 Parsing med trekkgrammatikker Vi har sett hvordan vi kan bygge trær med trekkstrukturer for setninger ut i fra en trekkgrammatikk Dette kan kombineres med alle parsingalgoritmene vi har sett for CFG: Parsingalgoritmen holder rede på rekkefølgen vi bygger treet Det er en komplikasjon når vi skal bygge flere trær Enten det er ved baktrackking: RD, SR Eller ved tabell: CKY, Chart 83

84 Eksempel S NP[AGR=?x] VP[AGR=?x] NP[AGR=?x] Det[AGR=?x] Nom[AGR=?x] Nom[AGR=?x] N[AGR=?x] Nom[AGR=?x] N[AGR=?x] Nom[AGR=?x] Det the N[AGR=sg] hamburger N[AGR=pl] resturants 84

85 Eksempel fortsatt Den ene analysen gjør the til sg, den andre gjør den til pl NP[NUM=pl] NP[NUM=sg] Nom[NUM=pl] Nom[NUM=sg] Nom[NUM=pl] Det[NUM=sg] N[NUM=sg] N[NUM=pl] Det[NUM=pl] N[NUM=sg] N[NUM=pl] the hamburger restaurants the hamburger restaurants 85

86 Løsning En backtrack-parser må kunne omgjøre unifikasjoner som ikke fører frem, her at the s NUM er sg. En tabellparser (CKY eller Chart) som vil lage begge alternativ må kopiere strukturer før de unifiseres Være klar over problemet og prinsippet for løsninger Ikke se på detaljer, J&M, seksj 15.5 ikke pensum. 25. mars