INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning

Transkript

1 INF2820 Datalingvistikk V Gang 6.4 Jan Tore Lønning

2 Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj 15.1 Unifikasjon og subsumpsjon J&M, seksj Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK boka seksj 9.3 2

3 I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 3

4 1. Regler med trekkstrukturer S VP Det N V serve V serves En ikke-terminal suppleres med en partiell trekkstruktur Mulig deling mellom trekkstrukturene i en regel Terminalene er uendret 3. mai

5 1B. NLTKs format S VP S [AGR=?x] VP[AGR=?x] Det N [AGR=?x] Det[AGR=?x] Nom[AGR=?x] V serves V[AGR=[NUM=SG, PERS=3rd]] serves NLTKs format er en implementasjon av denne formalismen Men som vi vil se senere, har implementasjonen en del begrensninger i forhold til formalismen 3. mai

6 Liten eksempelgrammatikk: S -> [AGR=?x] VP[AGR=?x] [AGR=?x] -> DET[AGR=?n] N[AGR=?n] VP[AGR=?x] -> V[AGR=?x] V[AGR = [NUM = 'pl']] -> 'serve' V[AGR = [NUM = 'sg', PERS = '3rd']] -> 'serves' DET[AGR = [PERS = '3rd']] -> 'the' DET[AGR = [PERS = '3rd', NUM = 'sg']] -> 'a' DET[AGR = [PERS = '3rd', NUM = 'pl']] -> 'many' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'restaurant' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'restaurants' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'hamburger' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'hamburgers' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'customer' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'customers' N[AGR = [PERS = '3rd']] -> 'fish' 6 3. mai 2016

7 Anerkjenning med grammatikken the restaurant serves many hamburgers 3. mai

8 De leksikalske reglene Det N V Det N the restaurant serves many hamburgers 3. mai

9 En regel svarer til partielt lokalt tre Det N Det N V Det N the restaurant serves many hamburgers 3. mai

10 Prøver å unifisere regel med noder Det N V Det N the restaurant serves many hamburgers 3. mai

11 Tilsvarende Det N Det N V Det N the restaurant serves many hamburgers 3. mai

12 (strukturen for the utvides) Det N V Det N the restaurant serves many hamburgers 3. mai

13 VP V Det N V Det N the restaurant serves many hamburgers 3. mai

14 (VP samsvarer med SUBJ ikke OBJ) VP Det N V Det N the restaurant serves many hamburgers 3. mai

15 S VP Det N V Det N the restaurant serves many hamburgers 3. mai

16 Strukturene unifiseres (2=3=4) S VP Det N V Det N the restaurant serves many hamburgers 3. mai

17 Ikke en grammatisk setning Det N V Det N the restaurant serve many hamburgers 3. mai

18 4 kan ikke unifiseres med både 2 og 3 S VP Det N V Det N the restaurant serve many hamburgers 3. mai

19 I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 19

20 Betingelser på grammatikalitet S, Hvert lokalt tre må tillates av en grammatikkregel, VP, DET, N, V,, DET, N, the restaurant serves many fish 3. mai

21 Lokalt tre tillatt av regel eks 1 t1: S, Hvert lokalt tre må tillates av en grammatikkregel, VP, R1: S VP Regelen R1 svarer til et lokalt tre t2 R1 tillater t1 hvis t1 «utvider» t2, Mer formelt: hvis t2 subsummerer t1 3. mai

22 Subsumpsjon av trær Vi kan utvide definisjonen av subsumpsjon fra trekkstrukturer til trær med trekkstrukturer på nodene Et tre T subsummerer et tre T dersom Trekkstrukturen på T subsummerer strukturen på T Inkludert at hvis T har en kategori, så har T samme kategori Hvis T har døtrene D 1, D 2,, D n, så har T like mange døtre D 1, D 2,, D n, der D i subsummerer D i for i = 1, 2,, n, og Alle delinger i T er også delinger i T. 22

23 Tolkning av grammatikk Et tre T med trekkstrukturer er tillatt av grammatikk G hvis og bare hvis. Hvis t 1, t 2,, t n er alle de lokale trærne i T, så fins det tilsvarende regler i G, si g 1, g 2,, g n s.a.: tre t i er tillatt av regel g i for i= 1, 2,, n Hvis T er et annet tre tillatt av de samme reglene g 1, g 2,, g n, på tilsvarende subtrær og T subsummerer T, så subsummerer T også T. "Det skal ikke være med mer i treet enn det reglene krever. " 3. mai

24 Grammatikker to alternative format 1. Trekkstrukturer i reglene 2. Regler + likninger S VP Det NOM V serves 3. mai

25 Lokalt tre tillatt av regel eks 1 S, Hvert lokalt tre må tillates av en grammatikkregel, VP, J&M-format: Det lokale treet lystrer alle likningene 3. mai

26 Lokalt tre tillatt av regel eks 2 DET, Hvert lokalt tre må tillates av en grammatikkregel the Regler + likninger: Det lokale treet lystrer alle likningene DET the <DET AGR PERS>=3rd Trekkstr. i regel DET[AGR=[PERS= 3rd ]]-> the DET, the 3. mai

27 Sammenlikning av formatene 1. Trekkstrukturer i reglene Utvid ikke-terminaler med partielle trekkstrukturer Variable i trekkstrukturene for deling («reentrancy») Brukt for eksempel i tidlig Head-driven Phrase Structure Grammars (HPSG) 2. Regler + likninger Legg likninger til CFG-reglene En likning mellom To stier, eller En sti og en atomær verdi Inspirert av PATR Lexical-Functional Grammar Blir det samme (før evt utvidelser) 3. mai

28 I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 28

29 Hoder ( heads ) (husker du?) I en CFG-regel har alle elementer på høyresiden samme status I en NL regel har som oftest et ledd hovedrollen Det N PP P VP V VP VP PP a house to the house built the house built the house in a week I et PS-tre og en CFG-regel kan en frase være hode i en annen frase I noen modeller snakker en bare om ord som hodet 29

30 «Hodetrekk»(Head features) (v.1.0) En frase deler mange trekk med sitt hode Hensiktsmessig å samle det i et særskilt «head» trekk + tilsvarende regel med transitive verb gives 30

31 Flere regler (v.1.0) 31

32 I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 32

33 X-bar (husker du?) En antagelse i flere grammatiske modeller/teorier En frase har tre nivåer: Full frase, eks. (= N ) Ord, eks N Midtnivå, eks. N (kalt Nominal i J&M) Det N N AP N N N PP VP V V V PP V V For generell form og mer informasjon, se Wikipedia 33

34 34

35 N = N =NOM DET A =AP N =NOM N =NOM P =PP A =AP N =NOM N P =PP 35

36 X-barskjema med et BAR-trekk (v.1.5) En del «nomenegenskaper» er delt mellom og hodet N (og N =Nom) En del «verbegenskaper» er delt mellom VP og V Vi representerer dette som trekk i «head»-trekket Hva med forskjellen mellom (=N ), Nom (=N ), N (ordet)? Flere muligheter. En av dem er å bruke et trekk for dette BAR: (Denne løsningen kaller vi her v.1.5) 36

37 Så langt (v.1.5) Mot 2.0: Dette er nesten en universell X-bar-regel for flere kategorier. Men vi må foreløpig si spesielt fra om kategoriene som inngår (DET og N) Et alternativ er å Leksikalisere i N at N kan kombineres med DET til N Sammen med en modifisert regel Vi samler informasjon om kombinasjoner i et VAL(ency)-trekk (Dette er *ikke* delt mellom mor og hodedatter) 37

38 I dag Fortsetter neste uke 38