INF2820 Datalingvistikk V2016 11. Gang 6.4 Jan Tore Lønning
Sist Med anbefalt lesing og rekkefølge Grammatiske trekk («features») NLTK boka, seksj 9.1 Trekkstrukturer («feature structures») J&M, seksj 15.1 Unifikasjon og subsumpsjon J&M, seksj. 15.2 Trekkstrukturer i NLTK NLTK-boka seksj. 9.2 Trekkbaserte grammatikker (=Unifikasjonsgrammatikker) Delvis: J&M, seksj15.3, NLTK boka seksj 9.3 2
I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 3
1. Regler med trekkstrukturer S VP Det N V serve V serves En ikke-terminal suppleres med en partiell trekkstruktur Mulig deling mellom trekkstrukturene i en regel Terminalene er uendret 3. mai 2016 4
1B. NLTKs format S VP S [AGR=?x] VP[AGR=?x] Det N [AGR=?x] Det[AGR=?x] Nom[AGR=?x] V serves V[AGR=[NUM=SG, PERS=3rd]] serves NLTKs format er en implementasjon av denne formalismen Men som vi vil se senere, har implementasjonen en del begrensninger i forhold til formalismen 3. mai 2016 5
Liten eksempelgrammatikk: S -> [AGR=?x] VP[AGR=?x] [AGR=?x] -> DET[AGR=?n] N[AGR=?n] VP[AGR=?x] -> V[AGR=?x] V[AGR = [NUM = 'pl']] -> 'serve' V[AGR = [NUM = 'sg', PERS = '3rd']] -> 'serves' DET[AGR = [PERS = '3rd']] -> 'the' DET[AGR = [PERS = '3rd', NUM = 'sg']] -> 'a' DET[AGR = [PERS = '3rd', NUM = 'pl']] -> 'many' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'restaurant' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'restaurants' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'hamburger' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'hamburgers' N[AGR = [PERS = '3rd', NUM = 'sg']] -> 'customer' N[AGR = [PERS = '3rd', NUM = 'pl']] -> 'customers' N[AGR = [PERS = '3rd']] -> 'fish' 6 3. mai 2016
Anerkjenning med grammatikken the restaurant serves many hamburgers 3. mai 2016 7
De leksikalske reglene Det N V Det N the restaurant serves many hamburgers 3. mai 2016 8
En regel svarer til partielt lokalt tre Det N Det N V Det N the restaurant serves many hamburgers 3. mai 2016 9
Prøver å unifisere regel med noder Det N V Det N the restaurant serves many hamburgers 3. mai 2016 10
Tilsvarende Det N Det N V Det N the restaurant serves many hamburgers 3. mai 2016 11
(strukturen for the utvides) Det N V Det N the restaurant serves many hamburgers 3. mai 2016 12
VP V Det N V Det N the restaurant serves many hamburgers 3. mai 2016 13
(VP samsvarer med SUBJ ikke OBJ) VP Det N V Det N the restaurant serves many hamburgers 3. mai 2016 14
S VP Det N V Det N the restaurant serves many hamburgers 3. mai 2016 15
Strukturene unifiseres (2=3=4) S VP Det N V Det N the restaurant serves many hamburgers 3. mai 2016 16
Ikke en grammatisk setning Det N V Det N the restaurant serve many hamburgers 3. mai 2016 17
4 kan ikke unifiseres med både 2 og 3 S VP Det N V Det N the restaurant serve many hamburgers 3. mai 2016 18
I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 19
Betingelser på grammatikalitet S, Hvert lokalt tre må tillates av en grammatikkregel, VP, DET, N, V,, DET, N, the restaurant serves many fish 3. mai 2016 20
Lokalt tre tillatt av regel eks 1 t1: S, Hvert lokalt tre må tillates av en grammatikkregel, VP, R1: S VP Regelen R1 svarer til et lokalt tre t2 R1 tillater t1 hvis t1 «utvider» t2, Mer formelt: hvis t2 subsummerer t1 3. mai 2016 21
Subsumpsjon av trær Vi kan utvide definisjonen av subsumpsjon fra trekkstrukturer til trær med trekkstrukturer på nodene Et tre T subsummerer et tre T dersom Trekkstrukturen på T subsummerer strukturen på T Inkludert at hvis T har en kategori, så har T samme kategori Hvis T har døtrene D 1, D 2,, D n, så har T like mange døtre D 1, D 2,, D n, der D i subsummerer D i for i = 1, 2,, n, og Alle delinger i T er også delinger i T. 22
Tolkning av grammatikk Et tre T med trekkstrukturer er tillatt av grammatikk G hvis og bare hvis. Hvis t 1, t 2,, t n er alle de lokale trærne i T, så fins det tilsvarende regler i G, si g 1, g 2,, g n s.a.: tre t i er tillatt av regel g i for i= 1, 2,, n Hvis T er et annet tre tillatt av de samme reglene g 1, g 2,, g n, på tilsvarende subtrær og T subsummerer T, så subsummerer T også T. "Det skal ikke være med mer i treet enn det reglene krever. " 3. mai 2016 23
Grammatikker to alternative format 1. Trekkstrukturer i reglene 2. Regler + likninger S VP Det NOM V serves 3. mai 2016 24
Lokalt tre tillatt av regel eks 1 S, Hvert lokalt tre må tillates av en grammatikkregel, VP, J&M-format: Det lokale treet lystrer alle likningene 3. mai 2016 25
Lokalt tre tillatt av regel eks 2 DET, Hvert lokalt tre må tillates av en grammatikkregel the Regler + likninger: Det lokale treet lystrer alle likningene DET the <DET AGR PERS>=3rd Trekkstr. i regel DET[AGR=[PERS= 3rd ]]-> the DET, the 3. mai 2016 26
Sammenlikning av formatene 1. Trekkstrukturer i reglene Utvid ikke-terminaler med partielle trekkstrukturer Variable i trekkstrukturene for deling («reentrancy») Brukt for eksempel i tidlig Head-driven Phrase Structure Grammars (HPSG) 2. Regler + likninger Legg likninger til CFG-reglene En likning mellom To stier, eller En sti og en atomær verdi Inspirert av PATR Lexical-Functional Grammar Blir det samme (før evt utvidelser) 3. mai 2016 27
I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 28
Hoder ( heads ) (husker du?) I en CFG-regel har alle elementer på høyresiden samme status I en NL regel har som oftest et ledd hovedrollen Det N PP P VP V VP VP PP a house to the house built the house built the house in a week I et PS-tre og en CFG-regel kan en frase være hode i en annen frase I noen modeller snakker en bare om ord som hodet 29
«Hodetrekk»(Head features) (v.1.0) En frase deler mange trekk med sitt hode Hensiktsmessig å samle det i et særskilt «head» trekk + tilsvarende regel med transitive verb gives 30
Flere regler (v.1.0) 31
I dag Trekkbaserte grammatikker Eksempel Formelle egenskaper: Tolkning av grammatikkreglene Alternative format for slike grammatikker Trekkbaserte grammatikker for naturlige språk, trinnfor-trinn v.1.0 «Head»-trekk v.1.5 X-bar v.2 Generaliseringer Begrensninger i NLTK 32
X-bar (husker du?) En antagelse i flere grammatiske modeller/teorier En frase har tre nivåer: Full frase, eks. (= N ) Ord, eks N Midtnivå, eks. N (kalt Nominal i J&M) Det N N AP N N N PP VP V V V PP V V For generell form og mer informasjon, se Wikipedia 33
34
N = N =NOM DET A =AP N =NOM N =NOM P =PP A =AP N =NOM N P =PP 35
X-barskjema med et BAR-trekk (v.1.5) En del «nomenegenskaper» er delt mellom og hodet N (og N =Nom) En del «verbegenskaper» er delt mellom VP og V Vi representerer dette som trekk i «head»-trekket Hva med forskjellen mellom (=N ), Nom (=N ), N (ordet)? Flere muligheter. En av dem er å bruke et trekk for dette BAR: (Denne løsningen kaller vi her v.1.5) 36
Så langt (v.1.5) Mot 2.0: Dette er nesten en universell X-bar-regel for flere kategorier. Men vi må foreløpig si spesielt fra om kategoriene som inngår (DET og N) Et alternativ er å Leksikalisere i N at N kan kombineres med DET til N Sammen med en modifisert regel Vi samler informasjon om kombinasjoner i et VAL(ency)-trekk (Dette er *ikke* delt mellom mor og hodedatter) 37
I dag Fortsetter neste uke 38