2/22/2011. Høyre- og venstreavledninger. I dag. Chomsky-normalform (CNF) Chomsky-normalform (CNF) PARSING. Jan Tore Lønning & Stephan Oepen

Transkript

1 INF2820 Datalingvistikk V2011 Jan Tore Lønning & Stephan Oepen KONTEKSTFRIE GRAMMATIKKER OG PARSING 22. februar Høyre- og venstreavledninger Til hvert tre svarer det mange avledninger. For kontekstfrie grammatikker er forskjellene mellom avledninger som svarer til samme tre uinteressante. En avledning er en venstreavledning ( leftmost derivation ) hvis vi alltid ekspanderer ikke terminalen lengst til venstre. Høyreavledning dfi defineres tilsvarende. Til ethvert tre generert av grammatikken svarer det nøyaktig en venstreavledning og nøyaktig en høyreavledning. 22. februar februar Chomsky-normalform (CNF) En grammatikk er på Chomsky normalform hvis alle reglene er på en av følgende former: A B C A t (t en terminal) Enhver CFG G hvor L(G), er svakt ekvivalent til en G på CNF. Altså L(G) = L(G ) Chomsky-normalform (CNF) Enhver CFG G hvor L(G) er svakt ekvivalent til en G på CNF Bevisskisse: 1. Erstatt alle regler på formen A 2. Erstatt alle regler på formen A B for B en ikke terminal 3. For hver regel A, der > 1 og inneholder en eller flere terminaler t1,, tn: 1. Innfør nye ikke terminaler T1,, Tn. 2. Erstatt ti med Ti 3. Innfør reglene Ti ti for i = 1,, n 4. For hver regel A B1 B2 Bn, n > 2, : 1. Innfør nye ikke terminaler C1,, Cn 1 og regler 2. A B1 C1 3. Ci Bi+1 Ci+1 for i = 1,, n februar februar

2 To trinn til: 2. Erstatt alle regler på formen A B for B en ikke terminal: For enhver ikke terminal B og For enhver A s.a. A B eller A + B og For enhver s.a. B : Innfør A, hvis den ikke alt finnes Fjern alle unære regler med ikke terminal h.s. 1. Erstatt alle regler på formen A unntatt evt. S : Identifiser alle ikke terminaler A, s.a. A + For hver regel B : Legg til alle regler på formen B der fremkommer ved å stryke en eller flere ikke terminaler som avleder, fra. Stryk alle regler på formen A Eksempel S NP VP NP PN NP Det As N As As A As VP løp smilte PN Kari Ola N gutt jente mor far A snill gammel trøtt 22. februar februar februar Parsing Gitt en grammatikk G og streng s Spm1: Er s L(G) Spørsmål om anerkjennelse ( recognition ) Spm2: Vi er interessert i (frase)strukturen til s Hvorfor er s L(G)? Finn alle trær i T(G) som har s som utkomme ( yield ) Ekvivalent: Finn alle høyreavledninger av s. Finn alle venstreavledninger av s. Parsing 22. februar Recursive descent parser Lager en venstreavledning Bygger et tre: Fra toppen ( top-down ) Fra venstre mot høyre Tilstrekkelig li å bare se på venstreavledninger fordi de svarer til trær Streber mot tidligst mulig å sjekke mot input-data Algoritme ikke-deterministisk Set, Der: strenger (Set resten av input, Der resten av avledningen) Set := inputstreng Der := S Løkke: Hvis Set=Der= : stopp med suksess! Hvis first(set)=first(der): Set:=rest(Set), Der:=rest(Der) Hvis first(der) er en ikke terminal B, velg en regel B, og la Der:=.rest(Der) 22. februar februar

3 Eksempelgrammatikk Kommentarer S NP VP NP DET N NP NP PP PP P NP PP PP og PP VP VP AP VP V NP VP VP PP VP V NP: Oslo, Bergen, Roa, Drammen, Kari, toget, togene, fisket N: tog, vogn, vogner, stopp P: fra, til, om, via AP: snart, fort V: går, inneholder, tok, fisket, toget DET: fire, et, mange Eksempel på anerkjenning For å få parser bør vi i tillegg returnere et tre Eksempel Et trinn er ikke-deterministisk: Velg en regel Dette gir et søkerom å holde orden på 22. februar februar Top Down Space Kommentarer til eksempelet For første treet (S (NP) (VP) ) riktig å bare se på ekspansjoner av NP (ikke av VP) For andre treet (S (Aux) (NP) (VP) ) burde vi ekspandert Aux ikke NP og sjekket mot input februar Problemer for RD-parsing Hvordan takler parseren N AP N N N PP? 22. februar februar

4 Figure

5 Bottom-up: Shift reduce parser Set, Der strenger (Set resten av input, Der det som er funnet så langt) Vanlig notasjon: Der Set Set := inputstreng Der := Løkke: Hvis Set= og Der= S stopp med suksess! Hvis mulig, gjør en av følgende: (Shift:) Hvis Set=/=, La Der:=Der first(set) og Set:=rest(Set) (Reduce:) Hvis det fins,, B, en regel B og Der = : la Der= B 22. februar Algoritme ikke-deterministisk Denne kan lett utvides til parser ved at vi legger inn deltrær i Der i stedet for bare kategorier. SR-parsere har problemer med tomme høyresider To plasser for valg/ikke-determinisme: Skal vi flytte eller redusere? Hva skal vi velge når vi har flere valg for reduksjon? Vi kan gjøre den mer effektiv hvis grammatikken er på CNF: Når vi flytter, gjør vi samtidig en unær reduksjon. Svarer til regel på formen B t Bare se på de to siste symbolene i Der når vi reduserer Svarer til regel på formen A BC 22. februar Programmeringsspråk To plasser for valg/ikke-determinisme: Skal vi flytte eller redusere? Hva skal vi velge når vi har flere valg for reduksjon? Programmeringsspråk kan bruke SR-parser: Unngår konflikter ved Ulike typer parenteser: ( ) (Lisp) begin.end (Simula) innrykk (Python) Operatorpresedens a * b + c (reduser) a + b * c (flytt) Målet er deterministisk parsingalgoritme Ikke mulig for naturlige språk 22. februar februar Flertydig grammatikk S NP VP VP VP PP VP V NP NP NP PP NP PN PP P NP OBLIG PN Kari mannen parken kikkerten V hørte så likte P med i på under Tegn trær for: Kari så mannen. Kari så mannen med kikkerten. Kari så mannen med kikkerten i parken. 22. februar Flertydig grammatikk Koordinasjon: flittige kvinner og menn hovedrett og forrett eller dessert forrett og dessert eller hovedrett Naturlige språk er flertydige Formelle språk kan vi definere slik at de blir entydige: Parenteser Operatorpresedens 22. februar

6 Problem for både RD og SR Ineffektivitet Så for RD i oblig Se på SR-eksempel RD: Eksempel: S NP VP Noen valg under NP Noen valg under VP Vi foretar valgene for VP på nytt for hvert alternativ under NP Eksponensielt Tilsvarende for SR For hvert valg vi foretar må vi se på alle muligheter for resten av strengen på nytt 22. februar To be continued 22. februar