Bottom up parsering (nedenfra-og-opp) Kap. 5 del 1 Intro til parsering nedenfra-og-opp samt LR(0) og SLR(1) grammatikker INF5110 v2006

Transkript

1 ottom up parsering (nedenfra-og-opp) Kap. 5 del 1 Intro til parsering nedenfra-og-opp samt LR(0) og LR(1) grammatikker INF5110 v2006 rne Maus, Ifi UiO t 1 t 2 t 3 t 7 t 4 t 5 t 6 LR-parsering og grammatikker -LR(0) -LR(1) -LR(1) -LLR(1) -utimatisert -YCC, ison ( LLR(1) ) Prinsippet med LR-parsering t 7... t 4 t 5 t 1 t 2 t 3 t 6... nta at grammatikken er entydig, og at vi kjenner syntaks-treet for setningen: t 1 t 2 t 3 t 4 t 5 t 6 t 7 LRparsering : Ha en stakk for det som er lest Gjør reduksjonen av et subtre når det ligger på toppen av stakken Prinsippet med LR-parsering II t 7... t 4 t 5 t 1 t 2 t 3 t 6... t 1 t 2 t 3 t 4 t 5 t 6 t 7 nta at grammatikken er entydig, og anta at vi kjenner syntaks-treet for setningen: Ha en stakk for det som er lest Gjør reduksjonen av et subtre når subtreet ligger på toppen av stakken. Da erstatter vi det på stakken med den ikketerminalen (som produserte dette subtreet) tart-situasjonen: stakk input lutt-situasjonen: t 1 t 2 t 3 t 4 t 5 t 6 t 7 stakk input

2 Prinsippet med LR-parsering III t 7... t 4 t 5 t 1 t 2 t 3 t 6... stakk input t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 1 t t 2 3 t 4 t 5 t 6 t 7 t 1 t 2 t t 3 4 t 5 t 6 t 7 t 1 t 4 t 5 t 6 t 7 t 4 t 5 t 6 t 7 t t 4 5 t 6 t 7 t 4 t t 5 6 t 7 t 6 t 7 t t 6 7 t 7 t 7 t 1 t 2 t 3 t 4 t 5 t 6 t 7 takk + input: Høyre-avledninger i omvendt rekkefølge Får to typer steg: Reduksjon (på toppen av stakken med α) Lesing ( skift ) av input til stakken Dersom man kjenner syntakstreet, er det lett å angi de rette stegene. MN: Hvordan gjøre dette underveis uten å kjenne resten av input?? Husk at nå skal vi redusere input (bottom up) til startsymbolet, IKK produsere input fra startesymbolet (slik vi gjorde topdown i kap 4) ksempel på LR-parsering n + n oka: (takk + input) utgjør et stadium i en høyre-avledning. Den neste reduksjonen som skal gjøres, kalles situasjonens handle (håndtak). ksempel på LR-parsering Typisk situasjon under LR-parsering N: blir litt rart lle slike er redusert: ( ) t 1 t 2 t 3 t 4 t 5 t 6...t n stakken input s 1 s 2 s 3 s 4...s k lest input

3 Gitt entydig grammatikk G. Denne behandles som følger for å lage en LR-parser: (Ikke alt er like tydelig beskrevet i oka, men bare boka er pensum) Vi ser på de mulig stakker som kan opptre, og ser disse som strenger over alfabetet{terminaler, ikke-terminaler}. Vi ser altså på: { utgjør stakken på ett eller annet stadium i LR-parsering av en setning i L(G)} Dette språket viser seg å være regulært, og kan beskrives av en NF der: Tilstandene angis av itemer av formen: Y.Z Kantene kan beskrives nokså greit (kommer snart) Denne NF-en gjør vi om til en DF på vanlig måte (subset construction fra kap.2) Tilstandene i denne DF-en vil altså være mengder av itemer LR-parseringens hovedprinsipp (uformelt): Gitt en lovlig stakk og anta at den fører DF-en til en (aksepterende) tilstand T: Da vil mengden av itemer i T angi de mulige lokale forhold vi, i parseringen nå, kan ha ut fra dette stakk-innholdet ( det kan være flere muligheter/valg, siden vi ikke har tatt hensyn til resten av input). Items: lle produksjonene i NF-grammatikken omarbeides I stedenfor : αβ Legger vi inn nye produksjoner med punktum på alle plasser (punktumet er et Meta-symbol): αβ α β α β αβ Punktumet sier grovt sett hvilken del av den originale produksjonen vi prøver å jobbe med Det til venstre for punktum er gjenkjent fra input, enten bare lest eller at deler av det er redusert til en ikke-terminal Det til høyre for punktum har vi enda ikke sett/lest Disse produksjonene med punktum kalles items Kantene i NF-en Dette er ikke fullt forklart i boka ksempel på NF Gitt en grammatikk G og en situasjon under passering av en setning s i L(G). tilsvarer α η + n n Itemer (LR(0) - itemer) tilsvarer α η β takk Opprinnelig input

4 LR(0) NF (litt mer systematisk enn boka) start... +n. +n +.n n n. LR(0) - DF +.n n +n. Hvordan sette opp LR(0) - DF en direkte fra grammatikken Tillukning av item-mengde I: Dersom: α γ er med i I er en ikke-terminal β 1 β 2.. Da er også Itemene Tilstandsovergang ved fra s er terminal eller ikketerminal β 2. med i I β 1 tart-tilstanden til LR(0)-DF en er: 1 α β 1 2 α β 2 1 α β 1 2 α β 2 start + tillukning Få med alle av formen α β Hvordan sette opp LR(0) - DF en direkte fra grammatikken - II LR(0) NF: Hva sier topp-tilstanden Merk at bare gir ett item, nemlig: (ltså ikke: ) LR(0) DF: Topp-tilstanden Den DF-tilstanden vi kommer til ved å la stakken gå gjennom DF en. etning (litt løselig, bevises ikke): Itemene i topptilstanden er de de mulige lokale forhold ved toppen av stakken (iden vi ikke har sett resten av input kan det være flere muligheter) n + n

5 LR(0) - grammatikken og LR(0) algoritmen. Navngir topp-tilstandene og legger dem på stakken. s t 1) α a β a αa β 2) ngir at neste skritt kan være skift, og at dette er lovlig om neste input er a (ny topptilstand blir t) s γ Nåværende stakk: Ny stakk: Kalles et slutt-item (complete item) ngir at neste skritt kan være reduksjon γ...v u?? s u...v u t t γ Hopp tilbake til u og legg + den tilstanden t som fra u gir. N. : s,t,u,v står for nummere på tilstander fra DFen. Disse ligger på stakken sammen med det vi foreløpig har skiftet inn fra innput og evt. redusert dette til. LR(0) grammatikk: Dersom dette gir entydige aksjoner for alle tilstander, er grammatikken LR(0)! Da har vi en grei algoritme. r eksempel-grammatikkene i Kap 5 LR(0)? er på de tre grammatikkene våre først : gir følgende LR(0) DF: Tils Mulig aksjoner: 0 are skift for (, a 1 are red. med 2 are red. med a 3 are skift for (, a 4 are skift for ) 5 are red. med () ltså: ntydig bestemt aksjon for alle tilstander. Grammatikken er LR(0) Tabell-oppsett for en LR(0) - grammatikk: Noen gale strenger (for..) Parsering av setningen: ((a)) Hvis en reduksjon bringer oss tilbake til tilstand 0 eller 3, sier Goto hvilken tilstand gir. som før 0 0 ( 3 0 ( 3 0 ( 3 ( 3 0 ( 3 ( 3 a 0 ( 3 ( 3 ) 5 0 ( 3 ( 3 4 ( ( a ) ( a ) ( a ) a ) ) ( ( a ) ) 0 0 ( 3 ( ) ) kal her redusere med, og input er tom

6 n (litt ruskete) formulering av LR(0)-kravet: Dersom dette gir en entydig algoritme er grammatikken LR(0): s er en DF-tilstand med flere item t, where s t LR(1) - grammatikker, LR(1) - algoritmer vært få grammatikker er LR(0) Ved å se på Follow-mengdene kan vi få en mye sterkere algoritme Tar også utgangspunkt i LR(0) DF-ene Tabellene er nesten like, men nå må reduser-linjene spesifiseres for hver input. vslutning... α.... β. LR(0) : Har her(uløselig) red/red - konflikt LR(1): Dersom: Follow() Follow() = så kan konflikten løses ved å se på neste input u u t, where u t... α β 1. b 1 γ β 2. b 2 γ 2 LR(0) : Har her(uløselig) shift/red - konflikt LR(1) :Dersom: Follow() {b 1,b 2 } = så kan konflikten løses ved å se på neste input r denne grammatikken LR(1) kift/reduser konflikt i LR(0), men ikke i LR(1) First () = {n} Follow() = { +, } Follow( ) = {} n tilsvarende formulering av LR(1) kravet Dersom følgende gir entydig algoritme, er grammatikken LR(1) t, where s t n grei måte å formulere LR(1) - kravet: For alle DF-tilstander s skal gjelde: Ville ellers ha shift / reduser -konflikt ved input av (test hver for seg) u Dette er nytt i forhold til LR(0). t, where u t Ville ellers ha reduser / reduser -konflikt ved input i mengden

7 Tabell-oppsett for LR(1)-grammatikk r denne LR(1)? Kan også se på gale setninger som: Follow () = { ), } Parsering av setningen: n + n + n + n n n n + Dette har vi i LR(1), ikke i LLR(1). egge oppdager feilen, men LLR gjør det tidligere n + n + n Direkte ut fra tabellen Parsering av setningen: ( ) ( ) Flertydige grammatikker er aldri LR(1) eller LR(1) Heller ikke LR(k) eller LR(k) for noen k LR(0)-DF-ene vil derfor alltid ha uløselige konflikter Men: Konfliktene kan oftest løses med intuisjon og fornuft. Vanlig metode i Yacc etc: kift/reduser konflikter løse ved å bruke skift

8 LR(1) tabell med hånd-løst konflikt (tilstand 5) Follow () = Follow(I) = {, else } Follow( ) = {} Her er skift/reduser konflikt. Vi må regne ut Follow(I) Parsering: 0 if if other else other 0 if 4 if other else other 0 if 4 if 4 other else other 0 if 4 if 4 other 3 else other 0 if 4 if 4 5 else other Her betyr: s4 skift(if fra input til stakk) Legg også 4 på stakken og gå til tilstand 4 r3 bruk regel 3 i grammatikken og redusert toppen av stakken med den. Toppen av (den reduserte) stakken sier da ny tilstand