INF5110 Kap. 5: Parsering nedenfra-og-opp (Bottom-up parsing) 21/ Stein Krogdahl Ifi, UiO. Angående Oblig 1:

Transkript

1 INF5110 Kap. 5: Parsering nedenfra-og-opp (Bottom-up parsing) Del 1 21/ Stein Krogdahl Ifi, UiO ngående Oblig 1: Blir lagt ut tirsdag/onsdag neste uke Oblig-ansvarlig Henning Berg orienterer 28/2 Frist: Litt etter 15. mars 1

2 Bottom up parsering (nedenfra-og-opp) S Tokenklasser + ikketerminaler B B Tilstander Tabell for LR-parsering t 1 t 2 t 3 t 7 t 4 t 5 t 6 Metodene angitt under kan i rekkefølge ta vanskeligere og vanskeligere grammatikker. Hver «tilstand» er representert ved en rad i tabellen over. - LR(0) Kan ta få grammatikker. Gir ca 300 tilstander for et vanlig programmeringsspråk. Skal se på denne som intro til SLR(1) og LLR(1). - SLR(1) Kan ta de fleste vanlige grammatikker. Gir samme antall tilstander som LR(0)-metoden. Dette blir vår hovedmetode - LLR(1) Kan ta litt flere grammatikker enn SLR(1). Gir samme antall tilstander som LR(0)-metoden. Denne skal vi bare se på prinsippene for. - LR(1) Kan ta alle grammatikker det i det hele tatt er mulig å analysere ved å bare se ett symbol framover. Gir mange flere tilstander t (ca 3000). -utomatiserte verktøy som ut fra BNF-grammatikk leverer parserings-program: YCC, Bison, CUP ( alle bruker LLR(1)-teknikk) 2

3 Til sammenlikning: Top down -parsering S C B Hvilket alternativ for? Input nalysert og funnet OK token Skal matches mot resten i prosedyrene 3

4 Datastrukturen for LR-parsering S S S Bt 7... t 4 t 5 t 1 B B t 2 t 3 t 6... Sett på ny ytterste produksjon. Derved vil startsymbolet S aldri forkomme i en høyreside nta at grammatikken er entydig, og at vi kjenner syntaks-treet for setningen: S S B B t 1 t 2 t 3 t 4 t 5 t 6 t 7 LR-parsering : Ha en stakk for det som er lest Gjør reduksjonen av et subtre når det ligger på toppen av stakken 4

5 Mer om LR-parsering S S S B t 7... t 4 t 5 t 1 B B t 2 t 3 t 6... Ny ytterste produksjon S S B B t 1 t 2 t 3 t 4 t 5 t 6 t 7 nta at grammatikken er entydig, og anta (foreløpig!) at vi kjenner syntaks-treet for setningen: Ha en stakk for det som er lest (og er redusert!) Gjør reduksjonen av et subtre når subtreet ligger på toppen av stakken. Da erstatter vi dette med den ikke-terminalen som produserte dette subtreet. n reduksjon: n produksjon brukt baklengs Start-situasjonen: $ stakk input Slutt-situasjonen: t 1 t 2 t 3 t 4 t 5 t 6 t 7 $ $ S $ stakk input 5

6 Prinsippet for LR-parsering og opersjonene: skift og redusér S S S B t t 4 t 5 t 1 B B t 2 t 3 t 6... S S B B t 1 t 2 t 3 t 4 t 5 t 6 t stakk input $ t 1 t 2 t 3 t 4 t 5 t 6 t 7 $ $ t 1 t 2 t 3 t 4 t 5 t 6 t 7 $ $ t 1 t 2 t 3 t 4 t 5 t 6 t 7 $ $t 1 t 2 t 3 t 4 t 5 t 6 t 7 $ $ t 1 B t 4 t 5 t 6 t 7 $ $ t 4 t 5 t 6 t 7 $ $ t 4 t 5 t 6 t 7 $ $ t 4 t 5 t 6 t 7 $ $ t 6 t 7 $ $ t 6 t 7 $ $ B t 7 $ $ B t 7 $ $ S $ Det blir to typer steg: Skift ( les ) (les) neste input over til stakken Reduksjon på toppen av stakken med bestemt regel Dersom man kjenner syntakstreet t t for den aktuelle setning, er det lett å angi de rette stegene. MN: Hvordan i all verden gjøre dette underveis uten å kjenne verken: resten av input eller det fulle syntakstre Husk at vi nå skal redusere input (bottom up) til startsymbolet S (eller S ), IKK produsere input fra startesymbolet (slik vi gjorde top-down i kap 4)

7 ksempel på LR-parsering (når vi kjenner treet!) n + n Høyre-avledning (men håpløst eksempel på det!) I boka, men vi stresser det ikke: Den neste reduksjonen som skal gjøres, kalles situasjonens handle (håndtak). stakk + input utgjør et stadium i en høyre-avledning, men de kommer i omvendt rekkefølge av en høyre-avledning 7

8 ksempel på LR-parsering S S S ( ) S NB: S blir litt rar : Ved reduksjon med denne dukker en ikke- termial bare opp på enden av stakken, her og her. 8

9 Typisk situasjon under LR-parsering S lle slike er redusert: S Betyr at de er samme noden C B Det neste reduksjonen som blir gjort er reduksjon med: C -> t1 Deretter (etter noen skiftoperasjoner) reduser med: D D -> t2 t3 $ t 1 t 2 t 3 t 4 t 5 t 6...t n $ stakken token resterende input s 1 s 2 s 3 s 4...s k lest input (stakken er redusert utgave av dette) 9

10 Gitt en entydig grammatikk G. Denne behandles som følger for å lage en LR-parser: (Ikke alt er beskrevet i boka, og bare det i boka er pensum) Vi ser på alle mulig stakker som kan opptre, og ser disse som strenger over alfabetet: {terminaler} {ikke-terminaler} {ikke. Vi ser altså på språket (= streng-mengden): {String s s utgjør stakken på ett eller annet stadium i LR-parsering av en eller annen setning i L(G)} Dette språket viser seg å være regulært, og kan beskrives av en NF der alle tilstander er aksepterende: Tilstandene angis av itemer av formen: XY. Z (mer presist: LR(0)-itemer ) Kantene (tilstandsovergangene) kan beskrives nokså greit (kommer snart) Denne NF-en gjør vi om til en DF på vanlig måte (subset construction fra kap. 2) Tilstandene i DF-en er mengder av NF-tilstander tilstander, og vil her altså være mengder av itemer LR-parseringens hovedsetning (uformelt, gjentas senere): Se på en situasjon under LR-parsering av en setning, der vi har strengen S på stakken. Strengen S vil da aksepteres av DF-en omtalt over. nta at den bringer oss til DFtilstanden T. Da vil mengden av itemer i T angi de mulige lokale forhold vi har ved det punktet vi nå er i iparseringen. Selv om grammatikken er entydig er det ofte flere muligheter/valg (ett for hvert item). Dette kommer av at vi ennå ikke har sett på resten av input. 10

11 ltså Itemer : Hver produksjon i BNF-grammatikken gir opphav til et antall slike. For produksjonen : XY Z Lager vi itemer med punktum på alle plasser (punktumet er et Meta-symbol): XY Z X YZ XY Z X Y Z Punktumet angir grovt sett hvor vi er hen i dypeste aktive del av parseringen i øyeblikket: Det til venstre for punktum er lest fra input. nten er det bare lest eller deler av inputen er redusert til ikke-terminaler på stakken. Det til høyre for punktum har vi enda ikke sett/lest. Det første symbolet i den videre input ligger i variabelen «token» 11

12 Kantene i NF-en Dette er ikke fullt forklart i boka, og er ikke pensum Skal lage en NF som aksepterer alle slike linjer, og intet annet S S Gitt en grammatikk G og en situasjon under passering av en setning s i L(G). Husk: Ingen slik på venstre side. De er redusert! B Opprinnelig input: Stakk: $ 12$

13 Mer: Kantene i NF-en Dette er ikke fullt forklart i boka, og er ikke pensum S S tilsvarer Gitt en grammatikk G og en situasjon under passering av en setning s i L(G). Husk: Ingen slik på venstre side. De er redusert! X B Må vise: (1) For enhver situasjon vil juletre-kanten (=stakken) tilsvarer kunne fremstilles av NF-en. Y (2) For enhver vei gjennom NF-en vil vi kunne lage en situasjon med denne kanten (=stakken) X Opprinnelig input: Stakk: x $ 13$

14 NF en som beskriver alle mulige stakker + n n Itemer (LR(0)-itemer) start + n Den samme, i litt ryddigere utgave:.. +n.n n.. +n n. + +.n n +n. 14

15 LR(0)-NF (ltså litt mer systematisk enn i boka): start t.. +n.. +n + +.n n +n..n n n. $ på stakken gir tilstand 1. De to mulighetene kan da eksemplifiseres ved: LR(0)-DF, laget ved subset-konstruksjonen (kap 2): Tillukning Ingen av de andre + n tilstandene har tillukning!

16 Hvordan sette opp LR(0)-DF en direkte fra grammatikken? (Rett fram bruk av subset-konstruksjonen. Bør trenes på!) Tillukning av item-mengde I: Dersom: B er med i I B er en ikke-terminal Tilstandsovergang ved symbol X fra tilstand I X er terminal eller ikke- terminal (behandles likt!) B Da er også Itemene: B 1 Tilstand I: B 2... med i I Start-tilstanden til LR(0)-DF en er: S S + tillukning 1 1 X X 2 X 1 1 X X tillukning Få med alle av formen X 16

17 Hvordan sette opp LR(0)-DF en direkte fra grammatikken - II LR(0) NF: Merk at S bare gir ett item, nemlig: S (ltså ikke: S og S ) ) LR(0) DF:

18 Hva sier topp-tilstanden? S Topp-tilstanden: Den DF-tilstanden vi kommer til ved å la stakken gå gjennom DF en. LR-parseringens hovedsetning (n gang til, litt løselig, bevises ikke): Itemene i topptilstanden er, ut fra det vi har lest av input, alle de mulige lokale forhold ved toppen av stakken (Siden vi ikke har lest resten av input kan det være flere muligheter selv om grammatikken er entydig) S B X Dersom itemet X er med i topp-tilstanden kan situasjonen altså være som angitt til høyre. Stakk: Resten av input: 18

19 Hva sier topp-tilstanden? ksempel: Skal skifte n + n $ Skal redusere med LR(0)-grammatikk: Topptilstanden bestemmer alltid entydig neste steg. Derved: Denne grammatikken er ikke LR(0). For stakk er neste skritt ubestemt. 19

20 Når er skift en mulighet? nta vi er i tilstand s under: S s t a a a S B ngir at situasjonen kan være som til høyre, og derved: Neste skritt kan være skift Skift er lovlig om neste input er a Ny topptilstand til t blir i så fall t X Resten av input: Stakk: 20

21 Når er reduksjon (med en gitt produksjon) en mulighet? nta at topptilstanden er s, og at den er slik: S... Kalles et slutt-item (complete item) S: S... ngir at situasjonen kan være som til høyre, og at neste skritt derved kan være reduksjon med NB: Vi holder tilstandene mellom stakksymbolene Nåværende stakk... v u w z s Ny stakk:... v u t u t Reduser-steget: Pop av det som tilsvarer (og mellomliggende l tilstander), og push på, og finn riktig ny topptilstand ut fra u og Stakk: Fra DF en: B C Resten av input: 21

22 r eksempel-grammatikkene i Kap 5 LR(0)? Ser på tre grammatikker: Har vi sett på: r ikke LR(0) Den første gir følgende LR(0) DF: Tilst. Mulig aksjoner: 0 Bare skift mulig, for ( og a 1 Bare red. mulig, med 2 Bare red. mulig, med a 3 Bare skift mulig, for ( og a 4 Bare skift mulig, for ) 5 Bare red. mulig, med () ltså: ntydig bestemt aksjon for alle tilstander betyr: Grammatikken er LR(0) MRK: Der det er reduksjon må det ikke være tvil om med hvilken produksjon! 22

23 Tabell-oppsett for en LR(0) grammatikk NB: Den er litt annerledes enn for SLR(1), LLR(1), LR(1), som alle er like Grammatikk: -> ( ) a

24 Parsering av en setning i en LR(0) grammatikk Setning: ( ( a ) ) Parsering av setningen: ((a)) ( ( a ) ) Hvis en reduksjon bringer oss tilbake til tilstand 0 eller 3, sier Goto hvilken tilstand gir. Skal her redusere med, og input tom: Ferdig

25 Parsering av noen gale strenger for: ( ) a $ 0 ((( a )$ $0 ( ) $ $ 0 ( 3 ( a ) $ $ 0 ( 3 ) $ $ 0 ( 3 ( a ) $ $0(3(3 ( 3 a )$ $ 0 ( 3 ( 3 a ) $ Viktig: Skifter $ 0 ( 3 ( 3 ) 5 $ $ 0 ( 3 ( 3 4 $ aldri noe ulovlig inn på stakken! 25

26 n (litt ruskete) formulering av LR(0)-kravet: Dersom følgende gir en entydig algoritme er grammatikken LR(0): s er en DF-tilstand med flere itemer X t, where s t mme nder an forekom flere tilsta Ka i f u u vslutning t, where u t 26

27 r denne grammatikken LR(0)? Nei, pga. tilstandene 0, 2 og 4 LR(0) DF: 27

28 r denne LR(0)? Nei, pga. tilstand 1: (har vi sett på tidligere) Skal skifte n + n $ Skal redusere med Derved: Denne grammatikken er ikke LR(0): For stakk er neste skritt ubestemt 28

29 r den LR(0)? Nei, pga. tilstand 1! Men hvordan avgjøre hva man skal gjøre i tilstand 1?? Skal skifte n + n $ Skal redusere med Løsning: Vi ser på neste input-symbol! Og den ligger i token-variablen 29

30 SLR(1) - grammatikker, SLR(1) -algoritmer Svært få grammatikker er LR(0) Ved å se på Follow-mengdene kan vi få en mye sterkere algoritme Tar også nå utgangspunkt i LR(0)-DF en Tabell-oppsettet er nesten likt, men nå må reduser-linjene fra LR(0)- tabellene, spesifiseres for hvert mulig «neste input-symbol» (= «token») B. LR(0): Har her en (uløselig) red./red.-konflikt SLR(1): Dersom: Follow() Follow(B) = så kan konflikten løses ved å se på neste input: Om token Follow() reduser med Om token Follow(B) reduser med B (ellers feil)... b 1. LR(0): Har her en (uløselig) skift/red.-konfliktkonflikt... b 2 SLR(1): Dersom: Follow() {b 1,b 2, } = så B 1 1. b 1 1 kan konflikten løses ved å se på neste input:... B 2 2. b 2 2 Om token Follow(): reduser med For token = b1, b2, : skift (input avgjør ny tilstand) (ellers feil) 30

31 Skal skifte for n r denne grammatikken SLR(1)? Skift/reduser konflikt i LR(0), men ikke i SLR(1) Follow( ) = { $} Derved: Skift for + Reduser for $ $, med (som altså er accept) SLR(1)-kravet slik det er formulert i boka: For alle DF-tilstander s skal gjelde: Ville ellers ha skift / reduser -konflikt ved input X Complete item = Har punktumet til slutt Ville ellers ha reduser / reduser -konflikt ved input i denne mengden 31

32 n tilsvarende formulering av SLR(1) kravet: Dersom følgende gir entydig algoritme, er grammatikken SLR(1) X t, where s t Dette er nytt if forhold ldtil LR(0). u t, where u t 32

33 Tabell-oppsett for SLR(1)-grammatikk SLR(1): Både skift og reduser kan være på sammen linje. ( ccept er egentlig reduksjon med -> ) n ikke i Follow() SLR(1)-kravet på en annen måte: Denne tabellen må være entydig! 33

34 Parsering for SLR(1)-grammatikk Kan også se på gale setninger som: + n $ n n $ n + $ Parsering av setningen: n + n + n n + n + n Merk at man ikke behøver å teste t om det er mer input, siden man får accept bare foran $ 34

35 r denne SLR(1)? Follow (S) = { ), $ } LITT RR: Dette får vi i SLR(1), men ikke i LLR(1). Begge oppdager feilen, men SLR gjør det etter noen ekstra reduksjoner 35

36 SLR(k) () mulig å lage teori for dette, men lite praktisk å få ut av det 36