Språktyper og syntaksanalyseteknikker. Dagens temaer. Hvordan lage en deterministisk automat? Fra jernbanediagram til ID-automat

Transkript

1 Dagens temaer Språktyper og syntaksanalyseteknikker Regulære språk og automater (fortsatt fra forrige uke) Syntaksanalyse o Skanner o Parsering top-down bottom-up o LL()-parsering Reursive desent orutsetninger Regulære språk (type 3-språk) o En BN-grammatikk med ett metasymbol på venstresiden og kun grunnsymboler på høyresiden, eventuelt med et metasymbol til slutt o Kan analyseres med ikke-deterministiske og deterministiske automater Kontekstfrie språk (type 2-språk) o En BN-grammatikk med bare ett metasymbol på venstresiden o Nesten alle programmeringsspråk er av denne typen o Kan analyseres med parsere (syntakstolkere) Institutt for informatikk 2 september 22 IN2-Syntaksanalyse- Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-2 Hvordan lage en deterministisk automat? En deterministisk automat (D-automat) er lett å bruke, men ikke nødvendigvis så intuitiv å forstå eller lage ra et regulært uttrykk (evt via et jernbanediagram) er det imidlertid ganske lett å lage en ikke-deterministisk automat (ID-automat) Kan ha: omme kanter (såkalte -kanter) lere kanter fra samme node med samme symbol ra jernbanediagram til ID-automat a utgangspunkt i jernbanediagrammet: Hver pens blir til en node i ID-automaten 2 Linjene (med eventuelle symboler) blir merkede kanter mellom nodene Noen kanter får et tomt symbol () 3 Merk nodene hvor man skal begynne og slutte Deretter kan vi bruke en standard-algoritme for å gjøre om ID-automaten til en D-automat Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-3 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-4

2 IN2-Syntaksanalyse-5 Institutt for informatikk 2 september 22 Eksempel: IN2-Syntaksanalyse-6 Institutt for informatikk 2 september 22 ra ikke-deterministisk til deterministisk automat Ikkedeterministisk: Deterministisk: a, a, a, a, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b, a, a,b,,d, a, a,b,,d, a, a,b,,d, a, a,b,,d, a, a,b,,d, a b d IN2-Syntaksanalyse-7 Institutt for informatikk 2 september 22 Ikke-determimistisk automat - IN2-Syntaksanalyse-8 Institutt for informatikk 2 september 22 Regulær grammatikk <uttrykk> - <startterm> <startterm> <startterm> <term> <term> <term> <term> -

3 Deterministisk automat Minimal deterministisk automat - - Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-9 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse- Implementasjon av en deterministisk automat En deterministisk automat kan lett representeres av en tabell som angir neste tilstand: t ilstand Slutt Ja Sjekkalgoritme Gitt en slik tabell t, finnes det en enkel og meget rask sjekkalgoritme: tilstand := ; while <flere tegn igjen> do begin := <neste tegn>; tilstand := t(tilstand,); end while; if slutt(tilstand) then <math funnet> else <ingen math>; Det er vanlig å innføre en tilstand for feil Ja Oppsummering: Hvordan lage raske sjekkprogrammer: Sett opp en ikke-deterministisk automat for det regulære uttrykket Lag en deterministisk automat ut fra den ikke-deterministiske automaten Sett opp tilstandstabellen t Bruk søkeløkken over til å sjekke input mot uttrykket Institutt for informatikk 2 september 22 IN2-Syntaksanalyse- Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-2

4 Kompilering? Interpretering? Ved å legge inn programsetninger for å generere kode eller kalle på rutiner får vi henholdsvis en kompilator eller en interpreter tilstand := ; while <flere tegn igjen> do begin := <neste tegn>; tilstand := t(tilstand,); // generering av kode (kompilering) eller // kall på rutiner (interpretering) end while; if slutt(tilstand) then <math funnet> else <ingen math>; Syntaksanalyse av kontekstfrie språk Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-3 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-4 Syntaksanalyse Parser: Et program som analyserer en tekst i henhold til en syntaks Alle kompilatorer og interpretere inneholder en parser Skanner: En «preprosessor» til en parser Skanner Det er vanlig at en parser har en preprosessor, kalt en skanner/leksikalsk analysator: fil Skanner tokens Parser Skanneren setter sammen tegn til symboler (ofte kalt leksikalske enheter eller tokens) Eksempel: BEGIN IDEN LPAR E RPAR END begin Outext ( Hallo ) end Et alternativt syn at skanneren konverterer fra tastaturets alfabet til språkets alfabet Skanneren kan konstrueres som en deterministisk automat Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-5 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-6

5 Skanneren forenkler parseren Uten skanner: if (a[x]== e && a[x+]== n && a[x+2]== d ) Med skanner: if (symbol == END) Streamokenizer Javas skanner Java har innebygget en fullt ferdig skanner: Streamokenizer Streamokenizer s; s = new Streamokenizer( new ilereader(new ile(filnavn)) ); Ved hver kall på snextoken( ) vil skanneren o fjerne kommentarer o hoppe over blanke or dokumentasjon: o finne neste symbol Symbolet plasseres i sttype, og kan være: o _WORD for navn (på variable, funksjoner, ) Navnet ligger i ssval o _NUMBER for tall (heltall eller flyt-tall) allets verdi ligger i snval o _EO når det ikke er flere symboler igjen o Hvis vi har et symbol (+, <=, ), ligger selve symbolet i sttype Streamokenizer kan konfigureres til ulike språk nextoken() kan gi IOExeption, så programmet må fange opp dette Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-7 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-8 En grammatikk for eksempelspråket L <program> <setningsliste> <setningsliste> <setning> + <setning> <tilordning> <inputsetning> <outputsetning> <tilordning> <variabel> = <variabel> <operator> <operand> <operator> + - <operand> <variabel> <nummer> <inputsetning>? <variabel> <outputsetning>! <variabel> <variabel> v <siffer> <siffer> <nummer> <siffer> + Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-9 Eksempel: Symbolene i et L-program import javaio*; lass Lsymbols { publi stati void main(string[] args)throws Exeption { Streamokenizer s; String t; s = new Streamokenizer( new ilereader(new ile(args[]))) snextoken(); while (sttype!= s_eo) { swith(sttype) { ase s_word: t = word + ssval; break; ase s_number: t = number +snval; break; default: t = symbol + (har)sttype; break; Systemoutprintln( Line +slineno()+ : +t); snextoken(); Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-2

6 Eksempel: Symbolene i et L-program (forts) Parsering: Parsering or L-programmet?v v = v + v!v Å sjekke at en setning (eller et program) er syntaktisk riktig, det vil si å konstruere det tilhørende syntakstreet (I praksis bryr vi oss gjerne ikke om å faktisk konstruere syntakstreet, vi nøyer oss med å vite at vi kunne laget et hvis vi hadde hatt behov for det) gir programmet utskriften Line : symbol? Line : word v Line : word v Line : symbol = Line : word v Line : symbol + Line : word v Line 2: symbol! Line 2: word v Generelt ønsker vi å kunne konstruere treet ved å lese setningen en gang, fra venstre mot høyre Eksempelgrammatikk <uttrykk> <uttrykk> + <term> <uttrykk> <term> <term> <term> * navn <term> navn Ut fra denne grammatikken skal vi se på parsering av setningen: navn * navn + navn Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-2 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-22 op-down parsering Bottom-up parsering Her konstrueres treet ovenfra og ned, det vil si at vi starter med startsymbolet i roten, og så forsøker å avlede den aktuelle setningen ut fra dette: Her konstruerer vi treet nedenfra og opp Vi starter da med å finne noe i setningen som tilsvarer høyresiden i en produksjon, og reduserer denne delsetningen til det tilhørende metasymbolet Målet er da å redusere seg tilbake til startsymbolet: <uttrykk> <uttrykk> + <term> <uttrykk> <term> <term> <term> * navn <term> navn URYKK <uttrykk> <uttrykk> + <term> <uttrykk> <term> <term> <term> * navn <term> navn URYKK navn * navn + navn navn * navn + navn Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-23 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-24

7 LL()-parsering LL()-parsering er en top-down strategi der vi foretar en venstreavledning fra startsymbolet Reursive desent o il hvert metasymbol svarer en metode o Metoden tar seg av det ene metasymbolet, men kan kalle andre metoder o Når metoden kalles, skal skanneren inneholde første symbol i den aktuelle produksjonen (for syntaktisk korrekt setning) o Når metoden er ferdig, skal skanneren inneholde første symbol etter den leste teksten Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-25 Syntaksanalyse av L Siden vi vil sjekke L-program tegn for tegn, kan vi bruke en meget enkel skanner: Hvert kall på read( ) legger et nytt tegn i import javaio*; lass Sanner { stati har symbol = ' '; stati boolean eof = false; stati ilereader fil; stati void read() { int ; try { do { = filread(); if ( < ) throw new IOExeption(); symbol = (har); while (CharaterisWhitespae(symbol)); ath (IOExeption e) { eof = true; symbol = ' '; Sanner(ileReader f) { fil = f; Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-26 import javaio*; lass Lparser { stati Sanner s; Parser for L ( av 6) publi stati void main(string[ ] args) { // Initialisering av skanneren: try { s = new Sanner( new ilereader(new ile(args[]))); sread(); ath (ilenotoundexeption e) { Systemoutprintln("Kan ikke lese " + args[]); Systemexit(); // "program" er startsymbolet i L-grammatikken program(); Reursive desent for L or et metasymbol med bare en mulig produksjon (skrevet i klassisk BN), er det lett å lage den tilhørende metoden: o or hvert grunnsymbol i høyresiden: Sjekk at symbolet i skanneren er lik dette grunnsymbolet o or hvert metasymbol i høyresiden: Kall metasymbolets metode Hjelpemetode o Vi bruker en hjelpemetode: lessymbol(har ) som sjekker om gjeldende symbol (i ssymbol) er lik, og leser inn neste symbol ved et kall på sread( ) Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-27 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-28

8 <program> <setningsliste> stati void program() { setningsliste(); Parser for L (2 av 6) if (!seof) { Systemoutprintln("ull etter programslutt!"); Systemexit(); <tilordning> <variabel> = <variabel> <operator> <operand> stati void tilordning() { variabel(); lessymbol('='); variabel(); operator(); operand(); Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-29 Parser for L (3 av 6) <inputsetning>? <variabel> stati void inputsetning() { lessymbol('?'); variabel(); <outputsetning>! <variabel> stati void outputsetning() { lessymbol('!'); variabel(); <variabel> v <siffer> stati void variabel() { lessymbol('v'); siffer(); Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-3 Alternative høyresider or et metasymbol med alternative høyresider må vi beregne startmengden til hver produksjon Startmengden er de grunnsymboler som kan stå først i en setning avledet fra høyresiden i denne produksjonen Hvis de ulike produksjonene til et metasymbol har disjunkte startmengder, kan vi sjekke klarsymbolet (det siste symbolet lest av skanneren) for å finne ut hvilken produksjon vi skal velge Vi trenger da en hjelpemetode til: sjekksymbol(har ) som sjekker om gjeldende symbol (i ssymbol) er lik (uten å lese inn nytt symbol) Parser for L (4 av 6) <setning> <tilordning> <inputsetning> <outputsetning> stati void setning() { if (sjekksymbol('v')) { tilordning(); else if (sjekksymbol('?')) { inputsetning(); else if (sjekksymbol('!')) { outputsetning(); <operator> + - stati void operator() { if (sjekksymbol('+')) { lessymbol('+'); else if (sjekksymbol('-')) { lessymbol('-'); Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-3 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-32

9 Parser for L (5 av 6) <operand> <variabel> <nummer> stati void operand() { if (sjekksymbol('v')) { variabel(); else { nummer(); <siffer> Med litt effektivisering får vi: stati void siffer() { if (ssymbol >= '' && ssymbol <= '9') { sread(); else { Systemoutprintln("orventet siffer, fikk " + ssymbol); Systemexit(); Parser for L (6 av 6) <setningsliste> <setning> + stati void setningsliste() { setning(); while (sjekksymbol('v') sjekksymbol('?') sjekksymbol('!')) { setning(); <nummer> <siffer>+ Også denne er litt effektivisert: stati void nummer() { siffer(); while (ssymbol >= '' && ssymbol <= '9') { siffer(); Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-33 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-34 Kompilering? Interpretering? LL()-grammatikker <inputsetning>? <variabel> stati void inputsetning() { lessymbol('?'); variabel(); Vi kan ikke lage en reursive desent -parser for alle grammatikker, de må (som vi har sett) oppfylle følgende krav: o Grammatikken må være kontekstfri, dvs kun ha ett metasymbol på venstre side // generering av kode (kompilering) eller // kall på rutiner (interpretering) o Under parseringen må vi vite hvilket alternativ vi skal velge; dvs at mengden av startsymboler (den utvidede startmengden) for hvert alternativ må være disjunkte En LL()-grammatikk er en grammatikk som oppfyller dette, og slik at vi hele tiden kan se på neste symbol (men ikke mer) for å bestemme hvilket alternativ som skal velges Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-35 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-36

10 Beregning av utvidede startmengder or å beregne de utvidede startmengdene må vi først ha beregnet tre andre mengder: Meta-til-tom-mengden Metasymboler som kan produsere den tomme setningen kompliserer ting litt, så vi beregner meta-til-tom-mengden først: Startmengden til et metasymbol: Mengden av de grunnsymbolene som kan stå først i en (del-)setning avledet fra dette metasymbolet Etterfølgermengden til et metasymbol: Mengden av de grunnsymboler som kan stå etter metasymbolet på et tidspunkt i avledningen Meta-til-tom-mengden: Mengden av de metasymboler som kan videreavledes til den tomme setning Initialisering: La meta-til-tom-mengden bestå av de metasymboler som har en tom høyreside 2 Dersom det finnes et metasymbol med en høyreside som bare består av metasymboler som er med i meta-til-tom-mengden, skal dette også inkluderes i mengden 3 Gjenta inntil meta-til-tom-mengden ikke øker mer Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-37 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-38 Startmengder Etterfølgermengder or enkelthets skyld sier vi at grunnsymboler har seg selv som startmengde Initialisering:La startmengden for hvert metasymbol være de grunnsymbolene som står først i en høyreside for dette metasymbolet o Se på en høyreside for et metasymbol M or hvert (grunn- eller meta-) symbol x i høyresiden som enten står først, eller bare har metasymboler fra meta-til-tom-mengden foran, øk startmengden til M med startmengden til x o Gjenta inntil ingen av startmengdene kan økes mer Initialisering: or hvert metasymbol, la etterfølgermengden være unionen av startmengdene til de (grunn- eller meta-) symbolene som i en eller annen høyreside står enten o o umiddelbart bak dette metasymbolet, eller bak slik at de mellomliggende symboler er metasymboler i meta-tiltom mengden 2 Hvis metasymbolet M i en høyreside til metasymbolet N enten står bakerst, eller det bak M bare står metasymboler i meta-til-tom-mengden: øk etterfølgermengden til M med etterfølgermengden til N 3 Gjenta til ingen av etterfølgermengdene kan økes mer Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-39 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-4

11 Eksempel ølgende eksempelgrammatikk er hentet fra eksamen 996, oppgave a: U' U A B + A ( U ) B * Beregn og angi meta-til-tom mengden, og start- og etterfølgermengden til hvert av metasymbolene'' Utvidede startmengder - endelig! or en gitt produksjon består denne mengden av alle symbolene i startmengden til de symbolene i høyresiden som enten står først eller bare har metasymboler i meta-til-tom-mengden foran seg Hvis høyresiden er tom eller bare består av meta-til-tom-mengden, inngår også symbolene i etterfølgermengden til produksjonens venstreside Metasymbol Meta-til-tom Start Etterfølger U U A B Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-4 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-42 Eksempel Vi ser igjen på grammatikken: U' U A B + A ( U ) B * Avgjør om dette er en LL()-grammatikk Begrunn svaret Hva hvis en grammatikk ikke er LL()? Vi skal se på to standard-teknikker for å skrive om en grammatikk til å bli LL() Ikke-disjunkte startmengder jerning av venstrerekursjon Produksjon U' U A B U + A ( U ) A B * B Utvidet startmengde Disjunkt? Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-43 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-44

12 Ikke-disjunkte startmengder Ofte vil to alternative startsider kunne begynne på samme måte (ha overlappende utvidede startmengder), men forskjellig avslutning, som i: <setning> <uttrykk> + <term> <uttrykk> * <term> Vi kan her innføre et nytt metasymbol som skal stå for den varierende delen: <setning> <uttrykk> <xsetning> <xsetning> + <term> * <term> jerning av venstrerekursjon <uttrykk> <uttrykk> + <term> <term> Strategi: Skriv om til utvidet BN: <uttrykk> <term> { + <term> * ør tilbake til klassisk BN, men nå med høyrerekursjon (og eventuelt ekstra metasymboler): <uttrykk> <term> <xterm> <xterm> + <term> <xterm> Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-45 Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-46 Andre grammatikker LL(n) LR() SLR Simple LR LALR Se kompendium 47 Ikke pensum! Institutt for informatikk 2 september 22 IN2-Syntaksanalyse-47