Dagens tema: Regulære språk og uttrykk

Transkript

1 IN 2 Programmeringsspråk Dagens tema: Regulære språk og uttrykk Ulike typer språk (Kompendium 47: 23) Hvorfor er regulære uttrykk så interessante? Ulike representasjoner av regulære språk (Kompendium 47: 3) Endelige tilstandsmaskiner (FSM-er) Deterministiske FSM-er (Kompendium 47: 32) Ikke-deterministiske FSM-er (Kompendium 47: 3) (Kompendium 47: Om syntaks og syntaksanalyse av Stein Krogdahl og Christian-Emil Ore er til salgs i bokhandelen) Ark av 8 Forelesning 999

2 Ulike type språk IN 2 Programmeringsspråk Det er vanlig å dele språk som kan beskrives med en BNF inn i følgende grupper: Type3-språk («regulære språk») har ett metasymbol på venstresiden og kun terminalsymboler på høyresiden, eventuelt med et metasymbol til sist binary number binary number binary number Slike språk brukes til å angi søkekriterier i Perl, Emacs, egrep og andre Hvorfor brukes regulære språk til søking? Det er enkelt å angi et ganske kraftig søkekriterium 2 Det er lett å lage en meget rask automat som sjekker lovlige uttrykk Forelesning 999 Ark 2 av 8

3 IN 2 Programmeringsspråk Type2-språk («kontekst-frie») har bare et metasymbol på venstresiden Omtrent alle programmeringsspråk benytter en kontekst-fri grammatikk til å definere språkets syntaks Det gir en klar men lettlest definisjon av syntaksen Det er en basis for å skrive en parser Type-språk («kontekst-sensitive») krever at høyresiden er minst like lang som venstresiden Dette gjør det mulig å sjekke navnebindinger og finne typefeil Ble brukt til Algol-68 men lite siden Type-språk har ingen restriksjoner Disse har bare teoretisk interesse Forelesning 999 Ark 3 av 8

4 IN 2 Programmeringsspråk Ulike representasjon av regulære språk La oss som eksempel se på et regulært språk for binære tall med binærer Lovlige ord er Imidlertid er det ikke lov med ledende -er eller binærpunktum uten foregående eller etterfølgende sifre, så følgende er ikke tillatt: Representasjon : Klassisk BNF tall fp ifp ifp ifp ifp fp fp ε ep ep ep ep (I «klassisk BNF» er det kun lov med terminalsymboler, metasymboler, «ε» og ) Forelesning 999 Ark 4 av 8

5 IN 2 Programmeringsspråk Parseringstrær Vi sjekker om et uttrykk er lovlig i følge grammatikken ved å se om det lar seg gjøre å lage et parseringstre: tall ifp ifp fp ep Forelesning 999 Ark 5 av 8

6 IN 2 Programmeringsspråk Representasjon 2: Utvidet BNF I «utvidet BNF» er det i tillegg til «klassisk BNF» lov til å benytte *, +,? og metaparenteser ([[]]) Her krever vi for et regulært språk at det ikke er metasymboler i høyresiden Denne høyresiden kalles da et regulært uttrykk Definisjonen av tall som regulært uttrykk blir tall [[ [[ ]] ]] [[ [[ ]] + ]]? Notasjon Selv om essensen er den samme, kan notasjonen for regulære uttrykk variere fra ett program til et annet I Perl skriver vi if (/^( ( )*)(\( )+)?$/) { print "OK: "; } else { print "Feil: "; } Forelesning 999 Ark 6 av 8

7 IN 2 Programmeringsspråk Representasjon 3: Jernbanediagram Siden jernbanediagram bare er en mer visuell form for utvidet BNF, kan vi angi en regulær grammatikk med et diagram hvor det ikke finnes metasymboler tall Forelesning 999 Ark 7 av 8

8 IN 2 Programmeringsspråk Hvordan brukes et regulært uttrykk? Når vi skal sjekke om en tekst passer i henhold til et regulært uttrykk, kan vi benytte en parser Imidlertid finnes en bedre mulighet: FSM-er Forelesning 999 Ark 8 av 8

9 IN 2 Programmeringsspråk Representasjon 4: Deterministisk FSM Her definerer vi en FSM (også kalt automat) hvor tegnene fører oss fra én tilstand til neste B X X X Tilstanden merket «B» er starttilstanden, men de med «X» er lovlig slutttilstander Forelesning 999 Ark 9 av 8

10 IN 2 Programmeringsspråk Hvorfor er FSM-ersånyttige? En FSM kan lett representeres av en matrise som angir neste tilstand Tilstand Slutt 2 3 F 2 F F 4 Ja Ja F F Ja F F F F Det er vanlig å innføre en ekstra tilstand «F» for feil Forelesning 999 Ark av 8

11 IN 2 Programmeringsspråk Søkealgoritme for FSM Det finnes en enkel og meget rask søkealgoritme for en FSM lagret i matrisen re: stat := ; while flere tegn igjen do begin c:= neste tegn ; stat := re(stat,c); end while; if slutt(stat) then match funnet else ingen match ; Dette skjer altså i raske søkeprogrammer: Lag en FSM utifra det regulære uttrykket Bruk søkeløkken over til å sjekke data mot det regulære uttrykket Forelesning 999 Ark av 8

12 IN 2 Programmeringsspråk Hvordan lage en deterministisk FSM? Det finnes en enkelt algoritme for å lage en deterministisk FSM Først lages en ikke-deterministiske FSM: B ε ε ε ε X Forelesning 999 Ark 2 av 8

13 IN 2 Programmeringsspråk Hvordan lage en ikke-deterministisk FSM? Ta utgangspunkt i jernbanediagrammet: tall Hver «pens» blir til en node i den ikke-deterministiske FSM-en 2 Hvert sluttsymbol blir en merket kant Noen får et tomt symbol (ε) 3 Merk nodene hvor man skal begynne og slutte B ε ε ε ε X Forelesning 999 Ark 3 av 8

14 IN 2 Programmeringsspråk Hvordan bruke en ikke-deterministisk FSM? En ikke-deterministisk FSM er dårlig egnet til å sjekke tekst Det kan gå flere kanter med samme merke fra en node Det er vanskelig å gjette når man skal følge en kant med tomt symbol (ε) Imidlertid kan man lage en deterministisk FSM utifra en ikke-deterministisk Forelesning 999 Ark 4 av 8

15 IN 2 Programmeringsspråk Hvordan lage en deterministiske FSM-er Start med startnodene (Dette er startnoden samt de man kan komme til langs kanter med tomt symbol) Lag en tilstand for disse nodene (Teknikken er basert på å lage tilstander som representerer et utvalg av noder i den ikke-deterministiske FSM-en De utvalgte nodene er sorte) Forelesning 999 Ark 5 av 8

16 IN 2 Programmeringsspråk Fra hver tilstand følg kantene med ulike terminalsymboler (og tomme kanter) Utvide den deterministiske FSM-en med disse Forelesning 999 Ark 6 av 8

17 IN 2 Programmeringsspråk Fortsett med dette Forelesning 999 Ark 7 av 8

18 IN 2 Programmeringsspråk Tilsluttharmandenferdige deterministiske FSM-en Vi ser at den er ekvivalent med den vi hadde på ark 9: B X X X Forelesning 999 Ark 8 av 8