Introduksjon Oversikt over syntaks Eksempler og avslutning. Regex i Perl. Knut Auvor Grythe. September 21, 2006

Transkript

1 September 21, 2006

2 Litt om regex Praktisk bruk Hva er Regex? Forkortelse for Regular Expression (regulært uttrykk på norsk). En kjapp og grei måte å gjenkjenne enkle tekst-strukturer på. Velegnet for å gjenkjenne eller modisere tekst på et gitt format. Veldig kompakt syntaks, og dermed lite å skrive. Kan brukes i de este programmeringsspråk (men har ofte litt varierende syntaks)

3 Litt om regex Praktisk bruk Hvordan ser en regex ut? En regex er i utgangspunktet bare en tekststreng, der noen få av tegnene har en spesiell betydning. I en del språk (for eksempel Perl) skrives regexer med en skråstrek før og etter. Denne regexen gjenkjenner teksten banan: /banan/

4 Litt om regex Praktisk bruk Hva gjør den egentlig? En regex går gjennom teksten fra venstre til høyre, helt til den nner et tre. En regex er grådig. Om to ulike tre begynner på samme sted i teksten, vil den alltid ta det lengste. Hva som skjer når regexen matcher noe avhenger av hvordan den er brukt.

5 Litt om regex Praktisk bruk Bruksområder i Perl Tre vanlige bruksområder for regex i perl er matching, substitusjon og splitting. Det nnes også andre bruksområder, men da er det i praksis matching som utføres. Matching if ($var = /banan/) { do_stu(); } Substitusjon $var = s/banan/eple/; Splitting = split(/a/, banan);

6 Litt om regex Praktisk bruk Hvordan bruke andre tegn enn // Selv om det er standard å skrive regexen inni //, er det fullt lovlig å bruke andre tegn i stedet. Dette er kjekt om du skal matche et pattern med mange /-er i, og ikke har lyst til å escape alle sammen. For at Perl skal kjenne igjen matching må man skrive en m foran uttrykket, dersom man bruker noe annet enn //. Det er ganske vanlig å bruke komma eller kolon som tegn. Matching if ($var = m,banan,) { do_stu(); } Substitusjon $var = s,banan,eple,;

7 Litt om regex Praktisk bruk Modikatorer Modikatorer er ting du kan skrive bak uttrykket ditt for å få det til å oppføre seg litt annerledes. Vi konsentrerer oss om de to viktigste, /g og /i. Modikatorer brukes ved å plassere dem rett bak siste / i utrykket. Eksempler /abcd/i s/abcd/blarb/g s/abcd/blarb/ig et matche-uttrykk med /i. et substitusjons-uttrykk med /g. et substitusjons-uttrykk med både /g og /i.

8 Litt om regex Praktisk bruk Modikatorer - Hva de gjør Nå som vi vet hvordan vi slenger på en modikator kan vi kanskje få vite hva de gjør også :-) /i gjør at uttrykket ikke skiller på store og små bokstaver (case-insensitive). Litt tregere enn å bare skrive inn store og små bokstaver manuelt, siden den følger gjeldende locale, men neppe noe problem i praksis. /g brukes kun i substitusjon, og står for global. Vanligvis vil substitusjonen bare bytte ut første tre, men med denne vil den bytte ut alle tre.

9 Litt om regex Praktisk bruk Kommandolinje-testing av matche-uttrykk (grepping) Perl echo "vi liker bananer" perl -ne 'print if /banan/' Andre språk echo "vi liker bananer" grep 'banan' echo "vi liker bananer" sed -e '/banan/p' -e 'd' echo "vi liker bananer" awk '/banan/ {print}'

10 Litt om regex Praktisk bruk Kommandolinje-testing av substitusjons-uttrykk (sedding) Perl echo "vi liker bananer" perl -pe 's/banan/rosin/' Andre språk echo "vi liker bananer" sed 's/banan/rosin/' echo "vi liker bananer" awk '{sub(/banan/, "rosin"); print}'

11 Å matche en helt vanlig tekst-streng Om du skal matche en helt vanlig tekst-streng, kan du bare skrive den rett ut, som for eksempel /banan/ som vi har sett før. NB! Husk imidlertid at enkelte tegn har spesiell betydning, og disse må escapes om du vil ha selve tegnet. Et eksempel på dette er punktum, som kan matches med /\./. Den største forskjellen på de ulike regex-dialektene er hva som skal escapes. En del språk tolker alt som tekst, og bruker spesialbetydningen når du escaper i stedet. Hva andre språk gjør er imidlertid litt utenfor skopet til kurset.

12 Liste over magiske tegn(-sekvenser) \ Quote the next metacharacter. Match any character (except newline) * Match 0 or more times + Match 1 or more times? Match 1 or 0 times {n} Match exactly n times {n,} Match at least n times {n,m} Match at least n but not more than m times Match the beginning of the line $ Match the end of the line (or before newline at the end) Alternation () Grouping [] Character class

13 Tegnet. (punktum). (punktum) matcher et vilkårlig tegn. Eksempel /bl.pp/ matcher blipp, blapp, blupp og så videre. NB: Vilkårlige tegn innebærer også whitespace, men per default ikke linjeskift (kan endres med en modier vi snakker om senere).

14 Tegnet * (stjerne) * (stjerne) sier at forrige tegn skal matches 0 eller ere ganger. Eksempel 1 /bla*pp/ matcher blpp, blapp, blaapp, blaaapp og så videre. Eksempel 2 /bl.*pp/ matcher alt i Eksempel 1, samt f.eks. blupp, blåbærkopp, blå muggsopp og så videre.

15 Tegnet + (pluss) + (pluss) fungerer akkurat som * (stjerne), bortsett fra at det er 1 eller ere i stedet for 0 eller ere. Eksempel /bla+pp/ matcher blapp, blaapp, blaaapp og så videre, men ikke blpp (som /bla*pp/ ville matchet).

16 Tegnet? (spørsmålstegn)? (spørsmålstegn) sier at forrige tegn skal matches 0 eller 1 ganger. Eksempel /sk?/ matcher sk og s, og ingenting annet.

17 Tegnene { og } (krøllparenteser) { og } brukes for å gi et egendenert intervall over hvor mange ganger forrige tegn skal matches. Eksempler /{3}sk/ matcher iisk. /{2,3}sk/ matcher isk og iisk. /{2,}sk/ matcher isk, iisk, iiisk og så videre. NB! Første argument er ikke valgfritt! /{,3}sk/ matcher faktisk bare {,3}sk.

18 Sammenhengen mellom kvantikatorene) Tegn Krøllparentes-uttrykk * {0,} + {1,}? {0,1} Du kan med andre ord bruke kun { og } om du vil, men ingen gjør det i praksis.

19 Tegnet og $ (hatt og dollar) og $ matcher henholdsvis start of line og end of line. Det vil altså si endene på variablene. Dersom det siste tegnet i variabelen er et linjeskift, matcher den også rett før linjeskiftet. Eksempler / banan/ matcher banankompott, men ikke stor banan. /banan$/ matcher stor banan, men ikke banankompott. / banan$/ matcher kun banan eller banan\n.

20 Tegnet (pipe) (pipe) betyr eller, og er sikkert velkjent fra boolsk algebra. Det kan settes mellom to eller ere alternativer for match. Eksempel 1 /banan eple/ matcher både banan og eple (og strenger som inneholder en eller ere av dem av dem). Eksempel 2 /banan eple pære/ matcher det samme som Eksempel 1, pluss pære.

21 Tegnene ( og ) (parenteser) Parenteser brukes til å gruppere, mye på samme måten som vi er vant til fra boolsk algebra. De brukes også til litt annet småtteri, som vi skal se på snart. Eksempel / (banan sviske)kompott$/ matcher banankompott og sviskekompott.

22 Tegnene [ og ] (rkantparenteser) Firkantparenteser brukes når det er ere alternativer til et tegn. Tegnene skrives rett og slett etter hverandre inni rkantparentesene. Firkantparenteser er egentlig et kapittel for seg, og kommer mer utfyllende senere. Eksempel /bl[aui]pp/ matcher blapp, blupp eller blipp.

23 Mer om parenteser Som vi så for ikke så lenge siden, brukes parenteser til å gruppere ting med. Vi så eksempelet / (banan sviske)kompott$/, der parenteser brukes til å avgrense skopet til variable. Parenteser kan imidlertid også brukes til å hente ut en substreng av det som ble matchet, og det kan vi bruke til mye rart.

24 Variablene $1, $2, $3, etc. (1) Når et uttrykk med parenteser i matcher, blir innholdet i parentesene lagt i spesielle variable, kalt tilbakereferanser. Den første påbegynte parentesen blir lagt i $1, den neste i $2, og så videre. Merk at disse variablene må brukes med en gang, siden de forsvinner så fort du gjør en ny regex-matching lenger nede i koden. Ta en kopi!

25 Variablene $1, $2, $3, etc. (2) Dette eksempelet plasserer en i $a og to i $b dersom uttrykket matcher (og det gjør det). Eksempel my $var = "en to"; my $a; my $b; if ($var = /(.*) (.*)/) { $a = $1; $b = $2; }

26 Direkte uthenting av tilbakereferanser Om du kaller en matching i array-kontekst returneres alle tilbakereferansene som en array. Ulempen med denne metoden er at du må undersøke verdiene etterpå for å få vite om det matchet eller ikke, og det blir ikke like pent i mine øyne. Notasjonen er heller ikke så intuitiv, spør du meg. Jeg ser sjelden denne konstruksjonen i bruk i praksis. Eksempel my $var = "en to"; my ($a, $b) = $var = /(.*) (.*)/;

27 Bruk av tilbakereferanser i substitusjons-uttrykk Du kan også bruke $1 med venner i substitusjoner. Eksempel # Dette bytter om på en og to. my $var = en to; $var = s/(.*) (.*)/$2 $1/; PS: En del andre språk, som f.eks. sed og vim, bruker \1 i stedet for $1 og så videre.

28 Bruk av tilbakereferanser inne i selve patternet Om du vil, kan du også bruke tilbakereferanser til en tidligere del av patternet lenger ute i regexen. Dette kan for eksempel være kjekt om du skal matche en serie av like tegn, men det er mer enn ett alternativ for hvilket tegn det er. Når du gjør tilbakereferanser inne i selve patternet, må du bruke \1 i stedet for $1 og så videre. $1 og lignende vil ikke virke! De er nemlig ikke denert ennå. Eksempel: Fjerning av trippelkonsonanter my $var = busssjåfør; $var = s/(.)\1+/$1$1/g;

29 Viktig bruksområde: Tainting Tainted mode er en feature i Perl som tvinger deg til å sjekke inputen din til scripts. Det er et nyttig verktøy for å unngå lite kledelige sikkerhetshull i webapplikasjoner, for eksempel. Tainted mode virker slik at det eneste du får lov å bruke innleste (ergo potensielt skumle) variabler til, er å kjøre regex-matching på dem. Så kan du hente ut $1 med venner derfra, og bruke dem. Tainted mode slås på med opsjonen -T bak perl-programmet.

30 Hvordan gruppere uten at innholdet huskes Om du ønsker å bruke parenteser til gruppering, men ikke ønsker å bruke innholdet i parentesen etterpå, kan du bruke?: først i parentesen. Dette er spesielt nyttig i split(), men også greit om du har masse parenteser du vil huske, men så plutselig noen du ikke vil huske midt inni. Det sparer også bittelitt minne, men det er mindre viktig. Eksempel # returnerer (b, a, n, a, n, e, r) = split(/(a e)/, "bananer"); # returnerer (b, n, n, r) = split(/(?:a e)/, "bananer");

31 Et gjensyn med [ og ] For en stund siden snakket vi så vidt om [ og ], som brukes for å denere en klasse av tegn. De skal vi snakke litt mer om nå. La oss først huske at en serie med tegn i rkantparenteser betyr at vi matcher ett av tegnene i rkantparentesen en gang. Eksempel /[abc]/ matcher ett tegn, som kan være enten a, b eller c.

32 Matching av eksibelt antall tegn med tegnklasse Skal vi matche et annet antall tegn enn nøyaktig ett, må vi (som vanlig) bruke en kvantikator som f.eks. *, +,? eller {m,n}. Eksempel /[abc]+/ matcher ett eller ere tegn, som kan være enten a, b eller c.

33 Tegnsekvenser Siden det er litt tiltak å skrive tegnklasser som for eksempel [ ], [abcdef] og sånt, har man mulighet for å angi intervaller. Dette gjøres med bindestrek. Sekvens Tilsvarer [0-9] [ ] [a-f] [abcdef] [0-9a-f] [ abcdef] Eksempel / 0x[0-9a-fA-F]+$/ matcher et hexadecimalt tall, som for eksempel 0x1337babe.

34 Negasjon Av og til ønsker du å matche alt unntatt visse tegn, som for eksempel alt unntatt kolon. For å gjøre dette kan du bruke en negert tegnklasse. Dette gjøres ved å sette tegnet (hatt) fremst i tegnklassen. Det stemmer, hatt betyr noe helt annet inni en tegnklasse enn den betyr utenfor. Litt forvirrende i starten, men det går fort over. Eksempel / ([ :]*)/ matcher fra starten av strengen til første kolon (eller slutten av strengen, om det ikke nnes noe kolon i den) og legger resultatet i $1.

35 Escaping av spesielle tegn i tegnklasser Siden (hatt), - (bindestrek) og ] har spesiell betydning i en tegnklasse (] avslutter klassen), må man escape dem om man vil ha et bokstavelig tegn. Dette kan gjøres enten ved å escape dem med backslash, eller ved å plassere dem spesielle steder i tegnklassen. I praksis brukes ofte spesiell plassering, siden dette er vanlig i andre regex-implementasjoner. Tegn Plassering for å escape (hatt) Et annet sted enn fremst - (bindestrek) Helt bakerst eller helt fremst (bak eventuell hatt) ] Helt fremst (bak eventuell hatt)

36 Ferdigdenerte tegnklasser Perl har også en del ferdigdenerte tegnklasser. Disse kan brukes enten som byggestener i egendenerte tegnklasser, eller for seg selv. Eksemplene nedenfor benytter \w, som matcher tegn som kan være i ord (det vil si bokstaver, tall og _ (underscore)). Eksempler /(\w+)/ henter ut det første ordet og legger det i $1. /([\w-]+)/ gjør som forrige eksempel, men tillater bindestrek i ordet.

37 Liste over ferdigdenerte tegnklasser Dette er en liten oversikt over de mest brukte ferdigdenerte tegnklassene. Det nnes en del ere, men de er ikke like vanlige. Du nner dem i perldoc perlre. Klasse betydning \w Match a "word" character (alphanumeric plus _) \W Match a non-"word" character \s Match a whitespace character \S Match a non-whitespace character \d Match a digit character \D Match a non-digit character \b Match a word boundary

38 Eksempler Avslutning Eksempel: Strippe HTML Dette eksempelet har dere sikkert sett før, på plakaten til kurset. Nå har dere sikkert lært nok til å se hva den gjør også! Merk at om du leser inn en linje om gangen vil ikke denne koden støtte html-tags som går over ere linjer. Vi ser at uttrykket matcher en <, så innholdet i tagen (ett eller ere tegn som ikke er >, og så til slutt >. Substitusjonen er også global, så alle treene blir erstattet med en tom streng. Eksempel s/<[ >]+>//g

39 Eksempler Avslutning Eksempel: Hente ut linker fra HTML Om du vil hente ut alle linkene i et HTML-dokument, kan du for eksempel matche på det som er i hermetegn bak href=. \s* er med her og der fordi det er valgfritt med mellomrom der. Eksempel /href\s*=\s*([ ]+)/i I praktisk bruk perl -ne 'print $1\n if /href\s*=\s*([ ]+)/i' l.html

40 Eksempler Avslutning Eksempel: Hente ut ere linker per linje fra HTML Eksempelet på forrige slide hadde en begrensning: Det støttet bare en link per linje. Det er sikkert fullt mulig å lage en regex som støtter å ske ut ere, og legge dem i $1, $2 og så videre, men det blir bare tungvint og ekkelt. I stedet kan vi enten modisere input-dataene (f.eks. legge inn linjeskift mellom alle HTML-tags) eller kjøre ere matchinger per linje. Vi satser på å gjøre ere matchinger per linje. Her har vi samme regex som i stad, men substituerer bort patternet i stedet for å matche det. Slik holder vi på til det ikke er mer som matcher. Eksempel perl -ne 'print $1\n while s/href\s*=\s*([ ]+)//i' l.htm

41 Eksempler Avslutning Eksempel: Matche primtall Følgende kode matcher et primtall. Den er vel kanskje ikke kjempe-intuitiv, men virker for små primtall. For store primtall går den kjapt tom for minne og tryner. Dette er for øvrig omtrent tregest tenkelige måte å regne ut om noe er primtall eller ikke, så den bør kun brukes som kuriositet ;-) Den fungerer ved at man først matcher to eller ere tegn, før man matcher denne sekvensen to eller ere ganger. I praksis bruteforcer man altså om tallet er delelig med noe. Eksempel perl -e '(1x$ARGV[0]) = / (..+?)\1+$/ print prime\n'

42 Eksempler Avslutning Generelle triks Når du skriver en regex er det noen få triks som gjerne sparer deg for en del hodebry: Gjør den enkel først, legg på særtilfeller etter hvert. Test at den gjør det du vil underveis. Det er fort gjort å snike inn en skrivefeil som ødelegger alt. Om regexen blir kjempediger og fæl, stopp og tenk på hvorvidt dette egentlig var rett verktøy å bruke. Kanskje du bør lage en skikkelig parser i stedet? Av og til kan det være kjekt å først matche på et grovt pattern, hente ut det som er interessant, og så matche videre med en ny regex.

43 Eksempler Avslutning Hva er Regex IKKE bra til? Nå som vi har sett at regex gjør det mulig å gjøre masse ott, er det kanskje en plan å se litt på hva det ikke passer så bra til. Regex støtter ikke rekursjon. Dette gjør det håpløst å matche f.eks. HTML skikkelig, siden vi ikke kan holde styr på start- og slutt-tager. Om teksten er litt komplisert er det ofte vel så greit å skrive en skikkelig parser, i stedet for en supergrisete regex. Regex er ikke veldig maintainable, spesielt ikke om du overdriver.

44 Eksempler Avslutning Hvordan lære mer? Om du vil lære mer, er det selvsagt et triks å bruke regex en del. Selv bruker jeg bortimot daglig regex til et eller annet, som regel i forbindelse med små onelinere jeg bruker for å massere tekst. Jeg bruker det også mye for å gjøre søk og erstatt i vim (jeg har brukt en del regexer i vim mens jeg skrev disse foilene). Om du vil lese mer, er kommandoen perldoc perlre veldig n. O'Reilly har også noen bøker jeg tror er bra, og et par av dem ligger sikkert på PVV. Har man et obskurt problem er det også ofte hjelp å få på IRC, eventuelt på mailinglister med nerder på (som f.eks. aktive@pvv.ntnu.no).