Oversikt, kursdag 2. Matematisk morfologi II. Morfologiske operatorer, erosjon og dilasjon. Morfologiske operatorer, erosjon og dilasjon

Transkript

1 Matematisk morfologi II Lars Aurdal Norsk regnesentral 4. desember 2003 Elementære operasjoner: Erosjon. Dilasjon. Oversikt, kursdag 2 Sammensatte operasjoner: Åpning. Lukning. Flosshatt-transformasjoner. Copyright Lars Aurdal, NTNU/NR Copyright Lars Aurdal, NTNU/NR 1 Grovt kan man si at morfologiske operatorer er designet for å trekke ut bestemte strukturer fra bilder representert ved sine subgrafer. Dette gjøres ved å analysere bildene med det som kalles et strukturelement. Strukturelementet er selv et sett, formen på dette er valgt med et eller annet bestemt formål for øye. De grunnleggende morfologiske operatorene er erosjon og. Erosjon og er duale operatorer. Alle andre morfologiske operasjoner kan uttrykkes ved disse to grunnleggende operatorene. Copyright Lars Aurdal, NTNU/NR 2 Copyright Lars Aurdal, NTNU/NR 3

2 Morfologiske operatorer, et lite sidesprang Morfologiske operatorer, et lite sidesprang Phil Brodatz er fotograf. En av hans interesser er teksturer. I boka Textures: A photographic album for artists and designers, har han samlet et stort utvalg bilder av teksturer. Har blitt en svært viktig ressurs innen bildebehandling, det er veldig vanlig å benytte Brodatz-teksturer i artikler om teksturanalyse. Typisk applikasjon: Sett sammen ulike Brodatz-teksturer, undersøk så om algoritmen din kan separere disse. Figur 1: Komposisjon av to Brodatz-teksturer. Copyright Lars Aurdal, NTNU/NR 4 Copyright Lars Aurdal, NTNU/NR 5 Morfologiske operatorer, et lite sidesprang Et strukturelement er (som sagt) et lite sett som brukes til å undersøke bildet som skal analyseres. Figur 2: Komposisjon av to Brodatz-teksturer og resultatet av en spesialtilpasset erosjon av dette bildet. Husk: subgrafen til et n-dimensjonalt bilde er et n + 1-dimensjonalt sett. For å analysere et n-dimensjonalt bilde kan vi derfor benytte et n + 1-dimensjonalt strukturelement. Copyright Lars Aurdal, NTNU/NR 6 Copyright Lars Aurdal, NTNU/NR 7

3 I praksis benyttes oftest n-dimensjonale strukturelementer for å analysere n-dimensjonale bilder. Et strukturelement har et origo eller senter, dette gjør det mulig å plassere strukturelementet i en bestemt posisjon eller piksel. Slike strukturelementer kalles ofte flate strukturelementer. Figur 3: To mulige strukturelementer og deres origo. Copyright Lars Aurdal, NTNU/NR 8 Copyright Lars Aurdal, NTNU/NR 9 Et interessant spørsmål man kan stille når man analyserer et bilde med et strukturelement er: Passer strukturelementet i bildet? X B ε B (X) B Mer presist: Erosjonen av et sett X med strukturelement B betegnes ε B (X) og er definert som posisjonen til alle piksler x slik at B er inkludert i X når origo i B plasseres i x: ε B (X)={x B x X} X Figur 4: Et sett, et strukturelement og resultat av erosjon av settet med strukturelementet. Copyright Lars Aurdal, NTNU/NR 10 Copyright Lars Aurdal, NTNU/NR 11

4 Husk: Definisjonsligningen for erosjon: ε B (X)={x B x X} Denne kan omskrives ved hjelp av interseksjoner av translaterte sett: ε B (X)= b BX b Definisjonen basert på interseksjoner av translaterte sett er: ε B (X)= b BX b Denne kan lett utvides til å gjelde for binære bilder og gråtonebilder: ε B ( f )= f b b B Den eroderte verdien i piksel x er altså minimum av bildet i vinduet definert av strukturelementet B når origo er i x. Copyright Lars Aurdal, NTNU/NR 12 Copyright Lars Aurdal, NTNU/NR 13 Definisjonen som gir oss algoritmen for å beregne en erosjon er: [ε B (X)](x)=min f (x + b) b B Figur 5: f, f 1, f +1 og ε B ( f ). Copyright Lars Aurdal, NTNU/NR 14 Copyright Lars Aurdal, NTNU/NR 15

5 Øving 1: Erosjon Øving 1: Erosjon Generelt om øvingene: På CD-en i underkatalogen ovinger finner dere et antall filer med navn av typen ovingn.m. Ved å skrve ovingn ved matlab kommandoprompten laster dere inn alt som trengs av grunnlagsinformasjon for å kunne gjøre øvingen. Typisk lastes et eller flere bilder etc. Eksempel på øvingsfil: % Dette laster og forbereder bildene for øving 1. i=imread(../cfiber.tif ); figure imshow(i) ig=rgb2gray(i); figure imshow(ig) igt=(ig>150) (ig<90); figure imshow(igt) % For å erodere igt kan du benytte en kommando av typen: % %>>igte=bwmorph(igt, erode ); % % Sjekk også kommandoen imerode() Copyright Lars Aurdal, NTNU/NR 16 Copyright Lars Aurdal, NTNU/NR 17 Øving 1: Erosjon Øving 1: Erosjon I øving 1 tar vi for oss erosjon. Bildene vi skal bruke for å studere dette er vist under: Forsøk å erodere det tersklede bildet med ulike strukturlementer. Forsøk å erodere gråtonebildet med ulike strukturlementer. Vis med et eksempel at erosjon er invariant under translasjon (ikke nødvendig å bruke bildene over). Hva er en antiekstensiv transformasjon? Er erosjon en antiekstensiv operasjon. Figur 6: Bilder til bruk i øving 1. Copyright Lars Aurdal, NTNU/NR 18 Copyright Lars Aurdal, NTNU/NR 19

6 Det neste spørsmålet man kan stille når man analyserer et bilde med et strukturelement er: Treffer strukturelementet bildet? X B δ B (X) B Mer presist: Dilasjonen av et sett X med strukturelement B betegnes δ B (X) og er definert som posisjonen til alle piksler x slik at B overlapper med X i minst ett piksel når origo i B plasseres i x: δ B (X)={x B x X /0} X Figur 7: Et sett, et strukturelement og resultat av av settet med strukturelementet. Copyright Lars Aurdal, NTNU/NR 20 Copyright Lars Aurdal, NTNU/NR 21 Husk: Definisjonsligningen for : δ B (X)={x B x X /0} Denne kan omskrives ved hjelp av unioner av translaterte sett: δ B (X)= b BX b Definisjonen basert på unioner av translaterte sett er: δ B (X)= b BX b Denne kan lett utvides til å gjelde for binære bilder og gråtonebilder: δ B ( f )= f b b B Den dilaterte verdien i piksel x er altså maksimum av bildet i vinduet definert av strukturelementet B når origo er i x. Copyright Lars Aurdal, NTNU/NR 22 Copyright Lars Aurdal, NTNU/NR 23

7 Definisjonen som gir oss algoritmen for å beregne en er: [δ B (X)](x)=max b B f (x + b) Figur 8: f, f 1, f +1 og δ B ( f ). Copyright Lars Aurdal, NTNU/NR 24 Copyright Lars Aurdal, NTNU/NR 25 Øving 2: Dilasjon Øving 2: Dilasjon I øving 2 tar vi for oss. Bildene vi skal bruke for å studere dette er vist under: Forsøk å dilatere det tersklede bildet med ulike strukturlementer. Forsøk å dilatere gråtonebildet med ulike strukturlementer. Vis med et eksempel at er invariant under translasjon (ikke nødvendig å bruke bildene over). Hva er en ekstensiv transformasjon? Er en ekstensiv operasjon. Figur 9: Bilder til bruk i øving 2. Copyright Lars Aurdal, NTNU/NR 26 Copyright Lars Aurdal, NTNU/NR 27

8 Øving 2: Dilasjon Morfologiske operatorer, nok et sidesprang Hva vil det si at to operatorer er duale? Vis med et eksempel at erosjon og er duale operatorer. Automatisk tolkning av fingeravtrykk er big business. Et viktig element å ta hensyn til under sammenligning av fingeravtrykk er forgreninger. Hvordan finne disse automatisk? Copyright Lars Aurdal, NTNU/NR 28 Copyright Lars Aurdal, NTNU/NR 29 Morfologiske operatorer, nok et sidesprang Morfologiske operatorer, nok et sidesprang Figur 10: Fingeravtrykk og strukturelementet som brukes for å lete etter forgreninger. Figur 11: Tersklet fingeravtrykk og erodert fingeravtrykk. Copyright Lars Aurdal, NTNU/NR 30 Copyright Lars Aurdal, NTNU/NR 31

9 Morfologiske operatorer, nok et sidesprang Dilasjon og erosjon er duale operatorer: ε B = C δ B C Figur 12: Fingeravtrykk og fingeravtrykk med overlagret resultat av erosjon. Med andre ord: Enhver erosjon av et bilde gir samme resultat som å komplementere resultatet av en av det komplementerte bildet. Copyright Lars Aurdal, NTNU/NR 32 Copyright Lars Aurdal, NTNU/NR 33 Erosjon og prosesserer altså ikke objekter og deres bakgrunn likt: Erosjon minsker størrelsen på objektene og øker størrelsen på bakgrunnen. Dilasjon øker størrelsen på objektene og minsker størrelsen på bakgrunnen. Erosjon og er ikke selv-duale operatorer. Det finne heller ingen invers transformasjon for disse operatorene, de bevarer ikke homotopien til input-bildet. Erosjon og er invariante under translasjon. De bevarer også ordningsrelasjonen mellom bilder: { ε( f ) ε(g), f g δ( f ) δ(g) Av dette følger det også at disse to operasjonene er invariante under terskeldekomposisjon. Copyright Lars Aurdal, NTNU/NR 34 Copyright Lars Aurdal, NTNU/NR 35

10 Øving 3: Dilasjon, invarians under terskeldekomposisjon Øving 3: Dilasjon I øving 3 tar vi for oss og det faktum at er invariant under terskeldekomposisjon. Vis med et eksempel at er invariant under terskeldekomposisjon. Bildet vi skal bruke for å studere dette er vist under: Figur 13: Bilde til bruk i øving 3. Copyright Lars Aurdal, NTNU/NR 36 Copyright Lars Aurdal, NTNU/NR 37 Dilasjon distribuerer den punktvise max-operatoren. Erosjon distribuerer den punktvise min-operatoren. Komposisjon: δ B2 δ B1 = δ (δ B ˇ B 1 ) 2 ε B2 ε B1 = ε (δ B ˇ B 1 ) 2 δ( i f i ) = i δ( f i ) ε( i f i ) = i ε( f i ) I praksis er dette svært viktig: For eksempel betyr det at det å dilatere med et 5 5 strukturelement kan gjøres som to pass av en med et 3 3 strukturelement. Copyright Lars Aurdal, NTNU/NR 38 Copyright Lars Aurdal, NTNU/NR 39

11 Øving 4: Komposisjon Dette kan gjøres ennå bedre: I øving 4 tar vi for oss komposisjon. Bildet vi skal bruke for å studere dette er vist under: B1 B2 δb2(b1) Figur 14: To elementære strukturelementer og resultatet av å dilatere det ene med det andre. Figur 15: Bilde til bruk i øving 4. Copyright Lars Aurdal, NTNU/NR 40 Copyright Lars Aurdal, NTNU/NR 41 Øving 4: Dilasjon Øving 5 Illustrer komposisjon av strukturelementer ved hjelp av et eksempel. I bildet under ser du et bilde av karbonfiber-epoxy blanding. Legg merke til at fibrene stort sett er orientert i en retning. Men ikke alle fibrene er orientert slik. Figur 16: Karbonfiber-epoxy blanding. Copyright Lars Aurdal, NTNU/NR 42 Copyright Lars Aurdal, NTNU/NR 43

12 Øving 5 Hvordan kan man måle den relative andelen av fibre orientert i forskjellige retninger i rommet? Det vil si, hvordan kan man lage et plot noe i retning av følgende: Figur 17: Relativ fordeling av karbonfibre i 12 ulike retninger i rommet. Ordningsrelasjoner: Erosjonen av et bilde med et strukturelement er mindre enn eller likt en av samme bilde med samme strukturelement. Men erosjon er ikke en anti-ekstensiv transformasjon og er ikke en ekstensiv transformasjon. Dette er lett å se ved å bruke strukturelementer som ikke inneholder sitt origo. Merk at dersom strukturelementet B inneholder sitt origo gjelder: ε B I δ B B inneholder sitt origo Copyright Lars Aurdal, NTNU/NR 44 Copyright Lars Aurdal, NTNU/NR 45 Lokal kunnskap: Figur 18: Et binært bilde f, et strukturelement B som ikke inneholder sitt origo og resultatet av en erosjon av f med B. Når strukturelementet passer i definisjonsdomenet til bildet opptrer ingen kanteffekter. Det subsettet av definisjonsdomenet der kantene ikke har noen innflytelse på resultatet er definisjonsdomenet erodert med strukturelementet vi betrakter: ε B ( f D f ) ε B (D f ) = ε B ( f ) ε B (D f ) δ B ( f D f ) δ B (D f ) = δ B ( f ) ε B (D f ) Copyright Lars Aurdal, NTNU/NR 46 Copyright Lars Aurdal, NTNU/NR 47

13 Dimensjonalitet: Dimensjonalitet for erosjon og avhenger av om vi bruker flate eller ikke flate strukturelementer. For en ukjent skalering av intensitetsaksen er og erosjon med flate strukturelementer dimensjonale operasjoner. For en ukjent skalering av bildeplanet er hverken erosjon eller med flate eller ikke flate strukturelementer dimensjonale operasjoner. n erosjoner av et sett X med et strukturelement som vist i figuren under er det samme som terskling av den tilsvarende avstandsfunksjonen beregnet på X for alle verdier større enn n: ε n = {x X D 4 (x) > n} = T [n+1,tmax ][D 4 (X)] ε n = {x X D 8 (x) > n} = T [n+1,tmax ][D 8 (X)] Figur 19: Strukturelementene betegnet og i ligningene over. Copyright Lars Aurdal, NTNU/NR 48 Copyright Lars Aurdal, NTNU/NR 49 Erosjon og,- nok et sidesprang En gradient i et bilde er en region i bildet der gråtoneverdiene endrer seg (relativt raskt). I bilder av naturlige scener skjer slike endringer ofte langs grensene av strukturer i scenen. Figur 20: Et sett X, dettes D 4 avstandstransformasjon og resultatet av en terskling av avstandskartet ved nivå lik 21. Avstand er her beregnet innover i gruppen av hvite piksler fra nærmeste svarte piksel. I bildebehandling har det derfor lenge vært antatt at informasjon om disse gradientene og deres posisjon i bildet var viktige for tolkningen av bildet. Det finnes også indisier på at gradientinformasjon er en sentral komponent i det menneskelige synssystemet. Copyright Lars Aurdal, NTNU/NR 50 Copyright Lars Aurdal, NTNU/NR 51

14 Erosjon og,- nok et sidesprang Erosjon og,- nok et sidesprang Gradientoperatorer og ulike algoritmer for å detektere kanter i bilder har vært gjenstand for ufattelig mye forskning. Den klassiske operatoren for å finne gradienter i bilder er de såkalte Sobel-operatorene. Sobel-operatorene er fire masker som bildet konvolveres med, resultatet er et nytt bildet der kantene er forsterket. S1 = , S2 = Figur 21: Opprinnelig bilde, resultat av anvendelse av Sobel-operatorene S 1 og S 2 samt addisjon av disse resultatene. Copyright Lars Aurdal, NTNU/NR 52 Copyright Lars Aurdal, NTNU/NR 53 Erosjon og,- nok et sidesprang Erosjon og,- nok et sidesprang Morfologiske gradientoperatorer er et alternativ til de klassiske operatorene for beregning av gradienter. Morfologiske gradientoperatorer er morfologiske operatorer som forsterker variasjoner i pikselintensitet i et nabolag definert av strukturelementet. Husk: Erosjon og returnerer, for en bestemt piksel, henholdsvis min og max av bildet f i et nabolag definert av strukturelementet rundt det aktuelle pikslet. På grunn av dette er det derfor naturlig å definere de morfologiske gradientoperatorene på bakgrunn av kombinasjoner av erosjonog soperatorene. Tre ulike kombinasjoner benyttes ofte: Differansen mellom en og erosjonen av bildet f. Differansen mellom en av bildet f og f selv. Differansen mellom f og erosjonen av bildet f. Man benytter bare symmetriske strukturelementer som inneholder sitt origo (dermed blir differansene ikke-negative). Copyright Lars Aurdal, NTNU/NR 54 Copyright Lars Aurdal, NTNU/NR 55

15 Erosjon og,- nok et sidesprang Erosjon og,- nok et sidesprang Den grunnleggende morfologiske gradienten kalles Beuchergradienten. Den er definert som differansen av en og erosjonen av bildet f med strukturelementet B. Den betegnes ρ: ρ B = δ B ε B Figur 22: Opprinnelig bilde og Beucher-gradienten for dette bildet. Merk at Beucher-gradienten er invariant overfor komplementering: φ = ρc. Det er derfor en selvkomplementær operator. Copyright Lars Aurdal, NTNU/NR 56 Copyright Lars Aurdal, NTNU/NR 57 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Disse operatorene er enkle sammensetninger av erosjon og. Motivasjonen er som følger: Erosjon av et bilde vil fjerne alle strukturer som ikke kan inneholde strukturelementet. Men også alle andre strukturer vil bli krympet av erosjonen. Dersom vi gjør en en erosjon og så en av et bilde med samme strukturelement vil de strukturene som overlever erosjonen bli gjenskapt av en. Åpningen γ av et bilde f med strukturelement B betegnes γ B ( f ). Åpningen γ B ( f ) er definert som erosjonen av f med strukturelementet B etterfulgt av en av f med det transponerte strukturelementet ˇB: γ B ( f )=δ ˇB [ε B( f )] Dette er en morfologisk åpning. Den omvendte prosessen, først, etterfulgt av erosjon med samme strukturelement kalles en morfologisk lukning. Copyright Lars Aurdal, NTNU/NR 58 Copyright Lars Aurdal, NTNU/NR 59

16 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Åpningen av et sett X med et strukturelement B kan uttrykkes som unionen av alle strukturelementer som passer i settet: X B γ B (X) B γ B (X)= {B B X} X Figur 23: Et sett, et strukturelement og resultatet av åpning av settet med strukturelementet. Copyright Lars Aurdal, NTNU/NR 60 Copyright Lars Aurdal, NTNU/NR 61 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Lukningen av et bilde f med strukturelementet B betegnes φ B ( f ). Lukningen φ B ( f ) er definert som en av f med strukturelementet B etterfulgt av erosjonen av f med det transponerte strukturelementet ˇB: φ B ( f )=ε ˇB [δ B( f )] Figur 24: Tersklet bilde av bergart og resultatet av en erosjon og en av erosjonen (åpningen). Copyright Lars Aurdal, NTNU/NR 62 Copyright Lars Aurdal, NTNU/NR 63

17 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Lukningen av et sett X med et strukturelement B kan uttrykkes som komplementet av unionen av alle strukturelementer som passer i komplementet av settet (settets bakgrunn): X B φ B (X) B φ B (X)=[ {B B X C }] C X Figur 25: Et sett, et strukturelement og resultatet av lukning av settet med strukturelementet. Copyright Lars Aurdal, NTNU/NR 64 Copyright Lars Aurdal, NTNU/NR 65 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Dualitet: En åpning fjerner forgrunnspiksler som ikke kan dekkes av translaterte versjoner av strukturelementet som passer i forgrunnen. En lukning har motsatt effekt: Den legger til de bakgrunnspikslene som ikke kan dekkes av translaterte versjoner av strukturelementet som passer i bakgrunnen. Åpningen av et bilde er ekvivalent med komplementet av lukningen av komplementet av bildet: γ B = C φ B C Ordningsrelasjoner: Åpning er en antiekstensiv transformasjon (piksler fjernes). Lukning er en ekstensiv transformasjon (piksler legges til). Derfor gjelder følgende relasjon: γ I φ Av dette følger at dersom vi beregner den aritmetiske differansen mellom inputbildet og dets åpning finner vi de pikslene som ble endret av åpningen. Copyright Lars Aurdal, NTNU/NR 66 Copyright Lars Aurdal, NTNU/NR 67

18 Morfologiske operatorer, åpning og lukning Morfologiske operatorer, åpning og lukning Økning: Både åpning og lukning er økende transformasjoner: { γ( f ) γ(g) f g φ( f ) φ(g) Åpning og lukning bevarer derfor ordningen mellom bilder Idempotens: Gjentatte anvendelser av åpning og lukning gir ingen endringer i resultatet. Begge transformasjonene er idempotente: γγ = γ φφ = φ Copyright Lars Aurdal, NTNU/NR 68 Copyright Lars Aurdal, NTNU/NR 69 Morfologiske operatorer, flosshatt (top-hat) transformasjoner Morfologiske operatorer, flosshatt (top-hat) transformasjoner Flosshattransformasjonen under åpning 1 er definert som differansen mellom bildet f og dets åpning: det vil si at WTH = I γ. WTH( f )= f γ( f ) Flosshatttransformasjonen under lukning 2 er definert som differansen mellom bildet f s lukning og bildet selv: det vil si at BT H = φ I. BT H( f )=φ( f ) f 1 også kalt hvit flosshattransformasjonen 2 også kalt svart flosshattransformasjonen Copyright Lars Aurdal, NTNU/NR 70 Copyright Lars Aurdal, NTNU/NR 71

19 Morfologiske operatorer, flosshatt (top-hat) transformasjoner Morfologiske operatorer, flosshatt (top-hat) transformasjoner Figur 26: 1D signal f og dets åpning γ (med B) samt resultatet av en flosshattransformasjon under åpning av f. Figur 27: 1D signal f og dets lukning φ (med B) samt resultatet av en flosshattransformasjon under lukning av f. Copyright Lars Aurdal, NTNU/NR 72 Copyright Lars Aurdal, NTNU/NR 73 Morfologiske operatorer, flosshatt (top-hat) transformasjoner Øving 6 Summen av den hvite og svarte flosshatten er en operator som trekker ut alle strukturer i bildet som ikke kan inneholde strukturelementet uansett hva som er deres relative kontrast til omkringliggende strukturer. Den hvite flosshatt-transformasjonen er svært viktig i forbindelse med bilder der belysningen har vært ujevn. Denne operatoren kalles den selvkomplementære flosshatten. Den betegnes ρ og kan beregnes som differansen mellom lukningen og åpningen av bildet: ρ = WTH+ BT H = φ γ Figur 28: Ujevnt belyst scene. Copyright Lars Aurdal, NTNU/NR 74 Copyright Lars Aurdal, NTNU/NR 75

20 Øving 6 Hvordan kan man trekke ut teksten i bildet til tross for den ujevne belysningen i bildet i forrige slide? Copyright Lars Aurdal, NTNU/NR 76