Matematisk morfologi NTNU

Matematisk morfologi Lars Aurdal Norsk regnesentral aurdal@nr.no 19. april 2004

Oversikt, matematisk morfologi Litt praktisk informasjon. Motivasjon. Historie. Matematisk grunnlag. Fundamentale operatorer: Dilasjon. Erosjon. 1

Oversikt, matematisk morfologi Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Kant-uttrekning. Tynning. 2

Oversikt, matematisk morfologi Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. 3

Praktisk informasjon Alle transparentene blir gjort tilgjengelige på kursets web-sider. På kursets web-sider finnes også forslag til øvinger og hvordan disse kan gjøre i Matlab. Pensum er i sin helhet dekket av kursboka. Endelig pensum oppgis senere. 5

Motivasjon Figur 1: Karbonfiberarmert epoxy. Forstørret tverrsnitt 7

Motivasjon Karbonfiber dyppes i en epoxy og vikles på en form. Brukes i ekstremt kritiske applikasjoner. Produksjonen er en komplisert prosess: Uniform fiberfordeling. Ingen luftbobler. etc. Strenge krav til materialkontroll. 8

Motivasjon Vi ønsker å studere fiberfordelingen i slike bilder. Fargeinformasjonen er ikke vesentlig. Figur 2: ig=rgb2gray(i) 9

Motivasjon Kan terskling alene være nok? Vi terskler for å skille ut fiber og mørke områder. Figur 3: igt=(ig>150) (ig<90) 10

Motivasjon Vi vil prøve en morfologisk rekonstruksjon ved dilasjon? Begynn med en erosjon. Figur 4: igte=bwmorph(igt, erode ) 11

Motivasjon Utfør en morfologisk rekonstruksjon ved dilasjon. Figur 5: igtr=imreconstruct(igte,igt) 12

Motivasjon Hva har vi oppnådd så langt? Figur 6: Opprinnelig gråtonebilde, båndtersklet og rekonstruert ved dilasjon. 13

Motivasjon Fortsatt hull i fibrene. Dette kan (delvis) løses ved en morfologisk lukning. Figur 7: igtrc=imclose(igtr,se) 14

Motivasjon Hva har vi oppnådd så langt? Figur 8: Opprinnelig gråtonebilde, rekonstruert og lukket og konturen overlagret det opprinnelige bildet. 15

Motivasjon Men fibrene henger fortsatt sammen. Gjør en watershedtransform på det avstandstransformerte resultatet fra forrige slide. Begynn med en avstandstransform. Figur 9: dist=-bwdist(ĩgtrc) 16

Motivasjon Gjør så en watershedtransform å det avstandstransformerte bildet. Sett etiketter på de ulike fangbassengene. Figur 10: dist(ĩgtrc)=-inf;wat=watershed(imhmin(dist,2)); label=label2rgb(wat, jet, w ); 17

Motivasjon Sluttresultatet blir: Figur 11: Opprinnelig gråtonebilde og endelige konturer av fibrene. 18

Litt historie Bildebehandling som fagfelt er ikke spesielt gammelt. Oppsto som disiplin på 60-tallet i forbindelse med det amerikanske romforskningsprogrammet. Den opprinnelig suksessen var enorm og forventningene til dette nye feltet tilsvarende. 20

Litt historie Matematisk morfologi ble definert på omtrent samme tid i Frankrike. Jean Serra og Georges Matheron studerte porøse media. Slike media er binære i den forstand at et punkt enten tilhører objektet eller ikke. Dette ledet de to til å definere en sett-formalisme for å analysere bilder av slike medier. 21

Litt historie Sentralt verk: Eléments pour une théorie des milieux poreux av G. Matheron (1967). Her foreslo Matheron for første gang morfologiske transformasjoner for å analysere geometrien til objekter i binære bilder. Matematisk morfologi har vokst til å bli en betydelig underdisiplin under bildebehandling. Frankrike er fortsatt et sentralt land i denne forskningen. 22

Matematisk grunnlag, setteori La A være et sett i Z 2. Dersom a =(a 1,a 2 ) er et element i A skriver vi: a A Dersom a ikke er inneholdt i A skriver vi: a / A 24

Matematisk grunnlag, setteori Settet uten noen elementer kalles det tomme settet og betegnes med symbolet /0. Elementene i et sett skrives gjerne i klammer, { }. Settelementene vi skal interessere oss for er koordinater til piksler i bilder. Når vi skriver: C = {w w = d, d D} mener vi at settet C består av alle elementer w slik at w framkommer ved å multiplisere alle elementene i D med 1. 25

Matematisk grunnlag, setteori Dersom alle elementene i A er inneholdt i B sies A å være et subsett av B. Dette skrives: A B Med unionen av to sett A og B mener vi settet som består av alle elementer fra enten A eller B. Dette betegnes: C = A B 26

Matematisk grunnlag, setteori Med snittet av to sett A og B mener vi settet som består av alle elementer som finnes i både A og B. Dette betegnes: D = A B 27

Matematisk grunnlag, setteori To sett sies å være disjunkte eller gjensidig eksklusive dersom de ikke har noen felles elementer: A B = /0 28

Matematisk grunnlag, setteori Komplementet til et sett A er settet som består av alle elementer som ikke er inneholdt i A. A C = {w w / A} 29

Matematisk grunnlag, setteori Differansen til to sett A og B, betegnet A B er definert som: A B = {w w A,w / B} = A B C Dette er altså settet av alle elemener som tilhører A men ikke B. 30

Matematisk grunnlag, setteori A B A B AUB A A B A B U A C A-B Figur 12: Settoperasjoner. 31

Matematisk grunnlag, setteori Refleksjonen av et sett B, betegnet ˇB er definert ved: ˇB = {w w = b, b B} Translasjonen av settet A med z =(z 1,z 2 ), betegnet (A) z er definert ved: (A) z = {c c = a + z, a A} 32

Matematisk grunnlag, setteori z 2 B z 1 (A) z Figur 13: Settoperasjoner. B 33

Matematisk bakgrunn, diskret geometri I det Euklidske rommet er kanten til et sett det settet av punkter som samtidig har naboer i og utenfor settet. Dette kan utvides til diskrete rom dersom vi lar kantpikslene være de pikslene i objektet som har minst en bakgrunnspiksel som nabo, og de bakgrunnspikslene som har minst en objektpiksel som nabo. 34

Matematisk bakgrunn, diskret geometri Dette gir opphav til begrepene indre og ytre kant. Den ytre kanten til et digitalt objekt X er alle bakgrunnspiksler for X med minst en nabo i X. Den indre kanten til et digitalt objekt X er alle piksler i X med minst en nabo i X s bakgrunn. Ytre og indre kanter er komplementære i den forstand at den indre kanten til et objekt X er lik den ytre kanten til komplementet til X. 35

Matematisk bakgrunn, diskret geometri Figur 14: 6 6 diskret, binært bilde, ytre, indre og total kant. 36

Fundamentale operatorer, dilasjon Dersom A og B er sett i Z 2 er dilasjonen av A med B, betegnet A B gitt ved: A B = {z ( ˇB) z A /0)} 38

Fundamentale operatorer, dilasjon Denne ligningen er basert på en refleksjon av B rundt B s origo etterfulgt av en translasjon av dette settet med z. Dilasjonen av A med B er da settet av alle koordinater dit det reflekterte settet ˇB kan translateres slik at A og ˇB overlapper. Basert på dette kan definisjonsligningen skrives om slik: A B = {z [( ˇB z A] A)} 39

Fundamentale operatorer, dilasjon Settet B omtales normalt som strukturelementet. Det er det settet vi benytter for å analysere A med tanke på A s form. Dilasjonen av A med B er da settet av alle koordinater dit det reflekterte settet ˇB kan translateres slik at A og ˇB overlapper. Basert på dette kan definisjonsligningen skrives om slik: A B = {z [( ˇB z A] A)} 40

Fundamentale operatorer, dilasjon B B A A A A Figur 15: Et sett, et strukturelement og resultat av dilasjon av settet med strukturelementet. 41

Fundamentale operatorer, erosjon Dersom A og B er sett i Z 2 er erosjonen av A med B, betegnet A B gitt ved: A B = {z (B) z A)} 42

Fundamentale operatorer, dilasjon Denne ligningen er basert på en translasjon av settet B med z. Erosjonen av A med B er da settet av alle koordinater dit settet B kan translateres slik at B er inneholdt i A. 43

Fundamentale operatorer, erosjon B B A A A A Figur 16: Et sett, et strukturelement og resultat av erosjon av settet med strukturelementet. 44

Fundamentale operatorer, dilasjon og erosjon Merk at dilasjon og erosjon er duale operatorer med hensyn til sett-komplementering og refleksjon: (A B) C = A C ˇB 45

Øving 1: Erosjon Generelt om øvingene: På kursets web-sider finnner dere filen morphoex.zip. Pakk denne ut i en katalog. Start Matlab og gå til katalogen. I katalogen ligger nå filer av typen ovingn.m. Ved å skrive ovingn ved matlab kommandoprompten laster dere inn alt som trengs av grunnlagsinformasjon for å kunne gjøre øvingen. Typisk lastes et eller flere bilder etc. 46

Øving 1: Erosjon Eksempel på øvingsfil: % Dette laster og forbereder bildene for øving 1. i=imread( cfiber.tif ); figure imshow(i) ig=rgb2gray(i); figure imshow(ig) igt=(ig>150) (ig<90); figure imshow(igt) % For å erodere igt kan du benytte en kommando av typen: % %>>igte=bwmorph(igt, erode ); % % Sjekk også kommandoen imerode() 47

Øving 1: Erosjon I øving 1 tar vi for oss erosjon. Bildene vi skal bruke for å studere dette er vist under. Forsøk å erodere det tersklede bildet med ulike strukturlementer. Figur 17: Bilder til bruk i øving 1. 48

Øving 2: Dilasjon I øving 2 tar vi for oss dilasjon. Bildene vi skal bruke for å studere de samme som for øvingen med erosjon. Forsøk å dilatere det tersklede bildet med ulike strukturlementer. 49

Øving 2: Dilasjon Hva vil det si at to operatorer er duale? Vis med et eksempel at erosjon og dilasjon er duale operatorer. 50

Sammensatte operatorer, åpning Dersom A og B er sett i Z 2 er åpningen av A med B, betegnet A B gitt ved: A B =(A B) B Åpningen av A med B er derfor erosjonen av A med B etterfulgt av dilasjonen av dette resultatet med B. 52

Sammensatte operatorer, åpning B B A A X X Figur 18: Et sett, et strukturelement og resultat av åpning av settet med strukturelementet. 53

Sammensatte operatorer, åpning Figur 19: Tersklet bilde av bergart og resultatet av en erosjon og en dilasjon av erosjonen (åpningen). 54

Sammensatte operatorer, lukning Dersom A og B er sett i Z 2 er lukningen av A med B, betegnet A B gitt ved: A B =(A B) B Lukningen av A med B er derfor dilasjonen av A med B etterfulgt av erosjonen av dette resultatet med B. 56

Sammensatte operatorer, lukning B B A A X X Figur 20: Et sett, et strukturelement og resultat av lukning av settet med strukturelementet. 57

Hit-or-miss transformen Den såkalte hit-or-miss-transformen (HMT-transformen) omfatter bruk av to strukturelementer, det ene må passe objektet man studerer mens det andre må passe objektets bakgrunn. HMT-transformen brukes for eksempel for å finne bestemte nabolagskonfigurasjoner så som isolerte forgrunnspiksler etc. 59

Hit-or-miss transformen Den grunnleggende ideen bak HMT-transformen består i å trekke ut bestemte piksler med helt definerte nabolagskonfigurasjoner fra binære bilder. De aktuelle nabolagskonfigurasjonene defineres ved to strukturelementer. Det første av disse strukturelementene må passe den aktuelle konfigurasjonen mens det andre må passe konfigurasjonens bakgrunn. Begge disse strukturelementene har ett unikt origo. 60

Hit-or-miss transformen Figur 21: Sammensatte strukturelementer for deteksjon av isolerte forgrunnspiksler i henholdsvis 4- og 8-konnektivitet. 61

Hit-or-miss transformen La A være et sett i Z 2. La B være det sammensatte strukturelementet bestående av elementene B 1 og B 2. Hit-or-miss transformen av A med B er da betegnet A B og gitt ved: A B =(A B 1 ) (A C B 2 ) 62

Hit-or-miss transformen Ved å benytte det faktum at erosjon og dilasjon er duale operatorer kan vi omskrive denne ligningen slik: A B =(A B 1 ) (A ˇ B 2 ) Den første definisjonen er den mest intuitive. 63

Hit-or-miss transformen For å utføre en HMT-transform flyttes origo for det sammensatte strukturelementet til alle piksler i det aktuelle bildet. I hver posisjon undersøkes det om det første strukturelementet passer i den posisjonen samtidig som det andre strukturelementet ikke passer i samme posisjon (det vil is at det andre strukturelementet passer i bakgrunnen). Alle piksler der dette er tilfelle tilhører det HMT-transformerte settet. 64

Hit-or-miss transformen Husk: B 1 og B 2 må ha felles origo. B 1 og B 2 må ikke overlappe, det vil si: B 1 B2 = /0 hvis ikke vil resultatet av en HMT alltid være det tomme settet /0. 65

Hit-or-miss transformen B B2 B1 A A HMT(X,B) Figur 22: HMT av et sett X med et sammensatt strukturelement B. 66

Hit-or-miss transformen Anvendelser: Isolerte piksler: Isolerte piksler er definert som forgrunnspiksler uten noen forgrunnspiksler blant sine naboer. For å finne disse velges B 1 lik en enkeltstående piksel og B 2 dennes naboer. Endepunkter: Endepunkter er definert som forgrunnspiksler som har minst en forgrunnspiksel blant sine naboer. 67

Hit-or-miss transformen Figur 23: Inputbilde, strukturelementer for å finne 4-sammenhengende endepunkter og resultatet av en HMT med de fire strukturelementsettene. 68

Hit-or-miss transformen Anvendelser: Multiple punkter: Multiple punkter er definert som forgrunnspiksler som har mer enn to forgrunnspiksler blant sine naboer. Konturpunkter: Konturpunkter er forgrunnspiksler som har minst en bakgrunnspiksel blant sine naboer. 69

Kant-uttrekning Husk fra diskusjonen om diskret geometri at et diskret sett har en ytre, indre og total kant. Gonzalez betegner den indre kanten til et diskret sett A kanten til settet og betegner denne β(a). Denne kan beregnes som: β(a)=a (A B) der B er et egnet strukturelement. 71

Øving 3: Kant-uttrekking I øving 3 tar vi for oss kant-uttrekking. Bildene vi skal bruke for å studere er de samme som for øvingen med erosjon. Forsøk å beregne kantene (det vil si de indre kantene) i det tersklede bildet med ulike strukturlementer. 72

Tynning Tynning: Tynning består i å fjerne alle forgrunnspiksler som har en eller annen bestemt konfigurasjon. I praksis vil det si at man trekker HMT fra det opprinnelige settet. Dersom A er settet vi betrakter og B strukturelementet kan tynningen av A med B uttrykkes: A B = A (A B)=A (A B) C 74

Tynning I praksis utføres tynningene i sekvens med strukturelement valgt fra et sett strukturelementer B = {B 1,B 2,...B n }. Ofte er disse strukturelementene rotasjoner av et gitt strukturelement. Denne prosessen kalles sekvensiell tynning. Den sekvensielle tynningen av settet A med settet av strukturelementer {B} er gitt ved: A {B} =((...((A B 1 ) B 2 )...) B n ) Tynningen fortsetter inntil stabilitet oppnås. 75

Tynning Teknikken består altså iå tynne A først med B 1, deretter tynnes resultatet av denne prosessen med B 2 etc. Tynningen fortsettes ofte repetitivt inntil stabilitet oppnås. 76

Tynning Sekvensiell tynning kan gjøres med sekvensen av strukturelementer gitt i figuren under: B 1 B 2 B 3 B 4 B 5 B 6 B 7 B 8 Figur 24: Mulige sammensatte strukturelementer som brukes for sekvensiell tynning. 77

Hit-or-miss transformen og skjeletter Figur 25: To ulike penner brukt til å skrive bokstaven a samt de resulterende skjelettene. 78

Øving 4 Beregn skjelettene til bokstavene vist i forrige slide (og vis hvordan det gjøres) 79

Gråtonebilder Vi vil utvide den matematiske morfologien til å omfatte gråtonebilder. Vi skal betrakte bilder f (x,y) og strukturelementer b(x,y) der strukturelementet er et gråtonebilde selv. Disse funksjonene er diskrete i den forstand at koordinatene (x, y) er hentet fra Z Z og at f og b er funksjoner som assosierer med hver koordinat (x,y) enten et reelt tall fra R eller (normalt) et heltall fra Z. 81

Gråtonebilder, dilasjon og erosjon Dilasjon av f med b, betegnet f b er definert som: ( f b)(s,t)=max{ f (s x,t y)+b(x,y) (s x),(t y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. 83

Gråtonebilder, dilasjon og erosjon NB: Gonzalez Woods er nokså vag akkurat på dette stoffet. Spesielt er figur 9.27 i Gonzalez Woods feil. Sjekk http://www.imageprocessingbook.com/ under avsnittet Downloads, Errata Sheet for the 2nd ed. 84

Gråtonebilder, dilasjon og erosjon I praksis brukes stort sett bare flate strukturelementer ved morfologiske operasjoner på gråtonebilder. Typisk vil dette si at bildet b er null over hele sitt definisjonsdomene D b. Dette forenkler definisjonsligningen betraktelig. 85

Gråtonebilder, dilasjon og erosjon Husk at dilasjonen av f med b, betegnet f b er definert som: ( f b)(s,t)=max{ f (s x,t y)+b(x,y) (s x),(t y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. Med forandringen vi diskuterte over forenkles dette til: ( f b)(s,t)=max{ f (s x,t y) (s x),(t y) D f ;(x,y) D b } 86

Gråtonebilder, dilasjon og erosjon Den nye definisjonen av dilasjon: ( f b)(s,t)=max{ f (s x,t y) (s x),(t y) D f ;(x,y) D b } koker ned til å erstatte pikselen under origo i strukturelementet med max-verdien av bildet f over definisjonsdomenet til strukturelementet. 87

Gråtonebilder, dilasjon og erosjon Erosjon av f med b, betegnet f b er definert som: ( f b)(s,t)=min{ f (s+x,t +y) b(x,y) (s+x),(t +y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. 88

Gråtonebilder, dilasjon og erosjon Husk at erosjonen av f med b, betegnet f b er definert som: ( f b)(s,t)=min{ f (s+x,t +y) b(x,y) (s+x),(t +y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. Med forandringen vi diskuterte over (flatt strukturelement) forenkles dette til: ( f b)(s,t)=min{ f (s + x,t + y) (s + x),(t + y) D f ;(x,y) D b } 89

Gråtonebilder, dilasjon og erosjon Den nye definisjonen av erosjon: ( f b)(s,t)=min{ f (s + x,t + y) (s + x),(t + y) D f ;(x,y) D b } koker ned til å erstatte pikselen under origo i strukturelementet med min-verdien av bildet f over definisjonsdomenet til struktuelementet. 90

Øving 5 I bildet under ser du et bilde av karbonfiber-epoxy blanding. Legg merke til at fibrene stort sett er orientert i en retning. Men ikke alle fibrene er orientert slik. Figur 26: Karbonfiber-epoxy blanding. 91

Øving 5 Hvordan kan man måle den relative andelen av fibre orientert i forskjellige retninger i rommet? Det vil si, hvordan kan man lage et plot noe i retning av følgende: 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 15 30 45 60 75 90 105 120 135 150 165 Figur 27: Relativ fordeling av karbonfibre i 12 ulike retninger i rommet. 92

Gråtonebilder, åpning og lukning Åpningen av et bilde f med bildet b er gitt ved: f b =(f b) b Lukningen av et bilde f med bildet b er gitt ved: f b =(f b) b 94

Gråtonebilder, morfologiske gradienter En gradient i et bilde er en region i bildet der gråtoneverdiene endrer seg (relativt raskt). I bilder av naturlige scener skjer slike endringer ofte langs grensene av strukturer i scenen. I bildebehandling har det derfor lenge vært antatt at informasjon om disse gradientene og deres posisjon i bildet var viktige for tolkningen av bildet. Det finnes også indisier på at gradientinformasjon er en sentral komponent i det menneskelige synssystemet. 96

Gråtonebilder, morfologiske gradienter Gradientoperatorer og ulike algoritmer for å detektere kanter i bilder har vært gjenstand for ufattelig mye forskning. Den klassiske operatoren for å finne gradienter i bilder er de såkalte Sobel-operatorene. Sobel-operatorene er fire masker som bildet konvolveres med, resultatet er et nytt bildet der kantene er forsterket. S1 = 1 0 1 2 0 2 1 0 1, S2 = 1 2 1 0 0 0 1 2 1 97

Gråtonebilder, morfologiske gradienter Figur 28: Opprinnelig bilde, resultat av anvendelse av Sobel-operatorene S 1 og S 2 samt addisjon av disse resultatene. 98

Gråtonebilder, morfologiske gradienter Morfologiske gradientoperatorer er et alternativ til de klassiske operatorene for beregning av gradienter. Morfologiske gradientoperatorer er morfologiske operatorer som forsterker variasjoner i pikselintensitet i et nabolag definert av strukturelementet. Husk: Erosjon og dilasjon returnerer, for en bestemt piksel, henholdsvis min og max av bildet f i et nabolag definert av strukturelementet rundt det aktuelle pikslet. 99

Gråtonebilder, morfologiske gradienter På grunn av dette er det derfor naturlig å definere de morfologiske gradientoperatorene på bakgrunn av kombinasjoner av erosjonog dilasjonsoperatorene. Tre ulike kombinasjoner benyttes ofte: Differansen mellom dilasjonen og erosjonen av bildet f. Differansen mellom dilasjonen av bildet f og f selv. Differansen mellom f og erosjonen av bildet f. Man benytter bare symmetriske strukturelementer som inneholder sitt origo (dermed blir differansene ikke-negative). 100

Gråtonebilder, morfologiske gradienter Den grunnleggende morfologiske gradienten kalles Beuchergradienten. Den er definert som differansen av dilasjonen og erosjonen av bildet f med strukturelementet B. Den betegnes g (i Gonzalez Woods): g =(f b) ( f b) 101

Gråtonebilder, morfologiske gradienter Figur 29: Opprinnelig bilde og Beucher-gradienten for dette bildet. 102

Flosshatt (top-hat) transformasjonen Flosshattransformasjonen (under åpning 1 ) er definert som differansen mellom bildet f og dets åpning: h = f ( f b) 1 også kalt hvit flosshattransformasjonen 104

Øving 6 Flosshatt-transformasjonen er svært viktig i forbindelse med bilder der belysningen har vært ujevn. Figur 30: Ujevnt belyst scene. 105

Øving 6 Hvordan kan man trekke ut teksten i bildet til tross for den ujevne belysningen i bildet i forrige slide? 106