Matematisk morfologi Lars urdal Norsk regnesentral aurdal@nr.no 9. august 2005 Litt praktisk informasjon.. Historie. Matematisk grunnlag. Fundamentale operatorer: Dilasjon. Erosjon. 1 Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. Kant-uttrekning. Tynning. 2 3 Praktisk informasjon Litt praktisk informasjon.. Historie. Matematisk grunnlag. lle transparentene blir gjort tilgjengelige på kursets web-sider. På kursets web-sider finnes også forslag til øvinger og hvordan disse kan gjøre i Matlab. Pensum er disse foilene. Fundamentale operatorer: Dilasjon. Erosjon. 4 5
Litt praktisk informasjon.. Historie. Matematisk grunnlag. Fundamentale operatorer: Dilasjon. Erosjon. Figur 1: Karbonfiberarmert epoxy. Forstørret tverrsnitt 6 7 Karbonfiber dyppes i en epoxy og vikles på en form. rukes i ekstremt kritiske applikasjoner. Vi ønsker å studere fiberfordelingen i slike bilder. Fargeinformasjonen er ikke vesentlig. Produksjonen er en komplisert prosess: Uniform fiberfordeling. Ingen luftbobler. etc. Strenge krav til materialkontroll. Figur 2: ig=rgb2gray(i) 8 9 Kan terskling alene være nok? Vi terskler for å skille ut fiber og mørke områder. Vi vil prøve en morfologisk rekonstruksjon ved dilasjon? egynn med en erosjon. Figur 3: igt=(ig>150) (ig<90) Figur 4: igte=bwmorph(igt, erode ) 10 11
Utfør en morfologisk rekonstruksjon ved dilasjon. Hva har vi oppnådd så langt? Figur 5: igtr=imreconstruct(igte,igt) Figur 6: Opprinnelig gråtonebilde, båndtersklet og rekonstruert ved dilasjon. 12 13 Fortsatt hull i fibrene. Dette kan (delvis) løses ved en morfologisk lukning. Hva har vi oppnådd så langt? Figur 7: igtrc=imclose(igtr,se) Figur 8: Opprinnelig gråtonebilde, rekonstruert og lukket og konturen overlagret det opprinnelige bildet. 14 15 Men fibrene henger fortsatt sammen. Gjør en watershedtransform på det avstandstransformerte resultatet fra forrige slide. egynn med en avstandstransform. Gjør så en watershedtransform å det avstandstransformerte bildet. Sett etiketter på de ulike fangbassengene. Figur 9: dist=-bwdist(ĩgtrc) Figur 10: dist(ĩgtrc)=-inf;wat=watershed(imhmin(dist,2)); label=label2rgb(wat, jet, w ); 16 17
Sluttresultatet blir: Litt praktisk informasjon.. Historie. Matematisk grunnlag. Figur 11: Opprinnelig gråtonebilde og endelige konturer av fibrene. Fundamentale operatorer: Dilasjon. Erosjon. 18 19 Litt historie Litt historie ildebehandling som fagfelt er ikke spesielt gammelt. Oppsto som disiplin på 60-tallet i forbindelse med det amerikanske romforskningsprogrammet. Den opprinnelig suksessen var enorm og forventningene til dette nye feltet tilsvarende. Matematisk morfologi ble definert på omtrent samme tid i Frankrike. Jean Serra og Georges Matheron studerte porøse media. Slike media er binære i den forstand at et punkt enten tilhører objektet eller ikke. Dette ledet de to til å definere en sett-formalisme for å analysere bilder av slike medier. 20 21 Litt historie Sentralt verk: Eléments pour une théorie des milieux poreux av G. Matheron (1967). Her foreslo Matheron for første gang morfologiske transformasjoner for å analysere geometrien til objekter i binære bilder. Matematisk morfologi har vokst til å bli en betydelig underdisiplin under bildebehandling. Frankrike er fortsatt et sentralt land i denne forskningen. Litt praktisk informasjon.. Historie. Matematisk grunnlag. Fundamentale operatorer: Dilasjon. Erosjon. 22 23
Matematisk grunnlag, setteori Matematisk grunnlag, setteori La være et sett i Z 2. Dersom a =(a 1,a 2 ) er et element i skriver vi: a Dersom a ikke er inneholdt i skriver vi: a / Settet uten noen elementer kalles det tomme settet og betegnes med symbolet /0. Elementene i et sett skrives gjerne i klammer, { }. Settelementene vi skal interessere oss for er koordinater til piksler i bilder. Når vi skriver: C = {w w = d, d D} mener vi at settet C består av alle elementer w slik at w framkommer ved å multiplisere alle elementene i D med 1. 24 25 Matematisk grunnlag, setteori Matematisk grunnlag, setteori Dersom alle elementene i er inneholdt i sies å være et subsett av. Dette skrives: Med unionen av to sett og mener vi settet som består av alle elementer fra enten eller. Dette betegnes: Med snittet av to sett og mener vi settet som består av alle elementer som finnes i både og. Dette betegnes: D = C = 26 27 Matematisk grunnlag, setteori Matematisk grunnlag, setteori To sett sies å være disjunkte eller gjensidig eksklusive dersom de ikke har noen felles elementer: = /0 Komplementet til et sett er settet som består av alle elementer som ikke er inneholdt i. C = {w w / } 28 29
Matematisk grunnlag, setteori Matematisk grunnlag, setteori Differansen til to sett og, betegnet er definert som: = {w w,w / } = C Dette er altså settet av alle elemener som tilhører men ikke. U U C - Figur 12: Settoperasjoner. 30 31 Matematisk grunnlag, setteori Matematisk grunnlag, setteori Refleksjonen av et sett, betegnet ˇ er definert ved: z 1 z 2 ˇ = {w w = b, b } () z Translasjonen av settet med z =(z 1,z 2 ), betegnet () z er definert ved: () z = {c c = a + z, a } Figur 13: Settoperasjoner. 32 33 Matematisk bakgrunn, diskret geometri Matematisk bakgrunn, diskret geometri I det Euklidske rommet er kanten til et sett det settet av punkter som samtidig har naboer i og utenfor settet. Dette kan utvides til diskrete rom dersom vi lar kantpikslene være de pikslene i objektet som har minst en bakgrunnspiksel som nabo, og de bakgrunnspikslene som har minst en objektpiksel som nabo. Dette gir opphav til begrepene indre og ytre kant. Den ytre kanten til et digitalt objekt X er alle bakgrunnspiksler for X med minst en nabo i X. Den indre kanten til et digitalt objekt X er alle piksler i X med minst en nabo i X s bakgrunn. Ytre og indre kanter er komplementære i den forstand at den indre kanten til et objekt X er lik den ytre kanten til komplementet til X. 34 35
Matematisk bakgrunn, diskret geometri Litt praktisk informasjon.. Historie. Matematisk grunnlag. Figur 14: 6 6 diskret, binært bilde, ytre, indre og total kant. Fundamentale operatorer: Dilasjon. Erosjon. 36 37 Fundamentale operatorer, dilasjon Fundamentale operatorer, dilasjon Dersom og er sett i Z 2 er dilasjonen av med, betegnet gitt ved: = {z ( ˇ) z /0)} Denne ligningen er basert på en refleksjon av rundt s origo etterfulgt av en translasjon av dette settet med z. Dilasjonen av med er da settet av alle koordinater dit det reflekterte settet ˇ kan translateres slik at og ˇ overlapper. asert på dette kan definisjonsligningen skrives om slik: = {z [( ˇ z ] )} 38 39 Fundamentale operatorer, dilasjon Fundamentale operatorer, dilasjon Settet omtales normalt som strukturelementet. Det er det settet vi benytter for å analysere med tanke på s form. Dilasjonen av med er da settet av alle koordinater dit det reflekterte settet ˇ kan translateres slik at og ˇ overlapper. asert på dette kan definisjonsligningen skrives om slik: Figur 15: Et sett, et strukturelement og resultat av dilasjon av settet med strukturelementet. = {z [( ˇ z ] )} 40 41
Fundamentale operatorer, erosjon Fundamentale operatorer, dilasjon Dersom og er sett i Z 2 er erosjonen av med, betegnet gitt ved: = {z () z )} Denne ligningen er basert på en translasjon av settet med z. Erosjonen av med er da settet av alle koordinater dit settet kan translateres slik at er inneholdt i. 42 43 Fundamentale operatorer, erosjon Fundamentale operatorer, dilasjon og erosjon Merk at dilasjon og erosjon er duale operatorer med hensyn til sett-komplementering og refleksjon: Figur 16: Et sett, et strukturelement og resultat av erosjon av settet med strukturelementet. ( ) C = C ˇ 44 45 Øving 1: Erosjon Øving 1: Erosjon Generelt om øvingene: På kursets web-sider finnner dere filen morphoex.zip. Pakk denne ut i en katalog. Start Matlab og gå til katalogen. I katalogen ligger nå filer av typen ovingn.m. Ved å skrive ovingn ved matlab kommandoprompten laster dere inn alt som trengs av grunnlagsinformasjon for å kunne gjøre øvingen. Typisk lastes et eller flere bilder etc. Eksempel på øvingsfil: % Dette laster og forbereder bildene for øving 1. i=imread( cfiber.tif ); figure imshow(i) ig=rgb2gray(i); figure imshow(ig) igt=(ig>150) (ig<90); figure imshow(igt) % For å erodere igt kan du benytte en kommando av typen: % %>>igte=bwmorph(igt, erode ); % % Sjekk også kommandoen imerode() 46 47
Øving 1: Erosjon Øving 2: Dilasjon I øving 1 tar vi for oss erosjon. ildene vi skal bruke for å studere dette er vist under. Forsøk å erodere det tersklede bildet med ulike strukturlementer. I øving 2 tar vi for oss dilasjon. ildene vi skal bruke for å studere de samme som for øvingen med erosjon. Forsøk å dilatere det tersklede bildet med ulike strukturlementer. Figur 17: ilder til bruk i øving 1. 48 49 Øving 2: Dilasjon Hva vil det si at to operatorer er duale? Vis med et eksempel at erosjon og dilasjon er duale operatorer. Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Kant-uttrekning. Tynning. 50 51 Sammensatte operatorer, åpning Sammensatte operatorer, åpning Dersom og er sett i Z 2 er åpningen av med, betegnet gitt ved: =( ) Åpningen av med er derfor erosjonen av med etterfulgt av dilasjonen av dette resultatet med. X Figur 18: Et sett, et strukturelement og resultat av åpning av settet med strukturelementet. X 52 53
Sammensatte operatorer, åpning Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Figur 19: Tersklet bilde av bergart og resultatet av en erosjon og en dilasjon av erosjonen (åpningen). Kant-uttrekning. Tynning. 54 55 Sammensatte operatorer, lukning Sammensatte operatorer, lukning Dersom og er sett i Z 2 er lukningen av med, betegnet gitt ved: =( ) Lukningen av med er derfor dilasjonen av med etterfulgt av erosjonen av dette resultatet med. X Figur 20: Et sett, et strukturelement og resultat av lukning av settet med strukturelementet. X 56 57 Hit-or-miss transformen Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Den såkalte hit-or-miss-transformen (HMT-transformen) omfatter bruk av to strukturelementer, det ene må passe objektet man studerer mens det andre må passe objektets bakgrunn. HMT-transformen brukes for eksempel for å finne bestemte nabolagskonfigurasjoner så som isolerte forgrunnspiksler etc. Kant-uttrekning. Tynning. 58 59
Hit-or-miss transformen Hit-or-miss transformen Den grunnleggende ideen bak HMT-transformen består i å trekke ut bestemte piksler med helt definerte nabolagskonfigurasjoner fra binære bilder. De aktuelle nabolagskonfigurasjonene defineres ved to strukturelementer. Det første av disse strukturelementene må passe den aktuelle konfigurasjonen mens det andre må passe konfigurasjonens bakgrunn. Figur 21: Sammensatte strukturelementer for deteksjon av isolerte forgrunnspiksler i henholdsvis 4- og 8-konnektivitet. egge disse strukturelementene har ett unikt origo. 60 61 Hit-or-miss transformen Hit-or-miss transformen La være et sett i Z 2. La være det sammensatte strukturelementet bestående av elementene 1 og 2. Hit-or-miss transformen av med er da betegnet og gitt ved: =( 1 ) ( C 2 ) Ved å benytte det faktum at erosjon og dilasjon er duale operatorer kan vi omskrive denne ligningen slik: =( 1 ) ( ˇ 2 ) Den første definisjonen er den mest intuitive. 62 63 Hit-or-miss transformen Hit-or-miss transformen For å utføre en HMT-transform flyttes origo for det sammensatte strukturelementet til alle piksler i det aktuelle bildet. I hver posisjon undersøkes det om det første strukturelementet passer i den posisjonen samtidig som det andre strukturelementet ikke passer i samme posisjon (det vil is at det andre strukturelementet passer i bakgrunnen). Husk: 1 og 2 må ha felles origo. 1 og 2 må ikke overlappe, det vil si: 1 2 = /0 hvis ikke vil resultatet av en HMT alltid være det tomme settet /0. lle piksler der dette er tilfelle tilhører det HMT-transformerte settet. 64 65
Hit-or-miss transformen Hit-or-miss transformen 2 1 HMT(X,) Figur 22: HMT av et sett X med et sammensatt strukturelement. nvendelser: Isolerte piksler: Isolerte piksler er definert som forgrunnspiksler uten noen forgrunnspiksler blant sine naboer. For å finne disse velges 1 lik en enkeltstående piksel og 2 dennes naboer. Endepunkter: Endepunkter er definert som forgrunnspiksler som har minst en forgrunnspiksel blant sine naboer. 66 67 Hit-or-miss transformen Hit-or-miss transformen nvendelser: Multiple punkter: Multiple punkter er definert som forgrunnspiksler som har mer enn to forgrunnspiksler blant sine naboer. Konturpunkter: Konturpunkter er forgrunnspiksler som har minst en bakgrunnspiksel blant sine naboer. Figur 23: Inputbilde, strukturelementer for å finne 4-sammenhengende endepunkter og resultatet av en HMT med de fire strukturelementsettene. 68 69 Kant-uttrekning Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Kant-uttrekning. Tynning. Husk fra diskusjonen om diskret geometri at et diskret sett har en ytre, indre og total kant. Gonzalez betegner den indre kanten til et diskret sett kanten til settet og betegner denne β(). Denne kan beregnes som: β()= ( ) der er et egnet strukturelement. 70 71
Øving 3: Kant-uttrekking I øving 3 tar vi for oss kant-uttrekking. ildene vi skal bruke for å studere er de samme som for øvingen med erosjon. Forsøk å beregne kantene (det vil si de indre kantene) i det tersklede bildet med ulike strukturlementer. Sammensatte operatorer: Åpning. Lukning. Hit-or-miss transformen. Kant-uttrekning. Tynning. 72 73 Tynning Tynning Tynning: Tynning består i å fjerne alle forgrunnspiksler som har en eller annen bestemt konfigurasjon. I praksis vil det si at man trekker HMT fra det opprinnelige settet. Dersom er settet vi betrakter og strukturelementet kan tynningen av med uttrykkes: = ( )= ( ) C I praksis utføres tynningene i sekvens med strukturelement valgt fra et sett strukturelementer = { 1, 2,... n }. Ofte er disse strukturelementene rotasjoner av et gitt strukturelement. Denne prosessen kalles sekvensiell tynning. Den sekvensielle tynningen av settet med settet av strukturelementer {} er gitt ved: {} =((...(( 1 ) 2 )...) n ) Tynningen fortsetter inntil stabilitet oppnås. 74 75 Tynning Tynning Teknikken består altså iå tynne først med 1, deretter tynnes resultatet av denne prosessen med 2 etc. Tynningen fortsettes ofte repetitivt inntil stabilitet oppnås. Sekvensiell tynning kan gjøres med sekvensen av strukturelementer gitt i figuren under: 1 2 3 4 5 6 7 8 Figur 24: Mulige sammensatte strukturelementer som brukes for sekvensiell tynning. 76 77
Hit-or-miss transformen og skjeletter Øving 4 eregn skjelettene til bokstavene vist i forrige slide (og vis hvordan det gjøres) Figur 25: To ulike penner brukt til å skrive bokstaven a samt de resulterende skjelettene. 78 79 Gråtonebilder Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. Vi vil utvide den matematiske morfologien til å omfatte gråtonebilder. Vi skal betrakte bilder f (x,y) og strukturelementer b(x,y) der strukturelementet er et gråtonebilde selv. Disse funksjonene er diskrete i den forstand at koordinatene (x,y) er hentet fra Z Z og at f og b er funksjoner som assosierer med hver koordinat (x,y) enten et reelt tall fra R eller (normalt) et heltall fra Z. 80 81 Gråtonebilder, dilasjon og erosjon Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. Dilasjon av f med b, betegnet f b er definert som: ( f b)(s,t)=max{ f (s x,t y)+b(x,y) (s x),(t y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. 82 83
Gråtonebilder, dilasjon og erosjon Gråtonebilder, dilasjon og erosjon N: Gonzalez Woods er nokså vag akkurat på dette stoffet. Spesielt er figur 9.27 i Gonzalez Woods feil. Sjekk http://www.imageprocessingbook.com/ under avsnittet Downloads, Errata Sheet for the 2nd ed. I praksis brukes stort sett bare flate strukturelementer ved morfologiske operasjoner på gråtonebilder. Typisk vil dette si at bildet b er null over hele sitt definisjonsdomene D b. Dette forenkler definisjonsligningen betraktelig. 84 85 Gråtonebilder, dilasjon og erosjon Gråtonebilder, dilasjon og erosjon Husk at dilasjonen av f med b, betegnet f b er definert som: ( f b)(s,t)=max{ f (s x,t y)+b(x,y) (s x),(t y) D f ;(x,y) D b } Den nye definisjonen av dilasjon: ( f b)(s,t)=max{ f (s x,t y) (s x),(t y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. Med forandringen vi diskuterte over forenkles dette til: koker ned til å erstatte pikselen under origo i strukturelementet med max-verdien av bildet f over definisjonsdomenet til strukturelementet. ( f b)(s,t)=max{ f (s x,t y) (s x),(t y) D f ;(x,y) D b } 86 87 Gråtonebilder, dilasjon og erosjon Gråtonebilder, dilasjon og erosjon Erosjon av f med b, betegnet f b er definert som: ( f b)(s,t)=min{ f (s+x,t +y) b(x,y) (s+x),(t +y) D f ;(x,y) D b } Husk at erosjonen av f med b, betegnet f b er definert som: ( f b)(s,t)=min{ f (s+x,t +y) b(x,y) (s+x),(t +y) D f ;(x,y) D b } der D f og D b er definisjonsdomenene til f og b respektive. der D f og D b er definisjonsdomenene til f og b respektive. Med forandringen vi diskuterte over (flatt strukturelement) forenkles dette til: ( f b)(s,t)=min{ f (s + x,t + y) (s + x),(t + y) D f ;(x,y) D b } 88 89
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 15 30 45 60 75 90 105 120 135 150 165 Gråtonebilder, dilasjon og erosjon Øving 5 Den nye definisjonen av erosjon: ( f b)(s,t)=min{ f (s + x,t + y) (s + x),(t + y) D f ;(x,y) D b } I bildet under ser du et bilde av karbonfiber-epoxy blanding. Legg merke til at fibrene stort sett er orientert i en retning. Men ikke alle fibrene er orientert slik. koker ned til å erstatte pikselen under origo i strukturelementet med min-verdien av bildet f over definisjonsdomenet til struktuelementet. Figur 26: Karbonfiber-epoxy blanding. 90 91 Øving 5 Hvordan kan man måle den relative andelen av fibre orientert i forskjellige retninger i rommet? Det vil si, hvordan kan man lage et plot noe i retning av følgende: Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. Figur 27: Relativ fordeling av karbonfibre i 12 ulike retninger i rommet. 92 93 Gråtonebilder, åpning og lukning Åpningen av et bilde f med bildet b er gitt ved: f b =(f b) b Lukningen av et bilde f med bildet b er gitt ved: Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. f b =(f b) b 94 95
Gråtonebilder, morfologiske gradienter Gråtonebilder, morfologiske gradienter En gradient i et bilde er en region i bildet der gråtoneverdiene endrer seg (relativt raskt). I bilder av naturlige scener skjer slike endringer ofte langs grensene av strukturer i scenen. I bildebehandling har det derfor lenge vært antatt at informasjon om disse gradientene og deres posisjon i bildet var viktige for tolkningen av bildet. Det finnes også indisier på at gradientinformasjon er en sentral komponent i det menneskelige synssystemet. Gradientoperatorer og ulike algoritmer for å detektere kanter i bilder har vært gjenstand for ufattelig mye forskning. Den klassiske operatoren for å finne gradienter i bilder er de såkalte Sobel-operatorene. Sobel-operatorene er fire masker som bildet konvolveres med, resultatet er et nytt bildet der kantene er forsterket. S1 = 1 0 1 2 0 2, S2 = 1 0 1 1 2 1 0 0 0 1 2 1 96 97 Gråtonebilder, morfologiske gradienter Gråtonebilder, morfologiske gradienter Morfologiske gradientoperatorer er et alternativ til de klassiske operatorene for beregning av gradienter. Morfologiske gradientoperatorer er morfologiske operatorer som forsterker variasjoner i pikselintensitet i et nabolag definert av strukturelementet. Figur 28: Opprinnelig bilde, resultat av anvendelse av Sobel-operatorene S 1 og S 2 samt addisjon av disse resultatene. Husk: Erosjon og dilasjon returnerer, for en bestemt piksel, henholdsvis min og max av bildet f i et nabolag definert av strukturelementet rundt det aktuelle pikslet. 98 99 Gråtonebilder, morfologiske gradienter Gråtonebilder, morfologiske gradienter På grunn av dette er det derfor naturlig å definere de morfologiske gradientoperatorene på bakgrunn av kombinasjoner av erosjonog dilasjonsoperatorene. Tre ulike kombinasjoner benyttes ofte: Differansen mellom dilasjonen og erosjonen av bildet f. Differansen mellom dilasjonen av bildet f og f selv. Differansen mellom f og erosjonen av bildet f. Man benytter bare symmetriske strukturelementer som inneholder sitt origo (dermed blir differansene ikke-negative). Den grunnleggende morfologiske gradienten kalles euchergradienten. Den er definert som differansen av dilasjonen og erosjonen av bildet f med strukturelementet. Den betegnes g (i Gonzalez Woods): g =(f b) ( f b) 100 101
Gråtonebilder, morfologiske gradienter Gråtonebilder: Dilasjon/Erosjon. Åpning/Lukning. Morfologiske gradienter. Tophat-transformasjonen. Figur 29: Opprinnelig bilde og eucher-gradienten for dette bildet. 102 103 Flosshatt (top-hat) transformasjonen Øving 6 Flosshattransformasjonen (under åpning 1 ) er definert som differansen mellom bildet f og dets åpning: Flosshatt-transformasjonen er svært viktig i forbindelse med bilder der belysningen har vært ujevn. h = f ( f b) 1 også kalt hvit flosshattransformasjonen Figur 30: Ujevnt belyst scene. 104 105 Øving 6 Hvordan kan man trekke ut teksten i bildet til tross for den ujevne belysningen i bildet i forrige slide? 106