Filtrering i bildedomenet. 2D-konvolusjons-eksempel. 2D-konvolusjon. INF2310 Digital bildebehandling FORELESNING 8

Transkript

1 Fltrerng bldedomenet INF3 Dgtal bldebeandlng FORELESNING 8 REPETISJON: FILTRERING I BILDEDOMENET Andreas Kleppe Fltrerng og konvoluson Lavpassfltrerng og kant-bevarng Høpassfltrerng: Bldeforbedrng og kantdetekson F8.3.3 INF3 Anvendelsen av en operator som beregner ut-bldets verd vert pksel ved bruk av nn-bldets pksler et naboskap rundt. Ut-blde Et nn-blde f g T f Operator Fltrerng 33-mddelverdflter spelende ndekserng og bevart bldestørrelse Inn-blde g angr ut-bldets verd og f angr nn-bldets pksler et naboskap rundt Ut-bldet g F8.3.3 INF3 D-konvoluson Konvoluson av et flter og et blde f: f a satb a b sa t b s t f s t s t f s t evaluert for alle slk at ver verd av overlapper ver verd av f. Responsen er en veet sum av nn-bldets verder. Konvolusonsflteret spesfserer vektene. kan spesfseres som en matrse! b For å forenkle notasonen antar dsse formlene at: ar odde lengder m = a+ og n = b+. Senterpkselet er naboskapets orgo. Konvoluson krever kke dsse antagelsene. /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflter F8.3.3 INF3 3 D-konvolusons-eksempel Oppgave: Konvolver følgende flter og blde: 3 /9 /9 /9 /9 /9 /9 4 /9 /9 / mddelverdflter Inn-blde f F8.3.3 INF3 4

2 D-konvolusons-eksempel Steg : Roter flteret 8 grader. Ikke nødvendg er ettersom flteret er smmetrsk. D-konvolusons-eksempel Steg : Legg det roterte flteret over først posson der flteret og bldet overlapper. /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflteret er smmetrsk /9 /9 /9 /9 /9 /9 /9 /9 / F8.3.3 INF3 5 Inn-blde f F8.3.3 INF3 6 D-konvolusons-eksempel Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet. Responsen er summen av produktene. D-konvolusons-eksempel Steg 4: Genta 3 for neste overlapp. Ikke flere: ferdg! Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet og summer. /9 /9 /9 /9 /9 /9 /9 = /9 /9 /9 /9 /9 /9 /9 /9+3 /9 = 4/9 4 4 /9 /9 /9 3 /9 /9 3 / Inn-blde f Foreløpg ut-bldet g F8.3.3 INF Inn-blde f Foreløpg ut-bldet g F8.3.3 INF3 8

3 D-konvolusons-eksempel forten steg 3 senere: Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet og summer /9 /9 /9 4 /9 5 /9 3 /9 /9 /9 /9 3 6 Inn-blde f 3 /9+ /9+ /9+ 4 /9+5 /9+3 /9+ /9+ /9+ /9 = / Foreløpg ut-bldet g F8.3.3 INF3 9 D-konvolusons-eksempel og etter tue steg 3 tl: Steg 4: Genta 3 for neste overlapp. Ikke flere: ferdg! Løsnngen er: /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflter Inn-blde f F8.3.3 INF3 = Ut-bldet g Hva gør v langs blderanden? Utvd nn-bldet: VANLIG: Med -ere nullutvdelse eng.: zero paddng. Med en annen fast verd. Med nærmeste pkselverd eng.: replcate. Ved bruk av spelende ndekserng eng.: mrror-reflected ndeng. Ved bruk av srkulær ndekserng eng.: crcular ndeng. Sett ut-bldet tl en fast verd: F.eks. g = eller g = f. Ignorer possonene uten overlapp. Identsk resultat som nullutvdelse for konvolusonsfltre. F8.3.3 INF3 Hvor stort skal ut-bldet være? Trunkér ut-bldet Bare beold pksler der ele flteret er nnenfor nn-bldet. Beold nn-bldets størrelse Bare beold pksler der flterorgo er nnenfor nn-bldet. Vanlg når man fltrerer et blde. Langs randen må v gøre en antagelse se folen to før. Utvd nn-bldets størrelse Beold alle pksler der flteret og «nn-bldet» ar overlapp. Svært uvanlg utenom for konvoluson av to fltre. Langs randen må v gøre en antagelse se folen to før. Merk: Dette gelder all fltrerng kke bare konvoluson! F8.3.3 INF3

4 F8.3.3 INF3 3 Lavpassfltre Slpper gennom lave frekvenser og demper eller ferner øe frekvenser. Lav frekvenser = trege varasoner store trender. Høe frekvenser = skarpe kanter stø detaler. me mer om frekvens Fourer-forelesnngene. Effekt: Glattng/utsmørng/«blurrng» av bldet. Tpske mål: Ferne stø fnne større obekter. Utfordrng: Bevare kanter. Mddelverdflter lavpass Beregner mddelverden naboskapet. Alle vektene er lke. Vektene summerer seg tl. Gør at den lokale gennomsnttsverden bevares. Størrelsen på flteret avgør graden av glattng. Stort flter: me glattng utsmørt blde. Lte flter: lte glattng men kanter bevares bedre. F8.3.3 INF F8.3.3 INF3 5 Separable fltre Et flter kalles separabelt vs fltrerngen kan utføres som to sekvenselle D-fltrernger. Fordel: Raskere fltrerng. Geometrsk form: Rektangel nkludert kvadrat. Mddelverdfltre er separable: For 55-naboskap: Beregne én respons for n n-konvolusonsfltre: D-konvoluson: n multplkasoner og n - addsoner. To D-konvolusoner: n multplkasoner og n- addsoner. 5 5 F8.3.3 INF3 6 Approksmason av 33-Gauss-flter G Tlsvarer en geometrsk vektng: Vekten tl et pksel er en funkson av avstanden tl. Nære pksler er mer relevante og gs derfor større vekt.

5 Kant-bevarende støfltrerng Mddelverd eller medan? Ofte lavpassfltrerer v for å ferne stø men ønsker samtdg å bevare kanter. Det fnnes et utall av «kantbevarende» fltre. Men det er et sstem: Tenker at v ar flere pksel-populasoner naboskapet rundt f.eks. to: Sub-optmalt å bruke all pkslene. V kan sortere pkslene: Radometrsk etter pkselverd Både geometrsk etter pkselposson og radometrsk Inn-bldet med tdelg salt-og-pepper-stø Etter mddelverdfltrerng Etter medanfltrerng F8.3.3 INF3 7 F8.3.3 INF3 8 Medanfltrerng og ørner Med kvadratsk naboskap avrundes ørnene Med pluss-formet naboskap bevares ørnene F8.3.3 INF3 9 Kant-bevarende støfltrerng Trmmet mddelverdflter: Alpa-trmmet mddelverdflter radometrsk sorterng: g = mddelverden av de mn-d mdterste verdene etter sorterng mn-naboskapet rundt. K Nearest Negbour-flter radometrsk sorterng: g = mddelverden av de K pkslene naboskapet rundt som lgner mest på pkselverd. K Nearest Connected Negbour-flter også geometrsk: K Nearest Negbour-flter med uendelg stort naboskap og der de valgte pkslene er tlkoblet ut-possonen. Ma-omogentet-flter også geometrsk: g = mddelverden av det mest omogene sub-naboskapet. Smmetrsk nærmeste nabo-flter også geometrsk: g = mddelverden av de mest lgnende fra vert smmetrsk pksel-par rundt. MnmalMeanSquareError-flter: Nær mddelverden når lokal varans tlsvarer anslått støvarans en parameter ellers nær uendret. F8.3.3 INF3

6 Høpassfltre Slpper gennom øe frekvenser og demper eller ferner lave frekvenser. Tpsk fernes den aller laveste frekvensen elt d.v.s. at omogene områder får ut-verd. Effekt: Demper langsomme varasoner f.eks. bakgrunn. Fremever skarpe kanter lner og detaler. Tpske mål: «Forbedre» skarpeten detektere kanter. Q: Hva sker med stø? F8.3.3 INF3 Unsarp maskng og gboost-fltrerng Gtt et blde orgnal: tl venstre: et D-blde av en rampe. Lavpassfltrer. tl øre er orgnalen stplet. Beregn dfferansen: orgnal fltrerng 3. Resultatet er: orgnal + k dfferansen k er en postv konstant. Unsarp maskng: k = brukt tl øre G&W fg Hgboost-fltrerng: k > F8.3.3 INF3 Intenstets-flater -kanter og -lner Homogen flate: Et område der alle pkselverdene er lke. Kant: Overgangen mellom to områder med forskellg mddelverd. Steg-kant: En-pksels overgang. Rampe: Fler-pksels overgang med konstant ntenstetsendrng d.v.s. konstant gradent. «Kant» brukes også om skllepunktet mellom de to områdene. Forskellge måter å modellere vor skller er. For steg-kanter: Et alternatv er mdt mellom nabo-pksler som tlører forskellg områder. I segmenterng ønsker man tpsk å fnne første pksel på sden som tlører obektet. Merk at en lne består av to kanter. Hver kan f.eks. være steg-kant eller rampe. Idealstrukturer er nttg for modellerng men prakss fnner v oftest strukturer som bare lgner. F8.3.3 INF3 3 Dgtal dervason En kant kennetegnes ved endrng ntenstetsverd. Sden en ntenstetskant er overgangen mellom to områder med forskellg mddelverd så må ntensteten endres kanten. Den derverte av en funkson f er defnert som: f f lm og angr stgnngstallet tl f punktet så f angr vor me f endrer seg punktet. Den derverte er kke defnert for dskrete funksoner men v kan tlnærme den ved å la defnsonen. Tlnærme v.b.a. dfferanser mellom nærlggende pksler. F8.3.3 INF3 4

7 Dervason av blder Et dgtalt blde er en to-varabel dskret funkson. En kontnuerlg funkson f kan derveres m..p. og. Kalles å partell-dervere m..p. og. Betegnes enoldsvs f/ og f/ Vektoren av de to partell-derverte kalles gradenten og betegnes : F8.3.3 INF3 5 f f f f Gradent Kant Gradenten peker retnngen der funksonen øker mest og kanten går vnkelrett på gradenten. F8.3.3 INF3 6 F8.3.3 INF3 7 Gradent-operatorer Asmmetrsk D-operator: Også kalt «pel dfference»-operatoren. Smmetrsk D-operator: Også kalt «separated pel dfference»-operatoren. Roberts-operatoren også kalt Roberts krssgradent-operator: NB: V angr konvolusonsfltre den tanke at de skal brukes tl konvoluson. G&W angr fltermasker som skal brukes tl korrelason. Fltrene vl derfor avvke med en 8 graders rotason. F8.3.3 INF3 8 Gradent-operatorer Prewtt-operatoren: Sobel-operatoren: Fre-Cen-operatoren: NB: V angr konvolusonsfltre den tanke at de skal brukes tl konvoluson. G&W angr fltermasker som skal brukes tl korrelason. Fltrene vl derfor avvke med en 8 graders rotason.

8 Større gradent-operatorer Eksempel: Gradent-beregnng med Sobel-operatoren De smmetrske gradent-operatorene kan gøres mer stø-robuste ved å bgge nn mer lavpassfltrerng. Eksempel: Følgende 5 5-Sobel-operator: er resultatet av konvolusonene: F8.3.3 INF3 9 Inn-blde f g = f* g g = f* g g +g / F8.3.3 INF3 3 Merk: Hvert blde er skalert ved å dele på stt maksmum. De negatve verdene g og g er satt tl. Gradent tl kant-detekson Laplace-operatoren Gradent-magntuden ar «bred respons» men v ønsker eksakt tnn kant. For en steg-kant: Bredden på responsen er avengg av størrelsen på flteret. For en bred kant glattet med [ 3 ]: Bredden på responsen er avengg av bredden på kanten. Maksmumet er lkt og fornuftg lokalsert! Bruke den andrederverte tl å fnne maksmumene? step [- ] [- - ] smoot [- ] [- - ] Laplace-operatoren er gtt ved: f f f smoot Den endrer fortegn der f et vendepunkt. [- -] f = markerer kant-posson. [- -] f ar to ekstremverder per kant; på starten og på slutten av kanten. Derfor brukte v den tdlgere tl - å forbedre bldeskarpeten! Kantens eksakte posson er nullgennomgangen. Dette gr tnne kanter. V fnner bare kant-possoner kke kant-retnnger. 5 5 F8.3.3 INF3 3 F8.3.3 INF3 3

9 Også lavpassfltrere? To måter å lage LoG-operatorer Ofte lages og mplementeres en LoG-operator som konvolusonen av en Laplace-operator og et Gauss-flter. Ofte defneres en LoG-operator som en samplng av LoG-funksonen som er resultatet av å anvende Laplace-operatoren på Gauss-funksonen det kontnuerlge domenet. Dsse fremgangsmåtene gr generelt kke elt lke fltre men begge resulterer fltre v kaller LoG-operatorer. Sgnal Dervert Laplace F8.3.3 INF3 33 F8.3.3 INF3 34 Kantdetekson ved LoG-nullgennomganger Tommelfngerregel for strukturer: LoG-kernen må være smalere enn strukturen. Strukturen er mndre enn alvparten av LoG-kernen => Nullgennomgangene er utenfor kantskllene Strukturen er større enn alvparten av LoG-flteret => Nullgennomgangene er nøaktg kantskllene Et sted mellom: Avenger av dskretserngen og tlnærmngen av LoG-flteret. Tommelfngerregel for ramper: LoG-flteret må være større enn rampen. Rampen er bredere enn LoG-flteret => Ingen nullgennomgang bare et null-platå. Ellers: Nullgennomgang mdt på rampen kan få én -respons akkurat på mdten altså en fornuftg defnson av kantskllet tl rampen. P.g.a. stø krever ofte at nullpasserngen er skarp => LoG-flteret må være betdelg større enn rampen. => Velg kerne- og flterstørrelsen med omu! Angs først og fremst av standardavvket tl Gauss-funksonen som gr bredden av LoG-kernen og antder størrelsen av LoG-flteret. F8.3.3 INF3 35 Ideen tl Cann Lag en kantdetektor som er optmal forold tl følgende tre krterer: Best mulg detekson alle kanter og bare kanter God kant-lokalserng Én enkelt respons Optmer ved bruk av et blde med stø. Resultat: Følgende enkle algortme oppnår nesten optmumet: F8.3.3 INF3 36

10 Canns algortme. Lavpassfltrer med Gauss-flter med gtt.. Fnn gradent-magntuden og gradent-retnngen. 3. Tnnng av gradent-magntude ortogonalt på kant. F.eks.: Hvs et pksel gradent-magntude-bldet ar en 8-nabo eller mot gradent-retnngen med øere verd så settes pkselverden tl. 4. Hsterese-tersklng to terskler T og T l : a. Merk alle pksler der g T b. For alle pksler der g [T l T : Hvs 4 eller 8-nabo tl et merket pksel så merkes dette pkselet også. c. Genta fra trnn b tl konvergens. F8.3.3 INF3 37 Eksempel: Kantdetekson Oppgave: Fnn fremtredende kanter. Inn-blde Tersklet glattet grad.mag. LoG-kantdetektor Canns kantdetektor F8.3.3 INF3 38