Fltrerng bldedomenet INF3 Dgtal bldebeandlng FORELESNING 8 REPETISJON: FILTRERING I BILDEDOMENET Andreas Kleppe Fltrerng og konvoluson Lavpassfltrerng og kant-bevarng Høpassfltrerng: Bldeforbedrng og kantdetekson F8.3.3 INF3 Anvendelsen av en operator som beregner ut-bldets verd vert pksel ved bruk av nn-bldets pksler et naboskap rundt. Ut-blde 3 4 3 6 Et nn-blde f g T f Operator Fltrerng 33-mddelverdflter spelende ndekserng og bevart bldestørrelse Inn-blde g angr ut-bldets verd og f angr nn-bldets pksler et naboskap rundt 7 9 7 3 9 4 33 3 3 33 6 9 37 Ut-bldet g F8.3.3 INF3 D-konvoluson Konvoluson av et flter og et blde f: f a satb a b sa t b s t f s t s t f s t evaluert for alle slk at ver verd av overlapper ver verd av f. Responsen er en veet sum av nn-bldets verder. Konvolusonsflteret spesfserer vektene. kan spesfseres som en matrse! b For å forenkle notasonen antar dsse formlene at: ar odde lengder m = a+ og n = b+. Senterpkselet er naboskapets orgo. Konvoluson krever kke dsse antagelsene. /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflter F8.3.3 INF3 3 D-konvolusons-eksempel Oppgave: Konvolver følgende flter og blde: 3 /9 /9 /9 /9 /9 /9 4 /9 /9 /9 3 6 33-mddelverdflter Inn-blde f F8.3.3 INF3 4
D-konvolusons-eksempel Steg : Roter flteret 8 grader. Ikke nødvendg er ettersom flteret er smmetrsk. D-konvolusons-eksempel Steg : Legg det roterte flteret over først posson der flteret og bldet overlapper. /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflteret er smmetrsk /9 /9 /9 /9 /9 /9 /9 /9 /9 3 4 3 6 F8.3.3 INF3 5 Inn-blde f F8.3.3 INF3 6 D-konvolusons-eksempel Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet. Responsen er summen av produktene. D-konvolusons-eksempel Steg 4: Genta 3 for neste overlapp. Ikke flere: ferdg! Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet og summer. /9 /9 /9 /9 /9 /9 /9 = /9 /9 /9 /9 /9 /9 /9 /9+3 /9 = 4/9 4 4 /9 /9 /9 3 /9 /9 3 /9 4 3 6 Inn-blde f Foreløpg ut-bldet g F8.3.3 INF3 7 4 3 6 Inn-blde f Foreløpg ut-bldet g F8.3.3 INF3 8
D-konvolusons-eksempel forten steg 3 senere: Steg 3: Multplser flterets vekter med verdene av de overlappende pkslene bldet og summer. 5 4 3 /9 /9 /9 4 /9 5 /9 3 /9 /9 /9 /9 3 6 Inn-blde f 3 /9+ /9+ /9+ 4 /9+5 /9+3 /9+ /9+ /9+ /9 = /9 4 4 7 7 3 7 4 4 9 4 Foreløpg ut-bldet g F8.3.3 INF3 9 D-konvolusons-eksempel og etter tue steg 3 tl: Steg 4: Genta 3 for neste overlapp. Ikke flere: ferdg! Løsnngen er: /9 /9 /9 /9 /9 /9 /9 /9 /9 33-mddelverdflter 3 4 3 6 Inn-blde f F8.3.3 INF3 = 4 7 7 3 7 4 4 9 4 6 7 3 3 7 4 7 9 6 8 9 7 Ut-bldet g Hva gør v langs blderanden? Utvd nn-bldet: VANLIG: Med -ere nullutvdelse eng.: zero paddng. Med en annen fast verd. Med nærmeste pkselverd eng.: replcate. Ved bruk av spelende ndekserng eng.: mrror-reflected ndeng. Ved bruk av srkulær ndekserng eng.: crcular ndeng. Sett ut-bldet tl en fast verd: F.eks. g = eller g = f. Ignorer possonene uten overlapp. Identsk resultat som nullutvdelse for konvolusonsfltre. F8.3.3 INF3 Hvor stort skal ut-bldet være? Trunkér ut-bldet Bare beold pksler der ele flteret er nnenfor nn-bldet. Beold nn-bldets størrelse Bare beold pksler der flterorgo er nnenfor nn-bldet. Vanlg når man fltrerer et blde. Langs randen må v gøre en antagelse se folen to før. Utvd nn-bldets størrelse Beold alle pksler der flteret og «nn-bldet» ar overlapp. Svært uvanlg utenom for konvoluson av to fltre. Langs randen må v gøre en antagelse se folen to før. Merk: Dette gelder all fltrerng kke bare konvoluson! F8.3.3 INF3
F8.3.3 INF3 3 Lavpassfltre Slpper gennom lave frekvenser og demper eller ferner øe frekvenser. Lav frekvenser = trege varasoner store trender. Høe frekvenser = skarpe kanter stø detaler. me mer om frekvens Fourer-forelesnngene. Effekt: Glattng/utsmørng/«blurrng» av bldet. Tpske mål: Ferne stø fnne større obekter. Utfordrng: Bevare kanter. Mddelverdflter lavpass Beregner mddelverden naboskapet. Alle vektene er lke. Vektene summerer seg tl. Gør at den lokale gennomsnttsverden bevares. Størrelsen på flteret avgør graden av glattng. Stort flter: me glattng utsmørt blde. Lte flter: lte glattng men kanter bevares bedre. F8.3.3 INF3 4 49 5 9 F8.3.3 INF3 5 Separable fltre Et flter kalles separabelt vs fltrerngen kan utføres som to sekvenselle D-fltrernger. Fordel: Raskere fltrerng. Geometrsk form: Rektangel nkludert kvadrat. Mddelverdfltre er separable: For 55-naboskap: Beregne én respons for n n-konvolusonsfltre: D-konvoluson: n multplkasoner og n - addsoner. To D-konvolusoner: n multplkasoner og n- addsoner. 5 5 F8.3.3 INF3 6 Approksmason av 33-Gauss-flter 6 4 6 6 6 3 3 G Tlsvarer en geometrsk vektng: Vekten tl et pksel er en funkson av avstanden tl. Nære pksler er mer relevante og gs derfor større vekt.
Kant-bevarende støfltrerng Mddelverd eller medan? Ofte lavpassfltrerer v for å ferne stø men ønsker samtdg å bevare kanter. Det fnnes et utall av «kantbevarende» fltre. Men det er et sstem: Tenker at v ar flere pksel-populasoner naboskapet rundt f.eks. to: Sub-optmalt å bruke all pkslene. V kan sortere pkslene: Radometrsk etter pkselverd Både geometrsk etter pkselposson og radometrsk Inn-bldet med tdelg salt-og-pepper-stø Etter mddelverdfltrerng Etter medanfltrerng F8.3.3 INF3 7 F8.3.3 INF3 8 Medanfltrerng og ørner Med kvadratsk naboskap avrundes ørnene Med pluss-formet naboskap bevares ørnene F8.3.3 INF3 9 Kant-bevarende støfltrerng Trmmet mddelverdflter: Alpa-trmmet mddelverdflter radometrsk sorterng: g = mddelverden av de mn-d mdterste verdene etter sorterng mn-naboskapet rundt. K Nearest Negbour-flter radometrsk sorterng: g = mddelverden av de K pkslene naboskapet rundt som lgner mest på pkselverd. K Nearest Connected Negbour-flter også geometrsk: K Nearest Negbour-flter med uendelg stort naboskap og der de valgte pkslene er tlkoblet ut-possonen. Ma-omogentet-flter også geometrsk: g = mddelverden av det mest omogene sub-naboskapet. Smmetrsk nærmeste nabo-flter også geometrsk: g = mddelverden av de mest lgnende fra vert smmetrsk pksel-par rundt. MnmalMeanSquareError-flter: Nær mddelverden når lokal varans tlsvarer anslått støvarans en parameter ellers nær uendret. F8.3.3 INF3
Høpassfltre Slpper gennom øe frekvenser og demper eller ferner lave frekvenser. Tpsk fernes den aller laveste frekvensen elt d.v.s. at omogene områder får ut-verd. Effekt: Demper langsomme varasoner f.eks. bakgrunn. Fremever skarpe kanter lner og detaler. Tpske mål: «Forbedre» skarpeten detektere kanter. Q: Hva sker med stø? F8.3.3 INF3 Unsarp maskng og gboost-fltrerng Gtt et blde orgnal: tl venstre: et D-blde av en rampe. Lavpassfltrer. tl øre er orgnalen stplet. Beregn dfferansen: orgnal fltrerng 3. Resultatet er: orgnal + k dfferansen k er en postv konstant. Unsarp maskng: k = brukt tl øre G&W fg. 3.39 Hgboost-fltrerng: k > F8.3.3 INF3 Intenstets-flater -kanter og -lner Homogen flate: Et område der alle pkselverdene er lke. Kant: Overgangen mellom to områder med forskellg mddelverd. Steg-kant: En-pksels overgang. Rampe: Fler-pksels overgang med konstant ntenstetsendrng d.v.s. konstant gradent. «Kant» brukes også om skllepunktet mellom de to områdene. Forskellge måter å modellere vor skller er. For steg-kanter: Et alternatv er mdt mellom nabo-pksler som tlører forskellg områder. I segmenterng ønsker man tpsk å fnne første pksel på sden som tlører obektet. Merk at en lne består av to kanter. Hver kan f.eks. være steg-kant eller rampe. Idealstrukturer er nttg for modellerng men prakss fnner v oftest strukturer som bare lgner. F8.3.3 INF3 3 Dgtal dervason En kant kennetegnes ved endrng ntenstetsverd. Sden en ntenstetskant er overgangen mellom to områder med forskellg mddelverd så må ntensteten endres kanten. Den derverte av en funkson f er defnert som: f f lm og angr stgnngstallet tl f punktet så f angr vor me f endrer seg punktet. Den derverte er kke defnert for dskrete funksoner men v kan tlnærme den ved å la defnsonen. Tlnærme v.b.a. dfferanser mellom nærlggende pksler. F8.3.3 INF3 4
Dervason av blder Et dgtalt blde er en to-varabel dskret funkson. En kontnuerlg funkson f kan derveres m..p. og. Kalles å partell-dervere m..p. og. Betegnes enoldsvs f/ og f/ Vektoren av de to partell-derverte kalles gradenten og betegnes : F8.3.3 INF3 5 f f f f Gradent Kant Gradenten peker retnngen der funksonen øker mest og kanten går vnkelrett på gradenten. F8.3.3 INF3 6 F8.3.3 INF3 7 Gradent-operatorer Asmmetrsk D-operator: Også kalt «pel dfference»-operatoren. Smmetrsk D-operator: Også kalt «separated pel dfference»-operatoren. Roberts-operatoren også kalt Roberts krssgradent-operator: NB: V angr konvolusonsfltre den tanke at de skal brukes tl konvoluson. G&W angr fltermasker som skal brukes tl korrelason. Fltrene vl derfor avvke med en 8 graders rotason. F8.3.3 INF3 8 Gradent-operatorer Prewtt-operatoren: Sobel-operatoren: Fre-Cen-operatoren: NB: V angr konvolusonsfltre den tanke at de skal brukes tl konvoluson. G&W angr fltermasker som skal brukes tl korrelason. Fltrene vl derfor avvke med en 8 graders rotason.
55-55 - 4 6 8 4 6 8 5 5 Større gradent-operatorer Eksempel: Gradent-beregnng med Sobel-operatoren De smmetrske gradent-operatorene kan gøres mer stø-robuste ved å bgge nn mer lavpassfltrerng. Eksempel: Følgende 5 5-Sobel-operator: 4 6 4 8 8 4 6 8 8 4 4 6 4 er resultatet av konvolusonene: 8 8 8 8 4 6 4 4 4 F8.3.3 INF3 9 Inn-blde f g = f* g g = f* g g +g / F8.3.3 INF3 3 Merk: Hvert blde er skalert ved å dele på stt maksmum. De negatve verdene g og g er satt tl. Gradent tl kant-detekson Laplace-operatoren Gradent-magntuden ar «bred respons» men v ønsker eksakt tnn kant. For en steg-kant: Bredden på responsen er avengg av størrelsen på flteret. For en bred kant glattet med [ 3 ]: Bredden på responsen er avengg av bredden på kanten. Maksmumet er lkt og fornuftg lokalsert! Bruke den andrederverte tl å fnne maksmumene? step [- ] [- - ] smoot [- ] [- - ] Laplace-operatoren er gtt ved: f f f smoot Den endrer fortegn der f et vendepunkt. [- -] f = markerer kant-posson. [- -] f ar to ekstremverder per kant; på starten og på slutten av kanten. Derfor brukte v den tdlgere tl - å forbedre bldeskarpeten! Kantens eksakte posson er nullgennomgangen. Dette gr tnne kanter. V fnner bare kant-possoner kke kant-retnnger. 5 5 F8.3.3 INF3 3 F8.3.3 INF3 3
-5-5 -5 5-5 5-5 -5-5 5-5 5 Også lavpassfltrere? To måter å lage LoG-operatorer Ofte lages og mplementeres en LoG-operator som konvolusonen av en Laplace-operator og et Gauss-flter. Ofte defneres en LoG-operator som en samplng av LoG-funksonen som er resultatet av å anvende Laplace-operatoren på Gauss-funksonen det kontnuerlge domenet. Dsse fremgangsmåtene gr generelt kke elt lke fltre men begge resulterer fltre v kaller LoG-operatorer. Sgnal Dervert Laplace F8.3.3 INF3 33 F8.3.3 INF3 34 Kantdetekson ved LoG-nullgennomganger Tommelfngerregel for strukturer: LoG-kernen må være smalere enn strukturen. Strukturen er mndre enn alvparten av LoG-kernen => Nullgennomgangene er utenfor kantskllene Strukturen er større enn alvparten av LoG-flteret => Nullgennomgangene er nøaktg kantskllene Et sted mellom: Avenger av dskretserngen og tlnærmngen av LoG-flteret. Tommelfngerregel for ramper: LoG-flteret må være større enn rampen. Rampen er bredere enn LoG-flteret => Ingen nullgennomgang bare et null-platå. Ellers: Nullgennomgang mdt på rampen kan få én -respons akkurat på mdten altså en fornuftg defnson av kantskllet tl rampen. P.g.a. stø krever ofte at nullpasserngen er skarp => LoG-flteret må være betdelg større enn rampen. => Velg kerne- og flterstørrelsen med omu! Angs først og fremst av standardavvket tl Gauss-funksonen som gr bredden av LoG-kernen og antder størrelsen av LoG-flteret. F8.3.3 INF3 35 Ideen tl Cann Lag en kantdetektor som er optmal forold tl følgende tre krterer: Best mulg detekson alle kanter og bare kanter God kant-lokalserng Én enkelt respons Optmer ved bruk av et blde med stø. Resultat: Følgende enkle algortme oppnår nesten optmumet: F8.3.3 INF3 36
Canns algortme. Lavpassfltrer med Gauss-flter med gtt.. Fnn gradent-magntuden og gradent-retnngen. 3. Tnnng av gradent-magntude ortogonalt på kant. F.eks.: Hvs et pksel gradent-magntude-bldet ar en 8-nabo eller mot gradent-retnngen med øere verd så settes pkselverden tl. 4. Hsterese-tersklng to terskler T og T l : a. Merk alle pksler der g T b. For alle pksler der g [T l T : Hvs 4 eller 8-nabo tl et merket pksel så merkes dette pkselet også. c. Genta fra trnn b tl konvergens. F8.3.3 INF3 37 Eksempel: Kantdetekson Oppgave: Fnn fremtredende kanter. Inn-blde Tersklet glattet grad.mag. LoG-kantdetektor Canns kantdetektor F8.3.3 INF3 38