Lokale operasjoner. Omgivelser/naboskap/vindu. Bruksområder - filtrering. INF 2310 Digital bildebehandling

Transkript

1 Lokale operasjoner INF 3 Dtal bldebehandln Naboskaps-operasjoner - I Lneær fltrern Konvolusjon Korrelasjon Gradent-operatorer Efford kap V skal bare se på teknkker blde-domenet Blde-domenet refererer tl menden av pksler som utjør det dtale bldet. Bldeplan-metoder opererer på dsse pkslene o r: T[ f ] er ut-bldet f er nn-bldet T er en operator på en omen rundt F INF 3 F INF 3 Bruksområder - fltrern Av de mest brukte operasjoner bldebehandln Brukes som et ledd pre-prosessern for mane bldeanalse-problemer Støfjernn / støreduksjon Kant-deteksjon Deteksjon av lnjer eller andre speselle strukturer Omvelser/naboskap/vndu Kvadrater/rektanler er mest vanl. Av smmetr-hensn oftest odde antall pksler. Omvelsen kan ha flere dmensjoner zλt Enklest transform får v når omvelsen er pksel. T er da råtonemappn der n pkselverd bare avhener av pkselverden punktet. vs T er den samme over hele bldet har v en lobal transform. vs vnduet er større en har v en lokal transform selv om T er possjons-nvarant. F INF 3 3 F INF 3

2 Naboskap+TransformMaske Naboskap/vndu/omvelse/nehborhood: De pkslene rundt et punkt nn-bldet som T opererer på. Flter-eenskaper - Addtvtet [ f + f ] [ f ] + [ f ] Transform/Operator/Alortme: Operator/Alortme som opererer på pkslene et naboskap. Maske/Template/fler: Et eometrsk arra/matrse av vekter eller koeffsenter Resultatet lares et ntt blde. Eksempel: beren jennomsntt er flteret o f o f er vlkårle blder. va betr dette: vs v skal addere to fltrerte blder? F INF 3 5 F INF 3 6 Flter-eenskaper - omoentet Flter-eenskaper - Lneartet [ af ] a[ f ]] vs er en lneær operator er responsen på et konstant multppel av en vlkårl nput lk konstanten multplsert med responsen på nput. [ af + bf ] a[ f ] + b[ f ] er flteret a o b er konstanter o f o f er vlkårle blder. va betr dette: vs v skalerer bldene før fltrernen? F INF 3 7 F INF 3 8

3 Flter-eenskaper Possjons-nvarans [ f l m] l m for alle f o for vlkårle lm. Responsen et vlkårl punkt et blde avhener bare av bldets lokale verd kke av possjonen. F INF 3 -D Konvolusjon h f T[ f ] h er flteret f er et -D blde eller snal Merk at: h f + h f + h + f + M + h f + + h f h f O det er den sste formen v bruker for utrenn. F INF 3 Et -D eksempel h[ 3] Indeks for h: - f[ ] Indeks for f: 3 + h f hf + hf + h-f 3 f+ + hf + hf + h-f hf + hf3 + h-f f f o f er kke defnert la oss anta at de er. er multplkasjon Men hva skjer rundt kantene? Merk at v må spelvende h før multplkasjon. F INF 3 Utrenn av -D konvolusjon + For å rene ut resultatet av en konvolusjon for possjon : Spelvend masken le den over bldet slk at mnst en possjon overlapper med bldet. Multplser hvert element masken med underlende pkselverd. Summen av produktene r verden for possjon. For å rene ut resultatet for alle possjoner: Fltt masken pksel for pksel o jenta operasjonene over. Merk: for smmetrsk h spller det nen rolle om v spelvender masken eller kke. h f h f F INF 3

4 -D konvolusjon Eksempel: mddelverd Ut-bldet er tt ved + + j k j k h j k f j k h j k f j k h er et m n flter med størrelse m + n + m o n er vanlvs oddetall. Ofte har v kvadratsk vndu mn. Ut-bldet er et veet sum av nn-pkslene som omr. Vektene flteret er tt ved hjk. Ut-bldets pkselverd neste possjon fnnes ved at flteret flttes ett pksel o summen berenes på ntt. For hvert pksel beren mddelverden av pkslene et 3 3 vndu rundt pksel [ f + f + f + + f + f + f + + f + + f + + f + + ] v f v f o 3 3 vndu F INF 3 3 F INF 3 Utrenn av -D konvolusjon + + j k h j k f j k For å rene ut resultatet av en konvolusjon for possjon : Roter masken 8 rader le den over bldet slk at mnst en possjon overlapper med bldet. Multplser hvert element masken med underlende pkselverd. Summen av produktene r verden for possjon. For å rene ut resultatet for alle possjoner:fltt masken pksel for pksel o jenta operasjonene over. V bruker notasjonen h * f der * er konvolusjons-operatoren Praktske problemer Kan ut-bldet ha samme pksel-representasjon som nn-bldet? Trener v et mellom-laer? va jør v lans blde-randen? Anta at bldet er M N pksler Anta at flteret er m n mm + nn + Uberørt av rand-effekt: M-m N-n 33: M-N- 55: M-N- F INF 3 5 F INF 3 6

5 va jør v lans randen? Alternatver:. Sett. Sett f 3. Trunker ut-bldet. Trunker konvolusjons-masken h 5. Utvd bldet ved reflected nden 6. Crcular nden Et lte tps om konvolusjon Når v konvolverer et flter med et blde: Er v nteressert å lae et ntt blde med samme størrelse som nput-bldet. V bruker en av teknkkene fra forre fol. Når v konvolverer en flter-kjerne med en annen flter-kjerne: V vl lae effektv mplementasjon av et stort flter med en kombnasjon av enkle separable fltre. V berener resultatet for alle possjoner der de to flter-kjernene r overlapp. F INF 3 7 F INF 3 8 Korrelasjon n m k n j m h j k f + j + k Merk forskjell fra konvolusjon: pluss stedet for mnus. Ved konvolusjon roterer v flteret 8 rader. Ved korrelasjon trener v kke dette: v leer flterkjernen sentrert om pksel o multplserer hvert enkelt element med underlende pkselverd V kan utføre korrelasjon som en konvolusjon hvs v først roterer flteret 8 rader. Korrelasjon n k n j m Anvendelse: mønsterjenkjennn eller template matchn. Mønster/template kan være en del av et blde. hj Normalser ved ' n m f + j + k h j k f + j + k j n k m for å unnå høere verder for lse pksler. m F INF 3 F INF 3

6 Korrelasjonskoeffsent Alternatvt beren korrelasjons-koeffsenten η [ h j h ][ f + + j f ] j [ f + + j f ] [ h j h ] j Denne er normalsert både forhold tl mddelverden tl flteret h o forhold tl mddelverden tl den lokale omenen bldet f j Eksempel template matchn Fnn et objekt et blde. Flteret er templaten. Templaten må ha samme størrelse o orentern som bldet o omtrent samme råtoner. F INF 3 F INF 3 Eenskaper ved konvolusjon Kommutatv f* *f Assosatv f**h f**h Dstrbutv f*+h f* + f*h Assosatv ved skalar multplkasjon af* af* f*a Kan utnttes sammensatte konvolusjoner! F INF 3 3 Normalsern av fltre vs v konvolverer [ ] med se selv får v 3 [ ] [ ] [ ] Fortsetter v får v [ ] [ 3 ] [ ] Ved slke kke-normalserte flterkjerner øker jennomsnttsverden det fltrerte bldet. Vanlvs normalserer v flterkjernen slk at jennomsnttsverden bldet bevares. [ 3 ] [ 3 ] [ ] F INF 3

7 F INF 3 5 Lavpass-fltre Slpper jennom lave frekvenser o demper eller fjerner høe frekvener. øe frekvenser skarpe kanter stø detaljer. Effekt: blurrn eller utsmørn av bldet Utfordrn: bevare kanter samtd som homoene områder lattes. F INF 3 6 Mddelverd-fltere lavpass Alle koeffsenter er lke Skaler med summen av flterkoeffsentene Størrelsen på flteret avjør raden av lattn Stort flter: me lattn utsmørt blde Lte flter: lte lattn men kanter bevares bedre 5 F INF 3 7 Fltrerte blder mddelverdflter Ornal Fltrert 33-flter F INF 3 8 Fltrerte blder mddelverdflter Fltrert -flter Fltrert 55-flter

8 Separable fltre Tdsbesparelse ved separasjon Geometrsk form: kvadrat rektanel Rektanulære mddelverd-fltere er separable. h j 5 [ ] Fordel: et raskt flter. Vanl konvolusjon: n multplkasjoner o addsjoner. stk -D konvolusjoner: n multplkasjoner o addsjoner. 5 Vanl konvolusjon: n multplkasjoner o addsjoner. stk -D konvolusjoner: n multplkasjoner o addsjoner. Besparelse ved separasjon av n n flter: n n n n n F INF 3 F INF 3 3 Lavpass-fltrern ved oppdatern Det tar n multplkasjoner o n - addsjoner å berene responsen R for et n n unformt flter ser bort fra skalernen. vs flteret flttes ett pksel blr n respons R n R-C +C n der C er summen av produktene under første kolonne flteret o C n er tlsvarende for sste kolonne flteret. Det tar n multplkasjoner o n- addsjoner å fnne hhv. C o C n. Dvs. totalt n+n operasjoner for å fnne R n. Oppdatern er lke raskt som separabltet. For unforme fltere kan v oså droppe alle multplkasjoner. Ikke-unformt lavpass-flter Unforme lavpass-fltre kan mplementeres raskt. Ikke-unforme fltre for eksempel: D Gauss-flter: + h ep σ Parameter σ er standard-avvketbredden Flterstørrelse må tlpasses σ F INF 3 3 F INF 3 3

9 σ lten: lte lattn σ stor: me lattn Men mndre lattn enn med et flatt mddelverdflter Effekten av σ σ σ F INF 3 33 Approksmasjon av Gauss-fltere G 3 3 [ ] [ ] [ ] F INF 3 3 øpass-fltere Slpper jennom høe frekvenser. Demper eller fjerner lav-frekvente varasjoner. Effekt: Fjerner lansomt varerende bakrunn Framheve kanter lnjer o skarpe detaljer. øpass-fltre Et høpass-flter må ha postve vekter mdten o neatve vekter lener ut. 8 V lar summen av vektene være null. vorfor er dette lurt? vs v lar mddelverden av ut-bldet bl null må noen deler av ut-bldet være <. Det er nen od de å bentte. For framvsnn skaler o le tl en konstant slk at v får postve pkselverder. F INF 3 35 F INF 3 36

10 F INF 3 37 Punkt-deteksjon Anta at v bentter en konvolusjonsmaske med vekter tt ved: V berener der z er den råtone-verd v fnner under maske-verden. Et punkt j avvker fra sne omvelser dersom der T> er en terskel. Merk: samme maske som høpass-fltern men her brukes terskel T for å fnne punkter som avvker tlstrekkel fra omvelsene. va får v homoene områder? va med en hellende råtone-flate? 8 R z T j R > F INF 3 38 Eksempel: punkt-deteksjon Deteksjon av skp radar-blder over sjø. 8 Gr størst respons for de små lse objektene skpene. F INF 3 3 h-boost fltrern øpass-fltern kan utføres ved øpass Ornal Lavpass Adder høpass-resultatet tl ornalen o få et h-boost blde Le forskjelle vekter på de to bldene o få et veet hh boost blde c F INF 3 Unsharp maskn Mddelverdflter > uskarpt blde. Subtraher uskarpt blde fra ornalen. Adder dfferanse tl ornalen. Resultatet er skarpere enn ornalen.

11 Motvasjon for kant-deteksjon Repeterte fenomener en sekvens brner oss lte nformasjon. Dette utnttes kommunkasjon o blde-kompresjon. Det meste av nformasjonen et blde fnnes ved kantene tl objektene/reonene bldet. Kanter brukes her om ntenstets-kanter fare-kanter tekstur-kanter etc. Boloske vsuelle sstemer er basert på kant-deteksjon kke på f.eks. terskln. Slke sstemer arbeder ofte både parallelt o sekvenselt: Alle lokale omvelser behandles uavhen av hverandre. Lokale resultat kan være avhen av tdlere resultater. Dtale radent-operatorer V husker at den derverte av f er tt ved f + h f lm h h I våre dtale blder setter v h. V får da en ruppe av operator som approksmerer de ortoonale radent-komponentene δf/δ o δf/δ Noen operatorer r bare estmat av radent-mantuden. Andre r oså radent-retnnen. Gtt to dtale masker o. Dsse to konvolveres med bldet Fj o måler radent komponentene o en omen om j bldet. F INF 3 F INF 3 Gradent kontnuerl blde Gradenten tl F lans r retnn θ + r r r dvs. cosθ + snθ r Gradenten er størst når θ r Dvs. for den vnkelen θ der snθ + cosθ cosθ snθ Men δf/δ o δf/δ er bare de ortoonale radentkomponentene o hhv. - o -retnn bldet. F INF 3 3 Gradent kontnuerl blde - II V jentar: Gradenten er størst for den vnkelen θ der Dvs. når cosθ snθ snθ tanθ cosθ Derfor: Retnnen tl kanten relatvt tl -aksen er tt ved θ tan O radent-mantuden er tt ved kvadratroten av summen av kvadratene av de to radent-komponentene: r [ + ] / F INF 3

12 Enkel kant-deteksjon Dtale radent-approksmasjoner - I Kanter svarer tl maksma den derverte. Dervasjon kan approksmeres med dfferanser δf/δ f+ - f- -retnn δf/δ f + - f- -retnn Dsse operatorene er følsomme for blde-stø. V fnner noen falske kanter kke relatert tl objekter. Asmmetrsk D operator: h R j fj - fj- h C j fj - f+j Defnsjonene er tt slk at komponentene er postve for en kant der ntensteten øker fra venstre mot høre o oppover bldet. j j Fjerne stø først o så jøre kantdeteksjon? Eller kan v jøre det enklere o bedre? F INF 3 5 usk at ved konvolusjon skal masken roteres 8 rader før multplkasjoner o addsjoner! F INF 3 6 Dtale radent-approksmasjoner - II Noen radent-operatorer - I Smmetrsk D operator: h R j fj+ - fj- h C j f-j - f+j Gradent-estmatene refererer nå tl j. Gjør det samme for tre smmetrske par Gradent-estmatene er nå mer robuste mot stø bldet. j j j j Pel dfference j j Separated pel dfference j j Roberts-operatoren j j F INF 3 7 F INF 3 8

13 F INF 3 Noen radent-operatorer - II Prett-operatoren Sobel-operatoren Fre-Chen-operatoren j j j j j j F INF 3 5 o radent-mantuden G V fnner de horsontale kantene: Beren * f V fnner de vertkale kantene: Beren *f Beren radent-mantude o retnn: + tan G θ Gradent-mantude Gradent retnn F INF 3 5 Eksempel - Sobel Inn-blde f f* f* + / Vær obs på skalern av o denne furen F INF 3 5 Smmetrske radent-operatorer Operatoren jøres mndre følsom for stø ved å mdle en retnn o dervere den ortoonale retnnen. Eksempler: Prett Sobel Fre-Chen Fre-Chen r samme radent om kanten ler lans aksene eller daonalt. Prett er mer følsom for horsontale o vertkale enn for daonale kanter. Det motsatte er tlfelle for Sobel. Større masker r mndre stø-følsomhet. Alle de tre nevnte operatene er separable.

14 Implementasjoner av en radent-operator Implementasjoner av en radent-operator II Sobel o de andre operatorene kan utvdes tl større enn 3 3. er er en 5 5 Sobel operator: Krever 5 operasjoner h 6 6 h Denne kan mplementeres som Krever 8 operasjoner h 8 8 De to 3 3 fltrene er separable o kan skrves h [ ] [ ] T *[ ][ ] T Krever operasjoner Eller v kan skrve h [ ] [ ] *[ ] T *[ ] T *[ ] *[ ] *[ ] T *[ ] T Men det aller raskeste blr h 6 [ ] [ ] T Krever 6 operasjoner Krever bare operasjoner F INF 3 53 F INF 3 5 Om bruk av radent-operatorer Kantene blr brede vor bred kanten blr avhener av flterkjernen vordan skal v fnne eksakt hvor kanten år? Terskle kantbldet? Tnne kantbldet? Bruke. derverte? Føl med føl med! F INF 3 55 Oppsummern Konvolusjon brukes for å fltrere et blde f med en flterkjerne h. Å kunne utføre konvolusjon manuelt på et lte eksempel er sentralt pensum. Vær obs på rand-effekter. V har sett på lavpass o høpass-fltre. V har utledet enkle kant-deteksjonsoperatorer. Gradent-operatorene latter den ene retnnen o jør kantdeteksjon den andre retnnen. Gradent-operatorer r både kant-strke o retnn. F INF 3 56