INF2310 Digital bildebehandling

Transkript

1 INF3 Dgtal bldebeandlng Forelesnng 7 Fltrerng bldedomenet II Andreas Kleppe Høpassfltrerng: Bldeforbedrng og kantdeteksjon Gradent-operatorer Laplace-operatoren og LoG-operatoren Canns kantdetektor G&W: 3.6 og.-..6 F INF3

2 Høpassfltre Slpper gjennom øe frekvenser og demper eller fjerner lave frekvenser. Tpsk fjernes den aller laveste frekvensen elt dvs. at omogene områder får ut-verd. Effekt: Demper langsomme varasjoner f.eks. bakgrunn. Fremever skarpe kanter lnjer og detaljer. Tpske mål: «Forbedre» skarpeten detektere kanter. Q: Hva skjer med stø? F INF3

3 Høpassfltrerng med konvolusjon Summen av vektene konvolusjonsflteret er tpsk. Q: Hvorfor er dette lurt når v skal øpassfltrere? Da blr også summen av ut-bldets pkselverder bl. Antar nullutvdelse og bruker alle possjoner med overlapp. > Postve og negatve pkselverder ut-bldet. Ikke alltd en god de å bruke g. For framvsnng: Gjør g postv ved å addere med en konstant og skaler resultatet tl ønsket ntervall. F INF3 3

4 Høpassfltrerng med konvolusjon kursorsk Når summen av vektene konvolusjonsflteret er så blr også summen av ut-bldets pkselverder. Antar nullutvdelse og bruker alle possjoner med overlapp. F INF3 antar nullutvdelse M m N a a s b b t a a s b b t M m N a a s b b t s M s t N t a a s b b t a M a b N b a M a b N b t s n m f n m f t s t s f t s t s f t s f

5 Punkt-deteksjon Eksempel på et øpassflter; Konvolusjonsflteret: Dette flteret kan bl.a. brukes tl deteksjon av solerte punkter: Beregn konvolusjonen av flteret betegnet og nn-bldet f : Isolerte punkter vl sklle seg ut med ø respons absoluttverd. For passende terskel T> er de detektert punktene: Q: Hva er responsen omogene områder? Q: Hva med en ellende gråtone-flate? F INF s t t s f t s g T g 8

6 Eksempel: Punkt-deteksjon Oppgave: Deteksjon av pore turbnblad. F INF3 6

7 Eksempel: Punkt-deteksjon Oppgave: Deteksjon av skp radar-blde over sjø. F INF3 7 De små lse punktene er skpene. Flteret vl g flere øe responser for vert skp. Og nesten lke ø respons kanter og speselt jørner. Bedre å bruke et større flter av samme «tpe»: 8 8

8 Bldeforbedrng ved øpassfltrerng Konvolusjonsflteret kan også brukes tl bldeforbedrng. 8 Grunntanke: Fltrerngen detekterer starten og slutten av kanter. Andre områder blr omtrent. Derfor: Ved å addere fltrerngen tl orgnalen får v sterkere kanter bldet vrker skarpere. F INF3 8

9 Eksempel: Bldeforbedrng ved øpassfltrerng Oppgave: Øk skarpeten følgende blde av Nordpolen: Mulg løsnng:. Fltrer med. Summer fltrerngen og orgnalen. 8 G&W fg. 3.38: a Orgnal e Resultat F INF3 9

10 Bldeforbedrng ved øpassfltrerng Konvolusjonsflteret v ar sett på kan uttrkkes slk: 8 9 øpass orgnal lavpass Husk: Konvolusjon er dstrbutv: f*g+ f*g + f* Bldeforbedrngen vl ar sett på tlsvarer altså:. Lavpassfltrer med 33-mddelverdflter.. Subtraer resultatet fra orgnalen. 3. Adder 9*dfferansen tl orgnalen. Dette er én form for gboost-fltrerng. Husk: Konvolusjon er assosatv ved skalar multplkasjon: af*g f*ag F INF3

11 Unsarp maskng og gboost-fltrerng Gtt et blde orgnal: tl venstre: et D-blde av en rampe.lavpassfltrer. tl venstre er orgnalen stplet G&W fg Beregn dfferansen: orgnal fltrerng 3.Resultatet er: orgnal + k dfferansen k er en postv konstant. Unsarp maskng: k Hgboost-fltrerng: k > F INF3

12 Eksempel: Unsarp maskng. Lavpassfltrerng > uskarpt blde. Bruk f.eks. et mddelverdflter.. Subtraer uskarpt blde fra orgnalen. Orgnal Lavpass Høpass 3. Adder dfferansen tl orgnalen. Fremever kanter resultatet vrker skarpere enn orgnalen. F INF3

13 Motvasjon for kant-deteksjon Det meste av nformasjonen et blde fnnes ved kantene tl objektene/regonene bldet. Med «kanter» menes er ntenstets-kanter farge-kanter tekstur-kanter osv. Bologske vsuelle sstemer er basert på kant-deteksjon. Slke sstemer arbeder ofte både parallelt og sekvenselt: Alle lokale omgvelser beandles uavengg av verandre. Lokale resultat kan være avengg av tdlgere resultater. F INF3 3

14 Intenstets-flater -kanter og -lnjer Homogen flate: Et område der alle pkselverdene er lke. Kant: Overgangen mellom to områder med forskjellg mddelverd. Steg-kant: Én-pksels overgang. Rampe: Fler-pksels overgang med konstant ntenstetsendrng dvs. konstant gradent. «Kant» brukes også om skllepunktet mellom de to områdene. Forskjellge måter å modellere vor skller er. For steg-kanter: Et alternatv er mdt mellom nabo-pksler som tlører forskjellg områder. I segmenterng ønsker man tpsk å fnne første pksel på sden som tlører objektet. Merk at en lnje består av to kanter. Hver kan f.eks. være steg-kant eller rampe. Idealstrukturer er nttg for modellerng men prakss fnner v oftest strukturer som bare lgner. F INF3

15 Kant-tper Steg-kant Rampe Tak-kant Lnje ltt glattet Kant med stø F INF3 5

16 Dgtal dervasjon En kant kjennetegnes ved endrng ntenstetsverd. Sden en ntenstetskant er overgangen mellom to områder med forskjellg mddelverd så må ntensteten endres kanten. Den derverte av en funksjon f er defnert som: f + f lm og angr stgnngstallet tl f punktet så f angr vor me f endrer seg punktet. Den derverte er kke defnert for dskrete funksjoner men v kan tlnærme den ved å la defnsjonen. > Tlnærme vba. dfferanser mellom nærlggende pksler. F INF3 6

17 Dervasjon av blder Et dgtalt blde er en to-varabel dskret funksjon. En kontnuerlg funksjon f kan derveres mp. og. Kalles å partell-dervere mp. og. Betegnes enoldsvs f/ og f/ Vektoren av de to partell-derverte kalles gradenten og betegnes f : f f f F INF3 7

18 F INF3 8 Gradent et kontnuerlg blde Gradenten peker retnngen der funksjonen øker mest: Den retnngsderverte tl f retnng θ dvs. langs r er: Når den retnngsderverte er størst er: Dvs. vnkelen θ g der den retnngsderverte er størst oppfller: cosθ snθ f f r f r f r f + + g g g g f f f f θ θ θ θ sn cos cos sn + r f θ θ r δ/δr r

19 Gradent et kontnuerlg blde Gjentar: Når den retnngsderverte er størst er vnkelen θ g : f cosθ g f snθ g snθ g cosθ Derfor: Gradenten peker retnngen der funksjonen øker mest: g θ g tan g og øknngen er som kalles gradent-magntuden er: f g + g r g F INF3 9 g f f tanθ g g g θ g angr bare en lnje som er parallell med gradenten men ved å dobbeltdervere den retnngsderverte kan man vse at funksjonen øker mest med gradentretnngen og avtar mest mot gradentretnng. f/r g er den retnngsderverte gradentretnngen.

20 Gradent Kant Gradenten peker retnngen der funksjonen øker mest og kanten går vnkelrett på gradenten. F INF3

21 Dgtale gradent-tlnærmnger V ønsker å tlnærme gradenten med dfferanser mellom nærlggende pksler. Tl dette kan v bruke to konvolusjonsfltre som tlnærmer ver sn gradent-komponent. To slke konvolusjonsfltre kalles en gradent-operator. Konvolusjonsfltrene betegnes ofte som og F.eks. tlnærmer den partell-dervert -retnng ved å beregne dfferansen vertkal retnng av nærlggende pksler. Mange mulgeter! F INF3

22 Dgtale gradent-tlnærmnger Asmmetrsk D-operator: g j f+j g j f - fj j+ - fj Defnsjonene er gtt slk at gradent-komponentene er postve for en kant der ntensteten øker nedover og fra venstre mot øre bldet. j j Problemer med denne operatoren: Hver av gradent-estmatene refererer tl et punkt mdt mellom to pksler. - og -estmatet refererer kke tl samme punkt bldet. F INF3

23 Dgtale gradent-tlnærmnger Smmetrsk D-operator: g j f+j - f-j g j fj+ - fj- j j Gradent-estmatene refererer nå tl j. Tlsvarer å mldt glatte av den asmmetrske Doperatoren retnngen for gradent-tlnærmngen: [ ] [ ] [ ] Normalt sett uproblematsk kanskje t.o.m. postvt. F INF3 3

24 F INF3 Gradent-operatorer Asmmetrsk D-operator: Også kalt «pel dfference»-operatoren. Smmetrsk D-operator: Også kalt «separated pel dfference»-operatoren. Roberts-operatoren også kalt Roberts krssgradent-operator: j j j j j j PS: V angr konvolusjonsfltre den tanke at de skal brukes tl konvolusjon. G&W angr fltermasker som skal brukes tl korrelasjon. Fltrene vl derfor avvke med en 8 graders rotasjon.

25 Dgtale gradent-tlnærmnger Problem: D-operatorene er veldg følsom for stø. Stø kan da lett bl detektert som kanter. «Løsnng»: Beregn dfferansen for tre smmetrske par: Gradent-estmatene blr mer robuste mot stø bldet. j j F INF3 5

26 F INF3 6 Gradent-operatorer Prewtt-operatoren: Sobel-operatoren: Fre-Cen-operatoren: j j j j j j PS: V angr konvolusjonsfltre den tanke at de skal brukes tl konvolusjon. G&W angr fltermasker som skal brukes tl korrelasjon. Fltrene vl derfor avvke med en 8 graders rotasjon.

27 F INF3 7 Separasjon av gradent-operatorer Separasjon av Prewtt-operatoren: Separasjon av Sobel-operatoren: Separasjon av Fre-Cen-operatoren: [ ] [ ] j j [ ] [ ] j j [ ] [ ] j j

28 Egenskaper ved gradent-operatorer Operatoren gjøres mndre følsom for stø ved å lavpassfltrere en retnng og dervere den ortogonale retnngen. Sees tdelg fra separasjonene. Eksempler: Prewtt Sobel Fre-Cen. Prewtt er mer følsom for orsontale og vertkale enn for dagonale kanter. Det motsatte er tlfelle for Sobel. Fre-Cen gr samme gradent-magntude om kanten lgger langs aksene eller dagonalt. Prewtt Sobel Fre-Cen F INF3 8

29 Gradent-beregnng V fnner de orsontale kantene: Beregn: g *f V fnner de vertkale kantene: Beregn: g *f Beregn gradent-magntude og -retnng: F INF3 9 + tan j g j g j j g j g j M θ Gradent-magntude Gradent-retnng

30 Eksempel: Gradent-beregnng med Sobel-operatoren Inn-blde f g f* g Merk: Hvert blde er skalert ved å dele på stt maksmum. De negatve verdene g og g er satt tl. g f* g g +g / F INF3 3

31 Større gradent-operatorer Gradent-operatorer kan gjøres mer stø-robuste ved å bgge nn mer lavpassfltrerng. Eksempel: Følgende 5 5-Sobel-operator: er resultatet av konvolusjonene: F INF j j j j

32 Implementasjoner av gradent-operatorer Som vanlg lurt å utntte separabltet. For 55-Sobel-operatoren på forrge fol: Med 55-fltrene kreves 5 multplkasjoner. Ved bruk av de fre 33-fltrene kreves 36 multplkasjoner. Fnnes mange måter man dele opp på men det raskeste blr å separere 55-fltrene drekte: Dsse krever bare multplkasjoner. F INF3 3 [ ] [ ] 6 6 j j

33 Gradent tl kant-deteksjon Gradent-magntuden ndkerer strken av kanten en pksel. Kantene gradent-magntuden blr tpsk brede / tkke. Kan være uønsket. Bredden avenger av størrelsen på fltrene og bredden på kanten bldet. Mulge fremgangsmåter for å fnne eksakt tnn kant: Terskle grad.mag. og tnne. Fnne maksmum grad.mag. / bruke den andrederverte. F INF3 33

34 Gradent tl kant-deteksjon Gradent-magntuden ar «bred respons» men v ønsker eksakt tnn kant. For en steg-kant: Merk: Bredden på responsen er avengg av størrelsen på flteret. 55 step [- ] [- - ] For en bred kant glattet med [ 3 ]/9: Merk: Bredden på responsen er avengg av bredden på kanten. Maksmumet er lkt og fornuftg lokalsert! Bruke den andrederverte tl å fnne maksmumene? smoot [- ] [- - ] PS: Fltrene tl venstre er brukt tl korrelasjon F INF3 3

35 Laplace-operatoren Laplace-operatoren er gtt ved: f f f + Den endrer fortegn der f et vendepunkt. f markerer kant-possjon. f ar to ekstremverder per kant; på starten og på slutten av kanten. Derfor brukte v den tdlgere tl å forbedre bldeskarpeten! Kantens eksakte possjon er nullgjennomgangen. Dette gr tnne kanter. V fnner bare kant-possjoner kke kant-retnnger. F INF smoot [- -] [- -] 5 5

36 D-Laplace-operator Kontnuerlg f f Dgtalt f f+-f I D er f ekvvalent med den andrederverte. Av smmetr-ensn sentrerer v om. f f f +-f [f+-f+] - [f+-f] f+-f++f Dessuten btter v fortegn av konvensjon. Altså får v: - f -f- + f - f+ F INF3 36

37 F INF3 37 D-Laplace-operator Anvend D-Laplace-tlnærmngen begge retnnger og summer: Dette kan beregnes ved å konvolvere f med j f j f j f j f j f j f f f f

38 Full 33-Laplace-operator Hvs v tllegg anvender D-Laplace-tlnærmngen langs begge dagonaler får v det som kan beregnes med: 8 Dette konvolusjonsflteret kjenner v gjen. Punkt-deteksjon. Øke bldeskarpeten. F INF3 38

39 Laplace på andregradspolnom La de lokale ntenstetene omkrng være modellert ved andregradspolnomet mn er koordnater relatvt tl : fmn k +k m +k 3 n+k m +k 5 mn+k 6 n I et 33-naboskap rundt ar v da ntenstetene: Den korrekte Laplace-verden er gtt ved: Både -nabo- og 8-nabo- Laplace-operatoren øre gr korrekt estmat! F INF3 39 k -k -k 3 +k +k 5 +k 6 k -k +k k -k +k 3 +k -k 5 +k 6 k -k 3 +k 6 k k +k 3 +k 6 k +k -k 3 +k -k 5 +k 6 k +k +k k +k +k 3 +k +k 5 +k 6 6 k k f f f

40 Sobel vs Laplace Sobel-fltrerng > bred kant Laplace-fltrerng > dobbelt-kant F INF3

41 Steg-kanter og steg-kantede lnjer Merk: «Grad.mag.» bruker smmetrsk D-operator: f+ f- «Laplace» er D-Laplace-operatoren: -f- + f f+ For steg-kanter: Gradentmagntuden gr samme respons første pksel utenfor og første pksel nnenfor kanten. Laplace gr responser med motsatt fortegn og rktg kant null-gjennomgang. På tvers av en lnje med to steg-kanter: Én-pksels lnje gr respons på ver sde av lnja med gradentmagntuden ngen respons. Laplace gr rktge kanter nullgjennomgangene. Grad.mag. Laplace F INF3

42 Andre Laplace-operatorer Kan bl.a. fnnes ved å bruke gradent-operatorer. Eksempel: Bruker 33-Sobel-operatoren: F INF

43 Implementasjon av Laplace-operatorer Generelt kke separable. Flere Laplace-operatorer kan lkevel deles opp D-operasjoner. Eksempel: Laplace-operatoren fra forrge fol: er kke separabel men kan deles opp D-operasjonene: Krever da 37 operasjoner stedet for 9 vba. 55-flteret. F INF [ ] [ ] [ ] [ ] T T 6 6 +

44 F INF3 Fra Laplace tl LoG V gjorde gradent-operatorene stø-robuste ved å bgge nn en lavpassfltrerng. Eksempel: 33-Sobel-operatoren: V kan gjøre det samme med en Laplace-operator. Det er vanlg å bgge nn et Gauss-flter G med gtt σ : er en Laplace-operator og er en Laplacan-of-Gaussan-operator. f LoG f G f G [ ] [ ] j j Husk: Konvolusjon er assosatv: f*g* f*g* LoG G

45 En 7 7-LoG-operator Konvolverer v 33-Gauss-tlnærmngen: med Laplace-operatoren vl fkk ved å bruke 33-Sobel-operatoren: for å få følgende 77-LoG-operator: LoG G3 * 3 [ ] *[ ] T G 3 3 [ 6 ] [ ] T + [ ] [ 6 ] T F INF

46 Også lavpassfltrere? Sgnal Dervert Laplace F INF3 6

47 To måter å lage LoG-operatorer Ofte lages og mplementeres en LoG-operator som konvolusjonen av en Laplace-operator og et Gauss-flter. Ofte defneres en LoG-operator som en samplng av LoG-funksjonen som er resultatet av å anvende Laplace-operatoren på Gauss-funksjonen det kontnuerlge domenet. Dsse fremgangsmåtene gr generelt kke elt lke fltre men begge resulterer fltre v kaller LoG-operatorer. F INF3 7

48 F INF3 8 Utlednng av LoG-funksjonen : Derverer mp. : Derverer mp. D - Gauss - funksjon : σ σ σ πσ πσ πσ e G e G e G Laplace er summen av dsse : : mp. Andredervert : mp. Andredervert σ σ σ σ πσ σ πσ σ πσ e G e G e G

49 LoG-funksjonen Kalles noen ganger «Mecan at»-operatoren. G & W defnerer G som LoG - funksjonen men v defnerer den som G F INF3 9

50 LoG-operator fra LoG-funksjonen Får en LoG-operator ved å sample en varant av LoG-funksjonen for eltallge og. V brr oss denne gangen kke om mplementasjonsdetaljene; justerng slk at vektene summerer seg tl og eventuell eltallstlnærmng av vektene. σ er standard-avvket tl Gauss-en og er en parameter. G + πσ σ + σ e I de fleste tlfeller er størrelsen av operatoren 3w 8.5σ LoG-funksjonen omtrent utenfor dette området. Den postve toppen tl LoG-funksjonen kalles kjernen og w σ er bredden av denne. Et kvadrant av LoG-funksjonen F INF3 5

51 Bruk av LoG-operatorer Laplace-operator detekterer kanter men er følsomme for stø. Ofte må man lavpassfltrere før Laplace-fltrerng. En LoG-operator gjør begge dsse operasjonene ett. Fungerer ellers som en Laplace-operator: I omogene områder vl en LoG-operator g respons. Den vl a postv respons på den ene sden av kanten er deelt sett kantskllet og ar negatv respons på den andre sden. Nullgjennomganger angr kanter. Intenstetsprofl av en steg-kant LoG-fltrerngen av proflen NB: Fltrerngen er utført med den negerte av en LoG-operator. PS: LoG-operatorer med varerende σ fungerer også godt som «blob»-detektorer. F INF3 5

52 Kantdeteksjon ved LoG-nullgjennomganger Tommelfngerregel for strukturer: LoG-kjernen må være smalere enn strukturen. Strukturen er mndre enn alvparten av LoG-kjernen > Nullgjennomgangene er utenfor kantskllene Strukturen er større enn alvparten av LoG-flteret > Nullgjennomgangene er nøaktg kantskllene Et sted mellom: Avenger av dskretserngen og tlnærmngen av LoG-flteret. Tommelfngerregel for ramper: LoG-flteret må være større enn rampen. Rampen er bredere enn LoG-flteret > Ingen nullgjennomgang bare et null-platå. Ellers: Nullgjennomgang mdt på rampen kan få én -respons akkurat på mdten altså en fornuftg defnsjon av kantskllet tl rampen. P.g.a. stø krever ofte at nullpasserngen er skarp > LoG-flteret må være betdelg større enn rampen. > Velg kjerne- og flterstørrelsen med omu! Angs først og fremst av standardavvket tl Gauss-funksjonen som gr bredden av LoG-kjernen og antder størrelsen av LoG-flteret. F INF

53 Eksempel: LoG-kantdeteksjon Oppgave: Fnn fremtredende kanter. Inn-blde LoG-fltrerng Alle nullgjennomganger De med større dff. enn T F INF3 53

54 Robust kantdeteksjon Vanlgvs tre steg robust kantdetektor:. Stø-reduksjon: Forsøker å fjerne så me stø som mulg uten å glatte ut kantene for me. Lavpassfltrerng.. Kant-fltrerng: Fnner kantene. Høpassfltrerng; anvender f.eks. gradent-operatorer. 3. Kant-lokalserng: Etterbeandler resultatet fra kant-fltrerngen for å fnne eksakte kantpossjoner. Kantresponsen skal elst være én pksel tkk og være lokalsert der kanten faktsk er nn-bldet. F INF3 5

55 Hva kjennetegner en god kantdetektor? Fnner alle og bare de relevante kantene. Possjonen tl detektert kant samsvarer med der kanten faktsk fnnes nn-bldet. En kant gr én enkelt respons. Robust for stø. Trade-off / kompromss mellom stø-robustet og kant-lokalserng. F INF3 55

56 Ideen tl Cann Lag en kantdetektor som er optmal forold tl følgende tre krterer: Best mulg deteksjon alle kanter og bare kanter God kant-lokalserng Én enkelt respons Optmer ved bruk av et blde med stø. Resultat: Følgende enkle algortme oppnår nesten optmumet: F INF3 56

57 Canns algortme. Lavpassfltrer med Gauss-flter med gtt σ.. Fnn gradent-magntuden og gradent-retnngen. 3. Tnnng av gradent-magntude ortogonalt på kant. F.eks.: Hvs en pksel gradent-magntude-bldet ar en 8-nabo eller mot gradent-retnngen med øere verd så settes pkselverden tl.. Hsterese-tersklng to terskler T og T l : a. Merk alle pksler der g T b. For alle pksler der g [T l T : Hvs eller 8-nabo tl en merket pksel så merkes denne pkselen også. c. Gjenta fra trnn b tl konvergens. F INF3 57

58 Eksempel: Kantdeteksjon Oppgave: Fnn fremtredende kanter. Inn-blde Tersklet glattet grad.mag. LoG-kantdetektor Canns kantdetektor F INF3 58

59 Eksempel: Kantdeteksjon Oppgave: Fnn fremtredende kanter. Inn-blde Tersklet glattet grad.mag. LoG-kantdetektor Canns kantdetektor F INF3 59

60 Oppsummerng V ar utledet enkle kant-deteksjonsoperatorer. Gradent-operatorene glatter den ene retnngen og gjør kantdeteksjon den andre retnngen. Gradent-operatorer gr både kant-strke og retnng. Laplace-operatorer gr press lokalserng av kanten men forsterker stø. LoG-operatoren er en mer robust versjon av Laplace som nkluderer Gauss-glattng. Kjernens og flterets størrelse må passe tl oppgaven! Canns kantdetektor gr et kompromss mellom støreduksjon og kantlokalserng. F INF3 6