INF 2310 Digital bildebehandling. Rayleigh-kriteriet. Samplingsteoremet (Shannon/Nyquist) Hvor små detaljer kan en linse oppløse?

Transkript

1 INF 3 Digital bildebehandling Raleigh-kriteriet Avbildning ampling og kvantisering Geometriske operasjoner Oppsummering FA, mai 5: F F F3 Filtrering i i bildedomenet d F6, F7 Morologiske operasjoner Farger og argerom F3 F4 To punkt-kilderkilder kan adskilles hvis de ligger slik at sentrum i det ene diraksjonsmønstret aller sammen med den ørste mørke ringen i det andre. Vinkelen mellom dem er da gitt ved sin =. / D radianer. Dette er Raleigh-kriteriet. Vi kan ikke se detaljer som er mindre enn dette F INF3 / 4 F INF3 / 4 Hvor små detaljer kan en linse oppløse? amplingsteoremet hannon/nquist Vinkeloppløsningen er gitt ved Tangens til vinkelen θ er gitt ved θ s sin. tg s D D Anta at det kontinuerlige bildet er båndbegrenset, dvs. det inneholder ikke høere rekvenser enn ma Det kontinuerlige bildet kan rekonstrueres ra det digitale bildet dersom samplingsraten s =/T s er større enn ma altså T s < ½T For små vinkler er sin = tgθ =, når vinkelen er gitt i radianer. ma kalles Nquist-raten => Den minste detaljen vi kan oppløse: s s.. D D I praksis oversampler vi med en viss aktor or å kunne å god rekonstruksjon F INF3 3/ 4 F INF3 4/ 4

2 Anti-aliasing Kvantisering Ved anti-aliasing jerner/demper vi de høere rekvensene i bildet ør vi sampler Hvert piksel lagres vha. n biter Pikselet kan da inneholde heltallsverdier ra til n - Eks 3 biter: F INF3 5/ 4 F INF3 6/ 4 Kvantiseringseil Geometriske operasjoner Kvantiseringseil ummen av hver piksels avrundingseil Kan velge intervaller og tilhørende rekonstruksjonsintensiteter or å minimere i denne => Ikke nødvendigvis di i uniorm ordeling entrale stikkord: Lagringsplass Behov or presisjon/akseptabelt inormasjonstap Hardware-kompleksitet, eller siske begrensninger Merk: Fremvisning og videre analse av det kvantiserte bildet kan stille ulike krav til presisjon Endrer på pikslenes posisjoner Første steg i denne prosessen: Transormer pikselkoordinatene, til, : = T, = T, T og T er ote gitt som polnomer. iden pikselkoordinatene må være heltall, må vi deretter bruke interpolasjon til å inne pikselverdien gråtonen i den ne posisjonen. F INF3 7/ 4 F INF3 8/ 4

3 Aine transormer Eksempler på enkle transormer - I Transormerer pikselkoordinatene, til, : = T, = T, Aine transormer beskrives ved: På matriseorm: = a + a + a = b +b +b Transormasjon a a a b b b Uttrkk Identitet = = kalering s s =s = s Rotasjon cosθ -sinθ sinθ cosθ =cosθ-sinθ =sinθ+cosθ F F eller F INF3 9/ 4 F INF3 / 4 Eksempler på enkle transormer - II Alternativ måte å inne transormkoeisientene Transormasjon a a a b b b Uttrkk Translasjon = + = + Horisontal shear s =+s med aktor s = Vertikal shear s = med aktor s = s + F En ain transorm kan bestemmes ved å spesiisere tre punkter ør og etter avbildningen inn-bildet resultat-bildet Med disse tre punktparene kan vi inne de 6 koeisientene; a, a, a, b, b, b Med lere enn 3 punktpar velger man den transormasjonen som minimerer i kvadrat-eilen summert over alle punktene. F INF3 / 4 F INF3 / 4

4 Forlengs-mapping Baklengs-mapping or all ',' do g',' = a = cos θ a = -sin θ b = sin θ Eksempel: Enkel rotasjon ved transormen: a = cos -θ a = -sin -θ b = sin -θ b = cos -θ amme eksempel som ved orlengs-mappingen. NB:rotertmedθ, θ ga,, rotert med -θ gir, b = cos θ or all, do = rounda +a = roundb +b i, insideg g, =, end Fltter de posisjonstransormerte pikselposisjonene til nærmeste pikselposisjon i utbildet. kriver innbildets, inn i g, or alle, do = rounda +a = roundb +b i, inside g, =, else g, = end Resample bildet. Her; or hvert utbilde-piksel, invers-transormér, og velg verdien til nærmeste piksel ra innbildet. For hver pikselposisjon i ut-bildet: Hent pikselverdi ra innbildet. F INF3 3 / 4 F INF3 4 / 4 Baklengs-mapping, orts. Trilineær interpolasjon Utvidelsen ra D til 3D kalles trilineær interpolasjon, og er en lineær interpolasjon mellom resultatene av to bilineære interpolasjoner. Resultatet er uavhengig av rekkeølgen. F INF3 5 / 4 F INF3 6 / 4

5 Interpolasjon en sammenligning Utregning av -D konvolusjon Nærmeste nabo gir D trappeunksjon. Diskontinuitet midt mellom punktene. g, w w jw k w h j, k j, k Bi-lineær interpolasjon bruker 4 piksler. Derivert blir ikke kontinuerlig over bilde-laten. Bi-kubisk interpolasjon gir glattere later. Er mer regnekrevende: 44=6 piksler. For å regne ut resultatet av en konvolusjon or posisjon, : Roter konvolusjonsilteret 8 grader Legg ilteret over bildet slik at origo overlapper posisjon, i bildet. Multipliser hver vekt i ilteret med underliggende pikselverdi. ummen av produktene gir verdien or g, i posisjon,. For å regne ut resultatet or alle posisjoner: Fltt ilteret piksel or piksel og gjenta operasjonene over. Vi bruker notasjonen g = h * F INF3 7 / 4 F INF3 8 / 4 Praktiske problemer Hva gjør vi langs randen? Kan ut-bildet ha samme piksel-representasjon som inn-bildet? Trenger vi et mellom-lager? Hva gjør vi langs bilde-randen? Anta at bildet er M N piksler Anta at ilteret er m n m=m +, n=n + Uberørt av rand-eekt: M-m+N-n+ 33: M-N- 55: M-4N-4 Alternativer:. ett g,=. ett g,=, 3. Trunker ut-bildet 4. Trunker konvolusjons-masken h 5. Utvid bildet ved relected indeing 6. Circular indeing F INF3 9 / 4 F INF3 / 4

6 Et lite tips om konvolusjon Egenskaper ved konvolusjon Når vi konvolverer et ilter med et bilde: Er vi interessert i å lage et ntt bilde med samme størrelse som input-bildet. Vi bruker en av teknikkene ra orrige oil. Når vi konvolverer en ilter-kjerne med en annen ilter-kjerne: Vi vil lage eektiv implementasjon av et stort ilter ved å kombinere enkle, separable iltre. Vi beregner resultatet or alle posisjoner der de to ilter-kjernene gir overlapp. Kommutativ *g = g* Assosiativ *g*h = *g*h Distributiv *g+h = *g + *h Assosiativ ved skalar multiplikasjon a*g = a*g = *ag Kan utnttes i sammensatte konvolusjoner! F INF3 / 4 F INF3 / 4 Lavpass-iltre Ikke-uniormt lavpass-ilter lipper gjennom lave rekvenser, og demper eller jerner høe rekvener. Høe rekvenser = skarpe kanter, stø, detaljer. Eekt: blurring eller utsmøring av bildet Utordring: bevare kanter samtidig som homogene områder glattes. Uniorme lavpass-iltre kan implementeres raskt. Ikke-uniorme iltre, or eksempel: D Gauss-ilter: h, ep Parameter er standard-avviketbredden Filterstørrelse må tilpasses F INF3 3 / 4 F INF3 4 / 4

7 Rang-iltrering Vi lager en en-dimensjonal liste av alle piksel-verdiene innenor vinduet. Vi sorterer listen i stigende rekkeølge. Responsen i, er pikselverdien i en bestemt posisjon i listen, eller en veiet sum av en bestemt del av listen. Dette er ikke-lineære iltre. Median-ilter g, = median av verdiene i et vindu rundt inn-pikslet. Median = den midterste verdien i sortert liste. Vindu: kvadrat, rektangel, pluss. Rask implementasjon kan gjøres vha. histogram, med histogram-oppdatering etter hvert som vinduet lttes. Et av de mest brukte kant-bevarende stø-iltre. pesielt godt til å jerne impuls-stø salt og pepper Problemer: Tnne kanter kan orsvinne Hjørner kan rundes av Objekter kan bli litt mindre Valg av vindus-størrelse og orm er viktig! F INF3 5 / 4 F INF3 6 / 4 Median og hjørner Høpass-iltere lipper gjennom høe rekvenser. Demper eller jerner lav-rekvente variasjoner. Med kvadratisk vindu rundes hjørnet av Med pluss -vindu bevares hjørnet Eekt: Fjerner langsomt varierende bakgrunn Framheve kanter, linjer og skarpe detaljer. F INF3 7 / 4 F INF3 8 / 4

8 Høpass-iltre Et høpass-ilter må ha positive vekter i midten, og negative vekter lenger ut. 8 Vi lar summen av vektene være null Hvis vi lar middelverdien av ut-bildet bli null, må noen deler av ut-bildet være <. Det er ingen god ide å bentte g,. For ramvisning, skaler g, og legg til en konstant slik at vi år positive pikselverdier. Gradient-operatorer Asmmetrisk D-operator: P: Vi angir konvolusjonsiltre h i, j h i, j i den hensikt at de skal brukes til konvolusjon. G&W angir mmetrisk D-operator: iltermasker som skal brukes til korrelasjon. Filtrene vil deror h i, j h i, j avvike med en 8 graders rotasjon. Roberts-operatoren også kalt Roberts krssgradient-operator: h i, j h i, j F INF3 9 / 4 F INF3 3 / 4 Gradient-operatorer g, g og gradient-magnituden, G Prewitt-operatoren: P: Vi angir konvolusjonsiltre i den hensikt at de skal brukes til h i, j h i, j konvolusjon. obel-operatoren: h i, j h i, j Frei-Chen-operatoren: F h i, j h i, j INF3 G&W angir iltermasker som skal brukes til korrelasjon. Filtrene vil deror avvike med en 8 graders rotasjon. 3 / 4 Vi inner de horisontale kantene: Beregn g,=h *, Vi inner de vertikale kantene: Beregn g,=h *, Beregn gradient-magnitude it d og retning: F G, g, g,, tan g, g, INF3 Gradient-magnitude Gradient retning 3 / 4

9 Laplace-operatoren Laplace-operatoren er gitt ved:, Den endrer ortegn der, har et vendepunkt. har to ekstremverdier per kant smooth [- -] = markerer kant-posisjon. 5 5 [- -] Kantens eksakte posisjon er nullgjennomgangen. D tt i ikk b d k t - Dette gir ikke brede kanter. Vi inner bare magnitude, ikke retning. 33 / 4 INF3 F Flere Laplace-operatorer Merk at Laplace-operatorene kan uttrkkes som senter-verdi minus et veiet middel over et lokalt naboskap. p D 3,, i i j j i j i j i j i i D pluss 5 4 D pluss D kvadrat / 4 INF3 F Laplace vs. obel obel-iltrert => bred kant Laplace-iltrert => dobbelt-kant 35 / 4 INF3 F Fra Laplace til LoG Vi gjorde gradient-operatorene stø-robuste ved å bgge inn en lavpassiltrering. Eksempel: obel-operator, h h Vi kan gjøre det samme med Laplace-operatoren Vi bruker et Gauss-ilter G LoG G G Der LoG er resultatet av å anvende LoG G G 36 / 4 INF3 Laplace-operatoren på en Gauss-unksjon. F

10 Canns algoritme Erosjon: Passer strukturelementet til det binære bildet?. Lavpassiltrer med Gauss-ilter med gitt.. Finn gradient-magnituden g og gradient-retningen. g 3. Tnning av gradient-magnitude ortogonalt på kant. F.eks.: Hvis en piksel i gradient-magnitude-bildet it d t har en 8-nabo i eller mot gradient-retningen med høere verdi, så settes pikselverdien til. 4. Hsterese-terskling to terskler, T h og T l : a. Merk alle piksler der g, T h b. For alle piksler der g, [T l,t h : Hvis 4 eller 8-nabo til en merket piksel, så merkes denne pikselen også. Vi ltter strukturelementet tu e e tet rundt over et binært bilde. Et bilde trukturelementet passer i posisjonen, i bildet hvis alle elementer i strukturelementet overlapper en pikselverdi i bildet. I denne sammenhengen vil vi alltid: Ignorere pikselverdier som overlapper i strukturelementet. markerer jo «ikke er med i naboskapet». Anta at piksler utenor bildet er. To orskjellige resultater c. Gjenta ra trinn b til konvergens. F INF3 37 / 4 F INF3 38 / 4 Anvendelse av erosjon: Kantdeteksjon Erodering jerner piksler langs omrisset av et objekt. Vi kan inne kantene av objektene i bildet ved å subtrahere et erodert bilde ra originalbildet: g = - ө Det benttede strukturelementet t t avgjør kantens tilkoblingstpe: t Et bilde erodert med gir => dieranse ammenhengende kanter hvis og bare hvis man bruker 8-tilkobling ammenhengende kanter ved bruk av 4-tilkobling Dilasjon: Treer strukturelementet det binære bildet? Vi ltter strukturelementet rundt over et binært bilde. Et bilde trukturelementet treer i posisjonen, i bildet hvis et element i strukturelementet overlapper en pikselverdi i bildet. Her relekterer vi roterer 8 strukturelementet ør vi ltter det rundt. To orskjellige struktur- elementer To orskjellige struktur- elementer To orskjellige resultater Fortsatt vil vi: Ignorere pikselverdier som overlapper i strukturelementet. Anta at piksler utenor bildet er. F INF3 39 / 4 F INF3 4 / 4

11 Anvendelse av dilasjon: Region-lling La X inneholde et punkt i regionen som skal lles. c Iterativt beregn X X inntil konvergens: X F k k X c X X X 3 X 4 X INF3 I bildene markerer hvit orgrunn og svart bakgrunn. Bildene er hentet ra trukturelement ved 8-tilkoblet region / 4-tilkoblet kant. 4 / 4 Dilasjon og erosjon er duale med hensn til komplementering og relektering 8 rotasjon, dvs. at dilasjon og erosjon kan uttrkkes ved hverandre: θ c c θ Ŝ c c Ŝ Dualitet For å dilatere med smmetrisk kan vi erodere komplementet til med, og ta komplementet av resultatet. Tilsvarende or å erodere. => Dilasjon og erosjon kan utøres av samme prosedre, orutsatt at vi kan rotere et strukturelement 8 og inne komplementet t til et binært bilde. F INF3 et bilde dilatert med gir komplementet erodert med gir og disse bildene er komplementære. De to matrisene til høre er utenor randen. 4 / 4 Dilasjon: Andre egenskaper Dilasjon er kommutativ. elv om det er en konvensjon at ørste operand er bildet og andre er strukturelementet, så har dette altså ingen betdning. Dilasjon er assosiativ. Hvis kan dekomponeres, dvs. at er dilatert med, kan vi spare en del regnetid, spesielt hvis og er én-dimensjonale. Eksempel: Erosjon: Andre egenskaper Erosjon er IKKE kommutativ: θ θ Erosjon er heller IKKE assosiativ, men suksessiv erosjon av bildet med A og så med B er ekvivalent med erosjon av bildet med A dilatert med B: θ A θ B θ A B Passer det med denne tidligere påstanden? «Hvis s er ormlik s, men dobbelt så stort, så er ө s ө s ө s» F INF3 43 / 4 F INF3 44 / 4

12 Åpning Lukking Erosjon av et bilde jerner alle strukturer som ikke kan inneholde strukturelementet, og «krmper» alle andre strukturer. Hvis vi dilaterer resultatet av en erosjon med samme strukturelement, vil de strukturene som «overlevde» erosjonen bli omtrentlig gjenskapt. Dilasjon av et bilde utvider strukturer, ller i hull og innbuktninger i omrisset. Hvis vi eroderer resultatet av en dilasjon med samme strukturelement, vil strukturene stort sett å gjenskapt sin opprinnelige størrelse og orm, men hull og innbuktninger som ble lt igjen ved dilasjonen vil ikke gjenoppstå. Dette er en morologisk åpning; Dette er en morologisk lukking; θ θ Navnet kommer av at operasjonen kan skape en åpning et mellomrom mellom to strukturer som bare henger sammen ved en tnn «bro», uten å krmpe disse to strukturene i noen betdelig grad. Navnet kommer av at operasjonen kan lukke en åpning mellom to strukturer som bare er adskilt med et lite gap, uten at de to strukturene vokser i noen betdelig grad. Bare erosjon kan også skape en slik åpning/mellomrom, men vil også krmpe begge strukturene. Bare dilasjon kan også lukke en slik åpning, men vil også orstørre begge strukturene. F INF3 45 / 4 F INF3 46 / 4 Dualitet mellom åpning og lukking «Hit-or-miss»-transormasjonen Lukking er en dual operasjon til åpning med hensn til komplementering og relektering 8 rotering, og omvendt: ˆ c c ˆ c c Tilbake til den opprinnelige situasjonen: Bilde og strukturelement Men strukturelementet er nå deinert ved et par [, ]av binære strukturelementer som ikke har noen elles elementer. Lukking kan utøres ved å komplementere bildet, åpne det med det speilvendte 8 rotere strukturelementet, og ta komplementet av resultatet. Tilsvarende or åpning. Vi kan altså utøre begge operasjonene med kode bare or den ene, hvis vi har kode or å speilvende og komplementere et binært bilde. «Hit-or-miss»-transormasjonen av med = [, ] er deinert som: C, θ θ En orgrunnspiksel iut-bildet oppnås kun hvis: passer orgrunnen rundt pikselen og passer bakgrunnen rundt pikselen. Lukking er en ekstensiv transormasjon piksler legges til. Åpning er en antiekstensiv transormasjon piksler jernes. Kan brukes til å inne/behandle bestemte mønstre i et bilde,.eks. til å: Finne bestemte strukturer. Fjerne enkeltpiksler. Benttet i tnning om to slides. F INF3 47 / 4 F INF3 48 / 4

13 Eksempel: «Hit-or-miss» Et bild A trukturelement Et bilde A Resultat etter erosjon med trukturelement A c - komplementet til bildet er utenor randen A c erodert med «Hit-or-miss»-resultatet Logisk AND av de to delresultatene Tre integraler gir RGB Ls ra en kilde med spektralordeling E treer et objekt med spektral releksjonsunksjon. Relektert ls detekteres av tre tper tapper med spektral lsølsomhetsunksjon q i. Tre analoge signaler kommer ut av dette: R E qr d G B E q G d E q B d B F INF3 49 / 4 F INF3 5 / 4 Beskrivelse av arger RGB-kuben En arge kan beskrives på orskjellige måter argerom RGB,, blå can HI Hue, aturation, Intensit CMY Can, Magenta, Yellow pluss mange lere.. HI er viktig or hvordan vi beskriver og skiller arger. I Intensitet: hvor ls eller mørk er den saturation/metning: hvor sterk er argen Gråtonebilder: r=g=b magenta,, svart hvit grønn,, H dominerende arge bølgelengde H og beskriver sammen argen og kalles kromatisitet,, rød gul F INF3 5 / 4 F INF3 5 / 4

14 RGB og CMY Hue, aturation, Intensit HI RGB og CMY er i prinsippet sekundærarger or hverandre. hvit Hue: ren arge - gir bølgelengden i det elektromagnetiske spektrum. can grønn gul H rød H er vinkel og ligger mellom og : Rød: H=, grønn: H= /3, blå= 4/3, gul: H=/3, can=, magenta= 5/3 blå magenta I Hvis vi skalerer H-verdiene til 8-bits: Rød: H=, grønn: H= 85, blå= 7, gul: H=4, can= 7, magenta= 3. svart F INF3 53 / 4 F INF3 54 / 4 Fargebilder og argetabeller RGB kan lagres med like mange biter or r, g, b,.eks elv = 9 biter gir oss = 5 kombinasjoner, men bare 8 orskjellige nivåer av rødt, grønt og blått, og dermed også bare 8 orskjellige gråtoner. Et scene med mange nanser av én arge vil da se ille ut! Hvoror? Jo ordi denne argen bare år 8 orskjellige nanser! Det er ikke sikkert at alle de 5 argene innes i bildet. Alternativt kan man bruke 8 biter og argetabeller. Hver rad i tabellen beskriver en r, g, b-arge med 4 biter. Tabellen inneholder de 56 argene som best beskriver bildet. I bilde-ilen ligger pikselverdiene som tall mellom og 55. F Når vi skal vise bildet, slår vi bare opp i samme rad som pikselverdien, og inner de tilsvarende r, g, b-verdiene. INF3 55 / 4 Midtveiseksamen Noen oppgaver var vanskeligere enn andre, μ,σ or del-oppgaver:, 9, 8, 7, 6, 5, 4, 3,,,, Dette kullet gjorde det bra, normalisert histogram over normert poengsum: F INF / 4

15 Kontakt oss Hvis du lurer på noe i INF3-pensum Hvis du tenker på lere kurs i digital bildeanalse Hvis du tenker på å ta en Master-oppgave Takk or ølget, og lkke til med eksamen!!! F INF3 57 / 4