Justering av bildets middelverdi og standard-avvik IN 106, V-2001 BILDEFORBEDRING, DEL II FILTRERING 19/ Fritz Albregtsen

Transkript

1 IN 06, V-200 Justering av bildets middelverdi og standard-avvik Gitt et inn-bilde med normalisert histogram p(v),v [0,..., ], 0 p(v) = Da er µ og gitt ved BILDEFORBEDRING, DEL II µ v = vp(v)dv 0 v 2 ( )2 = 0 v2 p(v)dv vp(v)dv 0 Anta en lineær histogram-transform w = av + b FILTRERING FARGER 9/3 200 Ny µ og er da gitt ved µ w = wp(w)dw = aµ v + b 0 2 w = = 0 w2 p(w)dw [ 0 wp(w)dw ]2 0 (a2 v 2 +2avb + b 2 )p(v)dv ] [ [ = a 2 0 v2 p(v)dv (vp(v)dv) 2 = a 2 v 2 0 (av + b)p(v)dv ]2 Fritz Albregtsen Dvs. a = w v, b = µ w aµ v Vi kan altså velge µ w og w 2, beregne a og b, anvende histogramtransformen w = av+b på alle piksler i inn-bildet, og får det ut-bildet vi ønsket. FA 9/03/200 FA/IN06/200/hist-2 Justering av µ og To små eksempler : Vil beholde µ, men ønsker ny 0 Bestemaogbi Vi har da: v =av + b a = 0 b = µ aµ = µ ( 0 Altså v = µ +(v µ) 0 2: Ønsker ny µ 0 og 0. Bestemaogbi Vi har da: Dvs.: v 2 =av + b a = 0 b = µ 0 aµ = µ 0 µ 0 v 2 = av + b = µ 0 +(v µ) 0 ) Lokal PVM Pikselverdi transformasjoner kan beregnes ut fra pikselverdiene i en lokal omegn (f.eks. kvadratisk vindu) omkring punktet (x,y). Eks.: Utfør lokal transform som gir samme kontrast over hele bildet. Beregn µ(x, y) og(x, y) ietvindu sentrert om (x,y) Transformer v(x, y) til v (x, y ved v (x, y) =av(x, y)+b slik at vi får nytt st.dev. = 0 ved v (x, y) =µ(x, y)+[v(x, y) µ(x, y)] (x, y) Ønsker vi ny middelverdi µ 0 v 2 (x, y) =µ 0 (x, y)+[v(x, y) µ(x, y)] (x, y) v 2 vil bli et flatt bilde. Parameteren α kan styre hvor kraftig vi endrer µ: v 3 (x, y) = αµ 0 (x, y)+( α)µ(x, y) 0 + [v(x, y) µ(x, y)] (x, y) 0 0 FA/IN06/200/hist-22 FA/IN06/200/hist-23

2 Lokal PVM - 2 Hva er karakteristisk for flate partier i et bilde? (x, y) 0 Her får vi problemer fordi 0 v 3 (x, y) =... +[v(x, y) µ(x, y)] (x, y) Innfører parameteren β : v 3 (x, y) = αµ 0 (x, y)+( α)µ(x, y) β 0 + [v(x, y) µ(x, y)] o (x, y)+β(x, y) Lokal PVM gir økt regnearbeid. Flere strategier for økt hastighet, f.eks.: Beregn µ(x, y)og(x, y) fralokalthistogram. Flytt vinduet ett steg og oppdater histogram. Beregn nye µ(x, y) og(x, y). Se på local operators/statistical differencing i XITE (xshow) Lokale Operasjoner Vi skal se på teknikker i bilde-doménet, i motsetning til frekvens-doménet. Bilde-doménet refererer til mengden av piksler som utgjør det digitale bildet. Bildeplan metoder opererer på disse pikslene, og gir: g(x, y) =T[f(x, y)] der f(x, y) = inn-bilde T = operator på f ienomegn om (x, y) g(x, y) = ut-bilde Hver pikselverdi g(x, y) i ut-bildet er en funksjon av pikselverdiene f ietlokaltområde omkring tilsvarende pikselposisjon (x, y) i inn-bildet. Et problem oppstår når deler av det lokale området ligger utenfor bildet. FA/IN06/200/hist-24 FA/IN06/200/filter-0 Lokale Operasjoner - II Merk at T kan ha flere bilder som input (bilder fra flere bølgelengder, ulike detektorer etc.) men har som regel ett bilde som output. Filter-egenskaper Linearitet H [af (x, y)+bf 2 (x, y)] = ah [f (x, y)] + bh [f 2 (x, y)] der a og b er konstanter, f og f 2 er vilkårlige bilder. Additivitet H [f (x, y)+f 2 (x, y)] = H [f (x, y)] + H [f 2 (x, y)] Hvis H er en lineær operator vil responsen på ensum av to inn-signaler være lik summen av responsen på hvert av de to signalene. Homogenitet H [af (x, y)] = ah [f (x, y)] Hvis H er en lineær operator, er responsen på et konstant multippel av en vilkårlig input lik konstanten multiplisert med responsen på input Posisjons-invarians H [f (x α, y β)] = g(x α, y β) for alle f(x, y), og for vilkårlige (α, β). Responsen i et vilkårlig punkt i et bilde avhenger bare av bildets lokale verdi, ikke av posisjonen. FA/IN06/200/filter-02 FA/IN06/200/filter-03

3 Filter-typer Lavpass Slipper gjennom lave frekvenser, og demper eller fjerner høye frekvenser i Fourier-domenet. Høye frekvenser: Støy, skarpe kanter, linjer og detaljer i bildet. Effekt: blurring av bildet. Høypass Slipper igjennom høye frekvenser, og demper eller fjerner lav-frekvens komponenter i Fourierdomenet. Filter-typer, eksempler Filter-vektene, h(i, j), multipliseres med pikselverdiene under filter-masken, og produktene summeres for ågi en ut-verdi for hver posisjon som filtret plasseres i. Ut-verdiene legges i en ny bilde-fil. g(x, y) =T[f(x, y)] = w w i= w j= w h(i, j)f(x i, y j) Effekt: Fjerner langsomt varierende bakgrunn, fremhever kanter og skarpe detaljer. Bandpass Fjerner eller demper frekvens-komponenter under og over to gitte frekvenser. FA/IN06/200/filter-04 FA/IN06/200/filter-05 Omgivelser / naboskap / vindu Kvadrater/rektangler er mest vanlig. Av symmetri-hensyn oftest odde antall piksler. Omgivelsen kan ha flere dimensjoner (x, y, z, λ, t,...) Enklest transform får vi når omgivelsen er pixel. T er da en Pixel Value Mapping, der ut-bildet g bare avhenger av inn-bildet f i punktet (x, y). Hvis T er den samme over hele bildet (invariant), harvienglobal transform. Hvis w>( ),harvienlokal transform, selv om T er invariant. Naboskap + Transform = Maske Naboskap / vindu / Omgivelse / neighborhood = De pikslene rundt et punkt i inn-bildet som T opererer på. Transform / Operator / Algoritme = Operator/algoritme som opererer på pikslene i et naboskap. Maske / Template / Filter = Et geometrisk mønster (array) av vekter eller koeffisienter. Generelt: T [f(x, y)] = w w i= w j= w h(i, j)f(x i, y j) FA/IN06/200/filter-06 FA/IN06/200/filter-07

4 LOKALE OPERASJONER BRUKSOMRÅDER: Glatting / støyreduksjon Skjerping / kant-deteksjon Mønster-gjenkjenning HOVEDMETODER: Konvolusjon Adaptive metoder geometrisk adaptivitet radiometrisk adaptivitet kombinasjoner Andre metoder -D KONVOLUSJON Ut-signalet g(x) er en veiet sum av inn-signalet f i et område omkring x. Vektene i summen er gitt ved masken h(i), definert over et begrenset vindu. Merk at... x+w g(x) = f(i)h(x i) i=x w =f(x w)h(w) +f(x w+)h(w ). + f(x + w )h( w +) + f(x+w)h( w) = w f(x i)h(i) i= w For symmetrisk h: g(x) = x+w f(i)h(x i)= i=x w w i= w f(i)h(i x) FA/IN06/200/filter-08 FA/IN06/200/filter-09 2-D Digital konvolusjon Ut-bildet er gitt ved g(x, y) = w i= w h er et k l filter der w 2 j= w 2 h(i, j)f(x i, y j) k =2w + l=2w 2 + kog l er altså odde tall. Ofte har vi k = l (kvadratisk vindu). Ut-bildet er en veiet sum av inn-pikslene som omgir (x, y). Vektene er gitt ved h(i, j). Ut-bildets pikselverdi i neste posisjon finnes ved at vi flytter filtret h ett piksel, og beregner den veide summen på nytt. Middelverdi-filter Et flatt filter (dvs like vekter). Et lav-pass filter (fjerner de høye frekvensene). Geometrisk form: kvadrat, rektangel, pluss. Rektangulære middelverdi-filtre er separable. HM(i, j) = = [ ] Fordel: Et raskt filter. Ulempe: Glatter ut kanter. FA/IN06/200/filter-0 FA/in06/200/filter-

5 Median-filter Høypass-filtre Ut-verdi = median av verdiene i et vindu rundt inn-pikslet. Vindu: kvadrat, rektangel, pluss-formet. Rask implementasjon v.hj.a. histogram, med histogram-oppdatering etter hvert som vinduet flyttes. Et av de mest brukte kant-bevarende støy-filtre. Problemer: tynne linjer forsvinner hjørner rundes av objekter blir litt mindre Et høypass filter må ha positive vekter i midten, og negative vekter lenger ut. 8 Vi lar summen av vektene være null. Hvis vi lar middelverdien av ut-bildet bli 0, må noen deler av bildet være < 0. Det er ingen god ide å benytte g(x, y). Vi skalerer, og legger til en konstant, slik at resultatet kan vises fram som g(x, y) > 0 FA/in06/200/filter-2 FA/in06/200/filter-3 High-boost -filtre En høypass filtrering kan utføres ved Høypass = Original - Lavpass (Bevises i en av gruppeoppgavene) Hvis vi vekter original-bildet, får vi et High-Boost, eller Original-Plus-Laplace filter. Anta at vi har vist at g HP (x, y) =f(x, y) f LP (x, y) Da har vi (hvis filtret er (3 3)) ghb(x, y) = Af(x, y) flp (x, y) () = (A )f(x, y)+f(x, y) flp (x, y) = (A )f(x, y)+ghp(x, y) = (A )f(x, y) 0 0 +f(x, y) 8 9 = f(x, y) 9A 9 Digitale gradient-operatorer Vi husker at den deriverte av f(x) er gitt ved f(x + h) f(x) lim h 0 h Ivåre digitale bilder setter vi h Vi får da en gruppe av operatorer som gir approksimasjoner til de ortogonale gradient komponentene δf(x, y)/δx og δf(x, y)/δy Noen operatorer gir bare et estimat av gradient-magnituden (kant-styrken) Andre gir også gradient-retningen Gitt to digitale masker H x og H y. Disse konvolveres med det digitale bildet F (i, j) og måler gradient-komponentene g x og g y over en omegn om (i, j) ibildetf. Dette er Unsharp Masking. FA/in06/200/filter-4 FA/in06/200/filter-5

6 Digitale gradient-approksimasjoner Gradient-operatorer Asymmetrisk D operator G R (i, j) =F(i, j) F (i, j ) G C (i, j) =F(i, j) F (i +,j) Definisjonen er gitt slik at komponentene er positive for en kant der intensiteten øker fra venstre mot høyre og nedenfra og oppover i bildet. Gradient-estimatene refererer ikke til samme sted i bildet. Pixel difference H R (i, j) = 0 Separated pixel difference H R (i, j) = Roberts H R(i, j) = H C (i, j) = H C (i, j) = H C(i, j) = Roberts operator G (i, j) =F(i, j) F (i +,j+) Prewitt H R (i, j) = H C (i, j) = G 2 (i, j) =F(i, j +) F(i+,j) Sobel H R (i, j) = H C (i, j) = 2 2 FA/in06/200/filter-6 FA/in06/200/filter-7 Konvolusjon og multiplikasjon Konvolusjon og korrelasjon Anta at g(x, y) er et bilde som er dannet ved konvolusjon av et bilde f(x, y) og en lineær, posisjonsinvariant operator h(x, y) i bildedomenet g(x, y) =h(x, y) f(x, y) Dette er ekvivalent med multiplikasjon i frekvensdomenet G(u, v) =H(u, v)f (u, v) der G, H og F er Fourier-transformene til g, h og f. Anta at vi lar systemet avbilde en punkt-kilde: h(x, y) kalles punkt-sprednings-funksjonen eller impuls-responsen H(u, v) kalles modulation transfer function (MTF) Konvolusjon, kontinuerlig, 2D: g(x, y) =f h= f(α, β)h(x α, y β)dαdβ Integranden er et produkt av to funksjoner der den siste er rotert 80 o og forflyttet med (x, y) Merk at f h = h f Korrelasjon, kontinuerlig, 2D: krysskorrelasjon g(x, y) =f h= f (α, β)h(x+α, y+β)dαdβ Brukes til prototyp eller template matching av et lite bilde til et større bilde og til å finne forskyvningen mellom to bilder. autokorrelasjon g(x, y) =f f= f (α, β)f(x+α, y+β)dαdβ Brukes til å finne karakteristisk størrelse på strukturer i et bilde, og eventuelle periodisiteter og retningen på disse. FA/IN06/200/konv-0 FA/IN06/200/konv-02

7 IDEELL LAVPASS-FILTRERING IDEELL LAVPASS-FILTRERING II Kanter, linjer og støy i bildet bidrar til de høyfrekvente delene av bildets Fourier-transform Den skarpe cutoff frekvensen i et ideelt lavpassfilter kan ikke realiseres med elektronikk. I praksis arbeider man med trunkerte idealfiltre. Lavpass-filtrering oppnås ved å velge et filter H(u, v) som demper de høye frekvensene G(u, v) =H(u, v)f (u, v) Invers Fourier-transform gir da et glattere bilde. Ideelt lavpassfilter har verdien innenfor en sirkel i frekvens-planet, og 0 utenfor. Alle frekvenser under cutoff frekvensen slipper gjennom filtret. Cutoff-frekvensen er en nyttig parameter for filterdesign, og for sammenligning av ulike filtre. Vi kan f.eks. beregne hvor stor del av totalt power vi finner innenfor forskjellige frekvens-loci D : β = P(u, v) P T (u 2 +v 2 D 2 ) der total-energien er P T = N N u=0 v=0 P (u, v) H(u, v) = hvis D(u, v) D 0 0 hvis D(u, v) >D 0 D(u, v) =(u 2 +v 2 ) /2 Vi betrakter her bare filtre der den reelle og den imaginære delen av F (u, v) filtreres likt. Dermed er fasen ikke påvirket av filtreringen. Ofte vil en stor andel av P T falle innenfor en liten radius D. Bruker vi en tilsvarende lav cutoff-frekvens, blir bildet veldig utsmurt (blurring). Mesteparten av informasjonen om skarpe detaljer ligger altså på høyere frekvenser. Selv om vi beholder 95% av energien, så er bildet forstyrret av ringing. FA/IN06/200/konv-03 FA/IN06/200/konv-04 BUTTERWORTH-FILTRE HØYPASS-FILTRERING Et Butterworth lavpass filter (BLPF) av orden n, med cutoff frekvens D 0 er gitt ved H(u, v) = + [ D(u,v) D 0 ] 2n Kanter, linjer (og støy) i bildet bidrar til de høyfrekvente delene av bildets Fourier-transform Hvis vi demper eller fjerner lave frekvenser, vil vi fremheve kanter og linjer (og støy), og bildet ser skarpere ut. D(u, v) =(u 2 +v 2 ) /2 og filtret har verdien 0.5 ved cutoff-frekvensen. Slike filtre har ingen skarp cutoff, Ideelt høypassfilter har verdien 0 innenfor en sirkel i frekvens-planet, og utenfor. Alle frekvenser over cutoff frekvensen slipper gjennom filtret. og gir ikke opphav til ringing. Et Butterworth høypass filter (BHPF) av orden n, med cutoff frekvens D 0 er gitt ved H(u, v) = + [ D ] 2n 0 D(u,v) D(u, v) =(u 2 +v 2 ) /2 og filtret har verdien 0.5 ved cutoff-frekvensen. FA/IN06/200/konv-05 FA/IN06/200/konv-06

8 Farge-sensorer CIE tristimulus-kurver Fargerepresentasjon er basert på Thomas Young s klassiske teori (802) om at alle farger kan reproduseres ved å blande tre primærfarger. Vi har tre typer farge-reseptorer i retina (tapper), med absorpsjons-spektra S (λ),s 2 (λ),s 3 (λ) 380 nm <λ<780 nm CIE 93 tristimulus-kurvene x(λ), y(λ) ogz(λ) er gitt. Da kan vi finne koordinatene (X,Y,Z) for en vilkårlig farge C, med gitt bølgelengde-fordeling c(λ): X = 780nm c(λ)x(λ)dλ 380nm Y = 780nm c(λ)y(λ)dλ 380nm Z = 780nm c(λ)z(λ)dλ 380nm Tripletten (X, Y, Z) angir nå mengdene av hypotetiske primær-komponenter som skal til for å framstille den valgte fargen C. Fargen er da et punkt i den positive oktanten i XYZ-rommet. Et farget lys med energifordeling C(λ) vil da gi en farge-fornemmelse gitt ved 780nm α i = S i(λ)c(λ)dλ, i =,2,3 380nm y(λ) er valgt lik vår egen lysfølsomhets-funksjon. Y-koordinaten i XYZ-rommet gir dermed luminansen. FA/IN06/200/col-0 FA/IN06/200/col-02 Kromatisitets-koordinater Rene primær-farger Hvis luminansen er uvesentlig, angir man de trikromatiske koordinatene (x,y,z), definert ved:: X x = X + Y + Z Y y = X + Y + Z Z z = X + Y + Z Illustrert geometrisk : Vi kan definere tre primær-farger: R:λ = nm G:λ 2 = 546. nm B:λ 3 = nm Tripletten (r,g,b) gir da mengden av R, G og B som produserer C : C = rr + gg + bb Man kan godt velge andre primær-farger, sålenge den ene primær-fargen ikke er en blanding av de andre to. Hvis man tillater negative koeffisienter, kan alle farger fremstilles. z = - x - y er redundant Man velger primær-farger som gir et størst mulig utvalg av farger uten bruk av negative koeffisienter. De dikromatiske koeffisientene (x,y) kan da brukes til å representere fargene i 2D. FA/IN06/200/col-03 FA/IN06/200/col-04

9 RGB IHS R = 700 nm G = 546. nm B = nm Hvit:R=G=B= Fargerommet ser da slik ut : Igår fra svart (0) til hvit (). I-aksen svarer til diagonalen i RGB-rommet. H og S er polarkoordinater i planet ortogonalt på I-aksen. H er vinkelen målt fra et vilkårlig utgangspunkt (her velger vi blå, GW velger rød). S er radiell avstand fra diagonalen. FA/IN06/200/col-05 FA/IN06/200/col-06 Kromatisitets-koordinater Pseudo-farger Har et gråtone-bilde som utgangspunkt. Rene spektralfarger finnes langs hestesko-formet omriss. Tilordner en farge (et punkt i fargerommet) til hver gråtone. H-aksen i IHS krummer seg rundt hesteskoen. Metning (S) øker radielt fra midten av hesteskoen. Purpur-fargene ligger langs den nederste, rette linjen. Blandingsfarger ligger alltid på forbindelseslinjen mellom utgangsfargene. Med tre grunnfarger kan man lage alle farger innenfor den tilsvarende trekanten, men ingen utenfor. Gråtone-skalaen blir da en kurve i fargerommet. Velger f.eks. S = konstant, lar I avbilde pikselverdi, mens H avbilder et lokalt gjennomsnitt av pikselverdien. Falske farger Flytter eller bytter farger. Legger synlige farger på informasjon som ligger utenfor det synlige spektrum. Har ofte fler-kanals bilder som input. Enkelt hvis antall kanaler = 3. FA/IN06/200/col-07 FA/IN06/200/col-