Temaer i dag. Geometriske operasjoner. Anvendelser. INF 2310 Digital bildebehandling

Transkript

1 Temaer i dag INF 310 Digital bildebehandling Forelesning 3 Geometriske operasjoner Fritz Albregtsen Geometriske operasjoner Lineære / affine transformer Resampling og interpolasjon Samregistrering av bilder Pensum: Kap..4.4 og.6.5 i DIP 1 Geometriske operasjoner Endrer på pikslenes posisjoner Første steg i denne prosessen: Transformer pikselkoordinatene (x, til (x, : x = T x (x, = T (x, T x og T er ofte gitt som polnomer. Siden pikselkoordinatene må være heltall, må vi deretter bruke interpolasjon til å finne pikselverdien (gråtonen i den ne posisjonen. Anvendelser Forstørre deler av bilder for visuell inspeksjon («zoome» Rette opp geometriske feil som oppstår under avbildningen Rotasjon i bildeplanet Fiskeøelinse Radaravbildning av terreng Medisinsk ultrald Samregistrere bilder Samregistrere bilder fra ulike sensorer (CT, MR, US Samregistrere bilder tatt på ulike tidspunkt. Samregistrere bilder med kart i en bestemt kartprojeksjon. Eksempel: Ansiktsgjenkjenning: Finne alle ansiktene i et bilde, klipp ut ansiktene, transformer del-bildene slik at ansiktene i bildet blir på samme sted, har samme orientering og samme størrelse som i referansebildene. Generere bilder fra andre kameravinkler Spesialeffekter 3 4

2 Affine transformer Transformerer pikselkoordinatene (x, til (x, : x = T x (x, = T (x, Affine transformer beskrives ved: På matriseform: x = a 0 x + a 1 + a = b 0 x + b 1 + b eller Egenskaper ved affine transformer Rette linjer bevares (se ukeoppgave Parallelle linjer forblir parallelle Utrkkes ved enkel matrisemultiplikasjon Eksempler på affine transformasjoner: Translasjon Rotasjon Shearing Skalering Kombinasjoner av disse (! 5 6 Litt om rotasjon Hørehånds koordinatsstem, rotasjon positiv med urviseren: x = xcosθ - sinθ; = xsinθ + cosθ Venstrehånds koordinatsstem, rotasjon positiv med urviseren: x = xcosθ + sinθ; = -xsinθ + cosθ θ P x x θ P x x Eksempler på enkle transformer - I Transformasjon a 0 a 1 a b 0 b 1 b Uttrkk Identitet x = x = Skalering s 0 0 s 0 0 x = sx = s Rotasjon cosθ -sinθ 0 sinθ cosθ 0 x =xcosθ-sinθ xsinθ+cosθ F F F 7 8

3 Eksempler på enkle transformer - II Sammenslåing av affine transformer Transformasjon a 0 a 1 a b 0 b 1 b Uttrkk Translasjon 1 0 x 0 1 x = x+ x = + Horisontal shear med faktor s 1 1 s x = x+s 1 = Vertikal shear med faktor s s 1 0 x = x = s x+ F (etc Alternativ måte å finne transformkoeffisientene Transformer med høere ordens polnomer En affin transform kan bestemmes ved å spesifisere tre punkter før og etter avbildningen Bilineære transformer beskrives ved: x = a 0 x + a 1 + a + a 3 x = b 0 x + b 1 + b + b 3 x Kvadratiske transformer: x = a 0 x + a 1 + a + a 3 x + a 4 x + a 5 inn-bildet Med disse tre punktparene kan vi finne de 6 koeffisientene; a 0, a 1, a, b 0, b 1, b Med flere enn 3 punktpar velger man den transformasjonen som minimerer (kvadrat-feilen summert over alle punktene (mer om dette senere resultat-bildet = b 0 x + b 1 + b + b 3 x + b 4 x + b 5 Polnomer av høere orden gir muligheter for å korrigere for mer «komplekse» avbildningsfeil 11 1

4 Resampling Forlengs-mapping for all x',' do g(x',' = 0 a 0 = cos θ a 1 = -sin θ b 0 = sin θ b 1 = cos θ Eksempel: Enkel rotasjon ved transformen: I illustrasjonen: Har kun sample/pikselverdier der linjene krsser Vil gjerne ha bildet samplet på et rektangulært grid -> resample Ikke glem at sammenhengen mellom romlig oppløsning og samplingsrate (samplingsteoremet fortsatt gjelder! for all x, do x = round(a 0 x+a 1 = round(b 0 x+b 1 if (x, inside g g(x, = f(x, end 13 Fltter de posisjonstransformerte pikselposisjonene til nærmeste pikselposisjon i utbildet. Skriver innbildets f(x, inn i g(x, 14 Forlengs-mapping, forts. Baklengs-mapping Problemer: Ikke alle utpiksler får verdi (hullene i bildet Unødig beregning av pikselkoordinater som allikevel ikke blir snlige (ender utenfor utbildet Samme utbilde-piksel kan bli satt flere ganger a 0 = cos (-θ a 1 = -sin (-θ b 0 = sin (-θ b 1 = cos (-θ for alle x, do x = round(a 0 x +a 1 = round(b 0 x +b 1 if (x, inside f g(x, = f(x, else g(x, =0 end Samme eksempel som ved forlengs-mappingen. NB: (x, rotert med θ ga (x, (x, rotert med -θ gir (x, Resample bildet. Her; for hvert utbilde-piksel, invers-transformér, og velg nærmeste piksel fra innbildet. For hver pikselposisjon i ut-bildet: Hent pikselverdi fra innbildet

5 Baklengs-mapping, forts. Interpolasjon : Hvilken intensitetsverdi skal pikselen få? x Baklengs-mapping x Nullte-ordens interpolasjon eller nærmeste nabo-interpolasjon g(x, = f( round(x, round( => Intensiteten til g(x, blir en av verdiene fra f Bilineær interpolasjon - I Bilineær interpolasjon - II Anta at vi kjenner gråtoneverdien i fire nabo-punkter Ønsker å estimere gråtonen i et mellomliggende punkt. Gjør to lineære interpolasjoner i én retning først, f.eks i x-retning: ( x x ( x x1 1 f ( x1, 1 + f ( x, 1 ( x x1 ( x x1 og ( x x ( x x1 f ( x1, + f ( x, ( x x ( x x 1 Så én interpolasjon i ortogonal retning: ( ( x1 1 + ( ( 1 Resultatet er uavhengig av rekkefølgen. Den interpolerte flaten er kvadratisk (krum, men lineær langs linjer parallelle med aksene Bilineær interpolasjon når f er kjent i (0,0, (0,1, (1,0 og (1,1: ( der 0 (1 x f (0,0 + x f (1,0 og 1 (1 x f (0,1 + x f (1,1 (1 x (1 f (0,0 + x (1 f (1,0 + (1 x f (0,1 + x f (1,1 Eller i matrisenotasjon: f (0,0 f (0,1 (1 [(1 x x] f (1,0 f (1,1 Utvidelsen fra D til 3D kalles trilineær interpolasjon, og er en lineær interpolasjon mellom resultatene av to bilineære interpolasjoner. 0

6 Første-ordens interpolasjon/ bilineær interpolasjon Bilineær interpolasjon, eksempel Intensiteten blir en kombinasjon av pikselverdiene i de fire pikslene som omgir punktet Bidragene fra hver av disse vektes med avstanden Interpolere i x- og -intervallene mellom 0 og 1: Praktisk algoritme: x 0 = floor(x, 0 = floor( x 1 = ceil(x, 1 = ceil( x = x - x 0 = - 0 p = f(x 0, 0 +[f(x 1, 0 -f(x 0, 0 ] x q = f(x 0, 1 +[f(x 1, 1 -f(x 0, 1 ] x f(x, =p+(q-p 1 Høere-ordens interpolasjon Bi-kubisk interpolasjon bentter et naboskap på 4x4 piksler Interpolasjon kan sees på som (kontinuerlig konvolusjon med bestemte filtre. Interpolasjonsfunksjoner i praksis Nærmeste nabo: Taggete kanter og større totalfeil. Hver ut-piksel har en verdi fra inn-bildet: Ingen rekvantisering er nødvendig: en fordel hvis man vil bevare visse statistiske egenskaper i bildet (eller hvis bildet er segmenert i ulike klasser Bilineær interpolasjon og høere-ordens interpolasjon: er mer regnekrevende (1D-varianter av nærmeste nabo, lineær og kubisk interpolasjonskjerne Bi-kubisk interpolasjon: gir skarpere bilder og har kontinuerlige deriverte Men er (me mer regnekrevende enn bilineær interpolasjon, og kan gi opphav til kant-glorie-effekter 3 4

7 Kant-glorie-effekter / ringing ved kubisk interpolasjon Interpolasjon en sammenligning Negative lobe-verdier Bi-kubisk interpolasjon gir glattere flater enn bilineær, men er mer regnekrevende; bruker 4x4=16 piksler. Bi-lineær interpolasjon bruker x=4 piksler. Derivert er ikke kontinuerlig over flaten. Nærmeste nabo gir D trappefunksjon, med diskontinuitet midt mellom punktene. 5 6 Bruk av geometriske transformer: Samregistrering av bilder Samregistrering II Hvis bildenes kartkoordinater er kjent, benttes til å finne transformkoeffisientene. Original Ønsket bilde å samregistrere med Transformert Hvis ikke, brukes gjerne kontrollpunkter: Kontrollpunkter plukkes ut manuelt lett identifiserbare punkter (landemerker i begge bildene. Affine transformer er unikt spesifisert med 3 punktpar (bestemmer a 0, a 1, a, b 0, b 1, b Bi-lineære med 4 punktpar Bi-kvadratiske med 6 punktpar Bi-kubiske med 16 punktpar, I praksis velges ofte mange flere punkter for å få en god transformasjon (se neste side 7 8

8 Kursorisk pensum Samregistrering III Samregistrering IV (Minimere kvadratfeilen Ved flere kontrollpunkter enn nødvendig for å bestemme transformkoeffisientene, benttes ofte kvadratfeilen som minimeringskriterium. Gitt M kontrollpunkter (xi,i,(xir,ir («r» indikerer referansebildet og anta mappingen (xi,i --> (x i, i Polnomkoeffisientene settes til de som minimerer kvadratfeilen mellom kontrollpunktets sanne koordinater (xir,ir og de transformerte koordinatene (xi,i : d G a Vi er på jakt etter koeffisienten ei denne avektoren G og a er her basert på en affin transform Enkel lineæralgebra benttes til å finne eksakt løsning INF Transform/endring av pikslenes posisjoner (x-,-koordinater Affine transformer Resampling:Forskjellige transformer for ulike deler av bildet Ofte bestemmes et kontrollgrid som strer hvordan de ulike delene skal endres Bilineær transformasjon benttes ofte: x = a0x + a1x + a + a3 = b0x + b1x + b + b3 Resampling: Forlengs- og baklengsmapping Interpolasjonsmetoder for å bestemme gråtonene til de geometrisk transformerte pikslene: Nærmeste nabo-interpolasjon Bilineær interpolasjon Høere-ordens interpolasjoner Hver firkants fire hjørnepunkter bestemmer entdig den bilineære transformen INF310 Én enkelt matrise Oppsummering Stkkevise transformer INF310 Bruk av geometriske operasjoner til å samregistrere bilder Kontrollpunkter Løs ligningssett som minimerer kvadratfeil INF310 3