Bildetransformer Lars Aurdal

Transkript

1 Bildetransformer Lars Aurdal FORSVARETS FORSKNINGSINSTITUTT

2 Lars Aurdal. Forsvarets forskningsinstitutt (FFI), Kjeller. 5 ansatte. Ca. 3 forskere og ingeniører. Tverrfaglig institutt med vekt på arbeide rundt militære problemstillinger. Jobber med bildebehandling i forbindelse med NSM. Førsteamanuensis II ved IDI. [email protected]

3 Siste gang... Innføring i grunnleggende teori om Fourier-transformen. Innføring i den diskret Fourier-transformen (D og 2D). Egenskaper (konvolusjon) til Fourier-transformen.

4 Plan Rask repetisjon av forrige kurs. Noen flere egenskaper ved Fourier-transformen. Punktprøving (sampling). Hurtig algoritme for Fourier-transformen (the Fast Fourier Transform, FFT). Et annet synspunkt på transformer. Innledning. Hadamard-transformen.

5 Repetisjon Fourier transformpar. F{ } F [ 2π ] f( x) = F( u) = f( x)exp j ux dx { F( )} ( ) ( )exp[ 2π ] u = f x = F u j uxdu Fourier-transformen av den kontinuerlige funksjonen f(x), F(u), gir midlere frekvensinnhold i funksjonen f(x). F(u) er generelt en kompleks funksjon. Kan lett utvides til å gjelde funksjoner f(.) av to variable, f(x,y).

6 Jean-Baptiste Joseph Fourier Fransk fysiker og matematiker. Levde i Paris (768-83). Deltok i Napoleons felttog i Egypt. Brukte Fourier-rekker første gang i verket Théorie analytique de la chaleur.

7 Repetisjon Fourier transformpar. N Fu N fx j2πux ( ) = ( )exp[ ] N x= N j2πux fx ( ) = Fu ( )exp[ ] N u= Fourier-transformen av den diskret funksjonen f(x), F(u), gir midlere frekvensinnhold i funksjonen f(x). F(u) er generelt en kompleks funksjon. Kan lett utvides til å gjelde funksjoner f(.) av to variable, f(x,y).

8 Repetisjon M N ux vy Fu (, v) = fxy (, )exp[ j2π( + )] MN M N x= y= M N ux vy fx (, y) = Fuv (, )exp[ j2π( + )] M N u= v= Fourier transformpar. Fourier-transformen av den diskret funksjonen f(x,y), F(u,v), gir midlere frekvensinnhold i funksjonen f(x,y). F(u,v) er generelt en kompleks funksjon.

9 C-implementering (konsept) M N ux vy Fuv (, ) = fxy (, )exp[ j2π( + )] MN M N x= y=... for(u=;u<m;u++) { for(v=;v<n;v++) { FRe[u][v]=; FIm[u][v]=; for(x=;x<m;x++) { for(y=;y<n;y++) { FRe[u][v]=FRe[u][v]+f[x][y]*cos(2*PI*(u*x/M+v*y/N)); FIm[u][v]=FIm[u][v]-f[x][y]*sin(2*PI*(u*x/M+v*y/N)); } } } }...?

10 Eksempel Original Fourier-transform

11 Eksempel Original Fourier-transform

13 Dynamikk Dynamikken i det transformerte bildet er ofte stor. Dersom det transformerte bildet skal plottes eller på annen måte vises lønner det seg å plotte: Dynamikken reduseres. Null-gjennomgangene bevares. Duv (, ) = log ( + Fuv (, ))

14 Dynamikk F(u,v) D(u,v)=log (+ F(u,v) )

15 Dynamikk F(u,v)

16 Dynamikk D(u,v)=log (+ F(u,v) )

17 Dersom en generell transform: Separabilitet kan omskrives: M N Fuv (, ) = f(, xykxyuv )(,,, ) x= y= M N 2 x= y= Fuv (, ) = f( xyk, ) ( xuk, ) ( yv, ) sies transformen å ha en separabel kjerne

18 Separabilitet Den diskret 2D Fourier-transformen har separabel kjerne: M N ux vy Fuv (, ) = fxy (, )exp[ j2π( + )] MN M N x= y= kxyuv (,,, ) = exp[ j2π( ux vy + ] MN M N ) k(,) x u = exp M ux vy j2π M k2( y, v) = exp[ j2π )] N N

19 Separabilitet Den praktiske konsekvensen av dette er primært at transformen kan utføres i to trinn, radvis og så kolonnevis. M N ux vy Fuv (, ) = fxy (, )exp[ j2π( + )] MN M N x= y= Transformer hver kolonne separat M Fuv M Fxv j ux (, ) = (, )exp[ 2π ] M x=

20 Separabilitet Reduserer også beregningskompleksitet: Rett-fram-etter-nesen : O(N 4 ). Utfør transformen radvis og så kolonnevis: O(N 3 ).

21 Periodisitet Den diskret Fourier-transformen og dens inverse er periodiske med periode N. F(, u v) = F( u+ N, v) = F(, u v+ N) = F( u+ N, v+ N) Merk: Bare en periode av transformen F(u,v) er nødvendig for å spesifisere f(x,y) på bakgrunn av F(u,v). Er f(x,y) reell gjelder også: og: * Fuv (, ) = F( u, v) Fuv (, ) = F( u, v)

22 Translasjon fxy (, )exp[ jπ ( ux+ vy)/ N] Fu ( u, v v) 2 fx ( x, y y) Fuv (, )exp[ j2π( ux + vy)/ N] Flyttes origo for f(x,y) endres ikke modulen F(u,v). Merk også at med u =v =N/2 gjelder: og: exp[ j2π( u x+ v y) / N] = exp[ jπ( x+ y)] = ( ) fxy Fu N x y N (, )( ) + (, v ) 2 2 x+ y

23 Translasjon

24 Translasjon

25 Rotasjon Bruk polare koordinater: x = rcos θ, y = rsin θ, u= ω cos φ, v = ω sinφ Da gjelder: fr (, θ + θ ) F( ω, φ + θ ) Roteres f(x,y) med en gitt vinkel roteres F(u,v) med den samme vinkelen

26 Rotasjon

27 Plan Rask repetisjon av forrige kurs. Noen flere egenskaper ved Fourier-transformen. Punktprøving (sampling). Hurtig algoritme for Fourier-transformen (the Fast Fourier Transform, FFT). Et annet synspunkt på transformer. Innledning Hadamard-transformen.

28 Punktprøving (sampling) f[v] t[s] Merk: f er kontinuerlig både i tid og amplitude

29 Punktprøving (sampling) Punktprøvingsintervall: t f[v] f d [V] t[s] t[s] Merk: f d er diskret i tid og kontinuerlig i amplitude

30 Punktprøving (sampling) Kvantisering: Benytt et endelig antall diskret nivåer for å beskrive amplituden til hver punktprøve, dette gir pulstoget f dq. f d [V] f dq [V] t[s] t[s] 8 bits kvantisering: 256 nivåer, hver punktprøve representeres ved 8 bit (en byte). Dette innfører kvantiseringsstøy.

31 Punktprøving (sampling) Anta at f(t) løper fra t=- til t=. Anta at F(u) (Fourier-transformen av f(t)) er null for alle u utenfor intervallet [-W,W]. f(t) sies å være båndbegrenset (band limited). f(t) F(u) t -W W u

32 Punktprøving (sampling) Det går an å vise at dersom: t 2W kan det båndbegrensede signalet f(t) gjenskapes fullstendig på bakgrunn av punktprøvene. Dette kalles Whittaker-Shannons punktprøvingsteorem. Punktprøvingsraten 2W kalles Nyquist-raten.

34 FFT Hvor lang tid tar det å utføre en diskret D Fouriertransform: O(N 2 ) Den tilsvarende 2D transformen: N Fu N fx j2πux ( ) = ( )exp[ ] N x= er O(N 4 ). N N ux vy Fuv (, ) = fxy (, )exp[ j2π( + )] 2 N N N x= y=

35 FFT For et 256*256 bilde må vi utføre = operasjoner (mer enn 4 milliarder operasjoner). Benyttes metoden der transformen utføres radvis og så kolonnevis er kompleksiteten (N 3 ). Dette gir = operasjoner (mer enn 6 millioner operasjoner). Vi skal se at det finnes en algoritme (FFT) som kan beregne den samme transformen med kompleksitet O(N 2 logn). Gevinsten for et 256*256 bilde er at beregningen går mer enn 8 ganger så fort i forhold til O(N 4 ) algoritmen.

36 FFT Illustrerer med D transformen (husk en 2D transform kan utføres som D transformer over radene og så kolonnene). Definer: N Fu N fx j2πux ( ) = ( )exp[ ] N W x= N = j2π exp[ ] N slik at F(u) kan skrives: N Fu ( ) = N fxw ( ) N x= ux

37 FFT Anta N=2 n slik at N=2M (M et positivt heltall). Vi har nå at: N 2M Fu N fxw ux ( ) = ( ) M fxw N = ( ) 2 x= x= ux 2M M M 2 = M f x W u x ( ) = M f x W M ( ) x x= ( ) u( 2x+ ) 2M der vi altså har brutt den opprinnelige summen ned i to delsummer (over like og odde indekserte elementer).

38 Observer at: W Derfor kan vi nå omskrive: M M = M f x W ux = M f x W ux ( ) W M ( ) M x x= Definer nå: F Da gjelder: FFT π jm ux j2π exp[ 2 ] = exp[ 2 M ux ] = W 2 2 ux 2M = M M Fu M f x W u 2x ( ) = ( 2 ) M f x W 2M + ( 2 + ) 2 x= x= like M ( u) = M f ( 2 x ) W x= ux M u { like odde 2M} Fu ( ) = F ( u) + F ( uw ) 2 ux M ( ) u( 2x+ ) 2M u 2M M og F u M f x W ux odde( ) = ( 2 + ) M for u,,,..., M x= for u= 2,,,..., M = 2

39 FFT Observer til slutt at: slik at: W W u+ M M 2π jm u 2π jm M j2π = exp[ ]exp[ ] = exp[ ] = M 2π jm u 2π jm M j2π = exp[ ]exp[ ] = exp[ 2 2 2M u ] W u M = W u+ M u 2M 2M Fu ( + M) = F ( u) F ( uw ) 2 { u } like odde 2M

40 FFT, oppsummering En N-punkts transform kan beregnes ved å dele det opprinnelige uttrykket for F(u) i to deler. Den første delen er: Fu { u ( ) = F u F uw } like( ) + odde( ) 2M, u= 2,,,..., M 2 Beregning av den første delen krever at vi beregner 2 N/2 punkts transformer, F like (u) og F odde (u). Beregning av den andre delen skjer deretter slik: Fu M { u ( + ) = F u F uw } like( ) odde( ) 2M, u= 2,,,..., M 2

41 FFT, oppsummering Denne splittingen kan vi fortsette rekursivt inntil vi i siste instans bare beregner 2-punkts transformer. Disse settes så systematisk sammen for å bygge opp det endelige resultatet for N-punkts transformen. Dette er en Fast Fourier Transform (FFT). Det kan lett vises at beregning av en D Fourier-transform med denne algoritmen er O(NlogN).

43 Et annet synspunkt på transformer D Diskret Fourier-transformen er definert ved: N Fu N fx j2πux ( ) = ( )exp[ ] N x= Legg merke til at sammenhengen mellom F(u) og f(x) er lineær, det vil si at den samme transformen kan uttrykkes som en matrisemultiplikasjon: F = Af

44 Et annet synspunkt på transformer Eksempel: N=4, f()=, f()=,f(2)=2 og f(3)=3. F = Af F( ) F() F( 2) F() 3 = 4 j j 2 j j 3 5. j = j

45 Et annet synspunkt på transformer Helt tilsvarende har vi at den inverse transformen kan uttrykkes ved: f A F = Fourier-transformen tilhører klassen unitære transformer, det vil si transformer der transform-matrise A har egenskapen: A * = A T

46 Et annet synspunkt på transformer Eksempel: N=4, f()=, f()=,f(2)=2 og f(3)=3. F Af F F F F j j j j j j = = = + ( ) () ( ) () f A F A F f f f f j j j j j j T = = = + = * ( ) () ( ) ()......

47 Et annet synspunkt på transformer 2D Diskret Fourier-transformen er definert ved: N N ux vy Fuv (, ) = fxy (, )exp[ j2π( + )] 2 N N N x= Legg merke til at også nå er sammenhengen mellom F(u,v) og f(x,y) lineær, det vil si at den samme transformen kan uttrykkes som en matrisemultiplikasjon: F y= N N ux vy = exp[ j2π ] fxy (, )exp[ j2π ] 2 N N N x= = AfA T y=

48 Et annet synspunkt på transformer Dette er et generelt resultat, for 2D-transformer med separabel kjerne (og der de to leddene i den separerte kjernen har samme funksjonelle form), gjelder: F = AfA T

49 a k *...og enda et synspunkt... La være kolonne k i matrisen. * * * T Definer A = a a. kl, k l A * T La indreproduktet av to N*N matriser være definert ved: N N * PQ, = pxyq (, ) ( xy, ) x= y= Vi får da en rekkeutvikling for bildet f(x,y) gitt ved: f = N N * F(, u v) A uv, u= v= der * Fuv (, ) =,, fa kl

50 ...og enda et synspunkt... Bildet f(x,y) kan altså skrives som en vektet sum av N*N matriser. Disse matrisene kalles basisbilder. Vektene er ganske enkelt projeksjonen av bildet f(x,y) ned på hvert basisbilde. f = N N * F(, u v) A uv, u= v= der * Fuv (, ) =,, fa kl

51 ...og enda et synspunkt... Basisbilder for Fourier-transformen Reell del Imaginær del

52 Sidesprang Vi vil sende dette bildet over en lavrate datakanal. Bildet er 256*256 pixler stort, hver pixel er representert ved 8 bit, altså må vi sende byte over kanalen. På en 64kbit/s kanal vil dette ta ca. 8 s. Kan vi gjøre noe for å øke overføringsraten?

53 Sidesprang Hva om sender og mottaker seg imellom avtaler et sett byggeklossbilder. Senderen overfører instruksjoner for hvordan disse byggeklossbildene skal settes sammen for å gjenskape det bildet sender egentlig ønsker å sende. Kan instruksjonene sendes på mindre tid enn selve bildet?

54 Sidesprang Hva med byggeklosser av denne typen: Det vil si byggeklosser av typen B x,y som er av samme størrelse som bildet vi vil sende og som er null overalt unntatt pixel (x,y) som settes lik.

55 Genial ide... Regelen for rekonstruksjon av det sendte bildet er: N N fxy (, ) = α ij, B, i= j= ij α ij Problem: Koeffisientene, er nødvendigvis lik (grå-)verdien til pixel i,j. Vi må sende like mange koeffisienter som der er pixler. Problem: Byggeklossbildene fanger ikke opp globale egenskaper ved bildet.

56 Sidesprang Kan dette gjøres bedre? Hva med disse byggeklossbildene:

57 Vi prøver med et 8*8 bilde: Sidesprang

58 Sidesprang Vi bruker følgende 9 koeffisienter:

59 Hadamard-transformen Disse byggeklossbildene er selvfølgelig ikke tilfeldig valgt. De er basisbildene assosiert med den såkalte Hadamardtransformen. Kjernen i denne transformen er gitt ved: b x b u i kxyuv (,,, ) = ( ) + = N [ ( ) ( ) b ( y) b ( v)] i i i i der b i (x) er i-te bit i den binære representasjonenav x. Med i=3 og x=6 ( in binary) er b (x)=, b (x)= og b 2 (x)=. N

60 Hadamard-transformen Med N=8 er basisbildene:

61 Tilbake til Fourier-transformen Vi bruker følgende 9 koeffisienter: 84.. j j j j j j9. 5. j7.. + j7. Re Im

62 Hadamard vs. Fourier (første 9 av 64 koeff.) Hadamard Fourier