Stavanger, 28. februar 2012 Det teknisknaturvitenskapelige fakultet MIK 200 Anvendt signalbehandling, 2012. Prosjekt 3, Wavelet-transformasjon. Vi skal i dette miniprosjektet se litt på bruk av wavelet for komprimering av bilder. De siste delene i dette dokumentet inneholder litt relevant teori, vel, vel, egentlig er det bare noen få eksempel. Disse delene kan likevel være nyttig når oppgavene løses. Det kan også være nødvendig for dere selv å finne fram til mer utfyllende informasjon om disse emnene. Siste side i oppgaven her er et skjema for egenevaluering av arbeidet. Den siste sida her skal være første side i deres innlevering. 1 Selve oppgaven. Generelt for prosjektene er det slik at oppgavene ikke alltid er gitt som steg for steg prosedyrer for hva dere skal gjøre, men formulert mye kortere slik at dere selv i større grad må finne ut hvordan ting skal gjøres. Her starter det ganske detaljert men blir litt friere mot slutten. Derfor skal også rapporten være litt annerledes enn lab-rapportene. Her må en også få med hva og hvordan (og hvorfor) ting er gjort for å komme fram til resultatet, i tillegg til at resultatet også presenteres. Også i dette tredje prosjektet er målet å få til effektiv koding av et bilde, som eksempelbilde brukes lena. En skal bruke samme wavelet som brukes i JPEG-2000, men ellers er det ikke mye til felles med JPEG-2000. Noe hjelp og nyttige Matlab-filer er på IC-tools nettsida, i tillegg er det ei fil på fagets hjemmeside. 1. Her skal dere først bruke haar wavelet, som er den samme som Daubechies 1 waveleten db1, for å komprimere et bilde. Denne wavelet er spesiell, den er så liten at den faktisk blir som en blokkbasert transform, det vil si at det ikke er overlappende syntesevektorer. Den ortogonale systesematrisa kan finnes med B = getwave( haar,k), der k er antall Karl Skretting, Institutt for data- og elektroteknikk (IDE), Universitetet i Stavanger (UiS), 036 Stavanger. Sentralbord 51 83 10 00. Direkte 51 83 20 16. E-post: karl.skretting@uis.no.
dyadiske nivå i den to-kanals filterbanken. Dere skal gjøre punktene (a) til (f) nedenfor for k lik 1, 2 og 3 noe som gir B matrise, bildeblokker og koeffisientblokker med størrelse 2 k 2 k, altså 2 2, og 8 8 henholdsvis. Koeffisientene kan dannes med analyseligningen Y = B *X*B der X er ei 2 k 2 k blokk fra bildet og Y er tilsvarende blokk av koeffisienter. Deretter ordnes koeffisientene til delbånd, Ym = myim2col(y, t, none, s,2^k); her vil DC komponentene komme i første linje. Merk at deloppgave a og b skal gjøres for hver k, mens deloppgavene c til g også skal gjøres for hver ulik δ. Resultatet for deloppgavene c til g kan presenteres i en tabell med en δ verdi i hver linje. (a) Finn variansene for hver av de 2 2k sekvensene. Skriv verdiene for de største variansene. (b) Finn Coding Gain for denne wavelet/transform. (c) Kvantifisere verdiene med en uniform kvantifiserer og bingestørrelse varierende fra 5 til 0 i steg på 5. Bruk gjerne terskling med thr = del det vil si dobbel størrelse på bingen omkring 0. Se hjelp for uniquant. Finn førsteordens entropi for DC-sekvensen. (d) Finn et estimat for hvor mange bit DC-sekvensen da kan kodes med, altså entropi multiplisert med antall element i sekvensen. (e) Gjør dette for alle sekvensen og estimer total antall bit for komprimering av hele bildet. Finn bitrate som dette gir. (f) Bruk myreshape og Huff06 og finn virkelig bitrate. (g) Ta invers kvantifisering av sekvensen, dette gir den rekonstruerte koeffisient sekvensen. Finn det rekonstruerte bilde og beregn feilen. Angi feil med PSNR målet. Nedenfor er en eksempel tabell. I oppgave 1 skal en lage en slik tabell for k {1, 2, 3}, totalt tre tabeller Oppgave 1, Haar wavelet, antall nivå k = 1 DC estimert virkelig δ entropi bit total bit bit rate bit rate PSNR 5 10 15 20 25 30 35 0 2
2. Hvis en ikke deler bildet (signalet) inn i blokker men betrakter det hele som en enkel blokk så kan alle filterbanker og wavelet betraktes som en (blokk) transform. Derfor kalles ofte wavelet for wavelet transformen. Vi skal her ta et slikt eksempel med 5/3 waveleten, se del 2.2 del, spesielt siste del. Matrisene for 5/3 waveleten er ikke ortogonale, B T B. Men en ser at hvis en danner analysematria Ta53 og syntesematrisa Ts53 så er de hverandres invers, en har norm(eye(n)-ts53*ta53)==0 og bør gjerne sjekke dette etter at en har dannet matrisen og før de brukes. En kan enkelt danne disse matrisene for 1 nivå waveleten, sett N=512 og følg kode i eksempelet. Koeffisientene dannes nå med Y = Ta53 * A * Ta53 ; de kan naturlig deles inn i blokker på 2 2 altså fire delbånd. Synteseligningen er da Ar = Ts53 * Y * Ts53 ; og uten kvantifisering gir dette perfekt rekonstruksjon. Videre kan en ta wavelet i flere nivå ved å utføre tilsvarende transform på DC-komponenten. Analyse og syntese for nivå 2 blir da Y(1:2:end,1:2:end) = Ta53 * Y(1:2:end,1:2:end) * Ta53 ; Y(1:2:end,1:2:end) = Ts53 * Y(1:2:end,1:2:end) * Ts53 ; der en må merke seg at Ta53 og Ts53 nå er dannet med N=256. Oppgave her er å gjøre det samme som i oppgave 1, men nå skal 5/3 waveleten brukes (som matriser). En skal også bruke kvantiseringssteg som starter med 3 og går til 2 i steg på 3. Dette skal gjøres både for 1, 2 og 3 nivå. En får altså (som i oppgave 1) tre tabeller i rapporten. 3. Utgår.. Nå skal dere bruke myim2col med transform m97 med 3 og nivå. Lag tabell med resulatene for noen passende kvantifiseringssteg. Rapporten skal da inneholde 2 tabeller for denne oppgaven. 5. Nå skal dere igjen bruke myim2col med transform gitt som noen wavelet med navn som i liftwave. Dere kan velge noen wavelet selv og bruke 3 eller nivå. Lag noen tabeller med resulatene for passende kvantifiseringssteg og presenter de i rapporten. 6. Presenter resultatene fra de foregående oppgavene som en figur, eller noen få figure, plot ei linje for hver metode og nivå. Plot bitrate langs x-aksen og PSNR langs y-aksen. Eksempel på hvordan figurene bør være er på mi nettside med image compression tools. 3
2 Litt om wavelet. Wavelet teori er ganske omfattende og burde vært et obligatorisk 10 studiepoengs fag for at en skal ha mulighet til å få med seg det viktigste innenfor teori og anvendelser. Her er det ikke engang tatt med et sammendrag av det viktigste. Det som er med er litt om implementering i Matlab, men siden teorien bak mye av dette mangler så kan det gjerne virke litt tatt ut fra det blå. I forelesningen onsdag 16 mars 2011 vil jeg prøve å knytte det litt sammen og motivere litt mer for hvorfor det gjøres som det gjør. Tilsvarende og mer utfyllende stoff finnes gjerne i lærebøker om filterbanker, wavelet, eller datakomprimering. Det kan godt være at dere bør se i diverse lærebøker for mer fullstendig presentasjon. I Wikipedia står det også mye om wavelet, både tung teori og litt mer anvendelseorienterte artikler, hvis en ønsker å se der kan en gjerne se på Wikipedia: Wavelet transform med flere referanser videre, følge gjerne videre til Wikipedia: Discrete Wavelet transform. Wikipedia: JPEG 2000 der wavelet bare er et lite avsnitt i den tekniske oversikten av JPEG. Wikipedia: Lifting scheme er slik wavelet ofte implementeres. Clemens Valens: Wavelet Stuff er den mest lettfattelige wavelet presentasjonen jeg har sett, men likevel gis det et innblikk inn i den tildels tunge matematikken bak wavelet. 2.1 Anvendelse av wavelet Gjennomgangstema i disse prosjektene er bildekomprimering, og det skal vi se på her også. Wavelet er blitt standard i bildekoding både fordi den har gode teoretiske og praktiske egenskaper når det gjelder å samle energien i et bilde i få delbånd, og ikke minst fordi den kan implementeres effektivt. Den effektive metoden The Lifting Scheme er standard i JPEG-2000. De wavelet som brukes er de biortogonale 9/7 og 5/3 wavelet filtrene. 5/3 kan gi tapsfri koding uten kvantifisering av koeffisienter. Matlab har masse funksjoner for wavelet (wavelet toolbox). Funksjonen getwave.m (på min image compression tools nettside) henter wavelet-funksjoner fra wavelet toolbox og danner matriser av waveletene slik at de da kan brukes som (overlappende) transformer i Matlab. Jeg har engang laget en funksjon
Figur 1: Lifting scheme som implementert i JPEG-2000 (PlotF.m) for å vise de (ofte overlappende) syntesevektorene. Syntesevektorene er kolonnene i syntesematrisen (for eksempel i B = idct(eye(8))). Generelt er disse syntesematrisene for en wavelet høyere enn de er vide (det er flere linjer enn kolonner). Det betyr at når flere blokker kodes etter hverandre så vil syntesevektorene for ulike blokker overlappe hverandre. Dette er på samme måte som for filterbanker, egentlig er wavelet en form for (dyadisk) filterbank. En kan følgelig skrive en wavelet som en filterbank, filterkoeffisientene, for syntesedelen, kan vises med B = getwave( db6,1); PlotF(B); I getwave.m funksjonen kan en velge alle wavelet som er i wavelet toolbox (se wfilters.m), og en kan få syntesematrisene for tilhørende dyadiske filterbank med flere nivå. JPEG-2000 bruker wavelet implementert med lifting scheme. Fra artikkelen The JPEG-2000 Still Image Compression Standard, tilgjengelig fra JPEG-2000 sine offisielle netts har jeg klippet figur 1 og figur 2 her. 2.2 Implementasjon av 5/3 waveleten Implementasjon av lifting scheme for 5/3 waveleten er illustrert i figur 3. Her viser en hvordan figur 1 faktisk kan realiseres. I figur 1 legger en merke til 5
Figur 2: Detaljene i lifting scheme som implementert i JPEG-2000 kant x 3 x 2 x 1 x 2 x 3 x x 5 2 2 2 2 2 2 x 3 y 2 x 1 y 2 x 3 y x 5 1 1 1 1 1 1 y 3 y 2 y 1 y 2 y 3 y y 5 Figur 3: Implementasjon av lifting scheme for 5/3 waveleten. Her blir signalet x = {x i } L i=1 transformert til koeffisientene y = {y i } L i=1 in place. Speiling i starten av signalet er også illustrert her, en speiler om x 1 slik at signalene til venstre for kanten kun er kopi av de til høyre. 6
at oddetallselementene er øverst og partallselementene er nederst, (en starter med første element som odde, x 1 ). En skal ha 5/3 transformen som viser øverst i figur 2, men vi tar ikke med kvantifisereng her (kvantifisering er ulineær). Vi har da (for 1D wavelet med kun ett! nivå) for 5/3 waveleteen et lifting scheme med 2 nivå (λ = 2) og A 0 = 1 2 (z + 1) og A 1 = 1 (1 + z ). A 0 bruker oddetallselementene (2i 1) for å oppdatere partallselementene (2i), i = 1, 2,... der samme i er for samme tid (z 0 ). Tilsvarende bruker A 1 partallselementene for å oppdatere oddetallselementene. Første trinn i transformen går da fra øverste linje til midterste linje i figur 3. Vi ser da at y 2 = x 2 1 2 (x 1 + x 3 ), generelt y 2i = x 2i 1 2 (x 2i + x 2i+1 ), for i = 1, 2,... (1) = 1 2 x 2i + x 2i 1 2 x 2i+1. (2) For et flatt signal (lavpass, DC) ser en da at y 2i blir lik null, vi ser at slik blir det alltid når de tre x-ene som brukes har samme verdi. Andre trinn i transformen går da fra midterste linje til nederste linje i figur 3. Vi ser da at y 3 = x 3 + 1 (y 2 + y ), generelt y 2i = x 2i + 1 (y 2i 2 + y 2i ), for i = 2, 3,.... For tilfellet i = 1 må en ta med effekten av speiling og får da y 1 = x 1 + 1 (y 2 + y 2 ) = x 1 + 1 2 y 2. En kan også uttrykke de odde y-ene med kun x-ene. y 2i = x 2i + 1 (y 2i 2 + y 2i ), for i = 2, 3,... (3) = x 2i + 1 ( x2i 2 1 2 (x 2i 3 + x 2i ) + x 2i 1 2 (x 2i + x 2i+1 ) ) = 1 8 x 2i 3 + 1 x 2i 2 + 3 x 2i + 1 x 2i 1 8 x 2i+1 () Formlene for y 2i og y 2i har tilsvarene form som filtrene i en tokanals filterbank, altså er denne (og alle andre) waveleter en filterbank. En samler odde elementer av y i y o, altså y o (n) = y 2n, og partall elementenr av y i y e, y e (n) = y 2n, for n = 1, 2,.... En har da x h 1 2 y o og x h 2 z 2 y e. Boksen med bare z foran nedsampling i y e er tatt med bare for å markere at nedsamplingen nå gir ut elementene 2,, 6,... i stedet for 1, 3, 5,... som er vanlig når nummerering starter med 1. Filtrene er da h 1 (z) = 1 8 z2 + 1 z1 + 3 + 1 z 1 8 z 2 (5) h 2 (z) = 1 2 z1 + 1 1 2 z. (6) 7
En legger merke til at filtrene er symmetriske. Det er viktig for det gjør at de kan implementeres med speiling i endene av signalet, og slik at en ikke får flere koeffisienter enn signalsampler. For generelle filter er det ikke slik, men det går vi ikke mer inn på her. Dette viser at figur 3 virkelig implementerer en tokanals filterbank med filtrene h 1 (z) og h 2 (z) som over. Merk at h 1 (z) er lavpass filteret og her gir de grovere detaljene til de odde elementene og at h 2 (z) er høypass filteret og her gir de finere detaljene til partall elementene. h 1 (z) hører til skaleringsfunksjonen, og h 2 (z) hører da til wavelet-funksjonen. En filterbank kan også representeres med en matrise. Vi skal nå se på matriserepresentasjonen av 5/3 waveleten. Det enkleste er gjerne da å bruke Matlab for å illustrere dette. Nedenfor vises tre ulike måter å finne analyse og syntesematrisene på. Først lages matrisene Ta og Ts med utgangspunkt i filtrene h 1 (z) og h 2 (z). Deretter lagesmatrisene Aa og As med utgangspunkt i lifting scheme i figur 1 eller om en vil figur 3. Helt til slutt viser hvordan det kan gjøres hvis en gjør hver enkelt steg i figur 1 representeres som en matrise, og totalmatrisa da lages med å sette sammen disse delene. Dette gir matrisene Ta53 og Ts53. Alle tilfellene gir, ikke overraskende, samme resultat. clear all h1 = [-1,2,6,2,-1]/8; h2 = [-1,2,-1]/2; N = 8; % skal være partall! % skal lage Ta som NxN matrise Ta = zeros(n); for n=2:2:(n-2) Ta(n,(n-1):(n+1)) = h2; end for n=3:2:(n-3) Ta(n, (n-2):(n+2)) = h1; end Ta(1,1:3) = [6,,-2]/8; Ta(N-1,(N-3):N) = [-1,2,5,2]/8; Ta(N,(N-1):N) = [-1,1]; Ts = inv(ta); A0 = eye(n); % matrise for A0 i lifting scheme for n=2:2:(n-2) A0(n,n-1) = -0.5; A0(n,n+1) = -0.5; end A0(N,N-1) = -1; % speiling på slutten 8
A1 = eye(n); % matrise for A1 i lifting scheme A1(1,2) = 0.5; % speiling i begynnelsen for n=3:2:(n-1) A1(n,n-1) = 0.25; A1(n,n+1) = 0.25; end Aa = A1*A0; % analysematrisa % syntesematrisa lages med å ta minus As = (2*eye(N)-A0)*(2*eye(N)-A1); disp(norm(ta-aa)); % bør være 0 disp(norm(ts-as)); % bør være 0 disp(norm(ts*ta-eye(n))); % bør være 0 disp(norm(as*aa-eye(n))); % bør være 0 En kan legge merke til at en med å bruke lifting scheme så får en faktorisert både analyse og syntesematrisene, for eksempel A a = A 1 A 0, der både A 0 og A 1 er enkle glisne matriser, operasjonen y = A 0 x kan svært enkelt implementeres. Slik er det faktisk med (nesten) alle transformasjoner som har effektiv implementering, at tilhørende matrise kan faktoriseres i glisne matriser. Det enkleste og mest fleksible og generelle, og som bør vises på tavla i forelesningene er som nedenfor. Koden viser hvordan de store syntese og anlysematrisene, som er bånddiagonale og ganske glisne i seg selv, kan faktoriseres i flere enkle og enda glisnere matriser. N = 8; N2 = N/2; S = [kron(eye(n2),[1,0]); kron(eye(n2),[0,1])]; % permutasjonsmatrise P = toeplitz([1,zeros(1,n2-1)],[1,1,zeros(1,n2-2)]); P(N2,N2) = 2; % (1+z) U = toeplitz([1,1,zeros(1,n2-2)],[1,zeros(1,n2-1)]); U(1,1) = 2; % (1+z^{-1}) I = eye(n2); O = zeros(n2); Ta53 = S * [I, 0.25*U; O, I] * [I, O; -0.5*P, I] * S; % analyse Ts53 = S * [I, O; 0.5*P, I] * [I, -0.25*U; O, I] * S; % syntese 9
MIK 200 Anvendt signalbehandling. Prosjekt 3, Wavelet-transformasjon. Student 1 Student 2 Resultat: (fylles ut av faglærer) godkjent / ikke godkjent Egenvurdering: Mål for læringsutbytte er: En skal kunne bruke de grunnleggende Matlabkommandoer for bildebehandling. En skal kunne noen grunnleggende begreper, slik som informasjon, entropy og sammenhengen med datakomprimering. En skal forstå og bruke noen metoder for tapsfri komprimering. En skal også kunne implementere disse i Matlab, og presentere og tolke resultatene på en god og riktig måte. Dere skal også selv vurdere resultatet av det arbeidet dere har gjort i denne øvinga, ved selv å gi karakter på deres besvarelse. Karakterskala er den vanlige fra A (best) til E (dårligst) og F (stryk). Egenvurderingstabell Student 1 Student 2 Læringsutbytte for oppgave 1. Læringsutbytte for oppgave 2-3. Læringsutbytte for oppgave -5. Læringsutbytte for oppgave 6. Rapport, oppgave 1. Rapport, oppgave 2-3. Rapport, oppgave -5. Rapport, oppgave 6. Kommentarer: