PLASS og TID INF Fritz Albregtsen. Tema: komprimering av bilder ANVENDELSER METODER

Transkript

1 PLASS og TID INF Fritz Albregtsen Tema: komprimering av bilder Litteratur: Efford, DIP, kap 2 Digitale bilder tar stor plass Eksempler: a bits 3 farger bits b mm fargefilm digitalisert ( x = y=2µm) bits bits c 4 7 røntgenbilde ( x = y=50µm) bits bits d LANDSAT TM, 6 ikke-termiske kanaler bits bits Overføring av digitale bilder tar tid 64 kbits/sek: a: min 38 sek b: 375 min c: 3 timer 2 min d: 75 timer Mbits/sek: a: = 6 sek b: 2 min 7 sek c: 7 min d: 275 min 2 ANVENDELSER Kompresjon og koding benyttes for å redusere antall bits som skal til for å beskrive bildet (eller en god approksimasjon til bildet) Anvendelser innen data-lagring og data-overføring: - televideo-konferanser - fjernanalyse / meteorologi -overvåking / fjern-kontroll - telemedisin / PACS - dokumenthåndtering / FAX - multimedia / nettverk - Tidsforbruket ved kompresjon er ikke særlig viktig Dekompresjons-tiden er langt viktigere Ved sanntids data-overføring er tidsforbruket kritisk METODER Kompresjon gjøres med eller uten informasjonstap Vi må skille mellom data og informasjon Vi kan bruke ulike mengder data til å lagre/overføre samme informasjon Det finnes flere typer redundans kodings-redundans interpixel redundans psykovisuell redundans inter-bilde redundans Tapsfrie ( lossless ) metoder skal fjerne redundansen ved kompresjon, og legge den til ved dekompresjon For mange bilder gir dette liten / ingen kompresjon Hvis vi kan øke redundansen i bildet uten å tape den relevante informasjonen, og så fjerne redundansen, så kan vi oppnå mye høyere kompresjon Dette blir en irreversibel ( lossy ) kompresjon Vi bruker koding for kompresjon, ikke for kryptering 3 4

2 INTERLACING INTERLACING - 2 For å unngå flimrende TV-bilder må vi ha en oppfrisknings-rate på 50-60Hz For å fange opp bevegelse trenger vi bilder pr sekund Vi oppnår en 2: kompresjon ved åfilme (og overføre) i 30 Hz, og så ha en refresh -rate på 60Hz Repetisjon av hvert bilde krever lokal lagring ( frame store ) Man vil observere hopp i bildet, men ikke flimmer Interlacing gir bedre resultat Hvert bilde deles i to felter, bestående av hhv like og odde linjer Hvert felt vises så fram i halv refresh-rate (30Hz) Får ca 37% kompresjon i forhold til et non-interlaced system med samme subjektive visuelle kvalitet Metoden virker fordi vi har dårlig respons for simultan høy frekvens i rom og tid Bruker også vertikal linje- interlacing innenfor hvert felt Virker bra hvis vi ikke har simultan høy frekvens horisontalt og vertikalt Bruk ikke fiskebeins-dress på TV! Høy-kvalitets bilder bør vises i 60 Hz non-interlaced 5 6 KOMPRESJON BILDE-KVALITET Kompresjon kan deles inn i tre steg transform (mapping) kvantisering koding Vi skiller mellom Feilfri, lossless, reversibel kompresjon Irreversibel, lossy kompresjon Det finnes en mengde metode-varianter og metode-kombinasjoner Teknikkene er ofte problem-orienterte Mange representasjons-metoder er egentlig transformer feks kjedekode, run-length kode, y-linje kode Koding bygger ofte på sannsynlighetsfordeling Hvis vi velger en irreversibel kompresjonsmetode må vikontrollereat kvalitetenpå resultat-bildet er god nok Gitt et N M inn-bilde f(x, y) oget komprimert/dekomprimert ut-bilde g(x, y) = ˆf(x, y) Feilen vi har introdusert er e(x, y) =g(x, y) f(x, y) RMS-avviket mellom de to bildene er da e rms = N M N M x= y= e 2 (x, y) /2 Vi kan også betrakte feilen som støy Midlere kvadratisk signal-støy-forhold (SNR) er N [ M (SNR) ms = x= y= g 2 (x, y) ] N M x= y= [e 2 (x, y)] RMS-verdien av SNR er da (SNR) RMS = N M x= y= [g 2 (x, y)] N M x= y= [e 2 (x, y)] 7 8

3 BILDE-KVALITET - 2 Run-length koding - Alternativt kan vi angi peak -verdien av SNR: (SNR) p = N x= M y= [max(g(x, y)) min(g(x, y))] 2 SNR uttrykkes ofte i decibel N x= M y= [e 2 (x, y)] Λ = 0 log 0 (SNR) Objektive mål slår ofte sammen alle feil over hele bildet Vårt syns-system har forskjellig toleranse for feil (støy) i flate, homogene områder og feil (støy) nær kanter/linjer i bildet Fler-komponent feil-mål er bedre (Del opp bildet etter lokal aktivitet) Er tidligere omtalt under bilderepresentasjon Dette er i vårt begreps-apparat en reversibel transformasjon Anta at (x,x 2,, x M ) er alle pikslene i en rad i bildet etter en segmentering har vi k segmenter med lengde l i og gråtone g i Dette kan representeres ved parene (g i,l i ), i k (x,, x M ) (g,l ),(g 2,l 2 ),, (g k,l k ) k i= l i = M Hvert par (g i,l i ) kalles et gray-level run Eksempel (24 byte) (3,6)(5,0)(4,2)(7,6) (8 byte) (gråtone, antall) 9 0 Run-length koding - 2 I to-nivå bilder trenger vi bare å angi run-lengden, l i, forutsatt at vi vet om linjen starter med et hvitt eller et svart run Dessuten trenger vi et kodeord for EOL, og for EOI Run-lengde histogrammet er oftest ikke flatt Benytter da en kode som gir et kort kode-ord til de hyppigste run-lengdene En standard (CCITT) Huffman kode basert på dokumentstatistikk brukes for dokument-overføring pr fax Det er egne kodeord for svarte og hvite runs De første 64 run-lengder har egne kodeord For run-lengder l i mellom 64 og 728 setter vi l i =64k+ i, og overfører kodeordet for k som et MUC ( make-up codeword ), fulgt av kodeordet for i 728 svarer til en A4-linje i 200 dpi oppløsning Vertikalt er oppløsningen 385 eller 77 linjer/mm Horisontal-oppløsningen kan økes til dpi READ er en 2D utvidelse av RLE LINEÆR TRANSFORMER Gitt lineær-transformasjonen y = Ax y y n = a a n a n a nn x x n Denne kan være nyttig hvis elementene (x,, x n ) er sterkt korrelerte, og A er valgt slik at (y,, y n ) blir mindre korrelerte Da kan y kodes mer effektivt enn x Det er viktig at A har en invers Vi får en differanse-transform hvis A = dvs y = x, y i = x i x i for i [2,, n] Dette er en reversibel transform y får da dobbelt så mange mulige verdier som x,men histogrammet er mer konsentrert 2

4 KVANTISERING KVANTISERING - 2 Vi vet at øyet oppfatter gråtoner 2: kompresjon ved å redusere fra 256 til 6 gråtoner (fra 8 til 4 bits) Enkleste (og dårligste) løsning er å heltallsdividere alle pikselverdier med 6 (uniform kvantisering) Dette introduserer ofte falske konturer Bedre løsning å re-kvantisere slik at vi får omtrent like mange piksler for hver gråtone i ut-bildet Denne teknikken er irreversibel Den gir alltid et informasjons-tap Den ligner på histogram-utjevning Anvendes også på fler-kanals bilder Anta at vi har benyttet en lineær transform y y n = a a n a n a nn y i = n a ij x j j= x x n Hvis x j kan ha 2 m forskjellige verdier (m bits), så kan nå y i ha(2 m ) n =2 mn forskjellige verdier Denne transformen kan være reversibel Siden vi ønsker kompresjon, kan vi bli nødt til å avrunde y i til færre enn 2 mn lovlige verdier (irreversibelt!) Vi skiller mellom uniform kvantisering (like store bins ), og ikke-uniform kvantisering (feks like mange piksler pr bin ) Bruker vi differanse-transform, dropper vi ofte kvantiseringen, benytter feks Huffman-kode, og får en reversibel kompresjon 3 4 KODING Koding skal være reversibel Naturlig bit-koding er et eksempel på koder der alle kode-ord er like lange Anta feks 8 mulige verdier: i w i c i w w w 8 Unikt dekodbare koder har den egenskap at en mottatt sekvens av kode-ord kan dekodes påén og bare én måte Anta c =0,c 2 =,c 3 = 0, c 4 =0 Hva betyr {00}? Er det {c c c 2 c 2 } eller {c c 3 c 2 }? Naturlig bit-kode er optimal bare hvis alle verdiene i inn-bildet er like sannsynlige For ulike sannsynligheter er koder med variabel lengde på kode-ordene bedre hyppige symboler korte kode-ord (Eks Morse) GRAY CODE Et ett-bånds b-bits gråtone-bilde bilde kan sees som et b-bånds binær-bilde (b bit-plan) Det kan være ønskelig med minst mulig kompleksitet i hvert bit-plan i bildet - Da vil vi kunne komprimere hvert bit-plan separat, idet vi utnytter store uniforme områder Konvensjonell binær representasjon gir høy bit-plan kompleksitet - Eksempel: Ietområde i bildet hvor intensiteten fluktuerer mellom 27 og 28 vil alle bit skifte: 27 = 0 28 = I Gray Code skifter alltid bare ett bit når gråtone-verdien skifter med Merk at MSB(GC) = MSB(BC) c(k te(gc)) c((k+) te(bc)) der c er et uttrykk for kompleksitet i et bit-plan 5 6

5 Fra BC til GC: GRAY CODE - 2 Start med MSB i BC og behold alle 0 inntil du treffer 2 beholdes, men alle følgende bits komplementeres inntil du treffer komplementeres, men alle følgende bits beholdes inntil du treffer 4 Gå til 2 Fra GC til BC: Start med MSB i GC og behold alle 0 inntil du treffer 2 beholdes, men alle følgende bits komplementeres inntil du treffer 3 komplementeres, men alle følgende bits beholdes inntil du treffer 4 Gå til 2 Data og informasjon Vi vil lagre / overføre informasjon ved bruk av færre data Redundante data må bort Kompresjonsrate angis som CR = i c i=bits i original, c=bits i komprimert bilde Relativ redundans R D = CR = c i percentage removed = 00( c/i) Bits per piksel : Gitt et M N bilde med G gråtoner, der grånivå r k finnes n k ganger, og representeres med l(r k ) bits Sannsynligheten for r k (norm histogram): P r (r k )= n k, k =0,,, G NM Gjennomsnittlig antall bits per piksel L avg = G l(r k )P r (r k ) k=0 7 8 ENTROPI ENTROPI - 2 Et b-bits bilde består av piksler med gråtoner fra et alfabet med 2 b symboler For et gitt bilde kan vi finne sannsynligheten for hvert tegn i alfabetet: p i = h(i) NM, 2b i=0 p i = Vi er interessert i gjennomsnittlig informasjon pr piksel Intuitivt har vi at en mindre sannsynlig hendelse gir mer informasjon enn en mer sannsynlig hendelse Definerer informasjons-innholdet I(s i ) i hendelsen s i ved I(s i ) = log p(s i ) Basis for logaritmen gjenspeiler den enheten som vi uttrykker informasjonsmengden i log 2 (/p(s i )) gir informasjons-innholdet i bits Midler vi over alle symboler s i i bildets alfabet, får vi gjennomsnittlig informasjon pr symbol ordens entropi: H(s) = 2b i=0 p(s i )I(s i )= 2b i=0 p(s i ) log 2 (p(s i )) Hvis alle gråtoner er like sannsynlige: H(s) = 2b i=0 2 log 2( b 2 b)=b Hvis bare én verdi (α) forekommer: H(s) = 2b 0 log 2 (0) log 2 () = 0 i=0,i α Entropien representerer en nedre grense for hvor kompakt et bilde kan komprimeres hvis vi bare ser på pikslene hver for seg 9 20

6 ENTROPI - 3 Hvis hvert symbol s i har en sannsynlighet p i,ogvi konstruerer en kode c = {c,, c i,, c m } såerdet gjennomsnittlige antall bits pr piksel etter koding gitt ved R = m β i p i i= der β i er lengden (i bit) av kodeordet c i H er en nedre grense for R Eksempel: Vi ser her at w i p(w i ) c i β i p i log 2 (p i ) β i p i w w w w w w R = m β i p i >H i= 2 HUFFMAN-KODING - Gitt et bilde med m gråtoner ) Sortér gråtonene etter sannsynlighet 2) Slå sammen de to minst sannsynlige gråtonene ién gruppe, og sortér igjen etter sannsynlighet 3) Gjenta 2) inntil det bare er to grupper igjen - Gi kodene 0 og til de to gruppene - Traversér bakover, og legg til 0 og i kodeordet for de to minst sannsynlige gruppene i hvert steg Et eksempel: si pi ci s i p i c i s i p i c i s i p i c i s i p i c i s 04 s 04 s 04 s 04 s 06 0 s s s s s 2 04 s s s s s s s s s s Gjennomsnittlig antall bits pr piksel blir her R = ( ) = 22 Mens vi for dette bildet har H= HUFFMAN-KODING - 2 HUFFMAN-KODING - 3 Ingen kode-ord danner prefiks i en annen kode Dette sikrer at en sekvens av kodeord kan dekodes entydig, uten at man trenger ende-markører Dette betyr at mottatt kode er instantant dekodbar Lengden av en Huffman kodebok er G =2 b Det lengste kodeordet kan ha opptil G bits Praktiske modifikasjoner: De første G intensitetsnivåene Huffman-kodes Resten kodes med en prefix kode fulgt av en fastlengde kode (kalles trunkert Huffman) Et alternativ er i = qg +, 0 G der de første G intensitetene 0 i G blir Huffman-kodet Resten representeres ved en fastlengde kode for q og Huffman-koden som svarer til Vi ser at den ideelle binære kode-ord lengden for symbol s i er β i = log 2 (p(s i )) Siden bare heltalls ord-lengder er mulig, er det bare p(s i )= 2 k som tilfredsstiller dette kravet Eksempel: Hvis vi har s i p i c i s 05 o s s s s s så blir gjennomsnittlig antall bits pr piksel R = H =

7 DIFFERANSE - KODING Gitt en scan-linje i et bilde med intensiteter x i {0,, 2 m } Transformér (reversibelt) til x,x 2 x,x 3 x 2,, x n x n Vi trenger nå (m+ ) bits hvis vi skal tilordne like lange binære koder til alle mulige verdier I differanse-histogrammet vil de fleste verdiene samle seg om 0, feks mellom -8 og +8 Lag feks en 6 ords naturlig kode c = 0000,, c 6 = Tilordne 4 av disse ordene til differansene 7, 6,,, 0,,, 5, 6 c og c 6 brukes til å indikere at x < 7og x> +7 (to-sidet shift-kode) x =22 c 6 c 6 c 3 x = 22 c c c 5 LEMPEL - ZIV Premierer mønstre i dataene Bygger opp en symbolstreng-liste både under kompresjon og dekompresjon Denne listen skal ikke lagres eller sendes Det eneste man trenger er et standard alfabet Mottaker kjenner bare alfabetet, og lager nye fraser i sin liste ved å ta nest siste streng pluss første symbol i sist tilsendte streng, inntil listen er full Eks: Anta at alfabetet er {a, b, c} {,2,3}, og la dataene være {ababcbababaaaaabab} ser sender liste mottar tolker liste a = a= b=2 b=2 c=3 c=3 a ab =4 a b 2 ba =5 2 b ab =4 ab 4 abc =6 4 ab ba =5 c 3 cb =7 3 c abc =6 ba 5 bab =8 5 ba cb =7 bab 8 baba =9 8 bab bab =8 a aa =0 a baba =9 aa 0 aaa = 0 aa aa =0 aa 0 aab =2 0 aa aaa = bab 8 8 bab aab = JPEG Er en ikke-reversibel ( lossy ) kompresjon basert på transform-koding Bruker DCT, som gir reelle koeffisienter Anvendes på 8 8 ikke-overlappende sub-bilder (blokker) De 8 8 = 64 koeffisientene T (u, v) kvantiseres ved T T (u, v) (u, v) =ROUND Q(u, v) der matrisen Q er etablert empirisk (for en gitt klasse bilder, eller for ønsket kvalitet) Q gir lavere presisjon for høyfrekvens-komponentene Mange koeffisienter avrundes til null Skalering (opp/ned) av Q endrer kompresjon og kvalitet Sikk-sakk scanning av T (uv) ordner koeffisientene DC-komponent differansekodes i tids-sekvenser Run-length transform av øvrige koeffisienter, fulgt av Huffman Mye bedre kvalitet med JPEG2000, som er basert på wavelet-transform 27