INF 1040 Digital video digital bildeanalyse. Noen begreper. Kompresjon. Kompresjon. Dekompresjonsalgoritme. Kompresjonsalgoritme

Transkript

1 INF 4 Digital video digital ildeanalyse Tema i dag :. Hvor mye informasjon inneholder en melding?. Redundans 3. Differanse- og løpelengdetransformer 4. Gray kode 5. Entropi 6. Shannon-Fano og Huffman koding 7. Lempel-Ziv koding 8. JPEG koding Pensumlitteratur: Kompendiet, kapittel 7. Data Kompresjon Noen egreper Lagring eller oversending Kompresjon estår i å pakke informasjonsinnholdet i dataene (tekst, ilde, lydsignale etc.) på en så kompakt måte at redundant informasjon ikke lagres. Dataene komprimeres, så lagres de. Når de senere skal leses, må vi dekomprimere dem. Kompresjonsalgoritme Dekompresjonsalgoritme Dekompresjon Koding er en del av kompresjon, men vi koder for å lagre effektivt, ikke for å hemmeligholde eller skjule informasjon. Neste gang: Kryptering INF4-Kompresjon- INF4-Kompresjon- Kompresjon Kompresjon Kompresjon kan deles inn i tre steg: Transform - representer sekvensen på en mer kompakt måte. Kvantisering - her gjøres en avrunding. Koding - her lages og rukes kodeoken. inndata transform kvantisering koding utdata inndata transform kvantisering koding utdata Mange metoder er asert på å representere en tekst/ilde/lydsignal på en annen måte, altså transformer av original-dataene. Differansetransform Kompresjons kan gjøres Eksakt / tapsfri ( loss-less ) Her kan vi rekonstruere den originale meldingen eksakt. løpelengder/run-length, Hvis vi kvantiserer original-dataene, så kan ikke dette reverseres. Koding ygger ofte på sannsynlighetsfordelinger, Ikke-tapsfri ( lossy ) dvs normaliserte histogrammer (forrige forelesning) Vi kan ikke rekonstruere eksakt. Resultatet kan likevel være godt nok. Det finnes en mengde ulike metoder for egge kategorier kompresjon. Transformer og koding er alltid reversile. Kvantisering gir alltid et tap av presisjon. INF4-Kompresjon-3 INF4-Kompresjon-4

2 Plass og tid Overføringskapasitet og ps Digitale data kan ta stor plass Spesielt lyd, ilder og video Eksemper :. Digitalt ilde: 5 x 5 x 8 it x 3 farger = it. Røntgenilde: 7 x 8636 x it pr. piksel = it En linje kan overføre en estemt mengde it i sekundet. Linjens kapasitet uttrykkes som ps (its per second), kps = 4 ps = 4 it i sekundet Mps = 4 kps = it i sekundet Overføring av data tar tid: Linje med 64 kits/sek:. ca. min. 38 s.. ca. 3 timer min. Linje med Mits/sek:. ca. 6 s.. ca. min. Kapasitet for noen typer linjer: Analogt modem: f.eks. 56 kps ADSL (Asymmetric Digital Suscrier Line): - Mps GSM-telefonlinje: 9.6 kps INF4-Kompresjon-5 INF4-Kompresjon-6 Anvendelser Kompresjon og koding enyttes for å redusere antall its som skal til for å eskrive ildet (eller en god approksimasjon til ildet). Anvendelser innen data-lagring og data-overføring Televideo-konferanser Fjernanalyse / meteorologi Overvåking / fjernkontroll Telemedisin / medisinske arkiver (PACS) Dokumenthåndtering / FAX Multimedia /nettverk Moil kommunikasjon Tidsforruket ved off-line kompresjon er ikke særlig viktig. Dekompresjons-tiden er langt viktigere. Ved sanntids data-overføring er tidsforruket kritisk. Melding, data og informasjon Vi skiller mellom data og informasjon: Melding: teksten, ildet eller lydsignalet som vi skal lagre. Data: strømmen av it som ligger lagret på fil eller sendes. Informasjon: Et matematisk egrep som kvantifiserer mengden overraskelse/uventethet i en melding. Et signal som varierer har mer informasjon enn et monotont signal. I et ilde: kanter rundt ojekter har høyest informasjonsinnhold, spesielt kanter med mye krumning. Himmelen er lå har lavt informasjonsinnhold, mens Himmelen er gul er mer uventet og har høyere informasjonsinnhold. INF4-Kompresjon-7 INF4-Kompresjon-8

3 Redundans Vi kan ruke ulike mengder data til å lagre/overføre samme melding. Et ilde av et 5-tall (5 x 5 piksler a 8 its = its) Teksten fem i 8 its ISO (4 its) ISO tegnet 5 (8 its) Et inært heltall (3 its) Begrepet redundans sier noe om hvor stor del av datamengden vi kan fjerne uten at vi mister informasjonen i dataene. Eks: vi skal lagre tallet, men hvordan lagres det faktisk: Binært i en yte: - 8 it med Standard 7 its ASCII kode for Vet vi at vi are skal lagre tallet, trenger vi are it. Ved smart komprimering og dekomprimering kan vi fjerne redundante its. Ulike typer redundans Psykovisuell/psykoakustisk redundans Det finnes informasjon vi ikke kan se eller høre (se kapittel 9). Interilde redundans Det er en viss likhet mellom ilder som kommer etter hverandre i en sekvens Vi koder første ilde i sekvensen, og deretter are differanser (kapittel 7). Intersampel redundans Nao-symoler, - amplituder, -piksler ligner på hverandre eller er like. Eks: 66 kan run-length kodes som (,4),(,3),(6,),(,) Kodings-redundans Gjennomsnittlig kodelengde minus teoretisk minimum. Eks: Huffman-koding ruker færrest it på å kode 5-tallet, som forekommer ofte, og flere it for 6-tallet. Hvor godt er dette? INF4-Kompresjon-9 INF4-Kompresjon- Kompresjonsrate og redundans Differansetransform Vi vil lagre en gitt informasjonsmengde ved ruk av færre data. Redundante data må ort. Kompresjonsraten angis som CR = i/c, der i er antall it pr. sampel originalt, og c er antall it pr. sampel i det komprimerte datasettet. Relativ redundans: c R = = CR i percentage removed = (-c/i) % Gitt en linje i ildet med gråtoner x,...x N, x i -. Transformer (reversielt) til x, x -x, x 3 -x,...,x N -x N-. Vi trenger nå + its hvis vi skal tilordne like lange inære koder til alle mulig verdier. Men, i differansehistogrammet vil de fleste verdiene samle seg rundt, f.eks. mellom -8 og 8. Derfor er det ikke slik at en naturlig it-koding av differansene er det optimale. INF4-Kompresjon- INF4-Kompresjon-

4 Litt mer om differansetransform Løpelengde-transform (run-length) Lag f.eks. en 6 ords naturlig kode c =, c =,... c 6 = tilordne de 4 kode-ordene i midten: c,... c 5 til differansene -7, -6,..., -,,,,..., 5, 6 Kodene c og c 6 kan rukes til å indikere om differansen x < -7 eller om x 7 (to-sidet shift-kode) Ofte inneholder ildet ojekter med lignende gråtoner, f.eks. svarte okstaver på hvit akgrunn. Vi kan enytte oss av kompresjonsteknikker som tar hensyn til at naopiksler på samme linje ofte er like. Løpelengde-transform er reversiel. x = => c 6 c 6 c x = - => c c c 5 Først et eksempel: c c c 5 c c c c 5 c c 9 Her øker kodeordets lengde trinnvis med 4 iter. Neppe optimalt i forhold til differansehistogrammet. Alternativt kan vi kode differansene ved hjelp av andre kodeteknikker. 6 c 5 7 c 6 c c c 5 c 6 c 6 c (4 yte) Når tallet 3 forekommer 6 ganger etter hverandre, trenger vi are lagre tallparet (3,6). Tilsammen trenger vi her 4 tallpar, (3,6), (5,), (4,), (7,6) altså 8 tall til å lagre hele sekvensen 4 tall ovenfor. Hvor mange it vi ruker pr. tall, avhenger av den videre kodingen. INF4-Kompresjon-3 INF4-Kompresjon-4 Løpelengder i inære ilder I to-nivå ilder trenger vi are å angi løpelengden for hvert run, forutsatt at vi vet om linjen starter med et hvitt eller et svart run. Vi trenger kodeord for EOL og EOI. Run-lengde histogrammet er ofte ikke flatt. Benytter da en kode som gir korte kode-ord til de hyppigste run-lengdene. En standard (CCITT) Huffmann kode asert på dokumentstatistikk rukes for dokument-overføring pr fax. Gray code Er den konvensjonelle inære representasjonen av gråtoner optimal? Et ett-ånds gråtone-ilde med iter Kan sees som et -ånds inært ilde Vi sier at ildet har it-plan. Ønskelig med minst mulig kompleksitet i hvert it-plan Da lir løpelengde-transformasjonen mest effektiv. Konvensjonell inær representasjon gir høy it-plan kompleksitet. Hvisgråtoneverdien fluktuerer mellom k - og k vil k+ its skifte: 7 = 8 = I Gray Code skifter alltid are ett it når gråtonen endres med. Egen kodeok for svarte og hvite runs. Mer effektiv dersom kompleksiteten er lav. Overgangen fra inær kode til gray code er en transformasjon, men åde naturlig inær kode og gray code er selvsagt koder. INF4-Kompresjon-5 INF4-Kompresjon-6

5 Binary reflected gray code Gray kode i gråtoneilder 4 its Gray kode og inær Gray Binær Desimal g d MSB er likt i de to representasjonene. Gray kode Vanlig inær Gray kode Vanlig inær Større homogene områder i hvert itplan i Gray-kode enn i naturlig inærkode Gray code shaft encoder Gir sikker avlesing av vinkel. Emilie Baudot s telegrafskive 878. Koden patentert av Gray i 953. Brukes i styring av root-armer etc. Flere itplan med støy i vanlig inærkode. Det er en gevinst i løpelengdekoding av itplan i Gray kode. INF4-Kompresjon-7 INF4-Kompresjon-8 Informasjonsteori og koding Litt om sannsynligheter Kompresjon/koding ygger på informasjonsteori og sannsynligheter. Hvis et symol forekommer ofte, ør vi lagre det med et lite antall it for å ruke minst mulig lagerplass tilsammen. Et symol som forekommer sjeldent, kan vi tillate oss å ruke mange it på å lagre. Vi ruker da et variaelt antall it pr. symol. Dette skiller seg fra lagring med like mange it pr symol. Informasjonsteori ygger på sannsynligheten for at ulike egivenheter skal forekomme. Sannsynligheten for en egivenhet x skal skje skrives som p(x) og ligger mellom og. p(x)= hvis en egivenheten aldri vil skje, og p(x)= hvis noe alltid er tilfelle. Eksempel: vi kaster en terning. Tallene -6 er like sannsynlige. Hver verdi har sannsynlighet /6 =.67 Kaster vi en terning uendelig mange ganger, vil vi få 6 i 6.7% av tilfellene. Kaster vi en terning to ganger etter hverandre, er resultatene uavhengige. Selv om vi kjenner første utfall, så hjelper ikke dette oss til å tippe det neste. Det er selvsagt are tull at nå kommer sikkert tallet 8, for det er så lenge siden det har forekommet i Lotto-rekka, eller at tallet er nå inne i en god periode. INF4-Kompresjon-9 INF4-Kompresjon-

6 Koding Naturlig inær-koding Naturlig inær-koding: Et alfaet er mengden av alle mulige symoler (eks. gråtoner) Alle kode-ord er like lange. Hvert symol får et kode-ord, til sammen er de en kode-ok. Kjenner vi noen eksempler på dette? Koding skal være reversiel. Eks: vi har 8 mulige verdier (Fra koden skal vi kunne rekonstruere det originale symolet). Symol nr Unikt dekodare koder har den egenskap at en mottatt sekvens av kode-ord kan dekodes på en og are en måte. Symol Kode c i s s s 3 s 4 s 5 s 6 s 7 s 8 Naturlig inærkoding er are optimal hvis alle verdiene i sekvensen er like sannsynlige. INF4-Kompresjon- INF4-Kompresjon- Koder med variael lengde Entropi en liten forsmak For ulike sannsynligheter er koder med variael lengde på kodeordene edre Hyppigere symoler kortere kode-ord. Sjeldne symoler lengere kode-ord. Dette var forretnings-ideen Samuel Morse Entropi er et matematisk mål på gjennomsnittlig informasjonsmengde i en sekvens av tegn eller tall. Har vi en sekvens av N tall eller tegn som lagres med it pr. sampel, så kan vi si vi har et alfaet med mulige symoler. Vi kan finne sannsynligheten for hvert symol i alfaetet: P(s i )= n i /N A. - F.. -. K -. - P U.. - Vi er interessert i gjennomsnittlig informasjon pr. symol. B C D E G H I J L M N O Q R S T V W X Y De vanligste symolene i engelsk tekst er e, t, a, n, o, i, Intuitivt har vi at en mindre sannsynlig hendelse gir mer informasjon enn en mer sannsynlig hendelse Informasjon er relatert til mengden redundans eller overraskelse. INF4-Kompresjon-3 INF4-Kompresjon-4

7 Histogrammet til en sekvens av symoler Gjennomsnittlig antall it pr. symol Vi har N symoler. Hvert symol s i har sannsynlighet p i. Tell opp antall ganger symol s i forekommer og la n i være dette antallet. Dette er det samme som histogrammet til sekvensen. Sannsynligheten til symolene finnes da som: p i = n i /N Altså det normaliserte histogrammet Vi konstruerer en kode c,...c N slik at symol s i kodes med c i. i er lengden i it av kodeordet c i. Gjennomsnittlig antall it pr. symol for denne koden er: N R= p + p N pn = i pi i= Entropien H kan gi oss en nedre grense for hvor mange it vi gjennomsnittlig trenger pr. sampel (hvis vi are ser på hvert symol for seg, altså are kodingsredundans). INF4-Kompresjon-5 INF4-Kompresjon-6 Informasjonsinnhold Definer informasjonsinnholdet I(s i ) i hendelsen s i ved I ( si ) = log p( si ) log (x) er -er logaritmen til x Hvis log (x)= så er x= Eks: log (64)=6 fordi 64= 6 (=*****) log (8)=3 fordi 8=**= 3 Har ikke log på kalkulatoren, hjelp! log (tall) = log (tall) / log () log (/p(s i )) gir oss informasjonsinnholdet i den hendelsen det er at symolet s i forekommer en gang, uttrykt i it. Entropi Hvis vi tar gjennomsnittet over alle symoler s i i alfaetet, får vi gjennomsnittlig informasjon pr. symol. Entropi H: H = p( si ) I( si ) = p( si )log( p( si )) i= i= Entropien setter en nedre grense for hvor kompakt sekvensen kan representeres Dette gjelder hvis vi are ser hvert symol for seg, altså are ser på kodingsredundans INF4-Kompresjon-7 INF4-Kompresjon-8

8 Øvre og nedre grense for entropi Hvis alle symoler like sannsynlige => entropi lik antall it. Det er symoler, og sannsynligheten for hvert av dem er p(s i )=/. Da lir entropien H = i = log ( ) = log Husk at: Hvis det er symoler som alle er like sannsynlige, så kan vi ikke representere dem mer kompakt enn med its pr symol. Hvis alle pikslene er like => entropi lik. Hvis are ett symol forekommer, er sannsynligheten for dette symolet lik, og alle andre sannsynligheter er lik. H = log () = ( ) = INF4-Kompresjon-9 its of data its of information Et inært ilde med N*M pikseler inneholder it per piksel. Det er N*M its data i ildet, men hvor mye informasjon er det i ildet? Hvis det er like mange som i ildet, så er det like stor sannsynlighet for at neste piksel er som. Informasjonsinnholdet i hver mulig hendelse er da like stort, og entropien til et nytt symol er it. H = log ( ) + log( ) = *+ * / / = Hvis det er 3 ganger så mange som i ildet, så er det mindre overraskende å få en, og det skjer oftere. Entropien er da mindre: 3 3 H = log ( ) + log ( ) = *+ *.45=.5 +.3=.8 4 /4 4 3/4 4 4 I et gråtoneilde med G gråtoner er det på samme måte det normaliserte histogrammet som estemmer entropien, dvs det gjennomsnittlige informasjonsinnholdet pr piksel, målt i its. H = G i= p i log p i ( ) INF4-Kompresjon-3 Shannon-Fano koding Huffman-koding En enkel metode: Vi lager et histogram over symolene. Sorterer symolene etter hyppighet. Deler symolene rekursivt i to omtrent like store grupper fortsetter dette til hver gruppe er ett symol. Tilordner ett it til hver gren i treet H, A, L, O (5) H, A, O (3) L () H, O () H () Huffman-koding er en algoritme for optimal koding med variael-lengde koder. Huffman-koding er asert på at vi kjenner sannsynligheten for at hvert av symolene forekommer. Dette etyr at vi må lage et histogram. til høyre, til venstre. Traverser treet fra rot til lad Dette gir koden for hvert symol Symol Antall A () O () -log (p i ) Kodeord Antall it Huffman-koden er unikt dekodar. Eksempel: HALLO Koden er unikt dekodar, Men det finnes flere likeverdige løsninger. L H A O,3,3,3,3 3 3 Totalt antall iter INF4-Kompresjon-3 INF4-Kompresjon-3

9 Framgangsmåte - Huffman-koding Gitt en sekvens med N symoler:. Sorter symolene etter sannsynlighet, slik at de minst sannsynlige kommer sist.. Slå sammen de to minst sannsynlige symolene i en gruppe, og sorter igjen etter sannsynlighet. 3. Gjenta til det are er to grupper igjen. 4. Gi kodene og til de to gruppene. Kode til den mest og til den minst sannsynlige av de to 5. Traverser akover, og legg til og i kodeordet for de to minst sannsynlige gruppene i hvert steg. Eksempel - Huffman-koding Gitt 6 egivenheter A, B, C, D, E, F med sannsynligheter Begivenhet Sannsynlighet A.3 B.3 C.3 D. Slå sammen de to minst sannsynlige, slå også sammen sannsynligheten deres Finn så de to som nå er minst sannsynlige, og slå dem sammen på samme måte Fortsett til det er are to igjen E..5 F.5 INF4-Kompresjon-33 INF4-Kompresjon-34 Eksempel - Huffman-koding Kodeoken Gitt 6 egivenheter A, B, C, D, E, F med sannsynligheter Dette gir følgende kodeok Begivenhet Sannsynlighet A.3 Gå aklengs gjennom strukturen og tilordne eller til hver gruppe. (F. eks. kode til den mest sannsynlig og kode til den minst sannsynlige).6 Kode B.3 C.3.5 D. E..4 Kode.5 F.5 Begivenhet Kode Med sannsynlighetene lir gjennomsnittlig antall it pr. symol (R) for denne koden: (se foil 6) R= p + p N pn = i pi = =.4 i= Entropien H er her mindre enn R (se foil 8): H = i= A B N C p( s ) log ( p( )) =.34 i s i D E F INF4-Kompresjon-35 INF4-Kompresjon-36

10 Om Huffman-koding Huffman-koding i praksis Ingen kode-ord danner prefiks i en annen kode Dette sikrer at en sekvens av kodeord kan dekodes entydig man trenger IKKE ende-markører. Mottatt kode er instantant (øyelikkelig) dekodar. Den ideelle inære kode-ord lengden for symol s i er i = - log (p(s i )) Siden are heltalls ordlengder er mulig, er det are p( s i ) = k for heltall k som tilfredsstiller dette. Dette gjelder også Shannon-Fano og naturlig inærkoding. Hyppige symoler har kortere koder enn sjeldne symoler. Eksempel: hvis vi har Symol s s s 3 s 4 s 5 s 6 Dette gjelder også for Shannon-Fano. De to minst sannsynlige symolene har like lange koder, siste it skiller dem fra hverandre. Merk at kodeoken må overføres! Sannsynlighet Kode.5.5 lir gjennomsnittlig ordlengde R=.9375 = H INF4-Kompresjon-37 INF4-Kompresjon-38 Universell koding Huffman-koding ygger på at man finner antall forekomster av hvert symol i teksten, og lager kodene utfra dette. Kodene må lages fra gang til gang, og kodeoken må også oversendes. Er det mulig å finne en universell kode for hvor mange ganger et symol forekommer? Vi kan f.eks. se på forekomster av ulike okstaver i norsk eller engelsk tekst. e forekommer oftest, z, x og q er sjeldne Eller vi kan ygge opp kodestrenger etterhvert som vi ser gjentatte mønstere. Lempel-Ziv koding er et eksempel på universell koding av symoler (f.eks. en itsekvens). Lempel-Ziv-koding Premierer mønstre i dataene, ser på samforekomster av symoler. Bygger opp en symolstreng-liste åde under kompresjon og dekompresjon. Denne listen skal ikke lagres eller sendes, for mottakeren kan ygge listen av den symolstrengen han mottar. Det eneste man trenger er et standard alfaet (f.eks ASCII). Mottaker kjenner are alfaetet, og lagrer nye fraser ved å ta nest siste streng pluss første symol i sist tilsendte streng, inntil listen er full (det er en praktisk grense her!). En ulempe er at man av og til lager kodeord som man ikke får ruk for. INF4-Kompresjon-39 INF4-Kompresjon-4

11 Eksempel på Lempel-Ziv Anta at alfaetet er a, og c som tilordnes kodene, og 3. La dataene være aacaaaaaaaa sender: ny frase = sendt streng pluss neste usendte symol mottaker: ny frase = nest siste streng pluss første symol i sist tilsendte streng Ser Sender Senders liste a=,=,c=3 Mottar Tolker Mottakers liste a=, =, c=3 Kompresjon av ilder Hvorfor ehandles kompresjon av ilder spesielt: Det er generelt en mengde redundant informasjon i ilder Mellom piksler på samme linje a a c 4 3 a=4 a=5 ac=6 c=7 4 3 a a c a=4 a=5 ac=6 Mellom ulike linjer i ildet Ofte inneholder ilder ojekter som kan representeres mer kompakt. a 5 a=8 5 a c=7 Vi kan også ta i etraktning psykovisuelle effekter. a 8 aa=9 8 a a=8 a aa= a aa=9 aa aaa= aa aa= aa aa= aa aaa= a 8 8 a aa= INF4-Kompresjon-4 INF4-Kompresjon-4 JPEG-koding (tapsfri) JPEG (Joint Photographic Expert Group) er et av de vanligste ildeformatene med kompresjon. JPEG-standarden har varianter åde for tapsfri og ikke-tapsfri kompresjon. JPEG kan ruke enten Huffman-koding eller en variant av universell koding kalt aritmetisk koding. Prediktiv koding rukes for å predikere at neste piksel på samme linje har lignende verdi som forrige piksel å predikere at et piksel har lignende verdi som pikselet på linjen over å predikere at neste piksel på linjen har lignende verdi som de tre nærmest pikslene Typen koding estemmes fra ilde til ilde Ikke-tapsfri (lossy) kompresjon For å få høye kompresjonsrater, er det ofte nødvendig med ikke-tapsfri kompresjon. Ulempen er at man ikke kan rekonstruere det originale ildet, fordi et informasjonstap har skjedd. Enkle metoder for ikke-tapsfri kompresjon er rekvantisering til færre antall gråtoner, eller resampling til dårligere romlig oppløsning. Andre enkle metoder er filtering der f.eks. 3x3 piksler erstatter med ett nytt piksel som er enten middelverdien eller medianverdien av de opprinnelige pikselverdiene. Husk: lavere oppløsning i kromasi-komponentene. INF4-Kompresjon-43 INF4-Kompresjon-44

12 Ikke-tapsfri JPEG-kompresjon Bildet deles opp i lokker på 8x8 piksler, og hver lokk kodes separat. Hver lokk transformeres med DCT (Diskret Cosinus Transform), som gir reelle koeff. og transformkoeffisientene kvantiseres. Sikk-sakk-scanning ordner koeffisientene i D-rekkefølge. Mange koeffisienter vil rundes av til null. Løpelengde-transform av koeffisientene, fulgt av Huffman-koding. Ved JPEG-koding kan man velge en kvalitetsparameter som ligger mellom og (prøv xv eller gimp). For de spesielt interesserte: dette gjelder den gamle JPEGstandarden, ikke JPEG, som ruker wavelets. Oppsummering - kompresjon Hensikten med kompresjon er mer kompakt lagring eller rask oversending av informasjon. Kompresjon er asert på informasjonsteori. Antall it. pr. sampel er sentralt, og varierer med kompresjonsmetodene og dataene. Sentrale metoder: Huffman-koding lag sannsynlighetstaell, send kodeok Universell koding utnytter mønstre sender ikke kodeok For ilder: løpelengde-koding og differansekoding. INF4-Kompresjon-45 INF4-Kompresjon-46