FORELESNING 11. KOMPRESJON OG KODING I Andreas Kleppe. Tre steg i kompresjon Redundanser Transformer Koding og entropi Shannon-Fano og Huffman

Transkript

1 Anvendelser INF30 Digital ildeehandling FORELESNING KOMPRESJON OG KODING I Andreas Kleppe Tre steg i kompresjon Redundanser Transformer Koding og entropi Shannon-Fano og Huffman Kompendium: Frem t.o.m Appendiks B F INF30 Kompresjon og koding enyttes for å redusere antall iter som skal til for å eskrive ildet (eller en god tilnærming av ildet. En mengde anvendelser innen datalagring og dataoverføring. Televideokonferanser Fjernanalyse / meteorologi Overvåking / fjernkontroll Telemedisin / medisinske arkiver (PACS Dokumenthåndtering / FAX Multimedia / nettverkskommunikasjon Moil kommunikasjon MP3-spillere, DAB-radio, digitalkameraer, Tidsforruket er viktig, men det varierer om man ønsker å minimere kompresjonstiden eller dekompresjonstiden. Det man gjør oftest ønsker man at tar kortest tid. Asymmetrisk kompresjon? Begge tidene kan være omtrent like viktige. Symmetrisk kompresjon? F INF30 Noen egreper Kompresjon Data Lagring eller oversending Kompresjons- algoritme Kompresjon Dekompresjons- algoritme Dekompresjon Data Kompresjonkandelesinnitresteg: i steg: Transform - representer ildet mer kompakt. Kvantisering - avrunding av representasjonen. Koding - produksjon og ruk av kodeok. inndata transform kvantisering koding utdata Bildekompresjon estår i å pakke informasjonsinnholdet i ildet ved å ikke lagre redundant informasjon. Bildet komprimeres og deretter lagres eller overføres dataene. Når ildet senere skal rukes, så dekomprimeres dataene. Koding er en del av kompresjon, men vi koder for å lagre effektivt, ikke for å hemmeligholde eller skjule informasjon. Kompresjon kan gjøres: Eksakt / tapsfri (eng.: lossless følg de grønne pilene. Her kan vi rekonstruere den originale ildet eksakt. Ikke-tapsfri (eng.: lossy følg de røde pilene. Her kan vi ikke rekonstruere ildet eksakt. Resultatet kan likevel være «godt nok». Det finnes en mengde ulike metoder for egge kategorier. F INF30 3 F INF30 4

2 De tre stegene i kompresjon Eksempler: Plassehov uten kompresjon inndata transform kvantisering koding utdata Mange kompresjonsmetoder er asert på å representere ildet på en annen måte, altså transformer av original-ildet. Eks.: Differansetransform, løpelengde-transform. Hvis vi kvantiserer det (originale eller transformerte ildet, så åkan ikke dette reverseres ikke-tapsfri i kompresjon. Til slutt koder vi, d.v.s. transformerer melding til inærrepresentasjon. Bygger ofte på normaliserte histogrammer. Koding er alltid reversile. Transformene vi ruker er alltid reversile. Kvantisering er ikke reversielt! F INF30 5 Digitalt RGB-ilde: 5 x 5 x 8 iter x 3 farger = iter 364 x 448 x 8 iter x 3 farger = iter 4 MB Røntgen-ilde: 7 x piksler à iter: iter Radarilde fra Radarsat--satellitten: 400 MB, 300 km 300 km, 6 iter per piksel. For miljøovervåkning av Middelhavet: 8 slike ilder trengs for å dekke hele Middelhavet. 3D-seismikk-data fra km i Nordsjøen GB = 4 TB (terayte F INF30 6 Plass og tid Digitale data kan ta stor plass. Spesielt lyd, ilder og video. Eksempler:. Digitalt ilde: 5 x 5 x 8 iter x 3 farger = iter. Røntgenilde: 7 x 8636 x iter per piksel = iter Overføring av data tar tid: Linje med 64 kit/sek: k Linje med Mit/sek:. ca. min. 38 s.. ca. 6 s.. ca. 3 timer min.. ca. min. F INF30 7 Overføringskapasitet og ps Filstørrelser er oftest gitt i inære enheter, gjerne i potenser av 04: Kiiyte (KiB = 0 yte = 04 yte, Meiyte (MiB = 0 yte = yte, Giiyte (GiB = 30 yte = yte Overføringshastigheter og linjekapasitet angis alltid i titallsystemet, oftest som antall iter per sekund: kps = 000 ps = 0 3 iter per sekund Mps = 000 kps = 0 6 iter per sekund Gps = 000 Mps = 0 9 iter per sekund Kapasitet for noen typer linjer: GSM-telefonlinje: 9,6 kps ADSL (Asymmetric Digital Suscrier Line: Opptil 8 Mps ADSL+: Opptil 4 Mps F INF30 8

3 Melding, data og informasjon Vi skiller mellom meldingens data og informasjon: Melding: teksten eller ildet som vi skal lagre eller sende. Data: strømmen av iter som lagres på fil eller sendes. Informasjon: et matematisk egrep som kvantifiserer hvor overraskende / uventet en melding er. Et varierende signal har mer informasjon enn et monotont signal. I ilder har kanter rundt ojekter høyt informasjonsinnhold, i spesielt kanter med mye krumning. F INF30 9 Redundans Vi kan ruke ulike mengder data på samme melding. Et ilde av et 5-tall (50 x 50 piksler à 8 iter = its. Teksten «fem» i 8-iters ISO (4 iter. ISO tegnet «5» (8 iter. Et inært heltall «0» (3 iter. Redundans: Det som kan «fjernes» fra dataene uten å miste (relevant informasjonen. Med «fjerne» menes her å redusere plassen dataene tar. Vi tar utgangspunkt i dataene for et ukomprimert ilde, d.v.s. alle pikslene lagres separat med naturlig inærkoding. I kompresjon ønsker vi å fjerne redundante iter. F INF30 0 Ulike typer redundans Psykovisuell redundans. Det finnes informasjon vi ikke kan se. Enkle muligheter for å redusere redundansen: Susample eller redusere antall iter per piksel. Interilde-redundans. Mer generelt: Irrelevant informasjon: Unødvendig informasjon for anvendelsen, f.eks. for visuell etraktning av hele ildet. Likhet mellom naoilder i en tidssekvens. Kode noen ilder i tidssekvensen og ellers are differanser. Intersampel-redundans. redundans. Likhet mellom naopiksler. Hver linje i ildet kan løpelengde-transformeres. Kodings-redundans. Gjennomsnittlig kodelengde minus et teoretisk minimum. Velg en metode som er grei å ruke og gir liten kodingsredundans. d d F INF30 Kompresjonsrate og redundans Kompresjonsraten: i CR c der i er antall it per sampel originalt, og c er antall it per sampel i det komprimerte ildet. Relativ redundans: c R CR i «Percentage removed»: c PR 00 % i F INF30

4 Hvor god er ildekvaliteten? Hvis vi ruker ikke-tapsfri kompresjon må vi kontrollere at kvaliteten på ut-ildet er «god nok». Betegn MN inn-ildet for f og ut-ildet etter kompresjon og så dekompresjon for g. Feilen forårsaket av komprimeringen er da: e(x,y = g(x,y f(x,y RMS-avviket (kvadratfeilen mellom ildene er: e RMS M N e ( x, y MN Vi kan etrakte feilen som støy og se på midlet kvadratisk signal-støy-forhold støy (SNR: ( SNR x y M x N g ( x, y y MS M N x y e ( x, y F INF30 3 Hvor god er ildekvaliteten? RMS-verdien av SNR er da: ( SNR RMS M x M N g ( x, y y N e x x, y ( y Bildekvalitetsmålene ovenfor slår sammen alle feil over hele ildet. Vårt synssystem er ikke slik! F.eks. vil mange små avvik kunne føre til en større (SNR RMS enn enkelte manglende eller falske ojekter i forgrunnen, men vi vil oppfatte at sistnevnte t er av dårligst kvalitet. t Ofte ønsker vi at ildekvalitetsmålet skal gjenspeile vår oppfatning av ildets kvalitet. F.eks. hvis formålet med ildet er visuell etraktning. Husk: Vår oppfatning er sujektiv! F INF30 4 Hvor god er ildekvaliteten? Et ildekvalitetsmål som godt gjenspeiler vår oppfatning vil typisk asere seg på flere parametre. Hver parameter prøver å indikere hvor ille vi oppfatter en side ved kompresjonsfeilen. Bildekvalitetsmålet er én verdi som aserer seg på alle parametrene. Feil rundt kanter oppfattes som ille. Feil i forgrunnen oppfattes som verre enn feil i akgrunnen. Manglende eller falske strukturer oppfattes som ille. Kompresjonsgraden ør trolig variere rundt i ildet: Komprimer nesten-homogene områder kraftig og godta noe feil. Husk fra Fourier-analysen: D DFT-en har få ikke-null-koeffisienter. Komprimer kanter og linjer mindre og godta mindre feil. Husk fra Fourier-analysen: En skarp kant idrar til mange ikke-null-koeffisienter koeffisienter i D DFT-en. F INF30 5 Differansetransform Gitt en rad i ildet med gråtoner: f,...f N der 0 f i - Transformer (reversielt til g = f, g = f -f,..., g N = f N -f N- Merk at: ( - g i - Trenger derfor + iter per g i hvis vi skal tilordne like lange kodeord til alle mulig verdier. I differansehistogrammet vil de fleste verdiene samle seg rundt 0. Naturlig inærkoding av differansene er ikke optimal. F INF30 6

5 Differanseilder og histogram Mulig koding av differansetransform Original: Differanseilde: Originalt histogram: Histogram til differanseildet: Ta 6-ords naturlig inærkode; c =0000, c =000,, c 6 = Tilordne de 4 kodeordene i midten, c, c 3,, c 5 til differansene -7, -6,, -, 0,,,, 5, 6. Bruk kodene c og c 6 til å indikere om differansen x < -7 eller om x 7 (to-sidet shift-kode Hvis kodeordet starter c er intervallet skiftet med -4; -, -0,, -5, -4, -3, -,, -9, -8 Eksempel: x = - => c c c 5 (-4 + ( Eksempel: x = => c 6 c 6 c ( ( c c c 5 c c c c 5 c c 9 c 5 c 6 c c 6 c 5 c 6 c 6 c Kodeordets lengde øker trinnvis med 4 iter. Neppe helt optimalt i forhold til differansehistogrammet. F INF30 7 F INF30 8 Løpelengde-transform Ofte inneholder ildet ojekter med lignende gråtoner, f.eks. svarte okstaver på hvit akgrunn. Løpelengde-transformen (eng.: run-length transform prøver å utnytte at naopiksler på samme rad ofte er like. Kompresjonen lir dårlig hvis dette ikke er tilfelle i det aktuelle ildet. Løpelengde-transformen lir mer effektiv ettersom kompleksiteten i ildet lir mindre. Løpelengde-transformen er reversiel. Hvis pikselverdiene til en rad er: (4 tall Så starter løpelengde-transformen fra venstre og finner tallet 3 gjentatt 6 ganger etter hverandre, og returnerer derfor tallparet (3,6. Formatet er: (tall, løpelengde For hele sekvensen vil løpelengdetransformen gi de 4 tallparene: (3,6, (5,0, (4,, (7,6 (merk at dette are er 8 tall Kodingen avgjør hvor mange iter vi ruker for å lagre tallene. F INF30 9 Bare løpelengder, ikke tall I inære ilder trenger vi are å angi løpelengden for hvert «run». Må også angi om raden starter med hvitt eller svart «run», alternativt forhåndsdefinere dette og tillate en «run length» på 0. Histogrammet av løpelengdene er ofte ikke flatt. Bør derfor enytte da koding som gir korte kodeord d til de hyppigste løpelengdene. l I ITU-T (tidligere CCITT standarden for dokument-overføring per fax så Huffman-kodes løpelengdene. Forhåndsdefinerte Huffman-kodeøker, én for svarte og én for hvite runs. Tall-spesifiseringen i løpelengde-transformen av et gråtoneilde kan med fordel fjernes dersom ett tall forekommer svært hyppig. F INF30 0

6 Koding Et alfaet er mengden av alle mulige symoler (f.eks. gråtoner. Ofte får hvert symol får et kodeord. Tilsammen utgjør kodeordene kodeoken. Koding skal være reversiel. Denne egenskaper ved koder kalles for unik dekodarhet; ; en sekvens kodeord kan dekodes på én og are én måte. Hvis hvert symol har et kodeord etyr dette at kodeordet skal entydig gi det originale symolet. Instantant dekodare koder kan dekodes uten skilletegn. F INF30 Naturlig inærkoding Alle kodeord er like lange. Eks: En 3-iters kode gir 8 mulige verdier: Symolnr Symol s s s 3 s 4 s 5 s 6 s 7 s 8 Kode c i Naturlig inærkoding er are «optimal» hvis alle verdiene i sekvensen er like sannsynlige. Med «optimal» menes her at kompresjonen er «est» mulig. F INF30 Gray code Er den konvensjonelle inære representasjonen av gråtoner «roust»? Anta at vi har et gråtoneilde med itplan. Vi ønsker minst mulig kompleksitet i hvert itplan. Hvis vi antar at verdiene til naopiksler er omtrent like, vil mindre kompleksitet i hvert itplan ety at itene i den alternative inærrepresentasjonen avviker mindre mellom nærliggende verdier. Lav kompleksitet i hvert itplan gjør at løpelengde-transform av hvert itplan gir edre komprimering. Konvensjonell inærrepresentasjon gir ofte høy itplan-kompleksitet. Hvis gråtoneverdien fluktuerer mellom k -og k vil k+ iter skifte verdi. Eks.: 7 = 0 og 8 = I «Gray code» skifter alltid are én it når gråtonen endres med. Overgangen fra naturlig inærkode til «Gray code» er en transform, men åde naturlig inærkode og «Gray code» er koder. Både i naturlig inærkode og i «Gray code» er alle kodeord er like lange. Så forskjellen er are hvilke kodeord som tilordnes hvilke symoler. F INF30 3 Gray code -transformasjoner Transformasjon fra naturlig inærkode (BC til Gray-kode (GC:. Start med MSB i BC og ehold alle 0 inntil du treffer. Huskeregel:. eholdes, men alle følgende its komplementeres inntil du treffer komplementeres, men alle følgende it eholdes inntil du treffer. 4. Gå til. Marker forskjellene fra forrige it. Bruk at før første it er 0. Huskeregel: Fyll inn Fra Gray-kode til naturlig inærkode: mellom par. Start med MSB i GC og ehold alle 0 inntil du treffer. av -ere og. eholdes, men alle følgende its komplementeres fjern den siste -eren inntil du treffer. i hvert par. 3. komplementeres, men alle følgende its eholdes Hvis antall inntil du treffer. -ere er odde; 4. Gå til. fyll inn fra siste -er. F INF30 4

7 Eksempel: Gray-koding 4-iters Gray- og naturlig inærkode: Gray- Naturlig Desimalkode inærk. tall 0000g d «Gray code shaft encoder» Brukes for sikker avlesing av vinkel, f.eks. i styring av root-armer. Koden patentert av Gray i 953, men le rukt i Emilie Baudot s telegrafkode fra 870. F INF30 5 Gray-kode i gråtoneilder MSB er alltid lik i de to representasjonene. Større homogene områder i hvert itplan i Gray-kode enn i naturlig inærkode. Flere itplan med «støy» i naturlig inærkode. => Løpelengdetransform av hvert itplan gir edre kompresjon v..a. Gray-kode enn naturlig inærkode. GC BC GC BC F INF30 6 Informasjonsteori og koding Koding ygger på sannsynligheter. Forekommer en pikselverdi oftere enn en annen, ør førstnevnte lagres med mindre antall iter for å ruke minst mulig iter på å lage hele ildet. Det er altså plassesvarende å ruke flere iter på symoler som forekommer sjeldent, fordi hyppige symoler da kan ruke færre iter. Vi vil ruke et variaelt antall iter per symol. Vi skal nå se på koding av enkeltpiksler. Interpiksel redundans minimeres av transform-steget: Eks.: Differanse-transform, løpelengde-transform. F INF30 7 Koder med variael lengde Når symolene forekommer med ulik sannsynlighet er det edre å ruke kodeord med variael lengde. Hyppige symoler kortere kodeord. De vanligste symolene i Sjeldne symoler lengre kodeord. engelsk tekst er: Dette var forretningsideen til Samuel Morse; e, t, a, o, i, n, Morse-kode:. og mellomrom varer enhet, - varer 3 enheter A. - F.. -. K -. - P U.. - B -... G --. L. -.. Q --.- V... - C H.... M - - R. -. W. - - D -.. I.. N -. S... X E. J. --- O --- T - Y F INF30 8

8 Entropi: En liten forsmak Entropi er et matematisk mål på informasjonsmengden i en sekvens med symoler (f.eks. tegn eller gråtoner. Strengt tatt er entropi informasjonen i en tilfeldig variael. Når vi snakker om entropien av en sekvens med symoler så mener vi entropien av den diskrete variaelen der sannsynligheten til hvert symol er dets frekvens i sekvensen. D.v.s. at are frekvensene til symolene rukes, ikke posisjonene. Hvis man antar at pikselverdiene er uavhengige realisasjoner av en underliggende diskret variael, er entropien i sekvensen et estimat på entropien i variaelen. Entropi angir gjennomsnittlig informasjon per symol. Når vi are ser på symolenes frekvenser, ikke posisjoner. Intuitivt har vi at en mindre sannsynlig hendelse (symol gir mer informasjon enn en mer sannsynlig hendelse (symol. Informasjon er relatert til mengden overraskelser. Histogram og normalisert histogram Anta vi har en sekvens med N symoler. Tell opp antall ganger symol s i forekommer og la n i være dette antallet. Dette er det samme som histogrammet til sekvensen. Sannsynligheten til symolene finnes da som: p i = n i / N Dette er det normaliserte histogrammet. Hi Hvis man antar at pikselverdiene er uavhengige realisasjoner av en underliggende diskret variael, er p i et estimat på sannsynligheten for at variaelen er symol s i. F INF30 9 F INF30 30 Gjennomsnittlig antall iter per piksel Vi konstruerer en kode c,, c N slik at symol s i kodes med kodeordet c i. i er lengden av kodeordet d c i (angitt i iter. Gjennomsnittlig antall iter per symol for koden er: R p p... N p N N i p Entropien H gir en nedre grense for hvor mange iter vi gjennomsnittlig trenger per symol (hvis vi are koder ett symol av gangen. i i Informasjonsinnhold Definer informasjonsinnholdet I(s i i hendelsen s i ved: I( si log p( s log (x er -er-logaritmen til x. Hi Hvis log ( (x = så er x= ( i Eks: log (64=6 fordi 64= 6 (=***** log 8=**= 3 (8=3 fordi = log (tall = log 0 (tall / log 0 ( log (/p(s i gir oss informasjonsinnholdet i hendelsen: «symolet s i forekommer en gang», uttrykt i iter. F INF30 3 F INF30 3

9 Entropi Tar vi gjennomsnittet over alle symolene s i i alfaetet, får vi gjennomsnittlig informasjon per symol. H p( si I( si p( si log( p( si i 0 i 0 H er entropien til sekvensen av symolene. Entropien setter en nedre grense for hvor kompakt sekvensen kan representeres. Gjelder are hvis vi koder hvert symol for seg. Øvre og nedre grense for entropi Hvis alle symoler like sannsynlige => entropi lik antall iter. Hvis det er mulige symoler i alfaetet, og sannsynligheten for hvert av dem er p(s i = /, så er entropien: H log log ( i 0 ( Altså: Hvis det er symoler som alle er like sannsynlige, så kan de ikke representeres mer kompakt enn med iter per symol. Hvis alle pikslene er like => entropi lik 0. Hvis are ett symol forekommer, er sannsynligheten for dette symolet lik, og alle andre sannsynligheter er lik 0. Siden log ( = 0 vil entropien da li 0. F INF30 33 F INF30 34 Entropi i et inært ilde: To eksempler Anta vi har et MN inært ilde. Hvis vi skal lagre hver pikselverdi for seg selv, må vi alltid ruke MN iter, men hvor mye informasjon er det i ildet? Hvis det er like mange 0 som i ildet, så er det like stor sannsynlighet for at neste piksel er 0 som. Informasjonsinnholdet i hver mulig hendelse er da like stort, t derfor er entropien it. H log ( log ( * * / / Hvis det er 3 ganger så mange som 0 i ildet, så er det mindre overraskende å få en, og det skjer oftere. Entropien er da mindre: 3 3 H log ( log ( * *0,45 0,5 0,3 0,8 4 / 4 4 3/ F INF30 35 Entropi i et inært ilde tropi En 0,5 Entropi i et inært ilde 0 0 0,5 0,5 0,75 A priori sannsynlighet for klasse Når vi lagrer pikselverdi for pikselverdi vil vi alltid måtte ruke it per piksel i et inært ilde, selv når entropien er nær 0! Kodingsredundansen er null når det er like mange svarte og hvite piksler. F INF30 36

10 Shannon-Fano-koding Shannon-Fano-koding En enkel metode: H, A, L, O (5. Sorter symolene etter hyppighet, hyppigst til venstre. 0 H, A, O (3. Del symolene rekursivt i to grupper L( som forekommer så 0 like hyppig som mulig. A, O ( Oppdelingen skal skje ved at H ( symolene til venstre for en 0 grense lir en sugruppe, mens resten lir en annen sugruppe. A ( O ( Venstre gruppe tilordnes 0, Symol Ant. Kodeord Lengde Antall høyre gruppe tilordnes. iter Rekursjonen stopper når hver gruppe inneholder ett symol. L 0 3. Traverser treet fra rot til hvert lad H 0 for å finne koden for hvert symol. A O 3 3 Eksempel: Koding av: HALLO Totalt antall iter 0 Oppdeling i to «så like store grupper som mulig» kan gi et annet inærtre for eksempel: HALLO Selv om treet er annerledes, og kodeoken k lir forskjellig, så er koden unikt dekodar. For dette eksempelet er de to løsningene er likeverdige, men slik er det ikke alltid. Generelt for Shannon-Fano-koding er gjennomsnittlig antall iter per symol er relatert til entropien: H R H+ Øvre grense for kodingsredundans: it per symol HALO(5 H, A, L, 0 L, H (3 A, O ( 0 0 L (H ( A ( O ( Symol Ant. Kodeord Lengde Antall iter L 00 4 H 0 A 0 O Totalt antall iter 0 F INF30 37 F INF30 38 Huffman-koding Huffman-koding er en algoritme for variael-lengdelengde koding som er optimal under egrensningen at vi koder symol for symol. Med optimal menes her minst mulig kodings-redundans. Antar at vi kjenner hyppigheten for hvert symol. Enten spesifisert som en modell. Huffman-koden er da optimal hvis modellen stemmer. Eller så kan vi ruke symol-histogrammet til sekvensen. Huffman-koden er da optimal for sekvensen. Ofte ruker vi sannsynlighetene i stedet, men vi kunne likegodt enyttet hyppighetene. F INF30 39 Huffman-koding: Algoritmen Gitt en sekvens med N symoler:. Sorter symolene etter sannsynlighet, slik at de minst sannsynlige kommer sist.. Slå sammen de to minst sannsynlige symolene til en gruppe, og sorter igjen etter sannsynlighet. 3. Gjenta til det are er to grupper igjen. 4. Gi koden 0 til den ene gruppen og koden til den andre. 5. Traverser innover i egge gruppene og legg til 0 og akerst i kodeordet til hver av de to undergruppene. F INF30 40

11 Eksempel: Huffman-koding La oss finne Huffman-koden til modellen som estår av følgende seks egivenheter med sannsynligheter: Begivenhet A B C D E F Sannsynlighet 0,3 0,3 0,3 0, 0, 0,05 Slå sammen de to gruppene som har minst sannsynlighet, Den nye gruppens sannsynlighet er summen av de forrige. Finn de to som nå har minst sannsynlighet, og slå dem sammen på samme måte. Fortsett til det er are to igjen. 0,6 0,5 0,4 0,5 F INF30 4 Eksempel: Huffman-koding La oss finne Huffman-koden til modellen som estår av følgende seks egivenheter med sannsynligheter: Begivenhet A B C D E F Sannsynlighet 0,3 0,3 0,3 0, 0, 0,05 0 0,5 Gå aklengs gjennom inærtreet og tilordne 0 eller til hver gruppe. 0 (F. eks. kode 0 til den mest sannsynlig og kode til den minst sannsynlige 0, ,4 0,6 0 F INF30 4 Eksempel: Huffman-koding Vi får dermed følgende kodeok: Begivenhet A B C D E F Huffman-kodeord Siden sannsynlighetene er: Sannsynlighet 0,3 0,3 0,3 0, 0, 0,05 lir gjennomsnittlig antall iter per symol: N R p p N pn i pi 0,6 0,4 3,4 i Entropien H er her litt mindre enn R: H p ( si log ( p ( s i,34 i0 F INF30 43 Huffman-koding: Kodingsredundans Shannon-Fano-koder har en øvre grensen for kodingsredundans på it per symol. Kodingsredundansen til Huffman-koder har samme øvre grense, men har også en tettere grense dersom p 0, sannsynligheten til det hyppigste symolet, ikke er veldig stor. log e R H p0 log p0 0, e Kodingsredundansen til Huffman-koder lir større ettersom p 0 nærmer seg ; selv om p 0 er mye større enn 0,5 så må vi ruke it på å kode det tilhørende symolet! F INF30 44

12 Generelt om Huffman-koding Ingen kodeord danner prefiks i en annen kode. Dette sikrer at en sekvens av kodeord kan dekodes entydig og at man IKKE trenger endemarkører / skilletegn. Mottatt kodesekvens er unikt og instantant dekodar. Dette gjelder også Shannon-Fano-koding og naturlig inærkoding. Hyppige symoler har kortere kodeord enn sjeldne symoler. Dette gjelder også Shannon-Fano-koding. De to minst sannsynlige symolene har like lange koder. Siste it skiller dem fra hverandre. Dette gjelder også Shannon-Fano-koding. Merk at kodeoken må overføres! Dette gjelder også Shannon-Fano-koding. Lengden av en Huffman kodeok er opptil G= kodeord. Det lengste kodeordet kan ha opptil G- iter. F INF30 45 Eksempel: Huffman-koding La oss Huffman-kode alfaetet som estår av de seks mest sannsynlige symolene i engelsk tekst: Symol ^ E t a o i Sannsynlighet 034 0, ,9 04 0,4 0 0, 0 0, 00 0,0 Huffman-kodeord Ordlengde Entropi-idrag 0,59 0, ,397 0,367 0,350 0,33 Det gjennomsnittlige antall iter per symol, R, er gitt ved: N i i 0,53 3 0,47,47 i Entropien H er litt mindre enn R: H Kodingsredundansen R-H er dermed: i0 p ( s i log ( p ( s i,43 R H,47,43 0,0404 F INF30 46 Ideell og faktisk kodeord-lengde Vi definerte informasjonsinnholdet I(s i i hendelsen s i ved: I( si log p( s ( i Den ideelle inære kodeordlengden for symol s i er dermed: i = -log (p(s i Plotter den ideelle lengden 3 på kodeordene (vist i rødt sammen med de faktiske kodeordlengden (vist i lått for forrige eksempel, får vi: ter per symol antall i ^ e t a o i F INF30 47 Når gir Huffman-koding ingen kodingsredundans? da s Den ideelle inære kodeordlengden for symol s i er: i = -log (p(s i Siden are heltalls ll ordlengder d er mulig, er det are når p( s i k for et heltall k som dette kan tilfredsstilles. Eksempel: Hvis sekvensen har sannsynlighetene: Symol s s s 3 s 4 s 5 s 6 Sannsynlighet 0,5 0,5 0,5 0,065 0,035 0,035 Huffman-kodeord så lir den gjennomsnittlige ordlengden R =,9375 = H. F INF30 48

13 Oppsummering Vi komprimerer for å redusere antall its. Ved kompresjon fjernes/reduseres redundans: Psykovisuell -, interilde-, intersampel-, koding-redundans. d d Kun når vi fjerner irrelevant informasjon for anvendelsen (f.eks. psykovisuell redundans er kompresjonen ikke-tapsfri. Kompresjon kan deles inn i tre steg:. Transform, f.eks. differanse- og løpelengde-transform transform.. Kvantifisering. Hvis rukt, så lir kompresjonen ikke-tapsfri! 3. Koding, f.eks. Shannon-Fano- eller Huffman-koding. Huffman-koding oppnår minst mulig kodingsredundans under antagelsen om at vi koder symol for symol. F INF30 49