INF 1040 Løsningsforslag til kapittel

Transkript

1 INF 040 Løsningsforslag til kapittel 8 Oppgave : Huffmankoding med kjente sannsynligheter Gitt en sekvens av symboler som er tilstrekkelig lang, og som inneholder de 6 symbolene A, B, C, D, E, F. Symbolene forekommer med sannsynligheter Symbol A B C D E F Sannsynlighet Finn kodeboken for en Huffman-koding av disse symbolene.. Hva er gjennomsnittlig antall biter pr. symbol i sekvensen etter Huffmankodingen? 3. Hva er entropien til symbol-sekvensen? Først sorterer vi symbolene etter sannsynlighet (merkert med grønt), grupperer så de toog-to minst sannsynlige, og slår sammen sannsynlighetene (markert med blått). Tilordner så bit nedenfra og oppover(markert med rødt): Symbol B F A D C E Sannsynlighet Dette gir oss følgende tabell ofte kalt kodebok : B: F: 00 A: 0 D: 000 C: 000 E: 00 Gjennomsnittlig kodelengde blir summen av produktene av sannsynlighet og kodelengde: R = 0.4*+0.3*+0.*3+0.*4+0.06*5+0.04*5 = =. biter pr. symbol. Entropien er gitt fra histogrammet (tabellen over sannsynlighetene for hvert symbol) H=.44 Vi ser at gjennomsnittlig kodelengde pr symbol er større enn entropien, så Huffman-koding er i dette tillfellet ikke helt optimal. Hvis man sammenligner kode-boken ovenfor med den på foil 6 fra forelesningen, så ser man at de er identiske. Men i det eksemplet som er gitt på foilen, er Huffman-koding helt optimal, fordi sannsynlighetene for hvert symbol er gitt ved p(s i )=/ b Det er altså ikke innholdet i kodeboken, men histogrammet, som avgjør om Huffman-kodingen er optimal, og den enkleste måten å sjekke dette på er å sammenligne entropien med den gjennomsnittlige kodelengden.

2 Oppgave : Huffmankoding av en spesiell tekst Hvorfor kan vi si at den gjennomsnittlige lengden på kodeordene vil bli lik entropien når vi Huffman-koder utsagnet digital overalt!? Vi har i alt 6, men bare forskjellige, og hyppighetene er enten (i,t,a,l) eller (d,g,,o,v,e,r,!). Så alle de N= sannsynlighetene kan skrives som brøker der telleren er og nevneren er en toerpotens (8 eller 6). Altså kan sannsynlighetene for hvert symbol uttrykkes som for heltalls verdier av k. Entropien til hvert symbol uttrykt i biter er jo gitt som h i = - p(s i ) log (p(s i )). Setter vi inn uttrykket for p(s i ) ovenfor får vi at h i = (/ k ) log (/ k ) = (/ k ) (log () log ( k )) = (/ k ) (0 k) = k/ k der k er et heltall. p( s i ) = k Dermed har vi vist at i dette tilfellet blir de ideelle lengdene av kodeordene gitt ved entropien sammenfallende med de faktiske kodeordlengdene b i som alltid er heltall. Dermed har vi at N N R = p( si ) bi = p( si )log( p( si )) = H i= i= 0 Oppgave 3. Kodeboken til en Huffmankoding Finn kodeboken for en Huffman-koding av Digital overalt!, og opp kodeboken som en tre-struktur. Er denne forskjellig fra det du ville fått med en Shannon-Fano koding? Det sorterte histogrammet og kodeboken blir som vist i tabellen nedenfor I 00 T 0 A 000 L 00 D 00 G O 00 V 0 E R 00! 0

3 Se på tre-strukturen nedenfor og sammenlign med histogrammet ovenfor. Vi slår sammen (R og!) til, (V og E) til to, (O og ^) til (D og G) til Nå har vi 8 symboler eller sammenslåtte symboler med hyppighet. Ved fire sammenslåinger har vi fire samlinger med hyppighet 4. Deretter får vi samlinger med hyppighet 8, og endelig alle 6 symbolene på toppen av strukturen. Så setter vi bit-verdiene 0 og på alle forgreningene, 0 til venstre og til høyre. Og deretter kan vi lese kodeordet for hvert symbol nedenfra og oppover i tre-strukturen, med bakerste bit først, for eksempel V = 00. Resultatet er her akkurat det samme som en av mange mulige løsninger vi ville fått med Shannon-Fano I T A L D G ^ O V E R! Oppgave 4. Huffmankoding av en oppgitt tekst Denne setningen skal kodes.. Hvordan ser kodeboken ut?. Hva er gjennomsnittlig antall biter pr. symbol i symbol-sekvensen etter Huffman-kodingen? 3. Hvordan ser bitstrømmen for symbol-sekvensen ut etter koding? Bare så det er helt klart: Her er det setningen Denne setningen skal kodes som skal analyseres og kodes. Vi må ta med blanke mellom ordene for at motatt bitstrøm skal bli lesbar. Tegnene forekommer med følgende HYPPIGHET:

4 D E N S T I G K A L O Sortert på hyppighet (vi trenger ikke regne ut sannsynligheten (relativ frekvens): E N S D K T I G A L O Merk: Her er det mange bokstaver med lik hypplighet. Avhenger av hvordan man stokker/sorterer de bokstavene som har lik hyppighet, kan vi få forskjellig kode. Kodelengdene blir imidlertid de samme (gjennomsnittlig). Med denne rekkefølgen får vi en kodebok som er gitt i de to første kolonnene i tabellen (prøv gjerne selv, og vis deg selv at du behersker dette!): symbol kode kodelengde hyppighet Produkt E N S D K T I G A L O sum 6 87 Lengden av hvert kodeord er gitt i tredje kolonne i tabellen. Multipliserer vi dette med hyppighetene for hvert symbol og summerer, kommer vi til 87 bits. 87 biter fordelt på 6 symboler gir oss et gjennomsnitt på 3.34 bits/symbol. Bitstrømmen blir da Her er kodeordene for hvert symbol adskilt med en blank for å øke lesbarheten. I virkeligheten mottas denne setningen som Men med den kodeboken som er gitt i tabellen ovenfor blir dette unikt og instantant dekodbart.

5 Oppgave 5: Koding av et bilde Vi har gitt følgende lille bilde med pikselverdier mellom og 5: Finn antall biter pr. piksel vi trenger ved vanlig binærkoding. Vi har pikselverdier -5 og trenger da 3 biter pr. piksel (kan da lagre 8 ulike verdier). (Egentlig forekommer ikke verdien 4, kun,, 3 og 5 og vi kunne lage en ny -bits kode der 4 ikke forekommer, men dette blir ikke vanlig binærkode).. Finn kodeboken for en Huffman-koding av bildet, og beregn det gjennomsnittlige antall biter per piksel. Vi har følgende forekomster: : 3/7 : 8/7 0 3: 4/ : 9/7 Slår sammen først og 3, og så dette med 5, osv. Kodene blir da. : : 000 3: 00 5: 0 Gjennomsnittlig antall biter pr piksel etter koding blir (3*+8*3+4*3+9*)/7= ( )/7 = 35/7 =.875 biter/piksel. 3. Finn så differanse-transformen av bildet. Etter differansetransform vil bildet se slik ut: Finn kodeboken for en Huffman-koding av det differanse-transformerte bildet, og beregn det gjennomsnittlige antall biter per piksel. Hvordan er denne sammenlignet med kun Huffman-koding?

6 Det differansetransformerte bildet har histogram: 4: 5/7 : 9/7 0: 5/7 -: /7-3: 5/7 Igjen er det mulig å gjøre ulike valg når man slår sammen, f.eks. først slå sammen og 3 (som jeg har gjort), eller og 4. Jeg fikk følgende koder: 0: 0 : 0 4: 0-3: 0 -: Gjennomsnittlig lengde pr piksel etter koding blir: (5*+*9+3*5+4*5+4*)/7 = ( )/7 = /7 =.556 biter pr piksel, altså færre biter pr symbol ved å gjøre differansekoding først og så Huffman, enn med bare Huffman. 5. Finn run-length transformen av bildet. Hvor mange biter trenger du nå for å beskrive bildet? Run-length-kodingen av bildet blir: (,4),(5,4),(,4) (,3),(5,6),(,),(3,) (,),(5,5),(,),(3,,),(,) (,4),(5,3),(,5) (,6),(5,),(,3),(3,),(,) (,) Totalt skal 4 tall lagres, hvert tall forekommer maks 6 ganger, bortsett fra siste linje der forekommer ganger. Her kan vi trikse litt slik at vi representerer hvert tall med 3 biter (0-7). Da må vi splitte siste linje i to: (,) blir til (,7), (,5). Da får vi 44 tall* 3 biter=3 biter. Pr. piksel i det opprinnelige bildet blir dette: 3/7=.83biter/piksel. 6. Finn kodeboken for en Huffman-koding av det run-length-transformerte bildet, og beregn det gjennomsnittlige antall biter per piksel. Symbol Hyppighet kodeord Vi ser at dette gir ((++7)*+6*3+4*4+(+)*5)/7 = ( )/7 = 07/7 =.49 biter pr piksel, mens det blir 07//=.548 biter per symbol i run-length transformen. 7. Første ordens entropi til originalbildet er.76, og gjennomsnittlig antall biter per piksel i punkt ovenfor er større enn dette. Hvordan kan det da ha seg at resultatene i punktene 4 og 6 gir færre biter per piksel enn entropien skulle tilsi?

7 Entropien er en nedre grense så lenge vi bare ser på pikslene hver for seg slik som vi gjør når vi lager histogrammet. Men både differanse- og runlength transformen ser på mer enn en piksel av gangen. Oppgave 6: Et Huffman-program med grafisk grensesnitt Det er laget et JAVA-program med grafisk brukergrensesnitt til dette kurset for å kode og dekode tekst med Huffman-metoden. Bruksanvisning for programmet ligger på Prøv deg fram og se hvilke resultater du får med forskjellige tekster. Prøv blant annet følgende: a) Kopier inn denne teksten i venstre vindu. Da får du et sortert histogram til høyre for teksten. Trykk på Encode. Da får du den tilsvarende kodeboken og bitsekvensen etter koding til høyre. Du kan også trykke på Show code tree, og få ut kodebokens tre-struktur. b) Marker en del av bitsekvensen og fjern den med delete, eller endre på verdien av noen biter. Trykk på Decode. Hva skjer med den opprinnelige teksten? Hvorfor er skaden som oppstår bare lokal? Ville dette vært tilfelle hvis tilsvarende feil hadde oppstått i kodeboken? c) Bruk dette verktøyet til å sjekke at du har tenkt riktig og fått korrekte svar på oppgavene -5. d) Hva er det måken på forsiden av læreboka skriker? Intet løsningsforslag. Oppgave 7: Kompresjon med diverse JAVA-programmer a) Se på bildene a.png, a.png og a3.png som ligger på /ifi/eisa/k00/inf040/www_docs/bilder/. Prøv å komprimere bildene med JAVA-programmene Entropy, DeltaEncoder, HuffmanTest og RunLengthEncoder. Disse programmene har du tilgang til hvis du fikk satt riktig CLASSPATH i tidligere oppgaver). Sammenlign entropien for de tre bildene. (java Entropy a.png) Hvilket bilde har høyest entropi? Hvordan stemmer dette med det du trodde ved å se på bildene? Bildet a.png har entropi 0.35, a.png 3.96, og a3.png Bildet a.png har lite støy, så øker støyen og blir størst i a3.png. Dette gjenspeiler seg i entropien, som øker med graden av støy. b) Sammenlign kompresjonsraten med differansekoding (DeltaEncoder), Huffmankoding og run-length koding for de ulike bildene. Med differansekoding får a.png kompresjonsrate på.90, a.png 0.977, og a3.png Vi ser altså at a.png og a3.png tar mer plass ved binærlagring av differansetransformert bilde. Merk at vi ofte kombinerer differansetransform med annen koding, f.eks. Huffman.

8 Med Huffman-koding får a.png kompresjonsrate 7.35, a.png.043 og a3.png.70. Igjen størst kompresjonsrate for bildet med lite støy. Med Run-length-koding får vi kompresjonsrate for a.png, for a.png, og for a3.png. Virker altså ypperlig for det støyfrie bildet, men dårlig i støyfylte bilder. Oppgave 8: Bruk av compress og gzip Prøv å komprimere ulike typer filer med ulike komprimeringsprogrammer (f.eks. compress og gzip). Er det stor forskjell i komprimeringsraten for ulike filer? Stemmer dette med ditt inntrykk av hvilke filer som har mest/minst uorden? Intet løsningsforslag.