INF 1040 høsten 2009: Oppgavesett 13 Kompresjon og koding (kapittel 18)

Transkript

1 asitoppgaver IN høsten : Oppgavesett Kompresjon og koding (kapittel ) enne seksjonen inneholder innledende oppgaver hvor det finnes en enkel fasit bakerst i oppgavesettet. et er ikke nødvendigvis meningen at du skal gjøre alle disse oppgavene. Gjør gjerne noen oppgaver av hver type, og gå videre hvis du synes det går greit. Gjør flere oppgaver av samme type hvis du synes det er vanskelig og ønsker mer trening.. Hva er entropien i det lille piksels gråtonebildet til høyre?. Hvor mange biter vil vi totalt trenge ved Huffman-koding av meldingen jeg står (meldingen er alt mellom hermetegnene)?. Hvilken type redundans reduseres med run-length transformasjon av et bilde?. u skal kode pikslene i et M N piksels binært bilde hver for seg. nta at sannsynligheten for pikselverdi er veldig liten, mens sannsynligheten for pikselverdi er nær. Hva blir det gjennomsnittlige antall biter per piksel ved en Huffman-koding av bildet?. Vi gjør en differansetransform på et biters gråtonebilde. Så lager vi oss en biters naturlig kode der vi bruker første og siste kodeord som fortsettelseskoder, mens de øvrige koder for differansene fra - til +. Hvor lange blir de LNGST kodeordene når vi koder differansene på denne måten?. I en Lempel-Ziv kodet fil benyttes et alfabet med tre koder a=, b= og d =. u mottar kodene. Hva er meldingen?. Ved Huffmannkoding av meldingen IN (meldingen er altså alt mellom -ene) vil vi totalt trenge hvor mange biter?

2 lervalgsoppgaver I disse oppgavene er det oppgitt fem svaralternativer der bare ett svar er riktig.. Hvilken form for redundans kan vi finne i en videosekvens, men IKK i et enkelt bilde? (Presisering: videosekvensen er uten lyd) a) Psykovisuell redundans b) Psykoakustisk redundans c) Redundans i rom d) Redundans i tid e) Kodingsredundans. Morsekoden består av prikker (varer enhet), streker ( enheter), mellomrom mellom prikker og streker ( enhet), mellomrom mellom tegn ( enheter) og mellom ord ( enheter). Kodetabellen for de første bokstavene i en engelsk tekst er K -. - P U G - -. L. -.. Q V H.... M - - R. -. W I.. N -. S... X J O T - Y Hvilket av utsagnene nedenfor er sant? a) Morsekoden er en binær kode b) Hvis vi erstatter prikk med, strek med og pauser med, så får vi en unikt dekodbar kode c) Morsekode er en entropibasert kode d) Hvis vi erstatter prikk med og strek med, så får vi en variabel-lengde kode som er instantant dekodbar e) Morsekode premierer mønstre i teksten. Hvilken påstand om den klassiske JPG-standarden for koding av bilder er sann? a) JPG er alltid en tapsfri koding b) JPG er basert på ourier-transformen c) JPG er basert på Lempel-Ziv-koding d) JPG er basert på løpelengdekoding e) JPG bruker cosinus-transform og Huffmann-koding

3 . Palindromet (som er en sekvens som kan leses både forlengs og baklengs) SIGNM T SIGN TM M TNGIS T MNGIS vil få en Huffmann-kode (hvis vi ser bort fra de blanke mellom ordene) a) der det gjennomsnittlige antall bits per tegn er lik entropien b) der alle kodene er dobbelt så lange som for halve sekvensen c) der den korteste koden i kodeboken er bit og resten er bits d) der den korteste koden er bit og resten er bits e) der de to korteste kodene er bit og resten er bits. Huffman-koding og Shannon-ano koding har forskjellig øvre grense for kodingsredundans. a) Huffmann-koden kommer alltid bedre ut enn Shannon-ano b) Shannon-ano kommer alltid bedre ut enn Huffman c) Huffman-koding kommer noen ganger dårligere ut enn Shannon-ano d) et er en fast forskjell i favør av Huffman-koding e) Kodingsredundansene er like, bortsett fra når sannsynlighetene er toerpotenser.. Ved Huffman-koding av meldingen Huffman-koding kan jeg i søvne!! (meldingen er alt mellom hermetegnene) blir det gjennomsnittlige antall biter per piksel, R a) Mindre enn entropien til meldingen b) Lik entropien til meldingen c) Lik entropien til meldingen pluss d) Lik entropien til meldingen pluss den minste symbol-sannsynligheten e) Lik entropien til meldingen pluss den største symbol-sannsynligheten. Hva er entropien i det lille piksels gråtonebildet nedenfor til høyre? a). biter b). biter c). biter d) biter e). biter. I en Lempel-Ziv kodet fil benyttes et alfabet med tre koder: a =, b = og d =. u mottar kodene. Hva er meldingen? a) badababa b) badabaad c) badabada d) badaabda e) badaab

4 Tenk selv -oppgaver. Heksadesimal Sudoku Vi har en kvadratisk matrise med * elementer som igjen er delt opp i * blokker på * elementer. I hvert element står et heksadesimalt siffer som for eksempel kan være en koding for en gråtone, en farge i en fargetabell, eller rett og slett et heltall. I alle linjer, kolonner og blokker skal alle de heksadesimale sifrene være forskjellige fra hverandre, slik som i eksemplet i figuren. a) Hvor mange biter trenger vi for å løpelengdetransformere det unormaliserte histogrammet for hele matrisen? b) Hvordan ser det normaliserte histogrammet for hele matrisen ut? c) Hva er forskjellen i første ordens entropi H mellom en linje i matrisen og hele matrisen? N: Vi angir ikke her formelen for H. d) Hvor stor er kodingsredundansen hvis vi representerer alle sifrene i matrisen med bits kodeord? egrunn svaret kort!. Huffmankoding av en spesiell tekst Hvorfor kan vi si at den gjennomsnittlige lengden på kodeordene vil bli lik entropien når vi Huffman-koder utsagnet digital overalt!?

5 . Huffmankoding med kjente sannsynligheter Gitt en sekvens av symboler som er tilstrekkelig lang, og som inneholder de symbolene,,,,,. Symbolene forekommer med sannsynligheter Symbol Sannsynlighet a) inn kodeboken for en Huffman-koding av disse symbolene. b) Hva er gjennomsnittlig antall biter pr. symbol i sekvensen etter Huffman-kodingen? c) Hva er entropien til symbol-sekvensen?. Kodeboken til en Huffmankoding inn kodeboken for en Huffman-koding av igital overalt!, og tegn opp kodeboken som en tre-struktur. r denne forskjellig fra det du ville fått med en Shannon-ano koding?. Huffmankoding av en oppgitt tekst enne setningen skal kodes. a) Hvordan ser kodeboken for en Huffman-koding ut? b) Hva er gjennomsnittlig antall biter pr. symbol etter kodingen? c) Hvordan ser bitstrømmen for symbol-sekvensen ut etter koding?. Vi har gitt følgende bilde: a) inn Huffman-kodingen av dette bildet. Hvor mange bits blir det per piksel i gjennomsnitt etter koding hvis vi ser bort fra at vi trenger plass til å lagre kodeboken? b) Ved differansetransform tar vi differansen mellom et piksel og dets nabo til venstre. Siden pikslene lengst til venstre i bildet ikke har noen venstre nabo, beholder vi pikselverdien her. c) inn differanse-transformen av bildet ovenfor.

6 d) inn så Huffman-koden for det differansetransformerte bildet, slik at du kan beregne det gjennomsnittlige antall bits per piksel for det differansetransformerte bildet. e) ntropien til bildet vi startet med i forrige oppgave er. biter. Hvorfor ble det gjennomsnittlige antall biter per piksel større enn entropien i deloppgave a), men mindre enn. i deloppgave c)?. n fax-oppgave a) nta at en telefonsamtale har en båndbredde på khz, og at det analoge signalet samples i henhold til Nyqvist-kriteriet. nta også at det er mulige lydnivåer i hvert sample. Hvor stor overføringskapasitet må vi ha på telefon-linjen, uttrykt i k/s, når vi bruker naturlig bitkoding av amplituden? b) nta at det er G= forskjellige nivåer på amplituden til hvert sample, og at når vi sorterer dem etter hvor ofte de forekommer i en telefonsamtale, så finner vi i dette spesielle tilfellet at sannsynlighetene er ½, ¼, /, /,, /, /, /. Hvor mange slike telefonsamtaler kan vi overføre i parallell på en kbits/s ISN-linje med Huffman-koding av amplitudene? Hint : ntropien er gitt ved H = G i= essuten: Og til slutt: p i log p i ( ) log(teller/nevner) = log(teller) log(nevner) log ( n ) = n Hint : Summen ½+/+/ +/+/ + konvergerer raskt mot. c) t ark med tekst og enkle strektegninger skal sendes pr digital fax over en modemlinje med kapasitet på biter/sekund. Vi bruker en standard fax med fotosensorer per linje og linjer per side. axmaskinen gjør en terskling av bildet av siden. Hvor lang tid tar det å overføre en side uten kompresjon? d) nta at vi hadde kunnet gjøre tekstgjenkjenning på den delen av arket som inneholder tekst, og representert symboler og mellomrom med bits SII. nta at det maksimalt er tegn pr linje og linjer pr side. nta også at vi kunne beskrevet strektegningene som maksimalt rektangler per side, og at sidene på rektanglene er parallelle med kantene på siden. Gi et worst case estimat av hvor mange biter du vil trenge for å beskrive innholdet på siden med en oppløsning som svarer til faxens oppløsning, og hvor lang tid det vil ta å overføre dette over modemlinjen.

7 e) Vi vil gjerne undersøke hvor mye det er å spare på å separere SIItegn fra alt annet i en fax, og sende bits SII kode for hvert tegn, mens resten sendes ukomprimert uansett hva det er. Hvis halvparten av hver side i gjennomsnitt er SII-tegn, hvor mye sparer vi da i forhold til ordinær fax? f) Utsnittet på * piksler av et binært bilde nedenfor kan representeres med biter. Ser vi på runlength-representasjonen av det samme utsnittet, finner vi at det består av runs med lengder mellom og piksler. Hvis vi bruker biter på hver, blir dette biter. Imidlertid er det mulig å gjøre dette litt mer kompakt ved å Huffman-kode de løpelengdene. Ved løpelengdetransformasjon av binære bilder trenger vi ikke å lagre tallpar (gråtone, løpelengde) slik som for gråtonebilder. Vi trenger bare løpelengdene, for det er bare to mulige intensitetsverdier. Løpelengdene finnes i tabellen til høyre. inn Huffmann-koden til løpelengdene i tabellen til høyre over, og finn det totale antall biter etter koding av løpelengdene. Prøv selv -oppgaver. t Huffman-program med grafisk grensesnitt et er laget et JV-program med grafisk brukergrensesnitt til dette kurset for å kode og dekode tekst med Huffman-metoden. ruksanvisning for programmet ligger på Prøv deg fram og se hvilke resultater du får med forskjellige tekster. Prøv blant annet følgende: a) Kopier inn denne teksten i venstre vindu. a får du et sortert histogram til høyre for teksten. Trykk på ncode. a får du den tilsvarende kodeboken og bitsekvensen etter koding til høyre. u kan også trykke på Show code tree, og få ut kodebokens tre-struktur.

8 b) Marker en del av bitsekvensen og fjern den med delete, eller endre på verdien av noen biter. Trykk på ecode. Hva skjer med den opprinnelige teksten? Hvorfor er skaden som oppstår bare lokal? Ville dette vært tilfelle hvis tilsvarende feil hadde oppstått i kodeboken? c) ruk dette verktøyet til å sjekke at du har tenkt riktig og fått korrekte svar på de andre oppgavene i oppgavesettet. d) Hva er det måken på forsiden av læreboka skriker?. Kompresjon med diverse JV-programmer a) Se på bildene a.png, a.png og a.png som ligger på /ifi/midgard/k/inf/www_docs/bilder/. Prøv å komprimere bildene med JV-programmene ntropy, eltancoder, HuffmanTest og RunLengthncoder. isse programmene har du tilgang til hvis du fikk satt riktig LSSPTH i tidligere oppgaver). Sammenlign entropien for de tre bildene. (java ntropy a.png) Hvilket bilde har høyest entropi? Hvordan stemmer dette med det du trodde ved å se på bildene? b) Sammenlign kompresjonsraten med differansekoding (eltancoder), Huffman-koding og run-length koding for de ulike bildene.. ruk av compress og gzip Prøv å komprimere ulike typer filer med ulike komprimeringsprogrammer (f.eks. compress og gzip). r det stor forskjell i komprimeringsraten for ulike filer? Stemmer dette med ditt inntrykk av hvilke filer som har mest/minst uorden? asit til fasitoppgaver og flervalgsoppgaver Hvis du finner feil i denne fasiten er det fint om du gir beskjed om dette ved å sende en mail til martingi@ifi.uio.no. asitoppgavene: :. biter. egrunnelse: Histogrammet blir :, :, :, :, :, :, : et normaliserte histogrammet består da av fire ganger (/) og tre ganger (/). ntropien blir sum(p log(p)) = -(/)log(/) -(/)log(/) = -(/)(-) (/)(-) = + (/) =. : biter. egrunnelse: et er åtte forskjellige tegn, og hvert av dem forekommer bare en gang. a vil en Huffman-koding gi samme resultat som en naturlig bitkoding med biter per tegn. biter per tegn x tegn gir biter. : Intersampel redundans. egrunnelse: Vi representerer nabopiksler som er like. : bit per piksel egrunnelse: ildet er binært, og vi koder pikselverdiene hver for seg. Uansett hvor smart kodingen er, så må vi bruke ett bit per piksel. Se foil.

9 : biter egrunnelse: det er gråtoner i bildet, fra til. ifferansebildet kan inneholde verdier fra - til. I en biters naturlig kode brukes de midterste kodeord a biter til differanser fra - til +. kodeord med første og siste kode som prefiks ( biter til sammen) brukes til differansene fra - til - og fra til. kodeord med første og siste kode to ganger som prefiks ( biter til sammen) brukes til differanser mindre enn - og større enn. Se foil i forelesningen /. : abbadabba egrunnelse: Vi har mottatt kodene. Mottar, tolkes som a Mottar, tolkes som b, lager ab =. Mottar, tolkes som b, lager bb = Mottar, tolkes som a, lager ba = Mottar, tolkes som d, lager ad = Mottar, tolkes som ab, lager da = Mottar, tolkes som ba Resultat: abbadabba. : biter egrunnelse: et er tegn. seks av dem har hyppighet, en har hyppighet. ltså kan alle sannsynlighetene skrives som en negativ potens av : seks ganger (/) og en gang (/). a vet vi at Huffman-kodingen er optimal (se foil ): Vi får en gjennomsnittlig kodeordlengde som er lik entropien: -sum(p*log(p)). ntropien er -(/)(-) (/)(-) = (/) + (/) = (/). ette trenger vi ikke å regne ut, for det totale antall biter er jo lik gjennomsnittlig ordlengde (her lik entropien) ganget med antall tegn (), altså (/) x =. Og vi trengte ikke å utføre Huffman-kodingen heller for å finne svaret! lervalgsoppgavene: : (d). : (c). : (e). : (a). egrunnelse: et er forskjellige tegn, og alle har lik sannsynlighet, som er en nagativ toerpotens (/). : (e). : (c). egrunnelse: Hvis den største sannsynligheten er nær., og resten av sannsynlighetene er veldig små, vil Huffman-koding komme dårligere ut enn Shannon-ano (se nederst side i læreboka). : (b). egrunnelse: et er tegn i meldingen, med hyppighet, eller. ltså er alle sannsynlighetene en brøk med en toerpotens i nevneren. rgo kan vi konkludere med b), uten å utføre kodingen! : (c). egrunnelse: et er piksler i bildet. Hyppighetene er,,,. Sannsynlighetene er (/), (/), (/), (,). ntropien er sum(p*log(p)) = -(/)(-) (/)(-) (/)(-) = (¾) + (/) + (/) =.. : (c). egrunnelse: Mottar = b. Mottar = a og lager ba =. et utelukker de to siste alternativene. eretter ble = d mottatt og ad = ble laget. Så ble = a mottatt og da = ble laget. ermed må bety badabada, som er alternativ c).