INF 1040 høsten 2009: Oppgavesett 12 Digital video og digital bildeanalyse (løsningsforslag) (kapittel 16 og 17) 13. Lagring av video på DVD

Transkript

1 INF 040 høsten 2009: Oppgavesett 2 Digital video og digital bildeanalyse (løsningsforslag) (kapittel 6 og 7) 3. Lagring av video på DVD a) Med en bitrate på 250 Mbit/s, hvor lang tidssekvens av en digital film kan du lagre på en to-lags enkeltsidig DVD? En enkeltsidig to-lags DVD kan lagre 8.5 milliarder byte. Med en bitrate på 250 Mbit/s kan vi lagre 8* 8.5 *0 9 / 250 * 0 6 = 272 sekunder = 272/60 minutter = 4 minutter 32 sekunder. b) Hvor lang tidssekvens av en slik digital film kan du lagre på en ettlags dobbeltsidig DVD? En ett-lags dobbeltsidig DVD kan lagre 9.4 milliarder byte. Med en bitrate på 250 Mbit/s kan vi lagre. 8* 9.4 *0 9 / 250 * 0 6 = sekunder=300.8/60 minutter = 5 minutter 0.8 sekunder. c) Hvor mange ettlags dobbeltsidige DVD er trenger du til en halvannen times fim med denne bitraten? 90 minutter / 5 minutter/dvd = 8 DVD er 4. Nummerering av mange bilder a) Anta at du er i stand til å oppfatte 50 bilder per sekund, og at du har øynene åpne 6 timer i døgnet. Hvor mange biters ordlengde ville du trenge dersom du skulle nummerere alle de bildene du teoretisk kan ha sett i løpet av de siste 20 år? 50 bilder/s * 60 s/min * 60 min/t * 6 t/dg *365 dg/år * 20 år = bilder Altså litt over 2 milliarder bilder. Den første toerpotensen som er større enn 2 * 0 9 er 2 35 = Altså holder det med en ordlengde på 35 biter. b) Med 36 biters ordlengde, i hvor mange år kan du da fortløpende nummerere bilder med en frekvens på 50 Hz? Med 36 biters ordlengde kan vi nummerere bilder. Antall år vi kan holde på blir / 50 / 60 / 60 / 6 / år

2 5. Plassbehov ved YCbCr subsampling Subsamplingen i YCbCr betegnes med talltriplene 4:2:2, 4:: og 4:2:0. Fellesbetegnelsen for disse er 4:n:n (se avsnitt i læreboken). Hva er forholdet mellom plassbehovet ved 4:n:n subsampling i forhold til 4:4:4 hvis vi antar at ordlengden i hver komponent ikke endres? a. For 4:n:n = 4:2:2 4:2:2 indikerer en horisontal subsampling av Cb og Cr med en faktor 2, mens Y ikke er subsamplet. Forholdet mellom plassbehovene etter og før subsampling blir da (+/2+ /2 )/3 = 2/3. b. For 4:n:n = 4:: 4:: betyr at Cb og Cr samples med en fjerdedel av den horisontale oppløsningen til Y. Forholdet mellom plassbehovene etter og før subsampling blir da (+/4+ /4 )/3 = /2. c. For 4:n:n = 4:2:0 4:2:0 betyr at Cb og Cr er subsamplet med en faktor 2 både horisontalt og vertikalt, enten ved subsampling horisontalt og en midling vertikalt, eller ved en midling begge veier. Plassbehovet reduseres altså med en faktor 4 i begge kromasi-komponentene. Forholdet mellom plassbehovene etter og før subsampling blir da (+/4+ /4 )/3 = /2. 6. Bitrater i HDTV Anta at du skal implementere et HDTV-system med piksler per bilde med 30 Hz bilderate og progressiv skanning. Anta at bildene tas med et biters RGB-kamera og at bildene konverteres til YCbCr og subsamples til 4:2:0, før både Y, Cb og Cr komprimeres. Anta også at det skal overføres stereo lyd samplet med 44. khz og 6 biter per kanal, før lyden komprimeres med en faktor 0. Med hvilken faktor må du å komprimere bildene i tillegg til den kompresjonen som oppnås ved YCbCr subsampling, hvis kravet er at den samlede bitraten skal være maksimalt 20 Mbit/s? Lyden gir * 6 * 2 / 000 / 000 / 0 = 0.42 Mbit/s. Da har vi = Mbit/s igjen til bildene. 4:2:0 subsampling gir en reduksjon av bitraten med en faktor 2. Etter konverteringen til YCbCr og subsampling har vi 920*080*30*36/2/000/000 Mbit/s = Mbit/s Skal vi få plass til dette innenfor Mbit/s må vi komprimere med en faktor / =

3 7. Digital kino Digital Cinema Initiatives (DCI) som ble startet i 2002 av sju store amerikanske filmstudioer (Buena Vista Group, 20th Century Fox, Metro-Goldwyn-Mayer, Paramount, Sony Pictures Entertainment, Universal Studios og Warner Bros. Pictures) har angitt en systemspesifikasjon for komprimert digital film. Spesifikasjonen forutsetter: Video: o Format 2K : x 080 piksler i 24 Hz eller 48 Hz o Format 4K : x 2 60 piksler i 24 Hz o Fargerom: CIE XYZ med 2 biter per komponent ved innspilling prekorrigert med gamma= / 2.6. o Kompresjon med JPEG 2000 Kompresjonsrater: 4.7 biter/piksel (2K, 24 Hz), 2.35 biter/piksel (2K, 48 Hz),.7 biter/piksel (4K, 24 Hz) Audio: o 24 biter per sample, 48 khz eller 96kHz o Opp til 6 simultane lydkanaler a) Vis at dette gir en maksimal bitrate på 250 * 0 6 biter/s for bildene (dette er faktisk en del av spesifikasjonen). Ett sekund av en 2K digital film med 48 bilder a x 080 piksler a 2.35 biter gir: 48 * 2048 * 080 * 2.35 = biter/sekund Ett sekund av en 4K digital film med 24 bilder a x 2 60 piksler a.7 biter gir: 24 * 4096 * 260 *.7 = biter/sekund b) Hvor mange GB diskplass vil en slik 90 minutters spillefilm ta? 90 minutter*60 s/minutt*250 Mbiter/s / 8 biter/byte / 000 MB/GB = GB. c) Hvor mange 920 x 080 HD-bilder kan vi få plass til i ett 4K format stillbilde? 4 bilder tar x 2 80 piksler i en 2 x 2 oppstilling,, mens 4K formatet er et containerformat for x 2 60 piksler. Fire fulloppløsnings HD-bilder får altså plass, med 28 svarte piksler på hver side. 3

4 8. Bilder og histogrammer Her ser du pikselverdiene i et lite bilde. Kan du regne ut histogrammet til bildet, dvs. lage en tabell over hvor mange piksler bildet har av hver gråtone? Histogrammet er en tabell over pikselverdier og antall piksler med hver verdi. Tabellen går vanligvis fra 0 til den maksimale gråtoneverdien vi kan lagre med dette antall biter. Bare verdier mellom og 9 forekommer. For å lagre pikselverdien 9 trenger vi 4 biter. Histogrammet for dette bildet som 4-bits bilde blir: Pikselverdi Antall forekomster Svar med tabell fra til 9 godtas selvfølgelig også. Histogrammet omfatter da bare de verdiene som faktisk finnes i bildet, ikke en toerpotens gråtoneskala. 4

5 9. Kontrastendring og histogrammer i gråtonebilder Middelverdien av alle pikselverdiene i et digitalt gråtonebilde kan vi finne ved å legge sammen alle pikselverdiene i bildet, og så dividere denne summen med antall piksler i bildet. a) Hvordan kan vi finne denne middelverdien fra histogrammet til bildet? Middelverdien kan uttrykkes som en sum av alle pikselverdiene dividert med antall piksler i bildet. Hvis størrelsen på bildet er M N, og pikselverdiene betegnes med f(x,y), så er middelverdien gitt ved at vi summerer alle pikselverdiene i både x- og y- M N retning: μ f = f ( x, y) M N x= 0 y= 0 Men dette bildet har også et histogram. Histogramverdien h(0) forteller hvor mange piksler det er med pikselverdi 0, h() hvor mange piksler vi har med pikselverdi, osv. opp til h(g-) som forteller hvor mange piksler vi har med pikselverdi (G-), der G er antall gråtoner i bildet. Vi har altså h(0) ganger verdien (0), h() ganger verdien (),, h(g-) ganger verdien (G-). Til sammen kan det skrives som en sum av pikselverdi ganger tilhørende histogramverdi, for alle mulige pikselverdier i bildet: G μ f = f h( f ) M N f = 0 Dette er en mye enklere sum. Vi trenger bare å løpe gjennom G verdier i histogrammet istedenfor gjennom alle M N pikslene i bildet. b) Anta at vi har funnet middelverdien i et 8-biters gråtonebilde, og at den er μ f. Men vi ønsker et ut-bilde med middelverdi midt på gråtoneskalaen, uten å endre kontrasten i bildet. Hva må vi gjøre med pikselverdiene i bildet for å oppnå dette? I avsnitt 7.2. har vi sett at vi kan gjøre et bilde lysere eller mørkere ved å addere en bias til hver pikselverdi i bildet. Vi kan også endre kontrasten i bildet ved å multiplisere hver pikselverdi med en fast faktor. Men det skal vi altså ikke gjøre her. Hvis vi adderer en bias b får vi et nytt bilde, der pikselverdiene i utbildet er gitt ved g(x,y) = f(x,y) + b Middelverdien av det nye bildet finner vi ved å summere pikselverdiene i det nye bildet. M N μ g = g x y = f + M N (, ) M N x= 0 y= 0 [ f ( x, y) + b] = μ b Det er denne nye middelverdien vi ønsker skal bli 27.5: 27.5 = μ f + b => b = μ f Vi må altså addere en bias som er μ f til hver pikselverdi i gråtonebildet. M N x= 0 y= 0 5

6 c) Hvordan vil figur 7-3 a i læreboken se ut hvis den skal illustrere at du ikke har gjort noen endring av gråtonene i bildet, verken addisjon av bias eller endring av kontrast? La oss først slå fast at figuren viser sammenhengen mellom pikselverdien i inn-bildet (den horisontale f-aksen) og pikselverdien til den samme pikselen i utbildet etter at vi har gjort en eller annen transformasjon av gråtoneskalaen. Hvis vi ikke har gjort noe som helst, vil figuren vise en rett linje gjennom origo, med stigningstall. En piksel med pikselverdi f(x,y) i innbildet vil finnes igjen i utbildet som g(x,y) = f(x,y). Dette er også ligningen for den rette linjen i figuren til høyre. g g 2 g f f 2 f d) Hvordan vil figur 7-3 a se ut hvis den skal illustrere at du har lagt til en bias b til alle pikselverdiene i innbildet, uten å endre kontrasten? Nå vil vi ha g(x,y) = f(x,y) + b, som er ligningen for den rette linjen som viser sammenhengen mellom f og g i figuren til høyre. Linjen har fortsatt stigningstall, men nå går den ikke gjennom origo; den skjærer y-aksen ved verdien b. Nå blir f i innbildet til g = f + b i utbildet, og f2 i innbildet blir til g2 = f2 + b i utbildet. Men differansen mellom to vilkårlige pikselverdier g2 og g er fortsatt (f+b) (f2 b) = f2 f. Kontrasten er altså uendret. g g 2 g b f f 2 f e) Hva skjer med histogrammet ved en lineær avbildning som den som er illustrert i figur 7-3 b? Her har vi en situasjon hvor et lite område av gråtoneskalaen i innbildet mappes til å bruke hele gråtoneskalaen i utbildet. Histogrammet innenfor denne lille delen av gråtoneskalaen i innbildet vil da bli strukket ut slik at det fyller hele gråtoneskalaen til utbildet, slik som vist i figuren til høyre. f) I figur 7-3 c har vi vist hvordan sammenhengen mellom pikselverdi i inn- og ut-bilde blir hvis vi inverterer gråtonene og får et negativt bilde. Hvordan er da sammenhengen mellom histogrammene til inn- og ut-bildet? 6

7 Sammenhengen er veldig enkel. Speiler man det ene histogrammet om midten av gråtoneskalaen, så får man det andre histogrammet, som illustrert i figuren nedenfor. 20. Histogram-begreper I avsnitt 7. har vi omtalt begrepene histogram og normalisert histogram. a. Hva mener vi med kumulativt histogram, og hvordan kan vi lage det hvis vi har det vanlige histogrammet til bildet? Et kumulativt histogram H(v) viser hvor mange piksler det finnes i et bilde med pikselverdi mindre eller lik en gitt verdi v. Vi har altså H(0) = h(0), H() = h(0) + h(), og videre har vi H(v) = H(v-) + h(v). Nedenfor ser vi et gråtonebilde og til høyre histogrammet av gråtonene og et (skalert) kumulativt histogram. b. Hvordan må bildet og bildets histogram se ut for at det kumulative histogrammet skal stige som en rett linje etter som vi går oppover gråtoneskalaen? For at dette skal skje, må vi få et konstant nytt bidrag til det kumulative histogrammet etter hvert som vi går skrittvis oppover gråtoneskalaen. Og da må bildets histogram være flatt, dvs at det finnes (omtrent) like mange piksler i bildet for hver gråtone. Men dette sier ikke noe om hvordan bildet ser ut, om det er rutete, stripete eller hva det nå er, bare at det er like mange piksler for hver gråtone. 7

8 2. Gråtone-transformasjoner Anta at et gråtonebilde f inneholder piksler med verdier i intervallet [f, f2]. I faktadelen av oppgaven er følgende opplysninger gitt (hentet fra kapittel 6..2): Hvis et gråtonebilde f inneholder piksler med verdier i intervallet [f, f2], er den generelle formelen for en lineær mapping til et nytt gråtonebilde g med verdier i intervallet [g, g2]: g(x,y) = g + (g2-g)/(f2-f) * (f(x,y) f) a) Hvordan blir formelen hvis vi ønsker å gjøre gråtonebildet lysere ved å addere en bias til alle pikselverdiene? g(x,y) = f(x,y) + b b) Hvordan blir formelen hvis vi ønsker å øke kontrasten? g(x,y) = a f(x,y), der a >. c) Hvordan blir formelen hvis vi ønsker å mappe et lite område av pikselverdier til å bruke hele gråtoneskalaen? Uttrykket g(x,y) = g + (g 2 -g )/(f 2 -f ) * (f(x,y) f ) beskriver en situasjon som vist til venstre nedenfor, mens vi skal ha en ligning for situasjonen til høyre. Dette får vi ved å endre ligningen til g(x,y) = 255/(f 2 -f ) * (f(x,y) f ), og klippe resultatet, dvs sette g(x,y)=0 hvis vi får en negativ verdi, og g(x,y)=255 dersom vi får verdier >255. g g 2 g b g a = f 2 2 g f g (255,255) f f 2 f (0,0) d) Hvordan blir formelen hvis vi ønsker å invertere gråtonene, slik at vi får et negativt bilde? g (255 g(x,y) =255- f(x,y) beskriver den rette linjen i figuren til høyre. f (0 f e) Hvorfor er det uhensiktsmessig å bruke denne mappingen på RGBkomponentene i et fargebilde? Hva bør vi gjøre istedenfor for å endre kontrast og lyshet i et fargebilde? Hvis vi endrer på hver av RGB-komponentene på denne måten for å få et lysere bilde eller for å endre kontrasten, så endres også fargen. Det er bedre å transformere fra RGB til IHS, endre I-komponenten slik som vi nå har beskrevet, og så transformere tilbake til RGB. Dermed har vi endret kontrast og lyshet i bildet, mens fargene er bevart. 8

9 22. Et sykehusproblem Et sykehus er i ferd med å anskaffe kostbart digitalt videoutstyr og disker for pasientundersøkelser og lagring av data, og du blir nå spurt om råd. a. Man ønsker å bruke et 6:9 format progressivt 64 Hz RGB-kamera med 280 piksler horisontalt i bildet og 6 biter per kanal. Hvor stor blir en datafil som inneholder ett sekunds opptak? Angi filstørrelsen i MiB. Format 6:9 betyr at forholdet mellom bredde og høyde er 6:9. Dividerer vi 280 med 6 får vi 80. Multipliserer vi 80 med 9 får vi 720. Formatet er altså 280 x 720 piksler, eller (6 * 80) x (9 * 80) piksler. Antall MiB per sekund er da gitt ved 6 * 80 * 9 * 80 * 64 * 3 * 6 /(024 * 024 * 8) Nå er jo 6 * 64 = 024, 80 * 80 = 64 * 00 og 3 * 9 = 27, så her kan mye forkortes: (6 * 8 * 8) * 900 * 3 * (6 * 64) / (024 * 024 * 8) =2700 / 8 MiB/s = MiB/s. b. Overlegen begynner nå å få kalde føtter! Diskene kommer til å fylles veldig fort. Men en konsulent har fortalt ham at RGB-bildene kan transformeres til IHS, og deretter subsamples ved at man beregner middelverdien av fire og fire pikselverdier i H og S. Hvor mye kompresjon oppnår men ved dette? Ved denne subsamplingen tar H og S ¼ så mye plass som I. Kompresjonsraten blir: CR =(++)/(+/4+/4) = 3/.5 = 2. c. Dette var ikke nok til å få varmen i beina! Nå mener overlegen å ha lest noe om hvor mange rene farger, metningsgrader og intensitetsnivåer vi kan oppfatte. Men han husker ikke tallene. Han vil være på den sikre siden, og vil kunne lagre minst 200 rene farger, minst 50 metningsgrader og minst 60 intensitetsnivåer. Han spør derfor konsulenten hvor mange bytes han da trenger for å lagre en makroblokk (MB) etter RGB-IHS transformasjon, subsampling av H og S, og rekvantisering til færrest mulig biter per kanal. Hva er det korrekte svaret, og hvilken kompresjonsrate gir dette? For å beskrive minst 200 rene farger trenger vi 8 biter (2 8 = 256) til H-kanalen. For å beskrive minst 50 metningsgrader trenger vi 8 biter (2 8 = 256) til S-kanalen. For å beskrive minst 60 intensitetsverdier trenger vi 6 biter (2 6 = 64) til I-kanalen. Med den reduserte geometriske oppløsningen i H og S blir lagringsbehovet for en 6 6 piksler makroblokk, uttrykt i byte: 6 * 6 * (6 + 8/4 + 8/4) / 8 = 6 * 6 * 0 / 8 = 2 * 6 * 0 = 320 byte. 9

10 En makroblokk er 6 x 6 piksler. I det opprinnelige bildet var det 6 biter (2 byte) for hver av de tre kanalene, altså var en makroblokk her 6 * 6 * 2 * 3 byte. Dette gir en kompresjonsrate som man kan regne ut uten kalkulator: CR = 6*6*2*3 / 320 =6*3/0 = 4.8. d. Analog Devices Inc. reklamerer med high performance AD-converters med hhv 00, 80 og 60 MSPS (mega sampler per sekund) med 6 biters presisjon. Hvilken konverter trenger du for å håndtere én kanal fra et 024*024 piksels 50 Hz RGB-kamera? Begrunn svaret. 024 * 024 * 50 = * 50 = sampler per sekund. Det greier seg med 60 MSPS. 0