(12) Oversettelse av europeisk patentskrift

Transkript

1 (12) Oversettelse av europeisk patentskrift (11) NO/EP B1 (19) NO NORGE (1) Int Cl. H04N 19/196 (14.01) H04N 19/3 (14.01) H04N 19/11 (14.01) H04N 19/12 (14.01) H04N 19/122 (14.01) H04N 19/129 (14.01) H04N 19/13 (14.01) H04N 19/147 (14.01) H04N 19/7 (14.01) H04N 19/176 (14.01) H04N 19/18 (14.01) H04N 19/19 (14.01) H04N 19/42 (14.01) H04N 19/46 (14.01) H04N 19/463 (14.01) H04N 19/48 (14.01) H04N 19/93 (14.01) H04N 19/61 (14.01) H04N 19/6 (14.01) H04N 19/70 (14.01) Patentstyret (21) Oversettelse publisert.0.04 (80) Dato for Den Europeiske Patentmyndighets publisering av det meddelte patentet (86) Europeisk søknadsnr (86) Europeisk innleveringsdag (87) Den europeiske søknadens Publiseringsdato () Prioritet , US, P , US, P , US, (84) Utpekte stater AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR (73) Innehaver QUALCOMM Incorporated, Attn: International IP Administration 77 Morehouse Drive, San Diego, CA 92121, US-USA (72) Oppfinner YE, Yan, c/o QUALCOMM Incorporated77 Morehouse Drive, San Diego, CA 92121, US-USA KARCZEWICZ, Marta, c/o QUALCOMM Incorporated77 Morehouse Drive, San Diego, CA 92121, US-USA (74) Fullmektig Tandbergs Patentkontor AS, Postboks 70 Vika, 0118 OSLO, Norge (4) Benevnelse Tilpasset koding av videoblokkprediksjonsmodus (6) Anførte publikasjoner US-A RICHARDSON I E G: "H264/MPEG-4 Part White Paper - Prediction of Intra Macroblocks" INTERNET CITATION, [Online] XP Retrieved from the Internet: URL: ntrapred.pdf> [retrieved on ]

2 MARTA KARCZEWICZ: "Improved Intra Coding" VIDEO STANDARDS AND DRAFTS, XX, XX, no. VCEG-AF, 19 April 07 ( ), XP BING ZENG ET AL: "Directional Discrete Cosine Transforms for Image Coding" MULTIMEDIA AND EXPO, 06 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 July 06 ( ), pages , XP ISBN: AASE S.O., HUSOY J.H., WALDEMAR P.: "A critique of SVD-based image coding systems" IEEE CIRCUITS AND SYSTEMS, vol. 4, May 1999 ( ), - 2 June 1999 ( ) pages 13-16, XP Orlando, FL

3 1 3 4 Beskrivelse [0001] Denne applikasjonen hevder fordel for US foreløpig søknad nr. 60/ , innlevert. juni 07 og US foreløpig søknad nr. 60/ , innlevert 12. oktober 07. TEKNISK FAGFELT [0002] Denne publikasjon vedrører digital videokoding, og mer spesielt, entropikoding av video-blokker. BAKGRUNN [0003] Digitale videofunksjonalitet kan innarbeides i en rekke enheter, inkludert digitale TV-apparater, digital direkte kringkastingssystemer, trådløse kommunikasjonsenheter som for eksempel radiotelefoner, telefoner, trådløse kringkastingssystemer, personlige digitale assistenter (PDA), bærbare eller stasjonære datamaskiner, digitale kameraer, digitale opptakere, samt videoenheter, TV-spill og lignende. Digitale videoenheter implementerer videokomprimeringsteknikker, slik som MPEG-2, MPEG-4, eller H.264 / MPEG-4, Part, «Advanced Video Coding» (AVC), å sende og motta digital video mer effektivt. Videokomprimeringsteknikker utfører romlig prediksjon for å redusere eller fjerne redundans iboende i videosekvenser. [0004] Videokomprimering inkluderer vanligvis romlig prediksjon og / eller tidsmessige anslag. I særdeleshet er intrakoding avhengig av romlig prediksjon for å redusere eller fjerne romlig redundans mellom videoblokker innenfor en gitt kodingsenheten, som kan omfatte en videoramme, et stykke av en videoramme, eller lignende. I motsetning til dette, er interkoding avhengig av temporal prediksjon for å redusere eller fjerne tidsmessig redundans mellom video blokker av suksessive kodede enheter av en videosekvens. For intrakoding, utfører en videokoder romlig prediksjon for å komprimere data basert på andre data innenfor samme kodede enhet. For interkoding, utfører videokoderen bevegelsesestimering og bevegelseskompensasjon for å spore bevegelse av samsvarende videoblokker til to eller flere tilstøtende kodede enheter. [000] Etter romlig eller temporal prediksjon, er en restblokk generert ved å trekke en predikert videoblokk generert under prediksjonsprosessen fra den opprinnelige videoblokk som blir kodet. Den restblokken er således indikative av forskjellene mellom den predikerte blokken og den aktuelle blokk som kodes. Videokoderen kan gjelde transformasjons, kvantiserings og entropikodingsprosesser for ytterligere å redusere bit-hastigheten forbundet med kommunikasjon av restblokken. Transformasjonsteknikker kan endre et sett av pikselverdier i transformkoeffisienter som representerer energien til pikselverdiene i frekvensdomenet. Kvantisering utføres på transformasjonskoeffisientene, og involverer generelt en prosess som begrenser antall biter som er forbundet med en gitt koeffisient. Før entropikoding, skanner videokoderen den kvantiserte koeffisientblokk inn i en en-dimensjonal vektor for koeffisientene. Videokoderen entropikoder vektoren av kvantiserte transformasjonskoeffisienter for ytterligere å komprimere de resterende data. [0006] En videodekoder kan utføre invers entropikodingsoperasjoner for å hente ut koeffisientene. Invers skanning kan også utføres av dekoderen for å danne

4 2 3 4 todimensjonale blokker som mottas fra en-dimensjonale vektorer for koeffisienter. Videodekoderen invers-kvantiserer og invers-transformerer koeffisientene deretter for å få rekonstruert restblokken. Videodekoderen dekoder deretter en predikert videoblokk basert på prediksjonsinformasjon og bevegelsesinformasjon. Videodekoderen legger deretter prediksjonsvideoblokken til den tilsvarende restblokken for å generere den rekonstruerte videoblokk, og å generere en dekodet sekvens av videoinformasjon. SAMMENDRAG [0007] I henhold til den foreliggende oppfinnelse, tilveiebringes en fremgangsmåte og en anordning for koding av videodata som angitt i krav 1, og 9, henholdsvis, og en fremgangsmåte og en anordning for dekoding av videodata som angitt i krav og 12, respektivt. Videre tilveiebringes et datamaskinlesbart medium som angitt i krav 11 som omfatter instruksjoner som ved utførelse i en videokodingsanordning fører til at enhetens kodede videoblokker, karakterisert ved at instruksjonene bringer anordningen til å utføre trinnene i et hvilke som helst fremgangsmåtekrav. Ytterligere aspekter er blant annet angitt i de uselvstendige krav. [0008] Denne publikasjonen beskriver blant annet teknikker for koding av headerinformasjon om videoblokker. Spesielt velger teknikkene ifølge denne beskrivelsen ett av en flerhet av intra-prediksjonsmodi for bruk ved generering av en prediksjonsblokk i en videoblokk med en kodingsenhet, en flerhet av intraprediksjonsmodi inkludert enveis prediksjonsmodi og flerveis prediksjonsmodi som kombinerer minst to enveis prediksjonsmodi. En videokoder kan konfigureres til å kode intra-prediksjonsmodus av aktuelle videoblokker basert på intraprediksjonsmodi av én eller flere tidligere kodede videoblokker til kodingsenheten. En videodekoder kan også være konfigurert for å utføre en gjensidig dekodingsfunksjon av kodingen som utføres av videokoderen. Således bruker videodekoderen tilsvarende teknikker for å dekode prediksjonsmodusen for bruk ved generering av en blokkprediksjon for videoblokken. [0009] Videokoderen kan velge ulike kodingskontekster for bruk i koding med den valgte intra-prediksjonsmodus basert på hvilke typer, for eksempel, enveis eller flerveis intra-prediksjonsmodi til de tidligere kodede videoblokker. Videre kan teknikkene ifølge denne beskrivelsen ytterligere selektivt anvende transformasjoner på restinformasjon fra videoblokker basert på den valgte intra-prediksjonsmodus. I ett eksempel kan videokoderen lagre en flerhet retningsbestemte transformasjoner som hver korresponderer med én annen av intra-prediksjonsmodi, og bruke den tilsvarende retningsbestemte transformasjon til videoblokken basert på den valgte intra-prediksjonsmodus til videoblokken. I andre tilfeller kan videokoderen lagre minst én diskret cosinus-transformasjon (DCT), eller integer-transformasjon så vel som en flerhet av retningsbestemte transformasjoner og bruke DCT eller integertransformasjon til de gjenværende data av videoblokken når den valgte intraprediksjonsmodus viser begrenset retningsbestemmelse og bruk av én av de retningsbestemte transformasjoner til restdata til videoblokken når den valgte intraprediksjonsmodus viser retningsbestemmelse. [00] Fremgangsmåten for koding av videodata omfatter blant annet å velge én av en flerhet av intra-prediksjonsmodi for bruk ved generering av en prediksjon til en

5 3 3 4 videoblokk til en kodingsenhet og som koder intra-prediksjonsmodus til den aktuelle videoblokk basert på intra-prediksjonsmodi av én eller flere tidligere kodede videoblokker til kodingsenheten. [0011] Et maskinlesbart medium omfatter instruksjoner at ved kjøring på en video koding enhet årsaken innretningen til å kode videodata, som angitt ovenfor. [0012] Anordningen som koder videodata blant annet omfatter midler for å velge en av en flerhet av intra-prediksjon modi for bruk ved generering av en prediksjon av en blokk videoblokk av en kodingsenhet og en anordning for koding av intraprediksjonsmodus av den aktuelle videoblokk basert på prediksjonsmodi til én eller flere tidligere kodede videoblokker til kodingsenheten. [0013] Fremgangsmåten for å dekode videodata som blant annet omfatter å motta kodede videodata fra en videoblokk til en kodingsenhet, og å dekode de kodede videodata for å identifisere én av en flerhet av intra-prediksjonsmodi for bruk ved generering av en blokkprediksjon til en videoblokk basert på intra-prediksjonsmodi av én eller flere tidligere dekodede videoblokker til kodingsenheten. [0014] Et annet maskinlesbart medium omfatter instruksjoner at ved kjøring på en video koding enhet årsaken enheten til å kode video blokker som angitt ovenfor. [00] Enheten for dekoding av videodata blant annet omfatter midler for å motta kodede videodata fra en video blokk av en kodingsenhet og en anordning for dekoding av de kodede videodata for å identifisere en av en flerhet av intraprediksjonsmodi for bruk ved generering av en prediksjonsblokk til videoblokken basert på intra-prediksjonsmodi til én eller flere tidligere dekodede videoblokker til kodingsenheten. [0016] Intra-prediksjonsmodi nevnt ovenfor inkluderer enveis prediksjonsmodi og flerveis prediksjonsmodi som kombinerer minst to enveis prediksjonsmodi. [0017] De teknikkene som er beskrevet i denne publikasjonen kan implementeres i maskinvare, programvare, fastvare, eller en hvilken som helst kombinasjon derav. Hvis implementert i programvare, kan programvaren utføres i en prosessor, som kan vise til én eller flere prosessorer, så som en mikroprosessor, applikasjonsspesifikk integrert krets (ASIC), feltprogrammerbare portmatriser (FPGA) eller en digital signalprosessor (DSP) eller en annen tilsvarende integrert eller diskrete logisk krets. Programvare bestående av instruksjoner for å utføre de teknikker kan innledningsvis lagres i et maskinlesbart medium og lastes og utføres av en prosessor. [0018] Følgelig omfatter denne beskrivelsen også maskinlesbare medier som omfatter instruksjoner for å bevirke en prosessor til å utføre hvilken som helst av en rekke teknikker som er beskrevet i denne beskrivelsen. I noen tilfeller, kan det maskinlesbare mediet være en del av et datamaskinprogramprodukt som kan selges for produsenter og / eller brukes i en enhet. Datamaskinprogramprodukt kan omfatte et maskinlesbart medium, og i noen tilfeller kan det også omfatte pakkematerialer. [0019] Detaljene i ett eller flere aspekter ved publikasjonen er fremsatt i de vedlagte tegninger og beskrivelsen nedenfor. Andre funksjoner, objekter og fordeler av teknikkene som er beskrevet i denne publikasjon vil være tydelig fra beskrivelsen og tegninger, og fra kravene. KORT BESKRIVELSE AV TEGNINGENE [00]

6 4 3 4 Fig. 1 er et blokkdiagram som illustrerer et videokodings og dekodingssystem som utfører kodingsteknikkene som er beskrevet i denne publikasjonen. Fig. 2 er et blokkdiagram som illustrerer et eksempel på en videokoder i fig. 1 i nærmere detalj. Fig. 3 er et blokkdiagram som illustrerer et eksempel på en videodekoder i fig. 1 i nærmere detalj. Fig. 4 er et konseptuelt diagram som illustrerer et hypotetisk eksempel på justering av koeffisienter for skanningsrekkefølge. Fig. er et flytskjema som illustrerer drift av et eksempel på en kodingsenhet konfigurert for tilpasset justering av en skanningsrekkefølge av koeffisienter. Fig. 6 er et flytskjema som illustrerer drift av eksempelvis en kodingsenhet konfigurert til å kode header-informasjon for en videoblokk. Fig. 7 er et flytdiagram som illustrerer et eksempel på kodingskontekstutvalg for koding. Fig. 8 er et flytskjema som illustrerer et eksempel på drift av en dekodingsenhet konfigurert til å dekode header-informasjon til en videoblokk. DETALJERT BESKRIVELSE [0021] Fig. 1 er et blokkdiagram som illustrerer en videokoder og dekodersystem som utfører kodingsteknikker som beskrevet i denne publikasjonen. Som vist i fig. 1, systemet omfatter en kildeenhet 12 som sender kodede videodata til en destinasjonsenhet 14 via en kommunikasjonskanal 16. Kildeenheten 12 genererer kodede videodata for overføring til destinasjonsenheten 14. Kildeenheten12 kan omfatte en videokilde 18, en videokoder, og en sender 22. Videokilden 18 til kildeenheten 12 kan omfatte en videoopptaksenhet, for eksempel et videokamera, et videoarkiv som inneholder tidligere opptatt video, eller en video matet fra en videoinnholdsleverandør. Som et ytterligere alternativ kan videokilden 18 generere datagrafikk-baserte data som kildevideo, eller en kombinasjon av levende video og maskin-generert video. I noen tilfeller kan kildeenheten 12 være av et såkalt telefonkamera eller telefonvideo, der videokilden 18 kan være et videokamera. I hvert tilfelle kan den opptatte, forhåndsopptatte, eller data-genererte video kodes av videokoderen for overføring fra kildeenheten 12 til destinasjonsenheten 14 via senderen 22 og kommunikasjonskanalen 16. [0022] Videokoderen mottar videodata fra videokilden 18. Videodata mottatt fra videokilden 18 kan være en serie av videorammer. Videokoderen deler serien av rammer inn i kodingsenheter og behandler kodingsenhetene for å kode serien av videorammer. Kodingsenhetene kan for eksempel være hele rammer eller deler av rammene (dvs. skiver). Således, i noen tilfeller, deles rammene i skiver. Videokoderen deler hver kodingsenhet i blokker av pikseler (her referert til som videoblokker eller blokker), og opererer på videoblokker innenfor individuelle kodingsenheter i for å kode videodata. Som sådan, kan en kodingsenhet (for eksempel en ramme eller skive) inneholde flere videoblokker. Med andre ord kan en

7 3 4 videosekvens omfatte flere rammer, kan en ramme omfatte flere skiver, og en skive kan omfatte flere videoblokker. [0023] Videoblokkene kan ha fast eller varierende størrelser, og kan variere i størrelse i henhold til en spesifisert kodingsstandard. Som et eksempel, støtter «International Telecommunication Union Standardization Sector» (ITU-T) H.264 / MPEG-4, Part, Advanced Video Coding (AVC) (heretter "H.264 / MPEG-4 Del AVC" standard) intra-prediksjon i ulike blokkstørrelser, for eksempel 16x16, 8x8, 4x4 eller for luma-komponenter, og for kroma- 8x8 komponenter, så vel som inter-prediksjon i ulike blokkstørrelser, for eksempel 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 og 4x4 for luma-komponenter og tilsvarende skalerte størrelser for kromakomponenter. I H.264, for eksempel hver videoblokk 16 ved hjelp av 16 piksler, ofte referert til som en makroblokk (MB), kan være delt inn i sub-blokker av mindre størrelser og predikert i sub-blokker. Generelt, MB og de ulike sub-blokker anses å være videoblokker. Således kan MB anses å være videoblokker, og hvis del eller delt igjen, kan MB selv betraktes å definere et sett av videoblokker. [0024] For hver av videoblokkene, velger videokoderen en blokktype for blokken. Blokktypen kan indikere om blokken er predikert ved hjelp av interprediksjon eller intra-prediksjon, samt en inndelingsstørrelse til blokken. Eksempelvis støtter H.264 / MPEG-4 Part AVC-standarden en rekke inter- og intra-prediksjonsblokktyper, inkludert Inter 16x16, Inter 16x8, Inter 8x16, Inter 8x8, Inter 8x4, Inter 4x8, Inter 4x4, Intra 16x16, Intra 8x8, og Intra 4x4. Som beskrevet i detalj nedenfor, velger videokoder /0 én av blokktypene for hver av videoblokkene. [00] Videokoderen velger også en prediksjonsmodus for hver av video blokkene. I tilfelle av en intra-kodet videoblokk, kan prediksjonsmodusen bestemme på hvilken måte å predikere den aktuelle videoblokk ved hjelp av én eller flere tidligere kodede videoblokker. I H.264 / MPEG-4 Part AVC-standarden, kan for eksempel videokoderen velge én av ni mulige enveis prediksjonsmodi for hver Intra 4x4 blokk; en vertikal prediksjonsmodus, horisontal prediksjonsmodus, DC prediksjonsmodus, diagonal ned / venstre prediksjonsmodus, diagonal ned / høyre prediksjonsmodus, vertikalt rett prediksjonsmodus, horisontal ned prediksjonsmodus, vertikal venstre prediksjonsmodus og horisontal-opp prediksjonsmodus. Lignende prediksjonsmodiene brukes til å forutsi hver intra 8x8 blokk. For en intra 16x16 blokk, kan videokoderen velge én av fire mulige enveis modi; en vertikal prediksjonsmodus, en horisontal prediksjonsmodus, en DC-prediksjonsmodus, og en plan prediksjonsmodus. I noen tilfeller kan videokoderen velge en prediksjonsmodus fra et sett av prediksjonsmodi som omfatter ikke bare enveis prediksjonsmodi, men også én eller flere retningsbestemte prediksjonsmodi som definerer kombinasjoner av enveismodi. For eksempel kan én eller flere retningsbestemte prediksjonsmodi være toveis prediksjonsmodi som kombinerer to enveis prediksjonsmodi som beskrevet i nærmere detalj nedenfor. [0026] Etter å ha valgt prediksjonsmodus for videoblokken, genererer videokoderen en predikert videoblokk med den valgte prediksjonsmodus. Den predikerte videoblokk subtraheres fra den opprinnelige videoblokk for å danne en restblokk. Restblokken inneholder et sett av pikseldifferanseverdier som kvantifiserer forskjellen mellom pikselverdiene av de opprinnelige videoblokker og pikselverdier

8 6 3 4 til den genererte prediksjonsblokken. Restblokken kan være representert i et todimensjonalt blokkformat (for eksempel en to-dimensjonal matrise eller matrise av pikseldifferanseverdier). [0027] Etter generering av restblokken, kan videokoderen utføre en rekke andre operasjoner på restblokken før koding av blokken. Videokoderen kan anvende en transformasjon, slik som en integer-transformasjon, en DCT-transformasjon, en retningsbestemt transformasjon, eller en bølge-transformasjon til restblokken med pikselverdier for å frembringe en blokk av transformasjonskoeffisienter. Dermed konverterer videokoderen restpikselverdiene til transformasjonskoeffisienter (også referert til som rest-transformasjonskoeffisienter). De gjenværende transformasjonskoeffisientene kan bli referert til som én transformasjonsblokk eller en koeffisientblokk. Transformasjons- eller koeffisientblokken kan være en éndimensjonal representasjon av koeffisientene når ikke-separable transformasjoner anvendes, eller en to-dimensjonal representasjon av koeffisientene når separable transformasjoner blir brukt. Ikke-separable transformasjoner kan omfatte ikkeseparable retningsbestemte transformasjoner. Separable transformasjoner kan inkludere separable retningsbestemte transformasjoner, DCT-transformasjoner, integer-transformasjoner og bølge-transformasjoner. [0028] Etter transformasjon, utfører videokoderen kvantisering for å generere kvantiserte transformasjonskoeffisienter (også referert til som kvantiserte koeffisienter eller kvantiserte restkoeffisienter). Igjen kan de kvantiserte koeffisienter bli representert i et én-dimensjonalt vektorformat eller to-dimensjonalt blokkformat. Kvantisering refererer vanligvis til en prosess hvor koeffisientene er kvantisert til eventuelt å redusere mengden av data som brukes for å representere koeffisientene. Kvantiseringsfremgangsmåten kan redusere bit-dybden i forbindelse med noen av eller alle koeffisientene. Som anvendt heri kan betegnelsen "koeffisienter" referere til transformasjonskoeffisienter, kvantiserte koeffisienter eller andre typer koeffisienter. Teknikkene i denne beskrivelse, kan i noen tilfeller anvendes restpikselverdier samt transformasjonskoeffisienter og kvantiserte transformasjonskoeffisienter. Imidlertid, for illustrasjonsformål, skal teknikker i denne beskrivelsen beskrives i kontekst med kvantiserte transformasjonskoeffisienter. [0029] Når separable transformasjoner anvendes og koeffisientblokkene er representert i et todimensjonalt blokkformat, skanner videokoderen koeffisientene fra det todimensjonale format til et én-dimensjonalt format. Med andre ord, kan videokoderen skanne koeffisientene fra de to-dimensjonale blokkene for å lage en serie av koeffisientene i en én-dimensjonal vektor for koeffisientene. I henhold til ett av aspektene av den foreliggende beskrivelse, som ikke er gjort krav på, kan videokoderen justere skanningsrekkefølgen som brukes til å konvertere koeffisientblokken til en dimensjon basert på innsamlet statistikk. Statistikken kan omfatte en indikasjon på sannsynligheten for at en gitt koeffisient sin verdi i hver posisjon i den todimensjonale blokk er null eller ikke-null, og kan for eksempel omfatte en teller, en sannsynlighet eller annen statistisk metrikk forbundet med hver av koeffisientposisjonene til den todimensjonale blokken. I noen tilfeller, kan statistikk bare samles for et delsett av koeffisientposisjonene til blokken. Når skanningsrekkefølgen evalueres, for eksempel etter et bestemt antall

9 7 3 4 blokker, kan skanningsrekkefølge bli endret slik at koeffisientposisjonene innenfor blokken som bestemmes til å ha en høyere sannsynlighet for å ha ikke-null koeffisienter, skannes før koeffisientposisjonene i blokken som er bestemt til å ha en lavere sannsynlighet for å ha ikke-null-koeffisienter. På denne måte kan en første skanning være tilpasset til en mer effektiv gruppe ikke-null-koeffisienter i begynnelsen av den endimensjonale koeffisientvektor og nullverdsatte koeffisienter ved slutten av den endimensjonale koeffisientvektor. Dette kan i sin tur redusere antall bits brukt på entropikoding siden det er kortere kjøringer av nuller mellom ikke-null koeffisienter ved begynnelsen av den endimensjonale koeffisientvektor og en lengre kjøring av nuller på slutten av den én-dimensjonale koeffisientvektor. [00] Etter skanning av koeffisientene, koder videokoderen hver av videoblokkene til kodingsenheten ved hjelp av en hvilken som helst av en rekke entropikodingsmetoder, slik som konteksttilpasset variabel lengde koding (CAVLC), konteksttilpasset binær aritmetikk koding (CABAC), kjørelengde koding eller lignende. Kildeenheten 12 sender kodet videodata til destinasjonsenheten 14 via senderen 22 og kanal 16. Kommunikasjonskanal 16 kan omfatte ethvert trådløst eller kabelbasert kommunikasjonsmedium, så som et radiofrekvens (RF) spektrum eller én eller flere fysiske overføringslinjer, eller en kombinasjon av trådløse og kablede medier. Kommunikasjonskanal 16 kan danne en del av et pakkebasert nettverk, for eksempel et lokalt nettverk, et bredt nettverk, eller et globalt nettverk, for eksempel Internett. Kommunikasjonskanal 16 representerer vanligvis ethvert passende kommunikasjonsmedium, eller samling av ulike kommunikasjonsmedier, for overføring av kodede videodata fra kildeenheten 12 til destinasjonsenheten 14. [0031] Destinasjonsenheten 14 kan omfatte en mottaker 24, videodekoder 26, og skjermenheten 28. Mottakeren 24 mottar den kodede videobitstrøm fra kildeenheten 12 via kanal 16. Videodekoderen 26 anvender entropidekoding til å dekode kodede videobitstrømmer for å få header-informasjon og kvantiserte restkoeffisienter til kodede videoblokker til kodingsenheten. Som beskrevet ovenfor, er de kvantiserte rest koeffisienter kodes av kildeenhet 12 er kodet som en en-dimensjonal vektor. Videodekoderen 26 avsøker derfor de kvantiserte restkoeffisientene til de kodede videoblokker for å omdanne én-dimensjonal vektor av koeffisienter til en todimensjonal blokk av kvantiserte rest koeffisienter. I likhet med videokoder, kan videodekoder 26 samle statistikk som viser sannsynligheten for at en gitt koeffisient posisjon i videoblokken er null eller ikke-null, og derved justere skanningsrekkefølgen på samme måte som ble anvendt i kodingsprosessen. Følgelig kan gjensidige tilpassete skanningsrekkefølger påføres av videodekoderen 26 for å endre den en-dimensjonale vektorrepresentasjonen av serien av kvantiserte transformasjonskoeffisienter tilbake til to-dimensjonale blokker av kvantiserte transformasjonskoeffisienter. [0032] Videodekoder 26 rekonstruerer hver av blokkene til kodingsenheten ved hjelp av dekodet header-informasjon og den dekodede restinformasjon. Spesielt kan videodekoderen 26 generere en prediksjonsvideoblokk for den aktuelle videoblokk og kombinere prediksjonsblokk med en tilsvarende rest videoblokk for å rekonstruere hver av videoblokkene. Destinasjonsenheten 14 kan fremvise rekonstruerte videoblokker til en bruker via skjermenheten 28. Skjermenhet 28 kan omfatte en hvilken som helst av en rekke skjermenheter slik som et katodestrålerør

10 8 3 4 (CRT), en flytende krystallskjerm (LCD), en plasmaskjerm, en lysdiode- (LED) skjerm, en organisk LED-skjerm, eller en annen type skjermenhet. [0033] I noen tilfeller kan kildeinnretningen og destinasjonsinnretningen operere på en hovedsakelig symmetrisk måte. For eksempel kan kildeenhet 12 og destinasjonsenhet 14 hver inkludere videokodings og dekodingskomponenter. Derfor kan systemet støtte enveis eller toveis videooverføring mellom enheter 12, 14, for eksempel, for videostrømning, videokringkasting, eller video-telefoni. En enhet som omfatter videokodings og dekodingskomponenter kan også danne en del av en felles koding, arkivering og avspillingsenhet som en digital videoopptaker (DVR). [0034] Videokoder og videodekoder 26 kan operere i henhold til noen av en rekke videokomprimeringsstandarder, slik som for eksempel de som er definert av «Moving Picture Experts Group» (MPEG) i MPEG-1, MPEG-2 og MPEG-4, ITU-T H.263-standarden, «Society of Motion Picture og Television Engineers» (SMPTE) 421 video CODEC standard (ofte referert til som "VC-1"), standarden definert av «Audio Video Coding Standard Workgroup of China» (ofte referert til som "AVS"), så vel som enhver annen videokodingsstandard definert av et legeme eller standarder utviklet av en organisasjon som en proprietær standard. Selv om det ikke er vist i fig. 1, i noen aspekter, kan videokoder og videodekoder 26 hvert bli integrert med en lyd-koder og dekoder, henholdsvis, og kan omfatte egnede MUXdemux enheter, eller annen maskinvare og programvare, for å håndtere koding av både lyd og video i en felles datastrømmen eller separate datastrømmer. På denne måte kan kildeinnretningen og destinasjonsinnretningen operere på multimedia data. Hvis det er aktuelt, kan de MUX-DEMUX enheter i samsvar med ITU H.223 multiplekser-protokollen, eller andre protokoller som «User Datagram Protocol» (UDP). [003] I noen aspekter for videokringkasting, kan de teknikker som er beskrevet i denne beskrivelse anvendes for forbedret H.264 videokoding for å levere sanntids videotjenester i terrestrisk mobil multimedia multicast (TM3) systemer ved hjelp «Forward Link Only» (FLO) «Air Interface Specification», "Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast ", utgitt i juli 07 som «Technical Standard» TIA-99 (" FLO Specification "). Det er å si, kan kommunikasjonskanal 16 omfatter en trådløs informasjonskanal som brukes til å kringkaste trådløst videoinformasjon i henhold til FLO, eller lignende. FLO spesifikasjon inneholder eksempler som definerer bitstrøm syntaks og semantikk og dekodingsprosesser egnet for FLO Air Interface. [0036] Alternativt kan video bli sendt i henhold til andre standarder som DVB-H («Digital Video Broadcast Handheld»), ISDB-T («Integrated Services Digital Broadcast Terrestrial»), eller DMB («Digital Media Broadcast»). Derfor kan kildeenheten 12 være en mobil trådløs terminal, en videostrømningsserver, eller en videokringkastingsserver. De teknikker som er beskrevet i denne beskrivelse er ikke begrenset til noen spesiell type kringkasting, multicast eller punkt-til-punkt-system. Ved kringkasting, kan kildeenheten 12 sende flere kanaler av videodata til flere reisemål enheter, hver av disse kan være lik destinasjonsenheten 14 på fig. 1. Således, selv om en enkelt destinasjonsenhet 14 er vist i Fig. 1, for videokringkastingsprogrammer, vil kildeenheten 12 typisk kringkaste videoinnhold

11 9 3 4 samtidig til mange destinasjonsenheter. [0037] I andre eksempler, kan senderen 22, kommunikasjonskanal 16 og mottageren 24, være konfigurert for kommunikasjon i henhold til en hvilken som helst kabelbasert eller trådløst kommunikasjonssystem, herunder én eller flere av et ethernet, telefon (f.eks. POTS), kabel, kraftlinjer, og fiberoptiske systemer, og / eller et trådløst system bestående av én eller flere av et kodedelt multi-aksess (CDMA eller CDMA00) kommunikasjonssystem, en frekvensdelt multi- aksess (FDMA) system, et ortogonalt frekvensdelt multi- (OFDM) aksess-system, tidsdelt multippel aksess (TDMA) system, for eksempel GSM («Global System for Mobile Communication»), GPRS («General Packet Radio Service»), eller EDGE («Enhanced Data GSM-Eviroment»), en TETRA («Terrestrial Trunked Radio») mobiltelefonsystem, et «Wideband Code Division Multiple Access» (WCDMA) system, en høy datahastighet 1xEV-DO («First Generation Evolution Data Only») eller 1xEV-DO Gold Multicast system, et IEEE 802,18 system, et MediaFLO - system, et DMB-system, en DVB-H-systemet, eller en annen ordning for datakommunikasjon mellom to eller flere enheter. [0038] Videokoderen og videodekoderen 26 kan hver implementeres som én eller flere mikroprosessorer, digital signalprosessorer (DSP), applikasjonsspesifikke integrerte kretser (ASIC), feltprogrammerbare portmatriser (FPGA), diskret logikk, programvare, maskinvare, fastvare eller kombinasjoner av disse. Hver av videokoderen og videodekoderen 26 kan inngå i én eller flere kodere eller dekodere, som begge kan være integrert som en del av en kombinert koder / dekoder (CODEC) i en respektiv mobil enhet, abonnentenhet, kringkastingsenhet, server, eller lignende. Dessuten kan kildeenheten 12 og destinasjonsenheten 14 hver omfatte passende modulering, demoduleringen, frekvenskonvertering, filtrering, og forsterkerkomponenter for sending og mottak av kodet video, som er aktuelt, blant annet radiofrekvens (RF) trådløse komponenter og antenner som er tilstrekkelige til å understøtte trådløs kommunikasjon. For å lette illustrasjonen oppsummeres imidlertid slike komponenter som senderen 22 til kildeenheten 12 og mottakeren 24 til destinasjonsenheten 14 i fig. 1. [0039] Fig. 2 er et blokkdiagram som illustrerer et eksempel på videokoderen på fig. 1 i nærmere detalj. Videokoderen utfører intra- og inter-koding av blokker innenfor videobilder. Intra-koding er avhengig av romlig prediksjon for å redusere eller fjerne romlig redundans i videodata innen en gitt videokodingsenhet, for eksempel, ramme eller skive. For intra-koding, genererer videokoderen en romlig prediksjonsblokk basert på én eller flere tidligere kodede blokker innenfor samme kodingsenhet som blokken som kodes. Inter-koding er avhengig av tidsmessig prediksjon for å redusere eller fjerne temporal redundans innenfor tilstøtende rammer fra en videosekvens. For inter-koding, utfører videokoderen bevegelsesprediksjon for å spore bevegelsene til nært samsvarende videoblokker mellom to eller flere tilstøtende rammer. [00] I eksempelet i fig. 2, inkluderer videokoderen en blokkpartisjonsenhet, prediksjonsenhet 32, rammelager 34, transformasjonsenhet 38, kvantiseringsenhet, koeffisientskanningsenhet 41, invers kvantiseringsenhet 42, invers transformasjonsenhet 44 og entropikodingsenhet 46. Videokoder inkluderer også summere 48A og 48B ("summere 48"). Et sløyfe-deblokkeringsfilter (ikke vist) kan

12 3 4 påføres rekonstruerte videoblokker for å redusere eller fjerne blokkerende artefakter. Skildring av ulike funksjoner i FIG. 2 som enheter er ment å markere de ulike funksjonelle aspektene til enhetene illustrert og innebærer ikke nødvendigvis at slike enheter må realiseres med separat maskinvare eller programvarekomponenter. Snarere assosieres funksjonalitet med én eller flere enheter kan være integrert i vanlige eller separat maskinvare- eller programvarekomponenter. [0041] Blokkpartisjonsenheten mottar videoinformasjon (merket "VIDEO IN" i fig. 2), for eksempel i form av en sekvens av videorammer, fra videokilden 18 (fig. 1). Blokkpartisjonsenheten deler hver av videobildene til kodingsenheter som omfatter en flerhet av videoblokker. Som beskrevet ovenfor, kan de kodede enhetene være en hel ramme eller en del av en ramme (f.eks. en skive av rammen). I ett eksempel kan blokkpartisjonsenheten innledningsvis dele hver av kodingsenhetene i en flerhet av videoblokker med en partisjonsstørrelse på 16x16 (dvs. i makroblokker). Blokkpartisjonsenheten kan videre dele hver av 16x16 videoblokker i mindre blokker slik som 8x8 videoblokker eller 4x4 videoblokker. [0042] Videokoderen utfører intra- eller inter-koding for hver av videoblokkene til kodingsenheten på en blokk med en blokkbasis basert på blokktypen til blokken. Prediksjonsenheten 32 tildeler en blokktype til hver av videoblokkene som kan indikere den valgte partisjonsstørrelsen på blokken samt om blokken skal predikeres ved å bruke inter-prediksjon eller intra-prediksjon. I tilfelle av inter-prediksjon, bestemmer prediksjonsenheten 32 også bevegelsesvektorer. I tilfelle av intraprediksjon, bestemmer prediksjons-enheten 32 også prediksjonsmodus som skal brukes for å generere en prediksjonsblokk. [0043] Prediksjonsenhet 32 genererer deretter en prediksjonsblokk. Prediksjonsblokken kan være en predikert versjon av gjeldende videoblokk. Den nåværende videoblokken refererer til en videoblokk som blir kodet. I tilfelle av inter-prediksjon, for eksempel når en blokk blir tildelt en inter-blokktype, kan prediksjonsenheten 32 utføre temporal prediksjon for inter-koding av den aktuelle videoblokken. Prediksjonsenheten 32 kan for eksempel sammenligne den aktuelle videoblokk med blokker i ett eller flere tilstøtende videobilder for å identifisere en blokk i den tilstøtende ramme som ligner mest på den aktuelle videoblokken, for eksempel, en blokk i den tilstøtende ramme som har en minste MSE, SSD, SAD, eller annen forskjellig metrikk. Prediksjonsenhet 32 velger den identifiserte blokk i den tilstøtende ramme som prediksjonsblokk. [0044] Ved intra-prediksjon, dvs. når en blokk er tilordnet en intra-blokktype, kan prediksjonsenheten 32 generere prediksjonsblokker basert på ett eller flere tidligere kodede naboblokker innenfor en felles kodingsenhet (f.eks. ramme eller skive). Prediksjonsenheten 32 kan for eksempel utføre romlig prediksjon for å generere en prediksjon av blokken utfører interpolasjon ved hjelp av ett eller flere tidligere kodet naboblokker innenfor dagens ramme. Den ene eller flere tilstøtende blokker innenfor den aktuelle ramme kan, for eksempel, bli hentet frem fra rammelager 34, som kan omfatte alle typer minne eller datalagringsenheter for å lagre én eller flere tidligere kodede rammer eller blokker. [004] Prediksjonsenhet 32 kan utføre interpolering i samsvar med én av et sett av prediksjonsmodi. Som beskrevet ovenfor, kan settet med prediksjonsmodi inkludere

13 enveis prediksjonsmodi og / eller flerveis prediksjonsmodi. Flerveis prediksjonsmodi definerer kombinasjoner av enveis prediksjonsmodi. I ett eksempel kan settet av prediksjonsmodi inkludere enveis prediksjonsmodi definert i H.264 / MPEG-4 Part AVC standard og toveis prediksjonsmodi som definerer ulike kombinasjoner av to enveis prediksjonsmodi. Når det gjelder flerveis prediksjonsmodi og en fremgangsmåte for å utføre en slik prediksjon, refereres det til Marta Karezewicz "Improved Intra Coding" Videostandarder og utkast, XX, XX, ingen VCEG-AF, 19 april 07. [0046] For en Intra 4x4-blokktype, kan for eksempel et sett av prediksjonsmodi omfatte ni enveis prediksjonsmodi definert i H.264 / MPEG-4 Part AVCstandarden, og en undergruppe av de mulige kombinasjoner av enveis prediksjonsmodi. Således, i stedet for å støtte alle 36 mulige kombinasjoner av ensretteprediksjonsmodiene, støtter videokoder bare en del av de mulige kombinasjoner av enveis prediksjonsmodi. Å gjøre dette bør ikke resultere i mye kodedegradering. Et eksempel satt av intra-prediksjonsmodi, som omfatter totalt 18 intra-prediksjonsmodi, er gitt nedenfor. Modus 0: Vertikal Modus 1: Horisontale Modus 2: DC Modus 3: Diagonal ned / venstre Modus 4: Diagonal ned / høyre Modus : Vertikal høyre Modus 6: Horisontal ned Modus 7: Vertikal venstre Modus 8: Horisontal opp Modus 9: Vertikal + horisontal (Modus 0 + Modus 1) Modus : DC + vertikal (Modus 2 + Modus 0) Modus 11: DC + horisontal (Modus 2 + Modus 1) Modus 12: Diagonal ned / venstre + horisontal (Modus 3 + Modus 1) Modus 13: Diagonal ned / høyre + vertikal (Modus 4 + Modus 0) Modus 14: Vertikal høyre + horisontal (Modus + Modus 1) Modus : Horisontal ned + vertikal (Modus 6 + Modus 0) Modus 16: Vertikal venstre + horisontal (Modus 7 + Modus 1) Modus 17: Horisontal opp + vertikal (Modus 8 + Modus 0) [0047] I eksempelet på et sett illustrert ovenfor, er modusene 0-8 enveis prediksjonsmodi og modi 9-17 er toveis prediksjonsmodi. Spesielt er modusene 0-8 Intra 4x4 prediksjonsmodi definert i H.264 / MPEG- 4 Part AVC-standarden. Modi 9-17 er en undergruppe av de mulige toveis prediksjonsmodi. Undergruppen av mulige toveis prediksjonsmodi i det angitte eksempel omfatter minst én kombinasjon som inkorporerer hver enveis prediksjonsmodi. Hver toveis prediksjonsmodus, i tillegg til de toveis prediksjonsmodi som inkluderer DC prediksjonsmodus (f.eks. modus og 11), kombinerer enveis prediksjonsmodi som har interpolerende retninger som er ikke-parallelle og, i noen tilfeller, i det vesentlige ortogonale til hverandre. Med andre ord, inkluderer undergruppen av

14 toveis prediksjonsmodi toveis prediksjonsmodi som vanligvis kombinerer prediksjonsmodi fra kategorien "vertikal" med prediksjonsmodi fra kategorien "horisontal". Slike toveis prediksjonsmodi tillater at intra-prediksjonsprosessen å kombinere tilgjengelige prediksjonspiksler fra steder som er lenger fra hverandre, og dermed bedre prediksjonskvalitet for flere piksellokasjoner innenfor gjeldende videoblokk. [0048] Settet med prediksjonsmodi som er beskrevet ovenfor er beskrevet for illustrasjonsformål. Settet av prediksjonsmodi kan omfatte flere eller færre prediksjonsmodi. For eksempel kan et sett av prediksjonsmodi omfatte mer eller færre toveis prediksjonsmodi, eller ingen toveis prediksjonsmodi. I andre tilfeller er det sett av prediksjonsmodi kan omfatte bare en undergruppe av de enveis prediksjonsmodi. I tillegg kan det sett av prediksjonsmodi inkludere flerveis prediksjonsmodi som kombinerer mer enn to enveis prediksjonsmodi i tillegg til eller i stedet av toveis prediksjonsmodi. Videre, selv om det er beskrevet ovenfor under henvisning til Intra 4x4 blokktyper, den teknikker av denne avsløring kan gjelde for andre typer intra blokk (f.eks. intra 8x8 blokktyper eller intra 16x16 blokktyper) eller inter-blokktyper. [0049] For å finne ut hvilken av de flere prediksjonsmodi som skal velges for en bestemt blokk, kan prediksjonsenheten 32 estimere en kodingskostnad, f.eks. Lagrange-kostnad, for hver av prediksjonsmodi av settet, og velge prediksjonsmodusen med den minste kodingskostnad. I andre tilfeller kan prediksjonsenhet 32 estimerer kodingskostnaden for bare en del av settet av mulige prediksjonsmodi. For eksempel kan prediksjonsmodus 32 velge den del av prediksjonsmodi av settet basert på prediksjonsmodusen som er valgt for én eller flere nabovideoblokker. Prediksjonsenheten 32 genererer en prediksjonsblokk med den valgte prediksjonsmodus. [000] Etter å ha generert prediksjonsblokken, genererer videokoderen en restblokk ved å trekke prediksjonsblokken produsert av prediksjonsenheten 32 fra den aktuelle videoblokken på summereren 48A. Den restblokk inneholder et sett pikseldifferanseverdier som kvantifiserer forskjeller mellom pikselverdier i den aktuelle videoblokken og pikselverdiene til prediksjonsblokken. Restblokken kan være representert i et todimensjonalt blokkformat (for eksempel en to-dimensjonal matrise eller utvalg av pikselverdier). Med andre ord, er restblokken en todimensjonal representasjon av pikselverdiene. [001] Transformasjonsenheten 38 gjelder en transformering til rest blokk å produsere rest transformasjonskoeffisienter. Transformasjonsenheten 38 kan for eksempel gjelde en DCT, en integer-transformasjon, retnings-transformasjon, bølge-transformasjon, eller en kombinasjon derav. Transformasjonsenheten 38 kan selektivt anvende transformasjoner på restblokker basert på prediksjonsmodusen som er valgt ved prediksjonsenheten 32 for å generere en prediksjonsblokk. Med andre ord, kan transformasjonen som anvendes på restinformasjonen være avhengig av prediksjonsmodusen som er valgt for blokken av prediksjonsenheten 32. [002] Transformasjonsenheten 38 kan opprettholde en flerhet av forskjellige transformasjoner, og selektivt anvende transformasjonene på restblokken basert på prediksjonsmodusen til blokken. Flerheten av forskjellige transformasjoner kan omfatte DCT, integer-transformasjoner, retnings-transformasjoner, bølge-

15 transformasjoner, eller kombinasjoner av disse. I noen tilfeller kan transformasjonsenheten 38 opprettholde en DCT eller integer-transformasjon og et stort antall retnings-transformasjoner, og selektivt anvende transformasjonene basert på prediksjonsmodus som er valgt for den aktuelle videoblokken. Transformasjonsenheten 38 kan for eksempel gjelde DCT eller integertransformasjon til restblokker med prediksjonsmodi som viser begrenset retningsbestemmelse og anvende én av retnings-transformasjonene til restblokker med prediksjonsmodi som viser betydelig retningsbestemmelse. [003] Ved å bruke eksempelet på et sett av prediksjonsmodi beskrevet ovenfor, kan transformasjonsenheten 38 anvende DCT eller integer-transformasjon til modi 2, 9 og Disse modusene kan utvise begrenset retningsbestemmelse siden de enten er DC prediksjon, eller en kombinasjon av to prediksjonsmodi i tilnærmet ortogonale retninger. Motsatt, kan modi 1, 3-8, og 11 være modi som fremviser retningsbestemmelse, og derfor kan transformasjonsenheten 38 anvende forskjellige retnings-transformasjoner for hver av disse modi for å oppnå bedre energikomprimering av de gjenværende videoblokker. Med andre ord, når prediksjonsmodi som har sterkere retningsbestemmelse er valgt, kan retningsbestemmelsen også bli manifestert i restblokkene til slike prediksjonsmodi. Og restblokker med forskjellige prediksjonsmodi viser ulike retningsegenskaper. som sådan, sammenlignet med transformasjoner som DCT eller DCT-lignende integer-transformasjon, kan retnings-transformasjoner spesielt trimmet for hver prediksjonsmodus gi bedre energi-komprimering for restblokkene til den angitte prediksjonsmodus. På den annen side, for prediksjonsmodi som ikke bærer sterk retningsbestemmelse, gir transformasjoner som DCT eller DCT-lignende integertransformasjon tilstrekkelig energikomprimering. På denne måte behøver transformasjonsenheten 38 ikke nødvendigvis å opprettholde separate transformasjoner for hver av de mulige prediksjonsmodi, og dermed senke transformasjonslagringsbehovet. Videre er anvendelse av DCT og / eller integertransformasjoner mindre komplekse i form av behandlingskompleksitet. [004] I andre tilfeller, transenheten 38 kan opprettholde en forskjellig retningstransformasjon for hver av de mulige prediksjonsmodi, og bruke de tilsvarende retnings-transformasjoner basert på den valgte prediksjonsmodus av blokken. For eksempelet satt av prediksjonsmodi beskrevet ovenfor, transformasjonsenhet 38 kan opprettholde atten forskjellige retnings-transformasjoner, som hver tilsvarer n av de atten mulige Intra 4x4 prediksjonsmodi. I tillegg kan transformasjonsenheten 38 opprettholde atten forskjellige retnings-transformasjoner for atten mulig Intra 8x8 prediksjonsmodi, og fire forskjellige retnings-transformasjoner for de fire mulige Intra 16x16 prediksjonsmodi, og transformasjoner for eventuelle andre prediksjonsmodi av andre partisjonsstørrelser. Anvende eget retningstransformasjoner basert på den valgte prediksjonsmodus av blokken øker effektiviteten som det resterende energien fanges, særlig for blokker som prediksjonsmodi som viser betydelig retnings er valgt. Retnings-transformasjoner kan være ikke-separable retnings-transformasjoner, f.eks., avledet fra ikke-separable Karhunen Loeve Transformasjoner (KLT), eller kan skille retningstransformasjoner. I noen tilfeller, kan retnings-transformasjoner forhåndsberegnes ved hjelp av treningssett med data.

16 14 [00] Den KLT er en lineær transformasjon hvor basisfunksjonene er hentet fra statistikken av signalet, og kan dermed være tilpasningsdyktige. En KLT er utformet for å plassere så mye energi i så få koeffisienter som mulig. En KLT er generelt ikke-separabel, og således utfører transformasjonsenheten 38 full matrisemultiplikasjon som beskrevet i detalj nedenfor. Anvendelse av en ikke-separabel retnings-transformasjon til en 4x4 restblokk vil bli beskrevet som eksempel. Lignende teknikker benyttes for blokker av ulike størrelser, for eksempel, 8x8 blokker eller 16x16 blokker. [006] En 4x4 restblokk X er representert i et todimensjonalt blokkformat med fire rader og fire kolonner med pikselverdier, dvs. totalt seksten pikselverdier. For å anvende ikke-separable retnings-transformasjoner, er 4x4 restblokker re-arrangert i en én-dimensjonal vektor x med pikselverdier, dvs. med lengde seksten. 4x4 restblokk X er omorganisert inn i vektor x ved å arrangere pikslene i X i rasterskanningsrekkefølge. Det vil si, hvis 4x4 restblokk X er skrevet som Da skrives restvektor x med lengde 16 som [007] En transformasjonskoeffisientvektor y blir oppnådd ved å utføre matrisemultiplikasjon i samsvar med følgende ligning (1): 3 hvor T er transformasjonsmatrisen med størrelse 16x16 som svarer til prediksjonsmodusen som er valgt for blokken. Transformasjonskoeffisientvektoren y er også en en-dimensjonal vektor som har en lengde på seksten koeffisienter. [008] Bruk av ikke-separable retnings-transformasjoner kan medføre økte behandlingskostnader- og lagringsbehov. Generelt, for en restblokk med størrelse N X N, trenger den ikke-separable retnings-transformasjon basisfunksjoner med størrelse N 2 X N 2. Det er, for 4x4 restblokker, den ikke-separable retningstransformasjon har en størrelse på 16x16; for 8x8 restblokker, har den ikkeseparable retnings-transformasjon en størrelse på 64x64; og for 16x16 restblokker, har den ikke-separable retnings-transformasjon en størrelse på 6x6. Fordi en annen ikke-separabel retnings-transformasjon kan anvendes for hver av prediksjonsmodiene til settet, kan transformasjonsenhet 32 lagre atten 16x16 retnings-transformasjoner for 4x4 blokker og atten 64x64 transformasjoner for 8x8 blokker (i tilfelle av eksempelet på et sett av prediksjonsmodi beskrevet ovenfor), og muligens mer hvis settet av prediksjonsmodi er større. Dette kan føre til bruk av store minne-ressurser for å lagre transformasjonsmatriser som trengs for å utføre transformasjonsprosessen. Behandlingskostnaden av ikke-separable retnings-

17 3 transformasjoner er også høy. Generelt, krever behandlingen av en ikke-separable retnings-transformasjon på en N X N blokk krever N 2 X N 2 multiplikasjoner og N 2 X (N 2-1) addisjoner. [009] I stedet for ikke-separable retnings-transformasjoner, kan transformasjonsenheten 32 opprettholde separable retnings-transformasjoner for hver av prediksjonsmodiene. Separable retnings-transformasjoner har lavere lagrings og behandlingskostnader sammenlignet med ikke-separable retningstransformasjoner. For den 4x4 restblokk X, for eksempel, anvendes den separable transformasjon som angitt ved følgende ligning (2): hvor Y er den resulterende transformasjonskoeffisientmatrise, C er en kolonnetransformasjonsmatrisen og R er en rad-transformasjonsmatrise, alt som har en størrelse som tilsvarer størrelsen av blokken (for eksempel 4x4 i dette eksemplet). Således, er den resulterende transformasjonskoeffisientmatrise Y også en todimensjonal matrise av størrelse 4x4. [0060] For hver prediksjonsmodus, kan transformasjonsenheten 32 lagre to N X N transformasjonsmatriser (f.eks., matriseparene C og R), hvor N X N korresponderer med størrelsen på blokk (f.eks., N = 4, 8 eller 16). I eksempelet på atten prediksjonsmodi for en 4x4 blokk beskrevet ovenfor, lagrer transformasjonsenheten 32 trettiseks 4x4 transformasjonsmatriser, som krever mindre lagringsplass enn atten 16x16 transformasjonsmatriser lagret ved anvendelse av ikke-separable transformasjoner. I tillegg kan transformasjonsenheten 32 utføre separable retnings transformasjoner ved hjelp 2 X N X N X N multiplikasjoner og 2 X N X N X (N-1) addisjoner, som er betydelig mindre operasjoner enn de N 2 X N 2 multiplikasjoner og N 2 X (N 2-1) addisjoner som brukes for å utføre ikke-separable retningstransformasjoner. Tabell 1 sammenlikner lagrings og behandlingskrav ved anvendelse av separable versus ikke-separable retnings-transformasjoner for blokkstørrelsene 4x4 og 8x8. Sammenligning mellom separabel og ikke-separable retnings-transformasjon til 16x16 blokker kan gjøres på en lignende måte. Som illustrert i tabell 1, gir bruk av separable retnings-transformasjoner reduksjon i både behandlingens kompleksitet og plassbehovet i forhold til ikke-separable retningstransformasjoner, og reduksjonen blir mer betydningsfull for større blokkstørrelser, for eksempel, reduksjon for 8x8 blokker er større enn reduksjonen for 4x4-blokker. Tabell 1: Kompleksiteten til ikke-separable vs. separable retningstransformasjoner Blokkstørrelse Ikke-separable Separable transformasjoner transformasjoner Lagring for alle modi (i bit) Behandlinger per blokk 4x4 18x16x16 = x2x4x4=76 8x8 18x64x64 = x2x8x8=24 4x4 6 multiplikasjons operasjoner 128 multiplikasjons operasjoner 2 addisjonsoperasjoner 96 addisjons operasjoner