(12) Translation of european patent specification

Transkript

1 (12) Translation of european patent specification (11) NO/EP 2924 B1 (19) NO NORWAY (1) Int Cl. H04N 19/2 (14.01) H04N 19/46 (14.01) H04N 19/3 (14.01) H04N 19/96 (14.01) Norwegian Industrial Property Office (21) Translation Published (80) Date of The European Patent Office Publication of the Granted Patent (86) European Application Nr (86) European Filing Date (87) The European Application s Publication Date () Priority.04.13, EP, , WO, PCT/EP/04843 (84) Designated Contracting States: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR (73) Proprietor GE Video Compression, LLC, 8 Southwoods Boulevard, Albany, NY 12211, US- USA (72) Inventor KIRCHHOFFER, Heiner, Gotzkowskystr., Berlin, DE-Tyskland WINKEN, Martin, Treskowstr. 16, 17 Berlin, DE-Tyskland HELLE, Philipp, Ahrenshopper Zeile 4, Berlin, DE-Tyskland MARPE, Detlev, Suedwestkorso 70, Berlin, DE-Tyskland SCHWARZ, Heiko, Bebelstr. 24, Panketal, DE-Tyskland WIEGAND, Thomas, Otto-Appel-Str. 2, 1419 Berlin, DE-Tyskland (74) Agent or Attorney Tandbergs Patentkontor AS, Postboks 170 Vika, 0118 OSLO, Norge (4) Title VIDEO CODING USING MULTI-TREE SUB-DIVISIONS OF IMAGES (6) References Cited: EP-A EP-A WO-A2-97/17797 WO-A2-08/ US-A US-A SANTILLANA-RIVERO J ET AL: "HIERARCHICAL MOTION-BASED IMAGE SEGMENTATION APPLIED TO HDTV", SIGNAL PROCESSING OF HDTV. L'AQUILA, FEB MAR. 2, 1988; [PROCEEDINGS OF THE INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV], AMSTERDAM, ELSEVIER, NL, vol. WORKSHOP 2, 29 February 1988 ( ), pages , XP , SHIH-TA HSIANG ET AL: "Embedded image coding using zeroblocks of subbandiwavelet coefficients and context modeling", CIRCUITS AND SYSTEMS, 00. PROCEEDINGS. ISCAS 00 GENEVA. THE 00 I EEE INTERNATIONAL SYMPOSIUM ON MAY 28-31, 00, PISCATAWAY, NJ, USA,IEEE, vol. 3, 28 May 00 ( ), pages , XP002618, ISBN: HOROWITZ S L ET AL: "Picture segmentation by a tree traversal algorithm", JOURNAL OF THE

2 ASSOCIATION FOR COMPUTING MACHINERY, ACM, NEW YORK, NY, US, vol. 23, no. 2, 1 January 1976 ( ), pages , XP , ISSN: , DOI: DOI:.114/ TOSHIBA CORPORATION: "Quadtree-based adaptive loop filter Q6/16", ITU-T SG16 MEETING; ; GENEVA,, no. T09-SG16-C-0181, 29 January 09 ( ), XP000377, ISSN: CHENG-TIE CHEN ED - INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS: "ADAPTIVE TRANSFORM CODING VIA QUADTREE-BASED VARIABLE BLOCKSIZE DCT", MULTIDIMENSIONAL SIGNAL PROCESSING, AUDIO AND ELECTROACOUSTICS. GLASGOW, MAY 23-26, 1989; [INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH & SIGNAL PROCESSING. ICASSP], NEW YORK, IEEE, US, vol. 3, 23 May 1989 ( ), pages , XP , LEE T ET AL: "TE12.1: Experimental results of transform unit quadtree/2-level test", 3. JCT-VC MEETING; 94. MPEG MEETING; ; GUANGZHOU; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: no. JCTVC-C0, 2 October (--02), XP ,

3 Enclosed is a translation of the patent claims in Norwegian. Please note that as per the Norwegian Patents Acts, section 66i the patent will receive protection in Norway only as far as there is agreement between the translation and the language of the application/patent granted at the EPO. In matters concerning the validity of the patent, language of the application/patent granted at the EPO will be used as the basis for the decision. The patent documents published by the EPO are available through Espacenet ( or via the search engine on our website here: NO/EP2924

4 1 Patentkrav EP Dekoder omfattende: 1 en ekstraktor (2) konfigurert for å ekstrahere en maksimal regionstørrelse og multi-tre inndelingsinformasjon fra en datastrøm; en underinndeler (4a) som er konfigurert for romlig å avdele en matrise informasjonsprøver som representerer et romlig innsamlet informasjonssignal inn i treets rot-regioner til den maksimale regionstørrelse og å inndele, i samsvar med en multi-tre underinndelingsinformasjon, i det minste et delsett av treets rot- regioner i mindre enkelt koblede regioner av forskjellige størrelser ved rekursiv multi-inndeling av undergruppen av treets rot-regioner; og en rekonstruktor (6) konfigurert til å rekonstruere rekken av prøver fra datastrømmen ved hjelp inndelingen i de mindre enkelt koblede regioner; der rekonstruktoren er konfigurert til å utføre en forutsigelse av matrisen av informasjonsprøver med en granularitet som avhenger av inndelingen i mindre enkelt koblede regioner og ekstraktoren er konfigurert til å ekstrahere underordnet multi-tre underinndelingsinformasjon fra datastrømmen, og der dekoderen videre omfatter: 2 3 en ytterligere underinndeler (4a) som er konfigurert til å dele, i henhold til underordnet multi-tre inndelingsinformasjon, minst en delmengde av de mindre enkelt koblede regioner i enda mindre enkelt koblede regioner ved rekursiv multi-partisjonering av undergruppen av de mindre enkelt koblede regioner, der rekonstruktoren er konfigurert til å utføre en gjentransformasjon fra det spektral til det romlige domene i enheter til de enda mindre enkelt koblede regioner, og der ekstraktoren er konfigurert til å ekstrahere en ytterligere maksimal regionstørrelse fra datastrømmen, og der den ytterligere underinndeler er konfigurert til å dele opp hver mindre enkelt koblede region som overstiger den ytterligere maksimale regionstørrelsen i trerot underregioner til den ytterligere maksimale regionstørrelse og dele, i henhold til den underordnede multi-tre underinndelingsinformasjon, minst undergruppen til trerot underregionene inn i enda mindre enkelt koblede regioner, der den ytterligere underinndeler er konfigurert til, ved oppdeling av undergruppen av mindre enkelt koblede regioner, å sjekke (402), for hver mindre enkelt koblede region, om hvorvidt den aktuelle respektive mindre enkelt koblede region overskrider ytterligere maksimal

5 2 1 regionstørrelse, og, hvis den respektive mindre enkelt koblede region overskrider den maksimale ytterligere regionstørrelse, å dele den respektive mindre enkelt koblede regionen inn i trerot underregioner i ytterligere maksimale regionstørrelse; for hver trerot underregionen, å sjekke (4) den underordnede multi-tre underinndelingsinformasjon med hensyn til hvorvidt den respektive trerot underregionen skal partisjoneres, og hvis den respektive trerot underregionen skal partisjoneres, å partisjonere (6) den respektive trerot underregionen i under-underregioner, og rekursivt gjenta å sjekke og partisjonere (4, 6) for under-underregioner inntil det ikke lenger finnes partisjoner som skal utføres i henhold til den underordnede multi-tre inndelingsinformasjonen eller et ytterligere maksimalt hierarkinivået er nådd, og der det for mindre enkelt koblede region som ikke overstiger den maksimale ytterligere regionstørrelse, inndeling i trerot underregioner hoppes over Dekoder ifølge krav 1, der rekonstruksjonen er konfigurert til, for en mindre enkelt koblet region, å beregne, for hver enda mindre enkelt koblede region til den mindre enkelt koblede region, ved hjelp av en dekodingsordre, et prediksjonssignal p ved hjelp av en intra-prediksjonsmodus til de mindre enkelt koblede region og rekonstruerte prøver av hosliggende enda mindre enkelt koblede regioner ut av en buffer, og beregne et rekonstruert signal r ved å tilsette prediksjonssignal p til en rekonstruert residual av den enda mindre enkelt koblede region med lagring av det rekonstruerte signal r i bufferen for en neste intra-prediksjon. 3. Dekoder ifølge krav 1 eller 2, der underinndeleren er konfigurert til å utføre delingen av matrisen av informasjonsprøvene inn i trerotregioner slik at trerotregionene er rektangulære blokker med en størrelse som er bestemt av den maksimale regionstørrelsen og som er jevnt arrangert for å dekke matrisen av informasjonsprøver uten opphold. 4. Dekoder ifølge et av kravene 1 til 3, der underinndeleren er konfigurert til, ved oppdeling av undergruppen av trerotregioner,

6 3 å sjekke, for hver trerotregionen, multi-tre underinndelingsinformasjonen med hensyn til hvorvidt de respektive trerotregioner skal deles opp, og hvis den respektive trerotregionen skal deles opp, 1 å partisjonere den respektive trerotregionen inn regioner på et første hierarkinivå ifølge til en partisjonsregel forbundet med det første hierarkinivå, og rekursivt å gjenta sjekk og partisjonering av regionene til det første hierarkinivået for å oppnå områder med høyere ordens hierarkinivåer ved hjelp partisjonsregler forbundet hermed, med å stoppe den rekursive repetisjon når partisjonering ikke lenger skal utføres i henhold til multi-tre underinndelingsinformasjon, eller et maksimalt hierarkinivå er nådd, der regioner til undergruppene av trerotregioner som ikke lenger partisjoneres i henhold til multi-tre underinndelingsinformasjon, representerer de mindre enkelt koblede regioner og bladregioner av multi-tre underinndelingen, hhv.. Dekoder ifølge krav 4, der ekstraktoren er konfigurert til å ekstrahere også det maksimale hierarkinivået fra datastrømmen Dekoder ifølge krav 4 eller, der underinndeleren er konfigurert til, i samsvar med partisjonsregler forbundet med første og høyere ordens hierarkinivåer, å utføre en partisjon i underregioner av lik størrelse, der antall delområder således oppnådd er felles for alle hierarkinivåer. 7. Dekoder ifølge et av kravene 4 til 6, der ekstraktoren er konfigurert til å trekke syntakselementene forbundet med bladregionene til undergruppen av trerotregioner i en dybde-først traverseringsordre fra datastrømmen Dekoder ifølge hvilket som helst av kravene 4 til 7, der multi-tre underinndelingsinformasjonen har et partisjonsindikasjonsflagg knyttet til hver trerotregion og regionen i første og høyere ordens hierarkinivåer ikke hører til områdene med maksimalt hierarkinivå, henholdsvis, der partisjonsindikasjonsflagget indikerer hvorvidt den tilhørende trerotregion og området til første og høyere ordens hierarkinivå, henholdsvis, er partisjonert.

7 Dekoder ifølge hvilket som helst av de foregående krav, videre omfattende en fusjon konfigurert til å kombinere, avhengig av en første delmengde av syntakselementer i datastrømmen, adskilte fra en andre delmengde av syntakselementer i datastrømmen som danner multi-tre underinndelingsinformasjon som romlig ligger ved siden av de mindre enkelt koplede områder for å oppnå en foreløpig underinndeling av matrisen av informasjonsprøver, der rekonstruktoren er konfigurert til å rekonstruere matrisen av informasjonsprøver ved hjelp av den foreløpige inndelingen.. Dekoder ifølge krav 9, der matrisen av informasjonsprøver er en enkelt koblet del av en samlet matrise av informasjonsprøver, der dekoderen omfatter en prediktor som er konfigurert til å predikere matrisen av informasjonsprøver fra datastrømmen, der rekonstruktoren er konfigurert til å utføre en gjentransformasjon fra det spektrale til det romlige domenet i enheter til de enda mindre enkelt koblede regioner for å oppnå en residual for rekken av informasjonsprøver, og å kombinere residualet og prediksjonen av matrisen med informasjonsprøver for å rekonstruere matrisen av informasjonsprøver. 11. Dekodingsfremgangsmåte omfattende: 2 3 å ekstrahere (2) en maksimal regionstørrelse og multi-tre underinndelingsinformasjon fra en datastrøm; og romlig å inndele (4a) et utvalg av informasjonsprøvene som representerer et romlig samplet informasjonssignal, i trerotregioner av den maksimale regionstørrelse og å inndele i samsvar med en multi-tre underinndelings- informasjon, minst en undergruppe av trerotregionene, i mindre enkelt koblede regioner av forskjellig størrelser ved rekursiv multi-partisjonering av undergrupper av trerotregioner; og å rekonstruere (6) matrisen av prøver fra datastrømmen ved hjelp av inndeling i mindre enkelt koblede regioner, der rekonstruksjonen omfatter å predikere matrisen av informasjonsprøver med en granularitet som avhenger av inndeling i mindre enkelt koblede regioner og der fremgangsmåten videre omfatter å ekstrahere underordnet multi-tre underinndelingsinformasjon fra datastrømmen, og der fremgangsmåten videre omfatter: en ytterligere underinndeling (4a), i samsvar med den underordnede multi-tre inndelingsinformasjon, i det minste av en undergruppe av de mindre enkelt koblede regioner i enda mindre enkelt koblede regioner ved rekursiv multi-oppdeling av undergruppen av de mindre enkelt koblede

8 1 regioner, der rekonstruksjon omfatter å utføre en gjentransformasjon fra det spektrale til det romlige domene i enheter av enda mindre enkelt koblede regioner, og der fremgangsmåten videre omfatter å ekstrahere en ytterligere maksimal regionstørrelse fra datastrømmen, og den videre oppdeling omfatter å dele hver minste mindre enkelt koblede region som overstiger den ytterligere maksimale regionstørrelse i trerotregioner av den ytterligere maksimale regionstørrelse og å dele, i henhold til den underordnede multi-tre inndelingsinformasjonen, minst den delen av trerot underregionene inn i enda mindre enkelt koblede regioner, og der underinndeling av undergrupper av mindre enkelt koblede regioner omfatter å sjekke (402), for hver mindre enkelt koblede region, underordnet multi-tre underinndelingsinformasjon om hvorvidt respektive mindre enkelt koblede regioner overskrider ytterligere maksimal regionstørrelse, og, hvis respektive mindre enkelt koblede regioner overskrider den maksimale ytterligere regionstørrelse, å dele den respektive mindre enkelt koblede regionen inn i trerot underregioner i ytterligere maksimal regionstørrelse; for hver trerot underregionen, å sjekke (4) om hvorvidt den aktuelle trerot underregionen skal partisjoneres, og hvis den respektive trerot underregionen skal partisjoneres, 2 3 å partisjonere (6) den respektive trerot underregion i under-underregioner, og rekursivt å gjenta sjekk (4) og partisjonering (6) for under-underregioner inntil partisjonering ikke lenger skal utføres i henhold til underordnet multi-tre underinndelingsinformasjon eller et ytterligere maksimalt hierarkinivå er nådd, og der det for en mindre enkelt koblet region som ikke overstiger den maksimale ytterligere region størrelse, inndeling i trerot underregioner hoppes over.

9 6 12. Enkoder omfattende: en underinndeler (28) konfigurert til romlig å inndele en matrise av informasjonsprøver som representerer et romlig samplet informasjonssignal i trerotregioner av en maksimal regionstørrelse og å inndele, i samsvar med en multi-tre underinndelingsinformasjon, i det minste en delmengde av trerotregioner i mindre enkelt koblede regioner av forskjellige størrelser ved rekursiv multi-partisjonering av undergruppen av trerotregioner; og en datastrømgenerator (18) som er konfigurert til å kode matrisen av prøver ved hjelp av inndelingen i mindre enkelt koblede regioner, i en datastrøm med å sette inn den maksimale regionstørrelse og multi-tre inndelingsinformasjonen i datastrømmen, der datastrømgeneratoren er konfigurert til å utføre en prediksjon (12) av matrisen av informasjonsprøver med en granularitet som avhenger av inndelingen i mindre enkelt koblede regioner og er utformet til å innsette underordnet multi-tre underinndelingsinformasjon i datastrømmen, og der koderen videre omfatter: en ytterligere underinndeler (28) som er konfigurert for å dele, i henhold til den underordnede multi-tre underinndelingsinformasjon, i det minste en undergruppe av de mindre enkelt koblede regioner i enda mindre enkelt koblede regioner ved rekursiv multi-partisjonering delmengden av de mindre enkelt koblede regioner der datastrømgeneratoren er konfigurert til å utføre en transformasjon fra det romlige domene til det spektrale domenet i enhetene til de enda mindre enkelt koblede regioner, og der datastrømgeneratoren (18) er konfigurert til å sette inn en ytterligere maksimal regionstørrelse i datastrømmen, og der den ytterligere underinndeleren er konfigurert til å inndele hver mindre enkelt koblede region som overskrider en ytterligere maksimal regionstørrelse i trerot underregioner med ytterligere maksimal regionstørrelse og å inndele, i samsvar med den underordnede multi-tre underinndelingsinformasjon, i det minste den delen av trerot underregionene i enda mindre enkelt koblede regioner, og der den ytterligere underinndeleren (28) er konfigurert til, ved oppdeling av undergruppen av mindre enkelt koblede regioner, å sjekke (402), for hver mindre enkelt koblet region, den underordnede multi-tre underinndelingsinformasjon om hvorvidt den respektive mindre enkelt koblede region overskrider den ytterligere maksimale region-

10 7 størrelse, og, hvis den respektive mindre enkelt koblede region overskrider den maksimale ytterligere regionstørrelse, å inndele den respektive mindre enkelt koblede regionen i trerot underregioner i den ytterligere maksimale regionstørrelse; for hver trerot underregionen, å sjekke (4) om hvorvidt den aktuelle trerot underregionen skal partisjoneres, og hvis den respektive trerot underregionen skal partisjoneres, 1 å partisjonere (6) den respektive trerot underregion i under-underregioner, og rekursivt å gjenta sjekk (4) og partisjonering (6) for under-underregioner inntil partisjonering ikke lenger skal utføres i henhold til underordnet multi-tre underinndelingsinformasjon eller et ytterligere maksimalt hierarkinivå er nådd, og der det for en mindre enkelt koblet region som ikke overstiger den maksimale ytterligere region størrelse, inndeling i trerot underregioner hoppes over. 13. Fremgangsmåte for koding omfattende: 2 3 romlig å inndele (28) en matrise av informasjonsprøver som representerer et romlig samplet informasjonssignal inn i trerotregioner med et maksimal regionstørrelse og inndeling i samsvar med en multi-tre underinndelingsinformasjon, i det minste en undergruppe av trerotregionene i mindre enkelt koblede regioner av forskjellige størrelser ved rekursiv multi-partisjonering av undergruppen av trerotregioner; og å kode matrisen av prøver ved hjelp av inndeling i mindre enkelt koblede regioner, inn i en datastrøm ved å sette inn den maksimale regionstørrelse og multi-tre underinndelingsinformasjon i datastrømmen, der kodingen omfatter å utføre en prediksjon (12) av matrisen av informasjonsprøver med en granularitet som avhenger av inndelingen i mindre enkelt koblede regioner med å sette inn underordnet multi-tre underinndelingsinformasjon i datastrømmen, og der fremgangsmåten videre omfatter:

11 8 1 2 en ytterligere inndeling (28), i samsvar med den underordnede multi-treunderinndelingsinformasjon, i det minste av en undergruppe av de mindre enkelt koblede regioner i enda mindre enkelt koblede regioner ved rekursiv multi-partisjonering av undergruppen av de mindre enkelt koblede regioner, der rekonstruktoren er konfigurert til å utføre en gjentransformasjon fra det spektrale til det romlige domenet i enheter av enda mindre enkelt koblede regioner, og der fremgangsmåten videre omfatter å innsette en ytterligere maksimal regionstørrelse i datastrømmen, og den ytterligere underdeling omfatter å dele hver minste enkelt koblede region som overstiger den ytterligere maksimale regionstørrelse i trerot underregionene til den ytterligere maksimale regionstørrelse og å inndele, i henhold til den underordnede multi-tre underinndelingsinformasjon, minst den delen av trerot underregionene i enda mindre enkelt koblede regioner, der underinndeling av undergruppen av mindre enkelt koblede regioner omfatter å sjekke (402), for hver mindre enkelt koblet region, den underordnede multi-tre underinndelingsinformasjon om hvorvidt den respektive mindre enkelt koblede region overskrider den ytterligere maksimale regionstørrelse, og, hvis den respektive mindre enkelt koblede region overskrider den maksimale ytterligere regionstørrelse, å inndele den respektive mindre enkelt koblede regionen i trerot underregioner i den ytterligere maksimale regionstørrelse; for hver trerot underregionen, å sjekke (4) om hvorvidt den aktuelle trerot underregionen skal partisjoneres, og hvis den respektive trerot underregionen skal partisjoneres, 3 å partisjonere (6) den respektive trerot underregion i under-underregioner, og rekursivt å gjenta sjekk (4) og partisjonering (6) for under-underregioner inntil partisjonering ikke lenger skal utføres i henhold til underordnet multi-tre underinndelingsinformasjon eller et ytterligere maksimalt hierarkinivå er nådd, og

12 9 der det for en mindre enkelt koblet region som ikke overstiger den maksimale ytterligere region størrelse, inndeling i trerot underregioner hoppes over. 14. Datamaskinlesbart lagringsmedium som har digitalt lagret derpå et datamaskinprogram med en programkode for å utføre, når den kjøres på en datamaskin, en fremgangsmåte ifølge krav 11 eller 13.