(12) Translation of European patent specification (11) NO/EP 2639749 B1 (19) NO NORWAY (1) Int Cl. G06N 3/08 (2006.01) G06N 3/04 (2006.01) G06F 17/28 (2006.01) Norwegian Industrial Property Office (21) Translation Published 2017.04.10 (80) Date of The European Patent Office Publication of the Granted Patent 2016.11.16 (86) European Application Nr. 1219672.0 (86) European Filing Date 2012.03.1 (87) The European Application s Publication Date 2013.09.18 (30) Priority (84) Designated Contracting States: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR (73) Proprietor cortical.io GmbH, Mariahilfer Straße 4/11, 1070 Vienna, AT-Østerrike (72) Inventor Webber, Francisco Eduardo De Sousa, Hainbachgasse 38, 1140 Wien, AT- Østerrike (74) Agent or Attorney Oslo Patentkontor AS, Postboks 7007 Majorstua, 0306 OSLO, Norge (4) Title Methods, apparatus and products for semantic processing of text (6) References Cited: TIMO HONKELA ET AL: "Adaptive Translation: Finding Interlingual Mappings Using Self- Organizing Maps", 3 September 2008 (2008-09-03), ARTIFICIAL NEURAL NETWORKS - ICANN 2008; [LECTURE NOTES IN COMPUTER SCIENCE], SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 603-612, XP019106079, ISBN: 978-3-40-873-2 * page 603 - page 611, paragraph 1 * JEFF HAWKINS ET AL: "Hierarchical Temporal Memory Concepts, Theory, and Terminology", INTERNET CITATION, 27 March 2007 (2007-03-27), pages 1-20, XP002499414, Retrieved from the Internet: URL:http://www.numenta.com/Numenta_HTM_Con cepts.pdf [retrieved on 2008-10- 07] HSIN-CHANG YANG ET AL: "Mining Multilingual Texts using Growing Hierarchical Self- Organizing Maps", MACHINE LEARNING AND CYBERNETICS, 2007 INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 August 2007 (2007-08-01), pages 2263-2268, XP03114189, ISBN: 978-1-4244-0972-3 RITTER H ET AL: "Self-organizing semantic maps", BIOLOGICAL CYBERNETICS, SPRINGER VERLAG. HEIDELBERG, DE, vol. 61, no. 4, 1 August 1989 (1989-08-01), pages 241-24, XP00813010, ISSN: 0340-1200, DOI: 10.1007/BF00203171 STARZYK J A ET AL: "Spatio-Temporal Memories for Machine Learning: A Long-Term Memory Organization", IEEE TRANSACTIONS ON NEURAL NETWORKS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 20, no., 1 May 2009 (2009-0-01), pages 768-780, XP01126806, ISSN: 104-9227, DOI: 10.1109/TNN.2009.201284 SOMERVUO P J: "Online algorithm for the self-organizing map of symbol strings", NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, vol. 17, no. 8-9, 1 October 2004 (2004-10-01), pages 1231-1239, XP0046039, ISSN: 0893-6080, DOI: 10.1016/J.NEUNET.2004.08.004 NIKOLAOS AMPAZIS ET AL: "LSISOM - A Latent Semantic Indexing Approach to Self-
Organizing Maps of Document Collections", NEURAL PROCESSING LETTERS, KLUWER ACADEMIC PUBLISHERS, BO, vol. 19, no. 2, 1 April 2004 (2004-04-01), pages 17-173, XP01926094, ISSN: 173-773X Enclosed is a translation of the patent claims in Norwegian. Please note that as per the Norwegian Patents Acts, section 66i the patent will receive protection in Norway only as far as there is agreement between the translation and the language of the application/patent granted at the EPO. In matters concerning the validity of the patent, language of the application/patent granted at the EPO will be used as the basis for the decision. The patent documents published by the EPO are available through Espacenet (http://worldwide.espacenet.com) or via the search engine on our website here: https://search.patentstyret.no/
1 Krav 10 1 20 2 1. Datamaskin-implementert fremgangsmåte for generering av en datamaskinlesbar ordbok for å oversette tekst i en nevral nettverkslesbar form, omfattende: å trene et første nevralt nettverk (4) av en selvorganiserende karttype med et første sett (2) av første tekstdokumenter (3) som hver inneholder ett eller flere nøkkelord (7) i en semantisk sammenheng, idet det første nevrale nettverket (4) opplært med inngangsvektorer (21) som hver representerer et dokument (3) i det første sett (2) og sine søkeord innhold, for å kartlegge hvert tekstdokument (3) til et punkt (Xi / Yj) i kartet selvorganiserende () ved semantisk gruppering, som et resultat av trening, i kartet () dokumenter (3) er kartlagt til individuelle poeng (Xi / Yj) av kartet (); bestemme, for hvert søkeord (7) som forekommer i det første settet (2), alle punkter (Xi / Yj) i selvorganiseringskartet () som tekstdokumenter (3) som inneholder søkeordet (7) er kartlagt, for eksempel en to- eller fleredimensjonalt mønster (6) med punkter (Xi / Yj) forbundet med nevnte nøkkelord (7); og lagring av alle nøkkelordene (7) og tilhørende mønster (6) som en datamaskin-lesbar mønsterordbok (9), hvert mønster (6) er forbundet til ordet (7) i en mønster ordliste (9). 2. Fremgangsmåte ifølge krav 1, for å trene et nevralt nettverk, videre omfattende: å danne minst en sekvens (11) av ordene (7) fra et andre sett (12) av det andre tekstdokumentet (13) som hver inneholder ett eller flere søkeord (7) i en semantisk sammenheng; sette nevnte minst ene sekvens (11) av ordene (7) i det minste en sekvens (14) av mønstre (6) ved hjelp av nevnte mønsterordbok (9); og trene et andre nevralt nettverk (1) med nevnte i det minste en sekvens (14) av mønstre (6). 3. Fremgangsmåte ifølge krav 2, hvor det andre nettverk (1) er hierarkisk og i det minste delvis tilbakevendende. 4. Fremgangsmåte ifølge krav 2, hvor det andre nettverk (1) er et minneforutsigelsesrammeverk. 30. Fremgangsmåte ifølge krav 2, hvor det andre nettverk (1) er en hierarkisk timelig hukommelse. 6. Fremgangsmåte ifølge hvilket som helst av kravene 1 til, hvor det første nettverket (4) er en Kohonen selvorganiserende kart. 7. Fremgangsmåte ifølge hvilket som helst av kravene 2 til 6, hvor for hver av de andre dokumenter (13) til det andre settet (12) en separat sekvens (11) av ordene
2 (7) blir dannet, og oversatt til en separat sekvens (14) av mønstre (6) og den andre nettverk (1) er trenet i rekkefølge med hver av de nevnte separate sekvenser (11) av mønstre (6). 10 1 20 2 8. Fremgangsmåte ifølge krav 7, hvor de andre dokumenter (13), er sortert og, når treningen den andre nettverk (1), de enkelte sekvenser (14) av mønstre (6) mates inn i det andre nettverket (1) i sorteringsrekkefølgen for de andre dokumenter (13) som de har hvert blitt dannet og oversatt. 9. Fremgangsmåte ifølge krav 8, hvor de andre dokumenter som er sortert etter stigende kompleksitet, hvor kompleksiteten av et andre dokument (13) er fastslått på grunnlag av en eller flere av: det antall forskjellige ordene (7) i det andre dokumentet 13), den gjennomsnittlige lengden av en setning i det andre dokument (13), idet frekvensen av ett eller flere nøkkelord (7) i det første settet i det andre dokument (13), frekvensen av ett eller flere nøkkelord (7) av at andre dokument (13) i det første settet (2) eller en annen tekstkorpus. 10. Fremgangsmåte ifølge hvilket som helst av kravene 2 til 9 for behandling tekst inneholdende minst ett søkeord, omfattende: å oversette nevnte minst ene ordet (7) inn i minst ett mønster (6) ved hjelp av mønsteret ordlisten (9); mate det minst ene mønster (6) som en inngang mønster inn i nevnte trent andre nevralt nettverk (1); å skaffe i det minste en utgang mønster (6) fra nevnte andre trenet nevralt nettverk; og oversette den minst ene utgangsmønster (6) inn i minst en ordet (7) ved hjelp av mønsteret ordlisten (9). 11. Fremgangsmåte ifølge krav 10 for semantisk klassifisering av tekst, hvor den andre nettverk (1) er hierarkisk, det minst ene inngang mønster (6) mates inn i i det minste ett nedre lag av hierarkiet og nevnte minst ene utgang mønster (6) blir oppnådd fra minst et høyere lag av hierarkiet. 12. Fremgangsmåte ifølge krav 10 for semantisk prediksjon av tekst, hvor den andre nettverk (1) er hierarkisk, det minst ene inngang mønster (6) mates inn i minst et høyere lag av hierarkiet og nevnte minst ene utgang mønster (6) oppnås fra i det minste ett nedre lag av hierarkiet. 30 13. Datamaskinlesbart ordbok nedfelt på datamaskin-lesbart medium, genereres med en fremgangsmåte ifølge krav 1. 14. Klassifisering eller forutsigelse maskin, omfattende et nettverk av en hierarkisk type som har vært trent som nevnte andre nettverk (1) med en fremgangsmåte i henhold til et av kravene 2 til 9.
3 1. Oversettelsesmaskin, omfattende en klassifiseringsmaskin ifølge krav 14, det neurale nettverk (1) som har blitt opplært med en fremgangsmåte i henhold til et av kravene 2 til 9 ved anvendelse av første og andre tekstdokumenter (3, 13) i et første språk; og en forutsigelse maskin ifølge krav 14, det neurale nettverk (19) som har blitt opplært med en fremgangsmåte i henhold til et av kravene 2 til 9 ved hjelp av første og andre tekstdokumenter (3, 13) i et andre språk; hvor nodene (1') av det neurale nettverk (1) til klassifiseringen maskinen er koblet til noder (19') av det neurale nettverk (19) av prediksjon maskinen.