(12) PATENT (19) NO (11) (13) B1. (51) Int Cl. NORGE. Patentstyret

Transkript

1 (12) PATENT (19) NO (11) (13) B1 NORGE (1) Int Cl. G06T 3/00 (06.01) G06T 3/40 (06.01) G06T 3/60 (06.01) G09G /14 (06.01) G09G /397 (06.01) Patentstyret (21) Søknadsnr 1407 (86) Int.inng.dag og søknadsnr (22) Inng.dag..12 (8) Videreføringsdag (24) Løpedag..12 () Prioritet (41) Alm.tilgj (4) Meddelt (73) Innehaver ActionPhoto International AS, Skjenet 2, 33 STRAUME, Norge (72) Oppfinner Per Erik Berger, Molltveitleitet 12, 33 STRAUME, Norge (74) Fullmektig Onsagers AS, Postboks 1813 Vika, 0123 OSLO, Norge (4) Benevnelse 360 Panorama-guide med flere visninger (6) Anførte publikasjoner Youtube.com: "Google Street View Tutorial", [hentet fra internett ], publisert av Michael Pocznek EP A2 Wikipedia: "Google Street View", [hentet ] datert --06 Civetta Image brochure 3.09 med tittel360 Presentation 3D Reconstruction CGI Visualizationlastet ned frahttp:// (7) Sammendrag Fremgangsmåte for å styre presentasjon av visuell informasjon relatert til et objekt i et flertall visningsvinduer. Fremgangsmåten omfatter et første trinn med presentere første visuelle informasjon av objektet i et første visningsvindu. Det andre trinnet er å motta input for å velge ett eller flere spesifikke punkter av interesse til objektet fremvist i nevnte første visningsvindu, og det siste trinnet er å bruke nevnte input til å styre handlinger som skal utføres for å tilveiebringe annen visuell informasjon relatert til nevnte objekt i et andre visningsvindu.

2 1 Introduksjon Den foreliggende oppfinnelsen beskriver en metode for å presentere visuell informasjon relatert til et objekt eller struktur. Mer spesifikt beskriver oppfinnelsen en metode for å presentere mer enn én visuell informasjon om et objekt eller struktur. Bakgrunn Det finnes ulike typer løsninger for å fremvise visuell informasjon for et objekt. Dette innbefatter presentasjon av høykvalitets panoramabilder, integrerte fotografier for å bedre detaljer, tilveiebringe brukervennlige menyer og informativ tekst. Løsningen kan innbefatte interaktive kart og tegninger, navigasjonsmuligheter og integrert video. Det finnes også systemer for fremvisning av 360 bilder. Imidlertid presenterer kjente systemer disse i et visningsvindu innen det samme systemet. Dersom andre visninger blir presentert, vil disse typisk kun innbefatte et kart eller tegning, dvs. statiske bilder. Et eksempel på dette er Google Street View som er en funksjon i Google Maps som tilveiebringer statiske panoramavisninger i posisjoner langs mange veier i verden. Disse panoramabildene blir laget ved å sy sammen flere bilder med mindre utsnitt. Ett visningsvindu viser typisk et kart av en spesifikk lokasjon, og et annet visningsvindu viser et panoramabilde av den spesifikke lokasjonen valgt i det første visningsvinduet. Tilleggsinformasjonen i det andre visningsvinduet er kun visuell informasjon. Den foreliggende oppfinnelsen beskriver en metode for dynamisk og samtidig fremvisning av visuell informasjon om et objekt ved å ha to eller flere visningsvinduer som fremviser dynamisk innhold som vil tillate at brukere får bedre oversikt og kontroll over en operasjon. Visningsvinduer kan både presentere 360 bilder, en kombinasjon av 360 bilder og video, og annet dynamisk visuelt innhold. Den foreliggende oppfinnelsen introduserer en metode for å kombinere høykvalitets, sanne 360 panoramabilder, fotografier, interaktive kart, og dynamiske navigasjonsmuligheter. Oppfinnelsen tillater at brukeren får se en komplett oversiktsvisning av f.eks. en offshore installasjon i 360, og også å integrere plattformtegninger for enkel navigasjon. Oppfinnelsen kan kjøres fra en CD, eller over Internett, og muliggjøre brukere å dele det samme bildet uavhengig av fysisk lokasjon. Ved å kombinere 360 panoramabilder med integrert video vil en bruker bli gitt en unik mulighet til å visualisere en installasjon så vel som å bli kjent med

3 2 arbeidsprosesser som er i bruk ved installasjonen. Video kan f.eks. bli brukt for treningsformål for å demonstrere ulike arbeidsprosesser. 1 Det er flere fordeler ved den foreliggende oppfinnelsen i forhold til tidligere kjent teknikk. Det er en kostnadseffektiv metode, og vil tilveiebringe forbedret effektivitet ved å være i stand til å se og visualisere installasjonen på en forbedret måte, f.eks. sanntidsvisualisering av apparatur i spesifikke områder med deres foreliggende måleverdier og avstander til spesifikke punkter på installasjonen. Kommunikasjon og samarbeid mellom installasjoner og støtteorganisasjon vil i stor grad bli forbedret og forsterket ved hjelp av den 360 interaktive visningen av en installasjon. Kvaliteten av å planlegge operasjoner ved en fjerntliggende lokasjon med bedre visualisering reduserer eller eliminerer dermed behovet for å reise til installasjonen. Det vil tilveiebringe forbedret Helse, Miljø og Sikkerhet i operasjoner ved å la støttepersonell visualisere områder som er underlagt diskusjon i stedet for at de blir fysisk lokalisert på lokasjonen. Bedre visualisering og forståelse av en installasjon vil også resultere i forbedret støtte for kriseresponspersonell. Sammendrag av oppfinnelsen 2 Den foreliggende oppfinnelsen er definert ved en fremgangsmåte for å styre presentasjon av visuell informasjon relatert til et objekt i multiple visningsvinduer, og hvor dette muliggjøres ved: - å presentere en første visuell informasjon av et objekt i et første visningsvindu, - å motta input for å velge ett eller flere spesifikke punkt ved nevnte objekt i nevnte første visningsvindu, og - å bruke nevnte input for å styre et kamera for å tilveiebringe og fremvise en andre visuell informasjon relatert til nevnte objekt, hvor den andre visuelle informasjonen til objektet omfatter avstander til spesifikke punkter i objektet samt ytterligere visuell informasjon relatert til objektet sett fra et annet utsnitt og/eller annen lokasjon. Ytterligere trekk ved oppfinnelsen er definert i kravsettet. Detaljert beskrivelse Oppfinnelsen vil nå bli nærmere beskrevet med henvisning til figurene hvor: 3 Figur 1 viser en visuell presentasjon av to 180 bilder som er sydd sammen for å danne et enkelt 360 panoramabilde.

4 3 Figur 2 viser en visuell presentasjon av tre 180 bilder som er sydd sammen for å danne et enkelt 360 panoramabilde. Figur 3 viser et eksempel på en 360 panoramaguide som illustrerer et første og andre visningsvindu Figur 4 viser et annet eksempel på en 360 panoramaguide som illustrerer et første og andre visningsvindu. Den foreliggende oppfinnelsen er karakterisert ved en fremgangsmåte for å styre presentasjon av visuell informasjon relatert til et objekt som fremvises i et flertall visningsvinduer. Et objekt er ment å innbefatte en installasjon, et område, et rom, og andre fysiske ting som kan visualiseres. Det første trinnet i fremgangsmåten er å presentere første visuelle informasjon av objektet i et første visningsvindu. Det neste og andre trinnet er å motta input for å velge ett eller flere spesifikke punkt til nevnte objekt fremvist i nevnte første visningsvindu, og det siste trinnet er å bruke nevnte input for å styre et kamera for å tilveiebringe og fremvise en andre visuell informasjon relatert til nevnte objekt, hvor den andre visuelle informasjonen til objektet omfatter avstander til spesifikke punkter i objektet samt ytterligere visuell informasjon relatert til objektet sett fra et annet utsnitt og/eller annen lokasjon. I nevnte første trinn kan et første visningsvindu f.eks. presentere et objekt visuelt i et plansnitt eller annen type 2D-visning, og andre karakteristikker til objektet kan bli presentert som en forskjellig fremvisning av objektet, som viser tilleggsinformasjon som kan bli dynamisk presentert og bli styrt av nevnte input. I det nevnte andre trinnet mottas input for å velge én eller flere spesifikke punkter i nevnte objekt fremvist i nevnte første visningsvindu. En bruker kan f.eks. velge et punkt eller område av interesse i en presentasjon av et objekt eller installasjon fremvist i det første visningsvinduet. Denne handlingen vil så i et siste trinn i fremgangsmåten styre handlinger som skal utføres for å tilveiebringe tilleggsinformasjon til et objekt eller installasjon i en eller flere andre visningsvinduer. Disse visningsvinduene kan bli presentert på den samme bildeflaten eller skjermen som hvor det første visningsvinduet er, eller de kan bli presentert i en eller flere separate bildeflater eller skjermer. Det siste trinnet i fremgangsmåten er så å bruke nevnte input for å kontrollere handlinger som skal utføres for å tilveiebringe og fremvise annen visuell informasjon relatert til nevnte objekt, og hvor denne blir presentert i et i det minste andre visningsvindu. På denne måten kan en bruker f.eks. åpne en første planpresentasjon i et første visningsvindu, og en andre planpresentasjon kan dynamisk endre seg i henhold til input mottatt fra brukeren. På denne måten vil brukeren bli gitt tilleggsinformasjon

5 4 til objektet fremvist i et andre visningsvindu. Dette kan f.eks. være et forstørret utsnitt eller annen detaljert informasjon om ett eller flere punkter av interesse til et objekt eller installasjon valgt av en bruker Figur 1 og 2 viser et eksempel på at nevnte 2D-visning kan bli presentert ved to eller flere 180 bilder som blir sydd sammen for å danne et 360 bilde. Figur 1 viser to 180 bilder som sammen danner et 360 bilde, mens figur 2 viser et eksempel med tre 180 bilder som sammen danner et 360 bilde. Figur 3 og 4 viser at nevnte ulike visningsvinduer kan være en korresponderende 3D-visning. Figur 3 illustrerer et første og andre visningsvindu som samtidig fremviser 360 fotografier av et øvre dekk (D11 Lower Mezzanine Deck) og et nedre dekk (D11 Lower Deck) ved samme lokasjon. Figur 4 illustrerer et første visningsvindu som fremviser 360 fotografi ved en slampumpe, innbefattende slampumpetrykkmåler, og et andre visningsvindu som viser en video av trykkmåleren til den samme slampumpen. Objektet som skal betraktes kan bli presentert ved ett eller flere bilder, én eller flere videoer, eller en kombinasjon av disse. Nevnte inputtrinn kan brukes for å styre et eller flere apparater brukt for å tilveiebringe visuell informasjon i det andre visningsvinduet. Dette kan være kamera og/eller video -systemer for å fremvise sanntids eller lagrede bilder/video styrt av nevnte input. Ved f.eks. å trykke, bevege seg rundt eller operere punkter av interesse i en 2Dpresentasjon i et første visningsvindu, kan en funksjon iverksettes som dynamisk vil oppdatere det andre (eller flere) visningsvinduet for å reflektere styringen utført i et første visningsvindu. Som et eksempel kan det være to 360 bilde visningsvinduer av to ulike lokasjoner, for eksempel en første og andre etasje til en installasjon, med et bilde over det andre. Ved å bevege seg rundt i bildet i det første visningsvinduet blir presentasjonen i det andre visningsvinduet også styrt for å reflektere bevegelsen i det første visningsvinduet. Dette kan også innbefatte informasjon fra radar, en pil eller annen informasjon for å indikere foreliggende retning og/koordinater relatert til et objekt eller en installasjon som betraktes. For eksempel ved å gi retning i grader relativt til kartets nord, så vil 270 indikere at senteret til visningsvinduet er direkte til venstre på kartet. Radar kan også indikere numerisk eller grafisk eller med andre midler inklinasjon til fremvisning relativt til horisontalplanet. For eksempel kan tallet 4 indikere 4 grader opp fra horisontal og et tall -90 vil indikere rett ned. Ved presentasjon av koordinater kan disse linkes til et referansesystem for objektet som skal presenteres. Koordinater kan bli innbefattet i kart og/eller bildefunksjoner. Dette vil muliggjøre at lokasjonen til et 360 bilde, et kamera eller annen relevant gjenstand eller informasjonskilde kan bli fremvist i et visningsvindu.

6 Koordinatene kan bli linket til et referansesystem for en installasjon som blir presentert i visningsvinduet og følgelig vil all informasjon presentert med koordinater i visningsvinduet være referert til koordinatsystemet for installasjonen Koordinater kan bli fremvist ved bevegelse av musen eller en annen markør rundt på kartet eller i et 360 bilde. Ved bevegelse av markør eller mus rundt på kartet vil koordinatene til pekeinnretningen bli fremvist i et informasjonsvindu eller direkte på kartet. Ved bevegelse av pekeinnretningen innenfor et 360 bilde kan en funksjon bli utviklet hvor koordinatene til et punkt innenfor det 360 bildet blir fremvist i et informasjonsvindu eller direkte innenfor 360 bildet, på kartet eller en annen lokasjon. Som nevnt kan kamera/video system bli integrert i et system med et separat visningsvindu for presentasjon av bilde og/eller video. Det første visningsvinduet kan presentere et 360 bilde og det andre visningsvinduet kan fremvise en videofilm. Det kan være én eller flere av hver type visningsvindu, for eksempel én 360 bildefremvisning og én eller flere videofremvisninger. Et første visningsvindu kan presentere et 360 bilde, og innenfor området som er dekket av dette 360 bildet kan det være ett eller flere kameraer eller videokameraer, f.eks. HD web-kamera brukt for sanntids streaming. Fotografier eller video som er tatt av disse kameraene kan bli presentert i visningsvinduene. Foto eller video visningsvindu kan fremvise enten sanntidsvideo eller lagret (forsinket) video. Dersom for eksempel et område trenger å bli registrert av sikkerhetsgrunner, eller dersom en måler eller måleinnretning eller informasjonskilde trenger å bli spilt inn for å tilveiebringe informasjon i sanntid, kan en live videoinnspilling bli presentert. Dersom en tidligere innspilt hendelse, slik som utførelsen av en operasjon for å demonstrere prosedyrer skal fremvises så blir en innspilt video presentert. Den andre visuelle informasjonen relatert til et objekt eller installasjon kan videre omfatte informasjon om brukt fokusavstand og avstand til objektet. Avstander til et fremvist objekt kan bli bestemt ved å bruke laserskanning. Et 360 panoramabilde kan bli integrert inn i en 3D-modell laget av en laserskanner. En måte å gjøre dette på er å defragmentere et 360 panoramabilde i et antall mindre bilder som hver representerer en definert del av det opprinnelige 360 panoramabildet. Hver del av det defragmenterte 360 bildet kan så bli integrert på sin rettmessige plassering i en 3D-modell laget ved laserskanning, for derved å gjenskape 360 bildet i en 3D laser modell. Et videokamera som blir brukt kan ha GPS eller annet egnet målesystem for innendørs bruk for å registrere posisjonskoordinater til kameraet og/eller en retningsangivende innretning for å angi retningen som et kamera peker i. Alternativt kan et målesystem registrere posisjonsdata relativt til et kjent referansepunkt i

7 området. Koordinatene og/eller retningen til kameraposisjonen kan sendes i sanntid til systemet som utfører den oppfinneriske fremgangsmåten. Systemet kan fremvise både video og koordinater/retning til en kameraposisjon. For eksempel dersom et mobilt kamerasystem blir brukt, kan systemet motta og fremvise både live video og foreliggende posisjonskoordinater fra kameraet. Et kart i et visningsvindu kan bli oppdatert og fremvise posisjon og/eller retning samtidig. Et komplett system hvor den oppfinneriske fremgangsmåten er implementert vil være i stand til parallell presentasjon av både 360 panoramabilder for å presentere omgivelse/område i 360 og video for å presentere foreliggende sanntids aktivitet i detalj. Et bevegelig videosøk innenfor panoramabildene er mulig ved å velge spesifikke lokasjoner i bildet presentert i et første visningsvindu. Korresponderende posisjonskoordinater ved den fremviste lokasjonen blir kommunisert, og video fra det nærmeste kameraet blir automatisk presentert i et andre visningsvindu. Alternativt blir koordinatene til mus/pekeinnretningen sendt til en annen innretning/system for å identifisere den nærmeste andre innretningen (f.eks. mobiltelefon, kamera). På denne måten kan det nærmeste kameraet bli lokalisert og dets opptak kan betraktes ved å søke med musen inne i 360 bildet eller på kartet. Dersom flere kameraer er lokalisert innen et område er det enkelt å svitsje mellom relevante kameraer ved kun å bevege musen eller pekeinnretningen for å velge spesifikke lokasjoner. Koordinatene til en annen innretning, for eksempel et mobilkamera kan også bli sendt til systemet hvor den oppfinneriske fremgangsmåten er implementert. Lokasjonen til nevnte innretning vil da bli automatisk fremvist på et kart og/eller 360 bildefremviser. På samme måten kan koordinatene til en valgt posisjon bli sendt til mobilkameraet. Operatøren til det bevegelige kamerasystemet mottar valgte koordinater og/eller retning og kan bevege seg til korresponderende posisjon med kameraet. På denne måten kan operatøren av det mobile kameraet bli guidet til en spesifikk lokasjon og retning hvor live video kreves. Den oppfinneriske fremgangsmåten kan også bli integrert i avstandsmålinger. En laser eller annen måleinnretning kan måle avstand til visse punkter i 360 bildet mens bilder tas, eller fra videokameraet til et punkt hvor det spilles inn fra. Avstandsmålinger blir innspilt og presentert i et andre visningsvindu som tilleggsinformasjon. Likeledes kan måleinnretningen måle retning både i horisontal og vertikalplanet. Både 3D-koordinater til kameraet eller video og 3D-koordinater til punktet som det siktes mot med foto/video -kamera kan beregnes. Følgelig kan, ved kjente beregninger, alle koordinater og avstander bli beregnet fra kameralokasjonen til ethvert punkt som det siktes mot.

8 Bilde på forespørsel (on demand) fra et fjerntliggende installert fjernstyrt 360 eller annet vidvinkel eller video -kamera er ennå et annet eksempel på et annet aspekt som kan bli implementert ved oppfinnelsen. Ved signal fra en kontrollinnretning kan et nytt bilde bli tatt ved en viss posisjon og sendes til styringssystemet. Det nye bildet kan bli integrert i systemet enten manuelt eller automatisk. Nytt videomateriale kan bli presentert på forespørsel på en liknende måte. Alternativt kan et permanent installert kamera på kontinuerlig eller frekvensbasis ta nye fotografier/video. Systemet kan settes opp for å ta og/eller sende disse bildene til et kontrollsystem ved visse tidsintervaller eller på et etter behov basis, som bestemt av styringssystemet eller styringssystemoperatøren. Som det forstås fra beskrivelsen presentert over kan den foreliggende oppfinnelsen bli brukt som et kommunikasjons og visualiseringsverktøy for ulike arbeidsprosesser. Basisprinsippet er muligheten for at ulike lokasjoner samtidig kan se hele installasjonen, som er onshore eller offshore, med sanne 360 panoramabilder. Orientering rundt på en installasjon blir gjort svært enkel med interaktive kart og navigasjonsmuligheter presentert i et første visningsvindu. Oppfinnelsen kan bli implementert i ulike typer miljø og situasjoner, og brukt på ulike måter. Disse kan innbefatte å bruke den som et kommunikasjonsverktøy fra en installasjon til et operasjonskontor for dag til dag aktiviteter, som muliggjør at områder av interesse eller problemer kan løses. Dersom noe skjer ved en installasjon kan relevante 360 bilder bli vist via videokonferansefasiliteter, eller alternativt på en PC. Dette vil forbedre kommunikasjon og unngå feil siden mennesker med ulik bakgrunn og erfaring kan dele det samme visuelle bildet. Likeledes kan støttepersonell dele planer for utstyr som skal installeres eller for modifikasjoner som skal utføres med personell ved installasjonen. Planlegging av modifikasjoner og oppgraderinger er et annet eksempel. Det å tillate en fjerntliggende lokalisert bruker onshore å se på fotografier av en installasjon i 360 vil begrense behovet for å reise til installasjonen. I andre tilfeller vil det gjøre en reise kortere og mer effektiv ved å muliggjøre bedre planlegging og forberedelse forut for et besøk til et område. Et onshore kriseteam kan bruke oppfinnelsen som et verktøy for visualisering av en fjerntliggende installasjon for å hjelpe og understøtte en operasjonen på et område, og hvor dette verktøyet umiddelbart kan bli operasjonelt i et flertall lokasjoner. Operatører har ulike rapporteringssystemer for å rapportere uønskede hendelser. Oppfinnelsen kan bli brukt for å nøyaktig bestemme lokasjonen til en hendelse i et visningsvindu, og presentere tilleggsinformasjon om en hendelse i et annen visningsvindu. Et slikt system vil gjøre det enkelt å navigere gjennom historiske hendelser og samtidig tilveiebringe viktig tilleggsinformasjon.

9 8 Oppfinnelsen kan også bli brukt for sikkerhetsopplæringsformål hvor rømningsveier og sikkerhetsutstyr er uthevet og hvor personell blir kjent med en ny installasjon forut for et første besøk.

10 9 PATENTKRAV 1 1. Fremgangsmåte for å styre presentasjon av visuell informasjon relatert til et objekt som fremvises i multiple visningsvinduer, omfattende de følgende trinnene: a) å presentere en første visuell informasjon av objektet i et første visningsvindu, b) å motta input for å velge ett eller flere spesifikke punkt ved nevnte objekt i nevnte første visningsvindu, og hvor fremgangsmåten er k a r a k t e r i s e r t v e d : c) å bruke nevnte input for å styre et kamera for å tilveiebringe og fremvise en andre visuell informasjon relatert til nevnte objekt, hvor den andre visuelle informasjonen til objektet omfatter avstander til spesifikke punkter i objektet samt ytterligere visuell informasjon relatert til objektet sett fra et annet utsnitt og/eller annen lokasjon. 2. Fremgangsmåte i henhold til krav 1, k a r a k t e r i s e r t v e d at den andre visuelle informasjonen relatert til nevnte objekt videre omfatter retning og/eller koordinater til punkter i objektet i det andre visningsvinduet Fremgangsmåte i henhold til krav 1, k a r a k t e r i s e r t v e d at avstander til spesifikke punkter i det fremviste objektet i det andre visningsvinduet blir bestemt ved å bruke fokusavstand til kameraet. 4. Fremgangsmåte i henhold til krav 1, k a r a k t e r i s e r t v e d at avstander til spesifikke punkter i det fremviste objektet i det andre visningsvinduet blir bestemt ved å bruke laser skanning.. Fremgangsmåte i henhold til krav 2, k a r a k t e r i s e r t v e d at nevnte koordinater er linket til et referansesystem for objektet som skal fremvises Fremgangsmåte i henhold til et av de foregående kravene, k a r a k t e r i s e r t v e d å lage en 3D-modell av objektet fremvist basert på den andre visuelle informasjonen, og hvor dette utføres ved å bruke laserskanning for å etablere koordinater til objektet.

11 7. Fremgangsmåte i henhold til et av de foregående kravene, k a r a k t e r i s e r t v e d at den visuelle informasjonen fremvist i det andre visningsvinduet fremvises i sanntid.

12 1 / 3 Fig. 1 Fig. 2

13 2 / 3 Fig. 3

14 3 / 3 Fig. 4