Mer enn bare et kamera (Publisert versjon, inneholder bare FFIs egne bilder.) Bilder kommer fra mange kilder

Transkript

1 Bilder kommer fra mange kilder Mer enn bare et kamera (Publisert versjon, inneholder bare FFIs egne bilder.) Torbjørn Skauli og Trym Haavardsholm Optisk avbildning - et felt i forandring Hva kan et kamera egentlig se? - Litt fysikk. Belysning Prosessering av bildedata Kamera Reflektert lys Objekt Kameraer og bildesensorer Varmestråling Nye muligheter for Forsvaret 1

2 Lysets spektrum: Ultrafiolett (VIS) Synlig Nær-IR (NIR) Kortbølge- IR (SWIR) Mellombølge-IR (MWIR) Termisk IR Langbølge-IR (LWIR) Radio Reflektert sollys Varmestråling Et digitalt bilde: resultat av en lang signalkjede Belysning Objekt Atmosfære Optikk Bildesensor Digitale data Naturlig eller kunstig Refleksjon, evt. utstråling Absorpsjon, spredning Fokusering 173 Fra lys til elektrisk signal 2

3 Bilder og piksler Bilder og piksler Bilder og piksler Bilder og piksler 3

4 Bilder og piksler Bilder er enkle å regne på! - Bilder er enkle å regne på! Forskjell mellom nabopiksler - = 4

5 Forskjell mellom nabopiksler Horisontale forskjeller Vertikale forskjeller Kanter 5

6 Bildesensorer: rask teknologisk utvikling Rask forbedring av ytelse, drevet av massemarkeder Sensorteknologi Nye teknologier gir billige kameraer for alle bølgelengder Nye typer systemer blir mulige Bildesensorer er strategisk viktige nøkkelkomponenter Gigapixel-kamera: ser alt, alltid Gigapixel-kamera: ser alt, alltid DARPA AWARE / Duke university 150 små kameraer med felles linse 1.5 gigapixel DARPA AWARE / Duke university 150 små kameraer med felles linse 1.5 gigapixel 6

7 Ny teknologi i små satellitter: høy ytelse, lav pris Små satellitter basert på masseproduserte komponenter Eksempler: Skybox imaging: 24 satellitter, 0.9 m oppløsning Planet labs: 131 satellitter, 5 m oppløsning, daglig dekning Billige termiske kameraer (et tveegget sverd) Ny teknologi for termiske kameraer gir sterkt redusert effektforbruk og pris Potensial for svært gode og lette termiske kameraer Tilgjengelig for alle typer aktører i en konflikt FFI utreder konsepter for havovervåkning med en liten optisk satellitt Nattbriller med digital video Lysets spektrum: Dagens nattbriller bruker gammel analog teknologi (lysforsterkerrør). Ultrafiolett (VIS) Synlig Nær-IR (NIR) Kortbølge- IR (SWIR) Mellombølge-IR (MWIR) Termisk IR Langbølge-IR (LWIR) Radio Neste generasjon: digitalt lavlyskamera og termisk kamera Mulighet for å sende og motta video Elektronisk bildeforbedring Reflektert sollys Varmestråling Utfordringer: størrelse, vekt, pris, tilgjengelighet 7

8 Kortbølge-IR (SWIR) - en lite brukt del av spekteret Teknologier for spektral avbildning: utnytter informasjon i lysets spektrum Kortbølge-IR Synlig lys De lengste bølgelengdene i dagslyset, fra 1 til 2.5 mikrometer Bedre sikt i røyk Nye typer kontraster Mulighet for skjult aktiv belysning Lysets spektrum er et material-fingeravtrykk SYSIPHE - verdens beste hyperspektrale kamerasystem Fransk-norsk utviklingsprosjekt 3,0 Sollys 100 b) Refleksjon (farge) 3,0 c) Mottatt spektrum Hyperspektral avbildning i alle spektralbånd Lysstyrke Belysning (relativ) 2,5 2,0 1,5 1,0 0,5 Reflektans (%) (%) Lysstyrke Mottatt lys (relativ) 2,5 2,0 1,5 1,0 0,5 Forskningssystem for både militært og sivilt bruk 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde (mikrometer) ( m) 0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde( m) (mikrometer) 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde( m) (mikrometer) 8

9 Analyse av spektralbilder x y λ Hyperspektralt bilde Gjenkjenning med spektral signatur Reflektans Spektral signatur lilla Honda Civic Hyperspektrale piksler Anomalideteksjon Bølgelengde (nanometer) Relative light intensity 10 5 c) Vehicle Soil Vegetation Wavelength (nanometers) Bil Jakke Gjenkjenning med spektral signatur Georeferering 0.25 Spektral signatur lilla Honda Civic 0.2 Reflektans Bølgelengde (nanometer) 9

10 Kamerageometri fra navigasjon Kamerageometri fra navigasjon Bildedekning 10

11 Bildedekning Kartinformasjon i bildet Geometri fra bildekorrespondanser Geometri fra bildekorrespondanser Hvordan finne korrespondanser? Relativ posisjon og orientering Relativ posisjon og orientering 11

12 Tydelige hjørner Tydelige hjørner Tydelige hjørner Tydelige hjørner 12

13 Bilde 1 Bilde Bilde 2 Bilde Korresponderende punkter i bildesekvenser Bildebasert navigasjon Bildesekvens med deteksjon av gjenkjennelige områder i scenen: Funn av korresponderende punkter i bildesekvensen: NASA Mars Exploration Rovers Eksempel: Samregistrering av bilder Eksempel: Samregistrering av bilder 13

14 Eksempel: Samregistrering av bilder Eksempel: Samregistrering av bilder Bildemosaikk FFI-konsept for kompakt multifunksjonskamera Linse Filter Bildesensor Kompakt og billig sensor for spektral avbildning Mulighet for å kartlegge store områder fra en liten drone Patenteres av FFI 14

15 Testflygning Multispektralt bilde med 6 bølgelengdebånd nm B nm G nm Y nm R nm IR nm IR2 RGB fargebilde "IR-GB" framhever vegetasjon Transmission (%) B G R Wavelength (nm) Transmission (%) B G IR Wavelength (nm) 15

16 3D-avbildning med laser-radar Avbildning i 3D Måler flytiden for en reflektert laserpuls (i lysets hastighet!) Bygger opp en "sky" av punkter i 3D Beregne avstand fra kamera 3D rekonstruksjon fra bilder kan gjøres automatisk, passivt og monokulært Relativ posisjon og orientering 16

17 Triangulerte punkter fra bilder gir farge og sammenheng 3D-overflate Georeferert 3D modell Kartrett ortofoto fra skråbilder 17

18 Kartrett ortofoto fra skråbilder Kartrett ortofoto fra skråbilder 3D-analyse Skip 18

19 La maskinen lære selv! Gjenkjenning med dyp læring La maskinen lære selv! Gjenkjenning med dyp læring «Skip» «Skip» La maskinen lære selv! Gjenkjenning med dyp læring La maskinen lære selv! Gjenkjenning med dyp læring Millioner av parametere «Elg» Millioner av bilder Tusener av klasser Maskinlærte egenskaper: 19

20 La maskinen lære selv! Gjenkjenning med dyp læring Gjenkjenning med dyp læring «Stormpanservogn»? «Militært kjøretøy»? «Kjøretøy»? «Person»? «Trusselsituasjon»? «Elg»? ImageNet LSVRC-2015: <5% feil på 100k bilder, 1k klasser Microsoft, Google, Baidu får bedre resultater enn mennesker 20

21 Eksempel: Deteksjon av kjøretøy Konklusjon: Vi må bruke teknologiens muligheter til å utnytte informasjonen lyset bærer med seg Forsvarets sensorer må ha oppdatert teknologi Sensordata må utnyttes best mulig Oppdaterte sensorer gir størst mulig nytteverdi av eksisterende og nye plattformer Vi trenger prosesser for å ta i bruk ny teknologi raskt 21