Bilder kommer fra mange kilder Mer enn bare et kamera (Publisert versjon, inneholder bare FFIs egne bilder.) Torbjørn Skauli og Trym Haavardsholm Optisk avbildning - et felt i forandring Hva kan et kamera egentlig se? - Litt fysikk. Belysning Prosessering av bildedata Kamera Reflektert lys Objekt Kameraer og bildesensorer Varmestråling Nye muligheter for Forsvaret 1
Lysets spektrum: Ultrafiolett (VIS) Synlig Nær-IR (NIR) Kortbølge- IR (SWIR) Mellombølge-IR (MWIR) Termisk IR Langbølge-IR (LWIR) Radio Reflektert sollys Varmestråling Et digitalt bilde: resultat av en lang signalkjede Belysning Objekt Atmosfære Optikk Bildesensor Digitale data Naturlig eller kunstig Refleksjon, evt. utstråling Absorpsjon, spredning Fokusering 173 Fra lys til elektrisk signal 2
Bilder og piksler Bilder og piksler Bilder og piksler Bilder og piksler 3
Bilder og piksler Bilder er enkle å regne på! - Bilder er enkle å regne på! Forskjell mellom nabopiksler - = 4
Forskjell mellom nabopiksler Horisontale forskjeller Vertikale forskjeller Kanter 5
Bildesensorer: rask teknologisk utvikling Rask forbedring av ytelse, drevet av massemarkeder Sensorteknologi Nye teknologier gir billige kameraer for alle bølgelengder Nye typer systemer blir mulige Bildesensorer er strategisk viktige nøkkelkomponenter Gigapixel-kamera: ser alt, alltid Gigapixel-kamera: ser alt, alltid DARPA AWARE / Duke university 150 små kameraer med felles linse 1.5 gigapixel DARPA AWARE / Duke university 150 små kameraer med felles linse 1.5 gigapixel 6
Ny teknologi i små satellitter: høy ytelse, lav pris Små satellitter basert på masseproduserte komponenter Eksempler: Skybox imaging: 24 satellitter, 0.9 m oppløsning Planet labs: 131 satellitter, 5 m oppløsning, daglig dekning Billige termiske kameraer (et tveegget sverd) Ny teknologi for termiske kameraer gir sterkt redusert effektforbruk og pris Potensial for svært gode og lette termiske kameraer Tilgjengelig for alle typer aktører i en konflikt FFI utreder konsepter for havovervåkning med en liten optisk satellitt Nattbriller med digital video Lysets spektrum: Dagens nattbriller bruker gammel analog teknologi (lysforsterkerrør). Ultrafiolett (VIS) Synlig Nær-IR (NIR) Kortbølge- IR (SWIR) Mellombølge-IR (MWIR) Termisk IR Langbølge-IR (LWIR) Radio Neste generasjon: digitalt lavlyskamera og termisk kamera Mulighet for å sende og motta video Elektronisk bildeforbedring Reflektert sollys Varmestråling Utfordringer: størrelse, vekt, pris, tilgjengelighet 7
Kortbølge-IR (SWIR) - en lite brukt del av spekteret Teknologier for spektral avbildning: utnytter informasjon i lysets spektrum Kortbølge-IR Synlig lys De lengste bølgelengdene i dagslyset, fra 1 til 2.5 mikrometer Bedre sikt i røyk Nye typer kontraster Mulighet for skjult aktiv belysning Lysets spektrum er et material-fingeravtrykk SYSIPHE - verdens beste hyperspektrale kamerasystem Fransk-norsk utviklingsprosjekt 3,0 Sollys 100 b) Refleksjon (farge) 3,0 c) Mottatt spektrum Hyperspektral avbildning i alle spektralbånd Lysstyrke Belysning (relativ) 2,5 2,0 1,5 1,0 0,5 Reflektans (%) (%) 80 60 40 20 Lysstyrke Mottatt lys (relativ) 2,5 2,0 1,5 1,0 0,5 Forskningssystem for både militært og sivilt bruk 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde (mikrometer) ( m) 0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde( m) (mikrometer) 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde( m) (mikrometer) 8
Analyse av spektralbilder x y λ Hyperspektralt bilde Gjenkjenning med spektral signatur Reflektans Spektral signatur lilla Honda Civic 0.25 0.2 0.15 0.1 0.05 Hyperspektrale piksler Anomalideteksjon 0 400 500 600 700 800 900 1000 Bølgelengde (nanometer) Relative light intensity 10 5 c) Vehicle Soil Vegetation 0 400 500 600 700 800 900 1000 Wavelength (nanometers) Bil Jakke Gjenkjenning med spektral signatur Georeferering 0.25 Spektral signatur lilla Honda Civic 0.2 Reflektans 0.15 0.1 0.05 0 400 500 600 700 800 900 1000 Bølgelengde (nanometer) 9
Kamerageometri fra navigasjon Kamerageometri fra navigasjon Bildedekning 10
Bildedekning Kartinformasjon i bildet Geometri fra bildekorrespondanser Geometri fra bildekorrespondanser Hvordan finne korrespondanser? Relativ posisjon og orientering Relativ posisjon og orientering 11
Tydelige hjørner Tydelige hjørner Tydelige hjørner Tydelige hjørner 12
200 400 600 800 1000 1200 200 400 600 800 1000 1200 1400 1600 1800 Bilde 1 Bilde 2 200 400 600 800 1000 1200 200 400 600 800 1000 1200 1400 1600 1800 Bilde 2 Bilde 3 21.09.2015 Korresponderende punkter i bildesekvenser Bildebasert navigasjon Bildesekvens med deteksjon av gjenkjennelige områder i scenen: Funn av korresponderende punkter i bildesekvensen: NASA Mars Exploration Rovers Eksempel: Samregistrering av bilder Eksempel: Samregistrering av bilder 13
Eksempel: Samregistrering av bilder Eksempel: Samregistrering av bilder Bildemosaikk FFI-konsept for kompakt multifunksjonskamera Linse Filter Bildesensor Kompakt og billig sensor for spektral avbildning Mulighet for å kartlegge store områder fra en liten drone Patenteres av FFI 14
Testflygning Multispektralt bilde med 6 bølgelengdebånd 450-515 nm B 515-570 nm G 570-625 nm Y 625-685 nm R 685-745 nm IR1 745-900 nm IR2 RGB fargebilde "IR-GB" framhever vegetasjon Transmission (%) 100 90 80 70 60 50 B G R 40 30 20 10 0 400 500 600 700 800 900 1000 Wavelength (nm) Transmission (%) 100 90 80 70 60 50 40 B G IR 30 20 10 0 400 500 600 700 800 900 1000 Wavelength (nm) 15
3D-avbildning med laser-radar Avbildning i 3D Måler flytiden for en reflektert laserpuls (i lysets hastighet!) Bygger opp en "sky" av punkter i 3D Beregne avstand fra kamera 3D rekonstruksjon fra bilder kan gjøres automatisk, passivt og monokulært Relativ posisjon og orientering 16
Triangulerte punkter fra bilder gir farge og sammenheng 3D-overflate Georeferert 3D modell Kartrett ortofoto fra skråbilder 17
Kartrett ortofoto fra skråbilder Kartrett ortofoto fra skråbilder 3D-analyse Skip 18
La maskinen lære selv! Gjenkjenning med dyp læring La maskinen lære selv! Gjenkjenning med dyp læring «Skip» «Skip» La maskinen lære selv! Gjenkjenning med dyp læring La maskinen lære selv! Gjenkjenning med dyp læring Millioner av parametere «Elg» Millioner av bilder Tusener av klasser Maskinlærte egenskaper: 19
La maskinen lære selv! Gjenkjenning med dyp læring Gjenkjenning med dyp læring «Stormpanservogn»? «Militært kjøretøy»? «Kjøretøy»? «Person»? «Trusselsituasjon»? «Elg»? ImageNet LSVRC-2015: <5% feil på 100k bilder, 1k klasser Microsoft, Google, Baidu får bedre resultater enn mennesker 20
Eksempel: Deteksjon av kjøretøy Konklusjon: Vi må bruke teknologiens muligheter til å utnytte informasjonen lyset bærer med seg Forsvarets sensorer må ha oppdatert teknologi Sensordata må utnyttes best mulig Oppdaterte sensorer gir størst mulig nytteverdi av eksisterende og nye plattformer Vi trenger prosesser for å ta i bruk ny teknologi raskt 21