FFIs hyperspektrale demonstratorsystem med CUDA-basert GPU prosessering. Trym Vegard Haavardsholm

Transkript

1 FFIs hyperspektrale demonstratorsystem med CUDA-basert GPU prosessering Trym Vegard Haavardsholm

2 Oversikt Introduksjon til hyperspektral teknologi FFIs demonstrator for hyperspektral måldeteksjon Hyperspektral prosessering på grafikkort

3 Introduksjon: Hyperspektral teknologi Et hyperspektralt bilde inneholder detaljert informasjon om spekteret til det mottatte lyset i hvert piksel Bildene er kuber av data y-posisjon x-posisjon Bølgelengde Lysstyrke (relativ) Spektralt bilde av planter og legomann 10 9 Blomsterpotte 8 Grønn plast Rød plast 7 Gul plast 6 Grønt blad Bølgelengde i nanometer Noen enkeltspektre fra et hyperspektralt bilde

4 Introduksjon: Hyperspektral teknologi 473 nm Gråtonebilde fra utvalgte bølgelengder

5 Introduksjon: Hyperspektral teknologi 547 nm Gråtonebilde fra utvalgte bølgelengder

6 Introduksjon: Hyperspektral teknologi 621 nm Gråtonebilde fra utvalgte bølgelengder

7 Introduksjon: Hyperspektral teknologi 681 nm Gråtonebilde fra utvalgte bølgelengder

8 Introduksjon: Hyperspektral teknologi nm Gråtonebilde fra utvalgte bølgelengder

9 Introduksjon: Hyperspektral teknologi Resultat fra spektral klassifikasjon

10 Introduksjon: Hyperspektral teknologi Resultat fra spektral anomalideteksjon

11 Introduksjon: Hyperspektral teknologi 3,0 2,5 2,0 1,5 1,0 0,5 Belysning 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde (μm) Refleksjon 3,0 2,5 2,0 1,5 1,0 0,5 Målt lys 0,0 0,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde (μm) Fjernmåling av reflektert lys: Belysningen som reflekteres Refleksjonsegenskapene bestemt av materialsammensetningen i overflaten Spredning i atmosfæren ,4 0,5 0,6 0,7 0,8 0,9 Bølgelengde (μm)

12 Introduksjon: Hyperspektral teknologi Gjenstander har en materialavhengig spektral signatur x y λ Måldeteksjon: Et søk etter spesielt interessante gjenstander Metoder: Anomalideteksjon spektrale signaturer som er betydelig forskjellig fra den typiske bakgrunnen Signaturdeteksjon spektrale signaturer som er konsistente med kjente signaturer Relative light intensity Soil 10 Vehicle 5 Vegetation Wavelength (nanometers)

13 FFIs demonstrator: Hovedfunksjoner og ambisjoner Hyperspektral måldeteksjon Georeferering Bildeoppretting Sanntidsprosessering Operatørinteraksjon Systemstyring Styring av søk Deteksjonsanalyse Milepæler: Våren 2007: bakkebasert oppsett ferdig Slutten av 2007: sanntidsprosessering demonstrert Sommeren 2008: første flyvning med luftbasert oppsett Våren 2009: system ferdig Sommeren 2010: deltakelse i internasjonal feltmåling

14 FFIs demonstrator: Bakkebasert oppsett Prototype og testsystem for den videre utviklingen Består av: VNIR hyperspektralt kamera Høyoppløst kamera (20x zoom) Dreiebord for horisontal skanning av scenen Sensoroppsettet er ferdig og har blitt brukt i feltmålinger Prosesseringen foregår i høynivåkode etter at bildet er tatt opp

15 FFIs demonstrator: Luftbasert oppsett Består av: VNIR hyperspektralt kamera Høyoppløst kamera (20x zoom) GPS mottaker Treghetsnavigasjon Mulig: SWIR hyperspektralt kamera Plattform: Samarbeid med NAKs Flytjeneste Cessna 172, 4-seters småfly Modifisert med kameraluke under fremre passasjersete Ambisjon: Bidra ved søk etter savnede

16 FFIs demonstrator: Prosessering Måldeteksjon: Anomalideteksjon Signaturdeteksjon Statistiske metoder basert på blandingsmodeller Blanding av multivariate normalfordelinger: g pl ( ) = πφ( L; θ ) i= 1 i i πi φ( L ; θ ) i Vekter ikke-negative størrelser der π i = 1 Multivariate normalfordelinger g i= 1 Kan approksimere vilkårlige fordelinger

17 FFIs demonstrator: Prosessering: Anomalideteksjon Lage modell for bakgrunnen (alt som ikke er mål) Modellen bygges på grunnlag av alle måledataene antar at mål utgjør en forsvinnende liten del av bildet Detektere gjenstander som ikke er konsistente med modellen Prosessering: Tilpasse av blandingsmodell for bakgrunnen Sammenligne alle piksler med bakgrunnsmodellen Hyperspektralt bilde Bakgrunnsmodell Sannsynlighetsmål for anomali

18 FFIs demonstrator: Prosessering: Signaturdeteksjon Lage modell for signaturvariasjon (offline) Målte refleksjonsegenskaper fra en gjenstandsklasse Fysisk modell for det målte spekteret fra en gjenstand Monte Carlo simuleringer basert på antagelser om avbildningsforholdene Statistisk representasjon med blandingsmodell Detektere gjenstander som er konsistente med signaturmodellen Prosessering: Sammenligne alle piksler med signaturmodellen ,4 0,5 0,6 0,7 0,8 0,9 Li( λ ) = KiLs0 ( λ ) + FLd0 ( ) (1 ) b ( ) d ( ) ( ) i i λ + F i i L λ r i λ τi λ + L ( λ ) + L ( λ ) + n ( λ) ui ai i { L ( 1 λ θ, ),, (, ) 1 rd LN λ θn rd } Hyperspektralt bilde Signaturmodell Sannsynlighetsmål for signatur

19 FFIs demonstrator: Prosessering Kombinert signaturdeteksjon og anomalideteksjon Signaturer Bakgrunn Anomali

20 Tungregning på grafikkort: Introduksjon Ytelsen til grafikkprosessorer (GPUer) øker raskere enn ytelsen til hovedprosessorer (CPUer) I det siste har det blitt mye enklere å utnytte regnekraften på grafikkort til generell prosessering Programmerbare GPUer Softwaregrensesnitt dedikert til generell prosessering Varianter av standard C for GPU-programmering GPU-basert prosessering er attraktivt for beregninger karakterisert av parallellitet og høy aritmetisk kompleksitet

21 Tungregning på grafikkort: CUDA Compute Unified Device Architecture Hardware og software arkitektur for generell prosessering på nye Nvidia grafikkort Hardware drivere Software biblioteker C-basert programmeringsspråk Nvidia garanterer at alle deres nye skjermkort skal støtte CUDA Mer informasjon:

22 Tungregning på grafikkort: Blandingsmodellprosessering i sann tid Prosessering basert på blandingsmodeller er regnekrevende Single Instruction, Multiple Data (SIMD) Hver tråd i gjør det samme på forskjellig data Passer veldig godt for pikselvis prosessering i hyperspektrale bilder Demonstrasjon av prosessering i sann tid: Processing rate (MPixel/s) CPU GPU-CH GPU-SP Data rate Number of bands

23 Konklusjon FFI er i ferd med å bygge et demonstratorsystem for måldeteksjon i hyperspektrale bilder Demonstratorsystemet ser ut til å være det første i sitt slag i Europa Demonstratoren implementerer deteksjonsmetoder utviklet ved FFI basert på blandingsmodeller Systemet ser også ut til å være det første til å demonstrere sanntidsprosessering med blandingsmodeller i hyperspektrale bilder Sanntidskravet er tilfredsstilt ved å utnytte regnekraften i vanlige grafikkort ved bruk av CUDA Demonstratoren skal etter planen ferdigstilles våren 2009