Sceneforståelse for ubemannede kjøretøy

Transkript

1 .. Sceneforståelse for ubemannede kjøretøy Et ubemannet kjøretøy (Unmanned Ground Vehicle UGV), som på egen hånd skal kunne ta seg frem både på vei og i terreng, må være utrustet med sensorer for å skaffe seg oversikt over omgivelsene. Her er det mest aktuelt å bruke et sett av kameraer kombinert med en laserscanner (LADAR). Ved hjelp av informasjon fra disse sensorene skal man bygge opp en beskrivelse av terrenget omkring kjøretøyet, og kartlegge alle objekter i nærheten, bl.a. personell og andre kjøretøy. Målet er å komme frem til en modell av scenen, som angir hvor terrenget er kjørbart (eventuelt grad av kjørbarhet) og hvor det er hindringer som må unngås. Hensikten er å bruke denne informasjonen til lokal ruteplanlegging. Ved kjøring på vei kan farge- og teksturinformasjon fra enkeltkameraer være tilstrekkelig til å skille veibanen fra omgivelsene, mens det ved kjøring i terreng vil være nødvendig å fremskaffe høydedata (tredimensjonal informasjon) for å finne helningen på terrenget og ruheten til overflaten, detektere vegetasjon av ulik type osv. Dette kan oppnås ved bruk av flere kameraer ved å danne stereobilder mellom par av kameraer, slik at man derved kan finne avstanden og retning til et stort antall punkter i terrenget. Dette danner grunnlaget for en tredimensjonal beskrivelse av scenen, som gir bedre mulighet til å kategorisere terrenget i ulike grader av kjørbarhet. Avstandsinformasjon kan også skaffes ved å danne stereopar mellom bilder fra samme kamera på forskjellig tidspunkt. I tillegg vil det være nyttig å bruke avstandsmålinger fra LADAR, dels for å underbygge og komplettere målingene fra kameraene, dels for å dekke situasjoner der det er vanskelig å oppnå gode stereomålinger. LADAR kan også brukes til å «se» gjennom vegetasjon for å karakterisere bakken under, og bl.a. detektere hindringer som er skjult for kameraene. Sensorfusjon mellom kameraer og LADAR er derfor svært aktuelt. Det er rom for flere masteroppgaver innenfor dette tema: Masteroppgave 1: Terrengkarakterisering ved hjelp av kamerainformasjon Oppgaven består i å karakterisere terreng i ulike grader av kjørbarhet ved hjelp av informasjon fra kameraer montert på et ubemannet kjøretøy. Det kan være aktuelt å se på metoder som beregner 3Dstrukturen til scenen ut fra bilder (Structure from Motion) fra ett eller flere kameraer. Det er også aktuelt å benytte teknikker fra maskinlæring til å estimere kjørbarheten ut fra den innhentede terrenginformasjonen, dvs. høydedata, overflategradienter, farge og tekstur. En mulighet kan være å prøve med såkalt dyp læring for å skille mellom veier og ulike terrengtyper utenfor vei. Masteroppgave 2: Terrengkarakterisering ved hjelp av LADAR Oppgaven består i å karakterisere terreng i ulike grader av kjørbarhet ved hjelp av laserscanner (LADAR) montert på et ubemannet kjøretøy. Oppgaven vil dels bestå i en geometrisk del for å konvertere lasermålingene til en tredimensjonal beskrivelse av scenen, dels en analysedel for å karakterisere terrenget i ulike grader av kjørbarhet, basert på LADAR-informasjon. Også her kan det være aktuelt å prøve ulike metoder fra maskinlæring, inkludert dyp læring. Masteroppgave 3: Sensorfusjon Kameraer og LADAR Oppgaven består i å prøve ut metoder for fusjon av informasjon fra kameraer og LADAR, med tanke på å komme frem til en mer robust og utfyllende scenebeskrivelse, som underlag for lokal

2 2 ruteplanlegging. Fusjon kan foretas på ulike nivåer. En mulighet er å slå de geometriske målingene fra Ladar og kameraer sammen, slik at de to sensortypene kan komplettere hverandre og gi en tettere og mer nøyaktig punktbeskrivelse av terrenget. En annen mulighet er å fusjonere på egenskapsnivå ved å kombinere geometrisk informasjon (høyde, helning, ) fra begge sensortyper med andre overplateegenskaper (farge, ruhet/tekstur, ) avledet fra kamerabildene. Kontaktperson: Forsker Idar Dyrdal Epost idar.dyrdal@ffi.no Tlf

3 Sceneforståelse for ubemannede kjøretøy Idar Dyrdal FFI

4 Masteroppgaver - Sceneforståelse Oppgaver: Terrengkarakterisering ved hjelp av kamerainformasjon Terrengkarakterisering ved hjelp av LADAR Sensorfusjon Kameraer og LADAR Målsetting: Skaffe oversikt over omgivelsene Finne kjørbare områder Finne hindringer Finne objekter (personell, kjøretøyer mm.)

5 Terrengkarakterisering ved hjelp av kamerainformasjon 3D-beskrivelse fra f.eks. stereo Segmentering (farge, tekstur, intensitet)

6 Terrengkarakterisering ved hjelp av LADAR 3D-beskrivelse fra LADAR Karakterisering av flathet/kjørbarhet

7 Sensorfusjon Kameraer og LADAR