Erfaringer med digitale kamera for flyfotografering

Erfaringer med digitale kamera for flyfotografering Leif Erik Blankenberg, Terratec AS leb@terratec.no Fagdag om omløpsfotograferingen, Gardermoen, 8. mai 2014

Disposisjon Introduksjon Generelt om utviklingen av digitale kamera for flyfotografering Beskrivelse av kamerateknologien fra Vexcel Imaging(Microsoft) Virkemåten til kameraet. Utviklingen av bildeprosesseringsprogramvaren. Problemer knyttet til den geometriske stabiliteten til de digitale kameraene Systematiske feil / Bildedeformasjoner Spesielle utfordringer knyttet til gjennomføringen av omløpsprosjekt

Introduksjon De første digitale (storformat) kameraene for flyfotografering ble lansert på ISPRS kongressen i Amsterdam 2000 ADS40 fra Leica Geosystems DMC fra Z/I Imaging VexcelImaginglanserte sitt UltraCamDkamera i 2003 LeicaGeosystem(Hexagon), Z/I Imaging(Hexagon) og VexcelImaging(Microsoft) er i dag de 3 største leverandørene av digitale storformat kameraer for flyfotografering. ADS40 (2000) DMC (2000) UltraCamD(2003)

Introduksjon, forts. Terratec(Fjellanger Widerøe) gjennomførte de første testflyvningenemed digitale kamera i Norge i 2002 (ADS40) og 2003 (DMC) Tok i bruk VexcelUltraCamD kamera i 2004 Siste fotografering med filmkamera ble gjennomført i 2007 Blom Geomaticsanskaffet og tok i bruk et VexcelUltraCamDkamera i 2005 Siste fotografering med filmkamera ble gjennomført i 2007 Vexcel s kamerateknologi er dominerende i Norge Blom, COWI, MercatorKart (BSF Swissphoto) og Terratecbenytter Vexcelkameraer for fotografering i Norge. På verdensbasis er det solgt ca 500 digitale (storformat) flykamera

Fordeler med digitale kamera i forhold til filmkamera Direkte digitalt opptak Ingen kostnader til film Ingen filmfremkalling (ikke behov for fotolab) Ingen bildeskanning Ingen støvproblemer (fra skanningen) Skarpere bilder (ingen kornighet) Høyere radiometrisk oppløsning (12 bit) Mulig å fotografere i dårligere lysforhold Bedre innsyn i skyggepartier Større suksess i automatiske prosesser (f.eks. bildematching) Samtidig opptak av S/H, farge (RGB) og IR

To kamerateknologier (Leica ADS) (Z/I Imaging DMC og Vexcel UltraCam) 3 eller flere linjesensorer for S/H opptak 4 eller flere linjesensorer for multispektralt opptak (R+G+B+IR) En linse (et bildeplan) 1 9 CCD brikker ( framearrays ) for S/H opptak 4 CCD brikker ( framearrays ) for multispektralt opptak (R+G+B+IR) Flere linser (5-8)

De første digitale kameraene for flyfotografering

Videreutviklingen av ADS kameraet fra Leica Geosystems Forbedret oppløsning ADS40: 12.000 pixler ADS100: 20.000 pixler Stereo fargeopptak ADS40 (2001) Kortere integrasjonstid Kan dermed fly lavere og få bedre oppløsning. Store forbedringer i prosesseringsprogramvaren Mye raskere Mer komplett ADS100 (2013)

Videreutviklingen av DMC kameraet fra Z/I Imaging Forbedret bildeoppløsning DMC: 7.680 x 13.824 DMC-II 250: 14.656 x 17.216 DMC (2001) DMC-II 250 (2011) Kun én linse og én CCD for det pankromatiske opptaket Den første utgaven av DMC kameraet benyttet 4 linser og 4 CCD ersom måtte «sys sammen» til ett bilde i bildeprosesseringen. Forbedret hardware og software

Videreutviklingen av UltraCam kameraet fra Vexcel Imaging Forbedret bildeoppløsning UCD: 7.500 x 11.500 Eagle: 13.080 x 20.010 UltraCamD(2003) UltraCam Eagle (2011) Samme opptaksprinsipp 4 linser og 9 CCD erfor det pankromatiske opptaket. 4 linser og 4 CCD erfor farge opptakene. Mer robust og kompakt hardware Store forbedringer i programvaren

Utviklingen av Vexcel s kamerateknologi 2003 2006 2008 2011

Virkemåten til Vexcel UltraCam kameraene Sensor Unit (UCX/UCXp) Master Cone 4 Color Cones Panchromatic Cones

UltraCam Pankromatisk (sort/hvitt) opptak Sensor Unit (UCX/UCXp) Panchromatic Large Format Image 4 Cones 4 Lenses 4 Focal Planes 9 CCD Sensor Arrays Focal length: 100.5 mm (UCX/UCXp)

UltraCam Pankromatisk (sort/hvitt) opptak Master Cone (Cone #0) with 4 CCDs

UltraCam Pankromatisk (sort/hvitt) opptak Cone #1 with 2 CCDs

UltraCam Pankromatisk (sort/hvitt) opptak Cone #2 with 2 CCDs

UltraCam Pankromatisk (sort/hvitt) opptak Cone #1 with 2 CCDs

UltraCam Pankromatisk (sort/hvitt) opptak Syntopic exposure- Exposure at the same position FD Time t1 (t1 + 0 millisecond) Start Exposure Cone 3

UltraCam Pankromatisk (sort/hvitt) opptak FD Time t2 (t1 + ~1 millisecond) Start Exposure Cone 0

UltraCam Pankromatisk (sort/hvitt) opptak FD Time t3 (t1 + ~2 millisecond) Start Exposure Cone 2

UltraCam Pankromatisk (sort/hvitt) opptak FD Time t4 (t1 + ~3 millisecond) Start Exposure Cone 1

UltraCam Pankromatisk (sort/hvitt) opptak FD Full Frame All 4 Cones One single perspective image

UltraCam Fargeopptak Multispectral (RGB+NIR) Image 4 Cones 4 Lenses 4 Focal Planes 4 CCD Sensor Arrays Focal length: 33 mm (UCX/UCXp)

UltraCam Fargeopptak Multispectral Cones # 4, 5, 6, 7 with 1 CCD each Full Scene

Dataoverføring fra flyet til kontoret Main Office Data Unit Download & Complete Processing Pipeline Flying The raw image data is recorded to a Data Unit (DU) during the flight The DU is connected to a docking station in the office, and the raw data is copied to the server The next step is to process the raw image data

Prinsippene for UltraCam bildeprosessering («fremkalling») Stitching process (post-processing) The full frame panchromatic image is produced by stitching the 9 sensor elements together Done in the post-processing software Tie points are automatically measured in the overlap areas The tie point measurements are used to determine the transformation parameters The result of the stitching process is one full frame panchromatic image (high resolution)

Prinsippene for UltraCam bildeprosessering («fremkalling») Final (high resolution) color image is produced by using pan-sharpening The full frame (high resolution) panchromatic image is merged with the (low resolution) RGB/IR bands. High resolution color images are produced by using pan-sharpening Pan-sharpening ratio 1:3 RGB CIR RGB+IR 8 or 16 bits per band

UltraCam bildeprodukter Level-0 Raw data from the camera (16 bit) Input to the post-processing software Level-2 Full frame panchromatic images (after stitching) Low resolution RGB, CIR and/or RGB+IR images (by combing RGB/IR bands) 16 bit radiometric resolution TIFF or DFI image format Level-3 Final image products (RGB, CIR and/or RGB+IR) after pan-sharpening 8 or 16 bits per band TIFF format

Utviklingen av Vexcel s programvare

OPC (Office Processing Center) OPC V3.5 OPC was Vexcel s first postprocessing software Used for image processing only (Lvl-0 to Lvl-2 and Lvl-2 to Lvl-3) Limited functionality Sequential processing

Utviklingen av Vexcel s programvare 2006: Microsoft acquired Vexcel Imaging

UltraMap 1.x New and improved user interface for image visualization OPC V3.5 UltraMap No zooming of thumbnails Only matrix view of thumbnails Seamless zooming from thumbnail to full Level-2 resolution Seperate thumbnail and image viewer Geo-positioned visualization

Distribuert prosessering UltraMap1.x had a new framework that allowed distributed processing The standard license allows simultaneous processing on 32 cores Improved processing speed dramatically Easy to use and reliable

Utviklingen av Vexcel s programvare

UltraMap 2.x Improved stitching algorithm Old algorithm: Layer Transformation (using only PAN overlaps) + + + = New Monolithic stitching Using PAN overlaps and green color channel + =

UltraMap 2.x

UltraMap 2.x UltraMap AT

UltraMap 2.x

UltraMap 2.x Project Based Color Balancing (PBCB) Project Based Color Balancing (PBCB) handles: Different exposures Different flying times External influence (e.g. hotspot, atmosphere) How does it work? Pull images of a project together radiometrically based on redundancy Radiometric tie pointing and adjustment Estimate optimal model-based correction parameters Advantages The radiometric corrections are applied to the Lvl-3 images Makes ortho-mosaicing in 3rd party software packages a lot easier

UltraMap 2.x Project Based Color Balancing (PBCB) Before After

Utviklingen av Vexcel s programvare

UltraMap 3.x Workflow New products GPU or CPU processing

UltraMap 3.x Automatisk generert DSM

UltraMap 3.x Automatisk generert DSM

UltraMap 3.x Automatisk generert True Ortofoto

Noen kommentarer om den nye funksjonaliteten i UltraMap 3.x Programvaren håndterer bare bilder fra Vexcel kameraer Det er ikke mulig å importere bilder fra andre kamerasystem For å generere DSM, Ortofotoog True Ortofotomå alle foregående delprosesser være gjort i UltraMap F.eks. aerotriangulering og bildebalansering Fordel å starte med rådata (Lvl-0 bildedata) og kjøre gjennom hele prosessen Genereringen av DSM, Ortofotoog True Ortofotoer en helautomatisk prosess («blackbox») Veldig få parametervalg. Dette er bra når alt fungerer, mindre bra om noe går galt.

Problemer knyttet til den geometriske stabiliteten til de digitale kameraene Bakgrunn/observasjoner: Ved GNSS/INS støttet aerotriangulering estimeres det et sett med «shiftparametere» per flyvning for å kompensere for systematiske avvik i de GNSS bestemte projeksjonssentrene. Avvikene, som «shiftparameterne» skal kompensere for, skal i teorien være konstante for en flyvning. Størrelsen på «shift parameterne» har ofte vært unormalt store. Det er ofte nødvendig å inkludere flere sett med «shift parametere» per flyvning. Residualene i blokkutjevningene indikerer at det i mange tilfeller er systematiske deformasjoner i bildene. Disse observasjonene kan tyde på at kalibreringen til kameraene ikke er stabil.

Mer om den geometriske stabiliteten til de digitale kameraene Med bakgrunn i dette tok Terrateci fjor initiativet til et prosjekt for blant annet å gjennomgå kamerakalibreringsrutinene til Vexcel. Vexcel og GeoDelta(fra Nederland) er utøvende parter i prosjektet. Resultater så langt i prosjektet: Det er ingenting som tyder på at det er noe galt med kamerakalibreringsrutinene. Analyse av data fra flere flyvninger viser at de systematiske høydefeilene til projeksjonssentrene er korrelert med temperaturvariasjoner i kameraet. Vexceljobber med å implementere en forbedret modell for temperaturkorreksjon i bildeprosesseringsprogramvaren.

Temperaturvariasjon i kameraet under fotograferingen av en blokk CCD-temperatur Diagramtittel 32,0 22,0 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 00-00 00-01 00-02 00-03 01-00 01-01 02-00 02-01 03-00 04-00 05-00 06-00 07-00 Diagramtittel Linse-temperatur 27,0 22,0 17,0 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 00-00 01-00 02-00 03-00 04-00 05-00 06-00 07-00

Spesielle utfordringer knyttet til fotograferingen på omløpsprosjekt Store prosjekt Lange striper For å få god nøyaktighet fra GNSS/INS systemet bør ikke stripelengden overstige 15 20 minutters flytid. Det kan derfor være nødvendig å bryte opp de lengste stripene (legge inn en ny IMU initialisering). Stor flyhøyde Noen flytyper bruke lang tid på å komme opp i riktig høyde. Flyvning med oksygen når det benyttes fly uten trykkabin. Værforholdene Det er sjeldent «fotovær» i hele prosjektområdet. Striper må ofte deles opp på grunn av værforholdene. Store høydeforskjeller i terrenget Gjør flyplanleggingen vanskeligere.

Eksempel på et omløpsprosjekt Stort prosjekt 5300 bilder, GSD = 25 cm Lange striper Krevende værmessig Store høydeforskjeller i terrenget Mange av stripene er delt opp for å få riktig GSD. Ekstra striper i de dypeste dalene

Konsekvenser av at fotografering er utfordrende Det kreves mange flyvninger for å gjennomføre fotograferingen I noen tilfeller har det også vist seg vanskelig å gjennomføre prosjektene innenfor én fotosesong (et år). Striper (som var planlagt å fotograferes sammenhengende) må av og til deles opp på grunn av værforholdene. Ofte må flere kamera benyttes på et og samme prosjekt. Mange fotodager, ofte spredt i tid, gjør det er vanskelig å produsere bilder med homogene farger. Dette påvirker den visuelle kvaliteten på ortofotoene. Aerotrianguleringen blir krevende.

Eksempel på et omløpsprosjekt med mange flyvninger Hver prikk representerer et bilde Hver farge representerer en flyvning Det er 11 flyvninger Alt ble fotografert på én sesong Det ble benyttet to forskjellige kamera UltraCamEagle og UltraCam Xp.

Utfordringer ved aerotriangulering av omløpsprosjekt Fragmenterte blokker Mange fotodatoer, ofte spredt i tid (i noen tilfeller fordelt på flere år) Flere kamera Striper er blir ikke fotografert sammenhengende (pga. værforholdene) Dette er momenter som vanskeliggjør den automatiske matchingen av sammenbindingspunkt og medfører mer manuelt arbeid. Det må estimeres mange sett med «shift parametere» Vanligvis estimeres ett sett med «shiftparametere» per flyvning for å kompensere for systematiske avvik i de GNSS bestemte projeksjonssentrene. Estimering av «shiftparametere» krever at man har kjentpunkt innenfor hvert delområde (minimum ett kjentpunkt, men helst flere for å ha kontroll). Varierende kvalitet på kjentpunktene Tidligere ble det benyttet naturlige kjentpunkt (varder, etc). Nå signaleres kjentpunktene, men det er fortsatt nødvendig å supplere med naturlige kjentpunkt. Naturlige kjentpunkt er vanskelig å måle. Krever erfaring. Måling i stereo nødvendig. I enkelte blokker er det mye sjø, noe som svekker geometrien i blokkene. Systematiske feil i kameraet gir større (negative) effekter ved store blokker, stor flyhøyde og ved store høydeforskjeller i terrenget.

Noen betraktninger om bildeoverlapp Bildematchingsalgoritmene som brukes til automatisk generering av overflatemodeller (DSM) har blitt kraftig forbedret i de siste årene. Ny metoder, som f.eks. Semi-Global Matching (SGM), har blitt implementert i programvaren som benyttes for flybilder. De nye metodene gir høyere punkttetthet (opp mot ett punkt per pixeli bildet). «Single pixel correlation» er derfor et begrep som benyttes for disse metodene.. De nye bildematchingsalgoritmene fungerer best på bilder med stor overlapp 80% lengdeoverlapp (overlapp innad i hver flystripe) er anbefalt. Tradisjonelt har 60% lengdeoverlapp vært benyttet. 60% sideroverlapp (mellom striper) er ønskelig, særlig i by-områder, for å bedre innsynet i alle deler av terrenget. Tradisjonelt har 20% sideoverlapp vært benyttet.

Takk for oppmerksomheten! Leif Erik Blankenberg, Terratec AS leb@terratec.no