Gamechanger 3: Maskinsyn - økt presisjon og nye innovasjoner for bedre forståelse av laks?

Transkript

1 TEKMAR Trondheim Gamechanger 3: Maskinsyn - økt presisjon og nye innovasjoner for bedre forståelse av laks? Annette Stahl, Dr.rer.nat SINTEF Fiskeri og Havbruk AS SINTEF Sealab Brattørkaia 17C 7010 TRONDHEIM Teknologi for et bedre samfunn 1

2 Hovedtema 1. Maskinsyn: Avanserte metoder for maskinsyn 2. Kunnskapsoverføring til akvakultur og fiskeri: State-of-the-art bildemateriale Maskinsyn og avbildningsutfordringer Visjon om å etablere verdensledende ekspertise for avbildning og maskinsyn innen fiskeri og akvakultur Teknologi for et bedre samfunn 2

3 Maskinsyn brukes på mange områder TESLA: Autopilotprosjekt - selvkjørende biler med moderne kamera- og radarteknologier [Foto: SCANPIX] Teknologi for et bedre samfunn 3

4 Maskinsyn brukes på mange områder BOSCH: Maskinsyn for bedre drivstoffeffektivitet State-of-the-art metode Vindtunnel: partikkelstrøm rundt en sylinder høyhastighetskamera Bilder av partikler analyseres med maskinsynalgoritmer Avansert metode 4 x mer nøyaktig [Ruhnau, Stahl, et. al (2010)] Teknologi for et bedre samfunn 4

5 Maskinsyn brukes på mange områder Medisinske anvendelser: identifisere Cerebral Parese hos baby Videoanalyse Deteksjon og klassifisering av bevegelse "Optical flow" estimering "Feature extraction" for bevegelsesmønster Statistical pattern recognition [Foto: SCANPIX] Resultat 93.7% korrekt diagnostisering [Stahl, et. al (2012) - Prosjektpartner: NTNU, St. Olavs Hospital] Teknologi for et bedre samfunn 5

6 Ulike plattformer, utstyr og bildemateriale ROV Infrarødimager Sonar Kamera Quadcopter Aerostat Hyperspectralavbilder Teknologi for et bedre samfunn 6

7 Løsninger for maskinsynbaserte utfordringer Mange bilder skal analyseres Design av maskinsynalgoritmer for å finne svar Algoritme: En presis beskrivelse av en endelig serie matematiske operasjoner som skal utføres for å løse et problem. Teknologi for et bedre samfunn 7

8 Kunnskapsoverføring til akvakultur Anvendelser Estimering av biomasse: Antall og størrelse Artsbestemelse og størrelsesfordeling Fôrkontroll og Adferd Overvåkning og analyse av Fiskeadferd, helse og velferd Deteksjon av lus Inspeksjon og verifikasjon av teknisk integritet (Not og annet utstyr) Algoritmer Bildesegmentering Malbasert gjenkjenning Statistisk bildeanalyse Trekkgjenkjenning Bevegelsesklassifisering Overflateanalyse Sporing Gjenkjennelsesbaserte tilnærminger Form- og mønstergjenkj. Teknologi for et bedre samfunn 8

9 State-of-the-art algoritmer [Lee, et al., 2008] [Claussen (2007), SINTEF IKT] [Rosen, et al., DeepVision] Teknologi for et bedre samfunn 9

10 Utfordringer og muligheter til forbedring I virkeligheten må vi håndtere variasjoner i form av: Turbiditet i vann Variasjon i belysning Bevegelige kameraplattformer Fører til bilder som ikke er veldefinerte Flere overlappende 3D objekter som skal detekteres Potensielt rotete og dynamisk bakgrunn Inhomogen belysning som påvirker kontrast og muligheten til å gjenkjenne objekt Optiske begrensninger i form av dybdeavhengig lysabsorpsjon og refraksjon Begrenset utvalg av kamera og utstyr egnet til bruk utenfor lab Ineffektiv databehandling dersom deler av bildematerialet må håndteres manuelt Utfordringer med å sammenlikne og repetere resultater Teknologi for et bedre samfunn 10

11 Maskinsyn muligheter i Merd Fôring Adferd Biomasse Muligheter Begroing Enkeltfisk Not Teknologi for et bedre samfunn 11

12 Se på Adferd Klassifisering av bevegelsesmønster både når fisken fôres og ikke Adferdsanalyse Beslutningsstøtte for Start og stopp av fôring Avdekke helseavvik Stressindikator Kvantifikasjon av reaksjon under operasjoner / bruk av utstyr [Stahl 2015, SFH] Teknologi for et bedre samfunn 12

13 Se på fiskestørrelse Forbedret deteksjon av omriss, segmentering og analyse for beregning av fiskens lengde [Stahl 2015, SFH] Teknologi for et bedre samfunn 13

14 Se på Individ identifikasjon av "fingeravtrykk" Deteksjon av trekk [Stahl 2015, SFH] [Stahl 2015, SFH] Finnegjenkjenning Teknologi for et bedre samfunn 14

15 Se på Not - Autonom inspeksjon (MerdRov) DFKI RIC Bremen, Tyskland DAGON [Duda, Stahl 2015]: Visual Pose Estimation for Autonomous Inspection of Fish Pens MerdROV prosjekt partner: Argus Remote Systems, AS, Lerow AS, Lerøy Midnor, Forskningsrådet/MAROFF Teknologi for et bedre samfunn 15

16 Se på Not Skader på not (MerdRov) [Stahl 2015, SFH] MerdROV prosjekt partner: Argus Remote Systems, AS, Lerow AS, Lerøy Midnor, Forskningsrådet/MAROFF Teknologi for et bedre samfunn 16

17 Se på Not Begroing på not (MerdRov) TODO: VIDEO / DEMO [Stahl 2015, SFH] MerdROV prosjekt partner: Argus Remote Systems, AS, Lerow AS, Lerøy Midnor, Forskningsrådet/MAROFF Teknologi for et bedre samfunn 17

18 Se på Atferd Overflateaktivitet og deteksjon av hopp [Video: Vedran Jovanovic, University of Banja Luka / Maritime Robotics / SINTEF] SENSODRONE prosjekt partner: Simicon, Maritime Robotics AS, Kongsberg og Semekor AS, Forskningsrådet/MAROFF Teknologi for et bedre samfunn 18

19 Se på Fôr - Fordeling av fôrpellets Metode: [Stahl 2015, SFH] 4K opptak av fôrpelletfordeling Beregning av et tidsavhengig kart for pelletfordelingen Fôringskontroll prosjekt partner: Cermaq Norway AS, Lerøy Midt AS, Salmar Farming AS, Aquaculture Engineering AS, Måsøval Fiskeoppdrett AS, Nortek AS, Norbit Group AS, NTNU, SINTEF Fiskeri og Havbruk AS, Forskningsrådet/HAVBRUK Prosjekteier: Teknologi for et bedre samfunn 19

20 Se på Fôr -Estimering av pellethastighet [Stahl, Annette 2015] Fôringskontroll prosjekt partner: Cermaq Norway AS, Lerøy Midt AS, Salmar Farming AS, Aquaculture Engineering AS, Måsøval Fiskeoppdrett AS, Nortek AS, Norbit Group AS, NTNU, SINTEF Fiskeri og Havbruk AS, Forskningsrådet/HAVBRUK Prosjekteier: Teknologi for et bedre samfunn 20

21 Se på Fôr -Estimering av pellethastighet Metode: [Stahl 2015, SFH] Høyhastighetsopptak (960fps) Beregning av bevegelsesfelt Beregning av hastighet og orientering Fôringskontroll prosjekt partner: Cermaq Norway AS, Lerøy Midt AS, Salmar Farming AS, Aquaculture Engineering AS, Måsøval Fiskeoppdrett AS, Nortek AS, Norbit Group AS, NTNU, SINTEF Fiskeri og Havbruk AS, Forskningsrådet/HAVBRUK Prosjekteier: Teknologi for et bedre samfunn 21

22 Fremtidig arbeid: Beskrive overflateaktivitet Fôrpellets Fisk Fôrspreder Overflateaktivitet [Image: Maritime Robotics / SINTEF] Teknologi for et bedre samfunn 22

23 Vårt mål Å etablere en avansert, helautomatisert og robust Bildebehandlings- og maskinsynteknologi Pålitelige og nøyaktige analyseresultater for akvakultur- og fiskerirelaterte anvendelser som: Fôring og biomassekontroll (artsbestemmelse, estimere vekt- og størrelsesfordeling) Analyse og kvantifisering av fiskens adferd Inspeksjon og verifikasjon av ulike typer utstyrs strukturelle integritet Fangstkontrollsystemer Etc. Teknologi for et bedre samfunn 23

24 Maskinsyn kan bli en Gamechanger med ny kompetanse og nye løsninger! Fôring Adferd Biomasse Maskinsyn Begroing Enkeltfisk Not Teknologi for et bedre samfunn 24