UNIK 4690 Maskinsyn Introduksjon

Transkript

1 UNIK 4690 Maskinsyn Introduksjon Trym Vegard Haavardsholm Idar Dyrdal Thomas Opsahl Ragnar Smestad

2 Maskinsyn Studien av hvordan en maskin kan tolke og forstå verden rundt seg ved hjelp av bilder «Lære datamaskiner å se»!

3 Syn er en viktig sans også for maskiner! Støtte til personell Finne, tolke og forstå Støtte til roboter Forstå egen situasjon!

4 Kjapp presentasjonsrunde Fullt navn Studie Relevante kurs/erfaringer? Hvorfor ta kurset? 4

5 Læringsmål Etter å ha fullført UNIK4690: har du en grunnleggende oversikt over maskinsynsfaget. kjenner du til og kan bruke grunnleggende metoder og verktøy innen fagfeltet. forstår du hvordan noen viktige metoder og verktøy virker i detalj. kan du implementere algoritmer som løser enkle maskinssynsproblemer. kan du bruke programmeringsbiblioteket OpenCV til å lage maskinsynsapplikasjoner 5

6 Læringsmål Etter å ha fullført UNIK9690: har du en grunnleggende oversikt over maskinsynsfaget. kjenner du til og kan bruke grunnleggende metoder og verktøy innen fagfeltet. forstår du hvordan noen viktige metoder og verktøy virker i detalj. kan du implementere algoritmer som løser enkle maskinssynsproblemer. kan du bruke programmeringsbiblioteket OpenCV til å lage maskinsynsapplikasjoner har du en dypere innsikt i metodene, og kan videreformidle dette til øvrige studenter 6

7 «Omvendt undervisning» Hensikt Få så mye som mulig ut av en dag på Kjeller På nett Forhåndsinnspilte forelesninger hver forelesningsuke Undervisningsdager ~20 min oppsummering og spørsmål ~2.5 timer programmeringseksperimenter Obligatorisk studentprosjekt (60%) Stort, selvvalgt prosjekt, gjerne i grupper Individuell muntlig eksamen (40%) 7

8 Plan Part I: Image formation, processing and features Image formation Light, cameras, optics and colour Pose in 2D and 3D Basic projective geometry The perspective camera model Image Processing Image filtering Image pyramids Laplace blending Feature detection Line features Local keypoint features Robust estimation with RANSAC Camera frame Pinhole camera World frame Feature matching From keypoints to feature correspondences Feature descriptors Feature matching Estimating homographies from feature correspondences uu = ff uu ss cc uu 0 ff vv cc vv RR tt 00 1 WW XX 8

9 Plan Part I: Image formation, processing and features Image formation Light, cameras, optics and colour Pose in 2D and 3D Basic projective geometry The perspective camera model Image Processing Image filtering Image pyramids Laplace blending Feature detection Line features Local keypoint features Robust estimation with RANSAC Feature matching From keypoints to feature correspondences Feature descriptors Feature matching Estimating homographies from feature correspondences 9

10 Plan Part I: Image formation, processing and features Image formation Light, cameras, optics and colour Pose in 2D and 3D Basic projective geometry The perspective camera model Image Processing Image filtering Image pyramids Laplace blending Feature detection Line features Local keypoint features Robust estimation with RANSAC Feature matching From keypoints to feature correspondences Feature descriptors Feature matching Estimating homographies from feature correspondences 10

11 Plan Part I: Image formation, processing and features Image formation Light, cameras, optics and colour Pose in 2D and 3D Basic projective geometry The perspective camera model Image Processing Image filtering Image pyramids Laplace blending Feature detection Line features Local keypoint features Robust estimation with RANSAC Feature matching From keypoints to feature correspondences Feature descriptors Feature matching Estimating homographies from feature correspondences 11

12 Plan Part II: World geometry and 3D Single-view geometry The camera matrix P Pose from known 3D points Camera calibration Stereo imaging Basic epipolar geometry Stereo imaging Stereo processing Two-view geometry Epipolar geometry Triangulation Pose from epipolar geometry Multiple-view geometry Multiple-view geometry Structure from motion Multiple-view stereo 12

13 Plan Part II: World geometry and 3D Single-view geometry The camera matrix P Pose from known 3D points Camera calibration Stereo imaging Basic epipolar geometry Stereo imaging Stereo processing Two-view geometry Epipolar geometry Triangulation Pose from epipolar geometry Multiple-view geometry Multiple-view geometry Structure from motion Multiple-view stereo 13

14 Plan Part II: World geometry and 3D Single-view geometry The camera matrix P Pose from known 3D points Camera calibration Stereo imaging Basic epipolar geometry Stereo imaging Stereo processing Two-view geometry Epipolar geometry Triangulation Pose from epipolar geometry Multiple-view geometry Multiple-view geometry Structure from motion Multiple-view stereo uu TT FFuu = 0 xx TT EExx = 0 14

15 Plan Part II: World geometry and 3D Single-view geometry The camera matrix P Pose from known 3D points Camera calibration Stereo imaging Basic epipolar geometry Stereo imaging Stereo processing Two-view geometry Epipolar geometry Triangulation Pose from epipolar geometry Multiple-view geometry Multiple-view geometry Structure from motion Multiple-view stereo 15

16 Andre eksempler Akse: RV170 Mork Fetsund, ~12km

17 Andre eksempler Akse: RV170 Mork Fetsund, ~12km

18 Plan Part III:Scene analysis Image analysis Image segmentation Image feature extraction Introduction to machine learning Object detection Descriptor-based detection Face recognition Introduction to deep learning with CNNs Recognition Image classification and retrieval Place recognition 18

19 Plan Part III:Scene analysis Image analysis Image segmentation Image feature extraction Introduction to machine learning Object detection Descriptor-based detection Face recognition Introduction to deep learning with CNNs Recognition Image classification and retrieval Place recognition 19

20 Plan Part III:Scene analysis Image analysis Image segmentation Image feature extraction Introduction to machine learning Object detection Descriptor-based detection Face recognition Introduction to deep learning with CNNs Recognition Image classification and retrieval Place recognition 20

21 Studentprosjekt Utvikle et fungerende maskinsynssystem som gjør noe interessant Stort: Mer enn en måned Obligatorisk: 60% av karakteren Studentene foreslår oppgave selv Helst i grupper på inntil 3 personer 21

22 Studentprosjekt Stor valgfrihet Plattform, programmeringsspråk, verktøy, Vi kan skaffe spennende data, sensorer, plattformer, Termiske bilder, sonarbilder, uav-er, kjørende roboter, motion capture lab Prosjektperiode 06.04: Innlevering av skriftlig prosjektforslag 20.04: Muntlig tilbakemelding på prosjektforslag 18.05: Innlevering av rapport 01.06: Muntlig presentasjon Undervisningsdagene brukes til prosjektarbeid Lab-en er tilgjengelig ellers også 22

23 Lærebok Gratis på nett: Innbundet versjon kan kjøpes

24 Semestersiden Kursplan Undervisningsmateriale Forelesningsvideoer Forelesninger på pdf Labtutorials og oppgaver Piazza 24

25 Forelesningsuker Mandager Forelesningsvideoer publiseres på nett 3-4 videoer på ~20 min hver Les de angitte kapitlene fra boka Torsdager 09:15 Oppsummering og spørsmål til forelesningen (Basert på diskusjoner på nett?) Torsdager ~09:35-12:00 Programmeringsoppgaver fra ukens forelesning Veiledet av forelesere og labassistent 25

26 Tilbakemelding Gi tilbakemelding underveis! Vi er åpne for å justere opplegget Levèr kurskritikk etter kurset Spørsmål? 26