1 Mønstergjenkjenning i bildesekvenser Mønstergjenkjenning i bildesekvenser Line Eikvil og Ragnar Bang Huseby Kveldsseminar i bildeanalyse, 6. mai 00 : Ønsker å se på bildesekvenser i sammenheng for å: finne mønstre i tid fjerne støy og feil som oppstår i enkeltbilder. To eksempler: Trafikkovervåking Overvåking av rørledning En metode: Skjult Markov modell To eksempler Framgangsmåte Trafikkovervåking Anvendelse Overvåking av oljeledning Trekker ut egenskaper fra enkeltbilder. Telle biler Bestemme posisjon for rørledning Luker ut feil i enkeltbilder ved å se på en sekvens. Videosekvens Data Sekvens av sonardata Bruker Markov modeller for analyse av sekvensen. Realtime Tidskrav Postprosessering Kamera i ro, objekter i bevegelse Sekvens Kamera i bevegelse, objektet i ro 3 4 Skjulte Markov Modeller (HMM) Skjulte Markov Modeller (HMM) Sekvensen kan modelleres ved en skjult Markov modell der den observerte sekvensen er en støyfylt representasjon av den skjulte sanne modellen. Avhengigheter mellom tilstander Skjulte tilstander Observasjoner Modellen bestemmes av: Sekvensen av observasjoner: Y= y 1,, y n Tilstander i den skjulte prosessen: C= c 1,, c n Initialsannsynligheter for tilstandene: Π= {π I } Overgangssannsynligheter: A= {a ij } Observasjonssannsynligheter: B={b ij } a a a c c c c b b b b y y y y 6
7 Eksempel 1: Trafikkovervåking Tellesystem Fleksibelt system for trafikkovervåking. Basis-funksjonalitet: Telle biler fra video i real-time på en standard PC. Mer fleksibelt enn induktive sløyfer nedgravd i veien. Krever rask prosessering. Tellepar Trafikk rapport Tellepar 8 Observasjon i enkeltbilder Data: bilde fra et videokamera. = en virtuell sensor En rektangulær region i bildet Analyserer endringer i gråtone og kantstyrke for å bestemme om en er belagt eller ikke. Tellepar = et par av linjeer: Mer robust enn bare én Kan bestemme retningen. Observasjon per bilde: resultatet fra et tellepar. 9 10 En sekvens av observasjoner Tilstanden til de to ene bestemmes uavhengig av hverandre Gir en tidssekvens av observasjoner. [0,0], [1,0], [1,1], [1,1], [0,1], [0,0] Sekvensen kan modelleres med en skjult Markov modell. 0, 0 1, 0 11 1
13 Markovmodellen Tilstandsovergangene Observasjonene Tilstandene 0, 0 1, 0 1, 1 0, 1 1 3 4 1 3 4 14 Problemformulering Løsning Et kjøretøy antas å ha passert ene dersom det er en stor sannsynlighet for en overgang: fra en tilstand der et kjøretøy forlater telleparet (4 eller ), til en tilstand som tilsvarer et tellepar som ikke er belagt (1) eller et tellepar der et nytt kjøretøy kommer inn (). 4 1 Sannsynligheten for en passering kan dermed beregnes fra sannsynligheten for en av disse tilstandsovergangene. Finner sannsynligheten for at en har bestemte tilstandsoverganger ved: P(C t-1 = i, C t = j Y 1,,Y t ) Løses ved Kitagawa s algoritme. 1 16 Eksempel : Overvåkning av oljeledninger Data og problemstilling Overvåke liggekomforten til rørene Kartlegge bunntopografien omkring ledningene Data: sekvens tatt opp med ekkolodd fra en ROV preprosessert slik at en har profilen (liste av punkter) for hvor ekkoloddet treffer havbunnen eller andre objekter i scenen. Problem: Finn rørets posisjon fra profilen der tverrsnittet av røret er en sirkel med kjent radius. Kontrollere av rørene er uten ytre skade 17 18
19 Hough transform Observasjoner i enkeltprofiler Finner sirkel gjennom par av punkter Observasjon per profil: hyppighet for hver celle i Hough-rommet (lav hyppighet settes lik null). Finner mulige sirkelsentre 0 En sekvens av observasjoner Markovmodellen Kombinerer resultatene fra enkeltprofilene. Mer robust enn å betrakte enkeltprofiler hver for seg Utnytter at røret er nesten rett (lav krumning) Observasjonene Hyppighet for hver celle i Hough-rommet Tilstandene segmenter mellom kandidatsentrene 1 Tilstandsoverganger Høy sannsynlighet Lav sannsynlighet For hver celle i i Hough-rommet for profil t bestem sannsynligheten for at røret går gjennom cellen gitt observasjonene: P(C t = i Y 1,,Y N ) Tilsvarer å finne samlet sannsynlighet for alle linjesegmenter mellom profil t-1 og profil t med endepunkt i celle i. Finn sirkelsenter (celle i Hough-rommet) som har høyest sannsynlighet. 3 4
Sekvens av bestemte posisjoner Posisjonsbestemmelse i enkeltprofil 6 Hyppighet i Houghrommet Trafikkovervåking Detektortilstand: belagt/ikke belagt Anvendelse Type egenskaper Antall egenskaper Overvåking av oljeledning N = antall celler i Hough-rommet Oppsummering Framgangsmåte: Trekker ut egenskaper fra enkeltbilder Analyserer sekvenser av egenskaper for enkeltbilder. Benytter HMM på sekvensen av egenskaper Finn sannsynligheten for at en har bestemte tilstandsoverganger. Antall tilstander N Finn sett av tilstander (linjesegmenter med felles endepunkt) med høyest sannsynlighet. Resultat: Finner mønstre i tid Glatter ut støy fra enkeltbilder og får mer nøyaktige resultater. 7 8