Statistiske metoder i bildebehandling, anvendelser innen segmentering. Lars Aurdal, lau@ffi.no FORSVARETS FORSKNINGSINSTITUTT
Ecole Nationale Supérieure des Télécommunications (ENST) Henri Maître, Isabelle Bloch Hôpital St. Vincent de Paul Catherine Adamsbaum, Gabriel Kalifa Doktorgradsarbeide delfinanisert av NFR.
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.
Oversikt, del 2 Medisinsk anvendelse. Adrenoleukodystrofi (ALD). Målinger av syke områder. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering Matematisk bakgrunn. Eksempler. Konklusjon.
Segmentering Segmentering: En prosess som tar utgangspunkt i et bilde (som kan være multi-spektralt ) og som har som mål å generere et nytt bilde der hvert pixel i det opprinnelige bildet er tilordnet en etikett som indikerer dens tilhørighet til en gruppe pixler som deler en eller annen egenskap. Tilhørighet kan avgjøres ut fra mange kriterier: Pixlene i en gruppe kan ha tilnærmet samme spektralegenskaper. Pixlene i en gruppe kan ha spektralegenskaper som tilfredsstiller et eller annet høyere-ordens statistisk kriterium (tekstur). Osv...
NB Segmentering er IKKE det samme som klassifisering. Segmentering har som mål å gi hver pixel en etikett som sier noe om denne pixelens tilhørighet til en eller annen gruppe av pixler (gruppe 1, gruppe 2 etc...). Klassifisering har som mål å gi hver pixel en etikett som har en eller annen (fornuftig) fysisk tolkning (vann, land, båt etc...). Klassifiseringsprosessen avhenger ofte av segmenteringsprosessen som et preprosesseringstrinn.
Eksempel Original Original med støy Segmentering Etikett=0 Etikett=1
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.
Terskling, eksempel 1 150 Terskel 100 50 0 0 100 200 Feil: 2.15%
Terskling,eksempel 2 150 Terskel 100 50 0 0 100 200 Feil: 15.18%
Terskling,eksempel 3 150 Terskel 100 50 0 0 100 200 Feil: 25.16%
Terskling Enkel algoritme. Hurtig (velegnet for sanntidsapplikasjoner). Vel utprøvd. Følsom for støy. Lokal. Terskelen kan være vanskelig å fastsette.
Terskling Hovedproblem: Lokal, ikke global algoritme. Tar ikke hensyn til nabopixlenes etiketter. Fjern isolerte pixler Feil: 25.16% Feil: 22.75%
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.
Markovsk segmentering Segmenteringsproblemet: I L En mulig segmenteringsmetode: max pl ( = li= i ) L = l Et MAP estimat av det segmenterte bildet.
Markovsk segmentering Bayes formel*: max max ( ) ( ) ( ) L l pl li i pi= il= lpl= l = = = = L = l pi ( = i) Forenkling: max max ( ) ( ) ( ) L l pl = li = i = pi= il= lpl= l = L = l * pab ( ) pbapa ( ) ( ) = pb ( )
Markovsk segmentering Betrakt bildet som et endelig sett S av punkter s. Hvert punkt s er tilordnet en deskriptor, typisk spektralverdien (gråtoneverdien) til det aktuelle punktet.
pi ( = il= l) Markovsk segmentering Anta hvit, gaussisk støy med null middelverdi og varians som avhenger av hvilken klasse vi befinner oss i. Da vil gråtoneverdiene innen en gitt klasse være statistisk uavhengige. Derfor kan vi skrive: pi ( = il= l) = PI ( s = isls = ls) s
Markovsk segmentering Videre vet vi at: 1 pi ( s = isls = ls) = exp 2πσ 2σ ls ( i ) s µ l 2 l s s 2 Derav følger: pi ( = il= l) = 1 exp s 2πσ 2σ ls ( i ) s µ l 2 l s s 2
pl ( = l) Markovsk segmentering Dette er det leddet som inneholder de antagelsene vi gjør med hensyn til utseendet av det segmenterte bildet. Vi kan for eksempel ønske oss et segmentert bilde der nabopixler stort sett har samme etikett. Markovfelter
Nabosystemer Bildet er et endelig sett S av punkter s. Anta at r og s er punkter i S På S definerer vi et nabosystem ν som følger: ν s { r S} = r s ν s ν s ν s r
Klikk (clique) En klikk er et subsett av punkter slik at alle punktene i subsettet er hverandres naboer (med hensyn til det definerte nabosystemet). 4-nærmeste naboer:
Klikk 8- nærmeste naboer (8)... (12) (4)
Klikk potensialer Interaksjoner mellom punktene i en klikk utrykkes ved klikk potensial funksjoner. V C En klikk potensial funksjon er en funksjon av deskriptorene (typisk gråtoneverdiene) til punktene som inngår i klikken. Energien i et punkt er summen av potensialfunksjonen for alle klikkene som dette punktet inngår i. U s = cs c V c
Klikk potensialer, eksempel Anta 4-nærmeste naboer nabosystem La V C være gitt ved Vc =δ( gs, gr)
Klikk potensialer, eksempel 1 1 0 0 0 U = V = g g = s c δ( s, r) 1 cs c cs c
Markov-felt Anta en bestemt realisasjon l av L. Anta at s og r er punkter i L. Markovs hypotese holder for l dersom de betingede sannsynlighetene i et punkt i l bare avhenger av dette punktets naboer. pl ( = l L = l, r s) = pl ( = l L = l, r ν ) = pl ( = l ν ) s s r r s s r r s s s s
Andrei Andreyevich Markov Født 14. juni 1856 i Ryazan, Russland. Død 20. juli 1922 i St. Petersburg, Russland. Professor i matematikk ved universitetet i St. Petersburg fra 1886. Studerte under Chebyshev. Mest kjent for sitt arbeid med det som senere har blitt hetende Markov-kjeder.
Hammersley-Cliffords teorem Dersom S er endelig og tellbart og dersom det på S er definert et nabosystem ν og dersom antall mulige deskriptorer er endelig så vil et Markov-felt (med strengt positive sannsynligheter over konfigurasjonsrommet Ω ) være et Gibbs potensial-felt. Under enkelte, rimelige betingelser er et Markov-felt et Gibbs potensial-felt.
Gibbs potensial-felt Et Gibbs potensial-felt har sannsynlighet: 1 pl ( = l) = exp Vc () l Z c C
Altså Vi ville finne: max pi ( = il= lpl ) ( = l ) L = l Dette kan vi nå skrive som: max ( is ) 1 µ ls exp 2 L = l s 2πσ l ls 2σ s 2 1 Z exp[ Ul ( )]
Til syvende og sist Vi beregner logaritmen, bytter fortegn osv. og finner til slutt følgende uttrykk som må minimeres med hensyn på l: min ( is µ l ) s 2 L = l s 2σls 2 + c C Vc () l
I praksis Omskriv dette uttrykket slik: min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α β og brukes for å bestemme den innbyrdes vekten som legges på de to leddene.
Tolkning Dette kan betraktes som en global energifunksjon (definert på hele bildet). Ved å minimalisere denne funksjonen finner vi et bestemt bilde L. Bildet L som minimaliserer dette uttrykket er det segmenterte bildet. Minimaliseringen gjøres typisk ved hjelp av algoritmer av typen simulert størkning (simulated annealing).
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.
Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α = 0, β = 1 V = 1 δ( g, g ) c s r Anta 4 nærmeste naboer nabosystem. Anta to klasser.
Initialtilstand Resultat 60 iterasjoner 1) 2) 120 iterasjoner 180 iterasjoner 3) 4)
Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α = 0, β = 1 V = 1 δ( g, g ) c s r Anta 2 nærmeste naboer nabosystem. Anta to klasser.
Initialtilstand Resultat 60 iterasjoner 1) 2) 120 iterasjoner 180 iterasjoner 3) 4)
Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α > 0, β > 0 V = 1 δ( g, g ) c s r Anta 4 nærmeste naboer nabosystem. Anta to klasser.
Resultat Terskling Markov Feil: 25.16% Feil: 0.75%
Resultat Terskling Markov Feil: 36.81% Feil: 4.34%
Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.
Markovsk segmentering Lite følsom for støy Global Fleksibel Kompleks algoritme Regnekrevende Parametrene kan være vanskelige å bestemme
Oversikt, del 2 Medisinsk anvendelse. Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Adrenoleukodystrofi, ALD Genetisk sykdom (knyttet til X-kromosomet). Redusert oksydasjon av fettsyrer. Fører til en demyelinisering av sentralnervesystemet. Dårlig funksjon i binyrene. Spontan utvikling mot vegetativ tilstand. Svært sjelden tilstand.
Adrenoleukodystrofi Ekko 1 Ekko 2 Hjernen ALD Ventriklene
Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Målinger av syke områder Tykke kutt Partial volumes. Manuell segmentering er vanskelig, tidkrevende og unøyaktig. ALD : variasjoner inter- og intra-observatør i størrelsesorden 15% (ekstremt tilfelle: intra-observatørvariasjon på 36%). Fusjon fra flere bilder er ofte nødvendig.
Målinger av syke områder ALD Partial volume
Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Resultater, ALD
Resultater, ALD
Resultater, ALD Ventriklene, kutt 1 Areal i cm^2 17 16 15 14 13 12 11 10 9 8 +/-15% 7 2/8/90 11/2/91 9/3/92 Dato
Resultater, ALD 17 Ventriklene, kutt 2 Areal i cm^2 16 15 14 13 12 11 10 9 8 7 2/8/90 11/2/91 9/3/92 Dato
Resultater, ALD 28 26 Sykdom, kutt 1 Areal i cm^2 24 22 20 18 16 14 12 10 8 2/8/90 11/2/91 9/3/92 Dato
Resultater, ALD 28 26 Sykdom, kutt 2 Areal i cm^2 24 22 20 18 16 14 12 10 8 2/8/90 11/2/91 9/3/92 Date
Resultater, Fettvev Kutt på nivå med L4, bilde scannet fra film Bukvegg Underhudsfett L4 Fett i bukhulen
Resultater, Fettvev
Resultater, Fettvev
Resultater, Fettvev
Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Kontinuerlige etiketter ξ = ξ1,ξ 2,...,ξ Nc ( ) ξ i 0,1,, N l i=1 [ ] ξ i = 1
Kontinuerlige etiketter Diskret Kontinuerlig
Kontinuerlige etiketter 200 100 0 60 40 20 0 0 20 40 60
Kontinuerlige etiketter 0 20 40 60 0 20 40 60 0 100 200 0 20 40 60 0 20 40 60 0 100 200 255 0 20 40 60 0 20 40 60 0 5 10 15 0 20 40 60 0 20 40 60 0 5 10 15 20
Kontinuerlige etiketter Image 1 Image 2
Kontinuerlige etiketter ALD
Kontinuerlige etiketter Ventriklene
Kontinuerlige etiketter Hjernen
Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Diskret eller kontinuerlige etiketter
Diskret eller kontinuerlige etiketter
Diskret eller kontinuerlige etiketter Posisjon 1 Posisjon n Posisjon 9
Diskret eller kontinuerlige etiketter 58.5 Volum 7 Relative feil 58 6 57.5 Volum 57 56.5 56 55.5 55 Relativ feil i % 5 4 3 2 54.5 1 54 1 2 3 4 5 6 7 8 9 Position 0 1 2 3 4 5 6 7 8 9 Position
Diskret eller kontinuerlige etiketter Position 1 Position n Position 9
Diskret eller kontinuerlige etiketter 128 Volum 7 Relative feil 126 6 Volum 124 122 120 118 Relativ feil i % 5 4 3 2 116 114 1 2 3 4 5 6 7 8 9 Position 1 0 1 2 3 4 5 6 7 8 9 Position
Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.
Perspektiver, MrHyde Window/NT-versjon av software-pakken MrHyde. Mulighet for testing i klinisk miljø. Potensielt nyttig software for radiologer. Forbedret parameterestimering. Forbedring av segmenteringsmetoder som gir kontinuerlige etiketter. Teoretisk interessante. Forbedret presisjon.
Perspektiver, neste liv... Bildebehandling som fagfelt står i stampe, få overbevisende framskritt har blitt gjort i de siste 20 årene. Plus ca va, moins ca va, P. Zamperoni (PRL, 17, 671-677, 1966). Why progress in machine vision is so slow, Theo Pavlidis (PRL, 13, 221-225, 1992). Hva bør man satse på? C mon, c mon-it s either one or the other.
Perspektiver Menneskets synssystem er beviset på at maskinsyn er mulig. Fokus har i stor grad vært på lavnivå synsprosesser. Credo: Fokus bør endres fra lavnivå til høynivå sysnsprosesser. Erfaring...bruk av modeller. Læring...bytte av eller oppbygging av nye modeller. Kunnskap...hvordan lagre modellene. Matthews...we re getting another one of those strange aw blaw es span yol sounds.