Statistiske metoder i bildebehandling, anvendelser innen segmentering. Lars Aurdal, lau@ffi.no

Transkript

1 Statistiske metoder i bildebehandling, anvendelser innen segmentering. Lars Aurdal, lau@ffi.no FORSVARETS FORSKNINGSINSTITUTT

2 Ecole Nationale Supérieure des Télécommunications (ENST) Henri Maître, Isabelle Bloch Hôpital St. Vincent de Paul Catherine Adamsbaum, Gabriel Kalifa Doktorgradsarbeide delfinanisert av NFR.

3 Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering. Matematisk bakgrunn. Eksempler. Konklusjon.

4 Oversikt, del 2 Medisinsk anvendelse. Adrenoleukodystrofi (ALD). Målinger av syke områder. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.

5 Oversikt, del 1 Problemet: segmentering av bildedata. Lokal segmenteringsmetode: terskling. Global segmenteringsmetode: Markovsk segmentering Matematisk bakgrunn. Eksempler. Konklusjon.

6 Segmentering Segmentering: En prosess som tar utgangspunkt i et bilde (som kan være multi-spektralt ) og som har som mål å generere et nytt bilde der hvert pixel i det opprinnelige bildet er tilordnet en etikett som indikerer dens tilhørighet til en gruppe pixler som deler en eller annen egenskap. Tilhørighet kan avgjøres ut fra mange kriterier: Pixlene i en gruppe kan ha tilnærmet samme spektralegenskaper. Pixlene i en gruppe kan ha spektralegenskaper som tilfredsstiller et eller annet høyere-ordens statistisk kriterium (tekstur). Osv...

7 NB Segmentering er IKKE det samme som klassifisering. Segmentering har som mål å gi hver pixel en etikett som sier noe om denne pixelens tilhørighet til en eller annen gruppe av pixler (gruppe 1, gruppe 2 etc...). Klassifisering har som mål å gi hver pixel en etikett som har en eller annen (fornuftig) fysisk tolkning (vann, land, båt etc...). Klassifiseringsprosessen avhenger ofte av segmenteringsprosessen som et preprosesseringstrinn.

8 Eksempel Original Original med støy Segmentering Etikett=0 Etikett=1

10 Terskling, eksempel Terskel Feil: 2.15%

11 Terskling,eksempel Terskel Feil: 15.18%

12 Terskling,eksempel Terskel Feil: 25.16%

13 Terskling Enkel algoritme. Hurtig (velegnet for sanntidsapplikasjoner). Vel utprøvd. Følsom for støy. Lokal. Terskelen kan være vanskelig å fastsette.

14 Terskling Hovedproblem: Lokal, ikke global algoritme. Tar ikke hensyn til nabopixlenes etiketter. Fjern isolerte pixler Feil: 25.16% Feil: 22.75%

16 Markovsk segmentering Segmenteringsproblemet: I L En mulig segmenteringsmetode: max pl ( = li= i ) L = l Et MAP estimat av det segmenterte bildet.

17 Markovsk segmentering Bayes formel*: max max ( ) ( ) ( ) L l pl li i pi= il= lpl= l = = = = L = l pi ( = i) Forenkling: max max ( ) ( ) ( ) L l pl = li = i = pi= il= lpl= l = L = l * pab ( ) pbapa ( ) ( ) = pb ( )

18 Markovsk segmentering Betrakt bildet som et endelig sett S av punkter s. Hvert punkt s er tilordnet en deskriptor, typisk spektralverdien (gråtoneverdien) til det aktuelle punktet.

19 pi ( = il= l) Markovsk segmentering Anta hvit, gaussisk støy med null middelverdi og varians som avhenger av hvilken klasse vi befinner oss i. Da vil gråtoneverdiene innen en gitt klasse være statistisk uavhengige. Derfor kan vi skrive: pi ( = il= l) = PI ( s = isls = ls) s

20 Markovsk segmentering Videre vet vi at: 1 pi ( s = isls = ls) = exp 2πσ 2σ ls ( i ) s µ l 2 l s s 2 Derav følger: pi ( = il= l) = 1 exp s 2πσ 2σ ls ( i ) s µ l 2 l s s 2

21 pl ( = l) Markovsk segmentering Dette er det leddet som inneholder de antagelsene vi gjør med hensyn til utseendet av det segmenterte bildet. Vi kan for eksempel ønske oss et segmentert bilde der nabopixler stort sett har samme etikett. Markovfelter

22 Nabosystemer Bildet er et endelig sett S av punkter s. Anta at r og s er punkter i S På S definerer vi et nabosystem ν som følger: ν s { r S} = r s ν s ν s ν s r

23 Klikk (clique) En klikk er et subsett av punkter slik at alle punktene i subsettet er hverandres naboer (med hensyn til det definerte nabosystemet). 4-nærmeste naboer:

24 Klikk 8- nærmeste naboer (8)... (12) (4)

25 Klikk potensialer Interaksjoner mellom punktene i en klikk utrykkes ved klikk potensial funksjoner. V C En klikk potensial funksjon er en funksjon av deskriptorene (typisk gråtoneverdiene) til punktene som inngår i klikken. Energien i et punkt er summen av potensialfunksjonen for alle klikkene som dette punktet inngår i. U s = cs c V c

26 Klikk potensialer, eksempel Anta 4-nærmeste naboer nabosystem La V C være gitt ved Vc =δ( gs, gr)

27 Klikk potensialer, eksempel U = V = g g = s c δ( s, r) 1 cs c cs c

28 Markov-felt Anta en bestemt realisasjon l av L. Anta at s og r er punkter i L. Markovs hypotese holder for l dersom de betingede sannsynlighetene i et punkt i l bare avhenger av dette punktets naboer. pl ( = l L = l, r s) = pl ( = l L = l, r ν ) = pl ( = l ν ) s s r r s s r r s s s s

29 Andrei Andreyevich Markov Født 14. juni 1856 i Ryazan, Russland. Død 20. juli 1922 i St. Petersburg, Russland. Professor i matematikk ved universitetet i St. Petersburg fra Studerte under Chebyshev. Mest kjent for sitt arbeid med det som senere har blitt hetende Markov-kjeder.

30 Hammersley-Cliffords teorem Dersom S er endelig og tellbart og dersom det på S er definert et nabosystem ν og dersom antall mulige deskriptorer er endelig så vil et Markov-felt (med strengt positive sannsynligheter over konfigurasjonsrommet Ω ) være et Gibbs potensial-felt. Under enkelte, rimelige betingelser er et Markov-felt et Gibbs potensial-felt.

31 Gibbs potensial-felt Et Gibbs potensial-felt har sannsynlighet: 1 pl ( = l) = exp Vc () l Z c C

32 Altså Vi ville finne: max pi ( = il= lpl ) ( = l ) L = l Dette kan vi nå skrive som: max ( is ) 1 µ ls exp 2 L = l s 2πσ l ls 2σ s 2 1 Z exp[ Ul ( )]

33 Til syvende og sist Vi beregner logaritmen, bytter fortegn osv. og finner til slutt følgende uttrykk som må minimeres med hensyn på l: min ( is µ l ) s 2 L = l s 2σls 2 + c C Vc () l

34 I praksis Omskriv dette uttrykket slik: min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α β og brukes for å bestemme den innbyrdes vekten som legges på de to leddene.

35 Tolkning Dette kan betraktes som en global energifunksjon (definert på hele bildet). Ved å minimalisere denne funksjonen finner vi et bestemt bilde L. Bildet L som minimaliserer dette uttrykket er det segmenterte bildet. Minimaliseringen gjøres typisk ved hjelp av algoritmer av typen simulert størkning (simulated annealing).

37 Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α = 0, β = 1 V = 1 δ( g, g ) c s r Anta 4 nærmeste naboer nabosystem. Anta to klasser.

38 Initialtilstand Resultat 60 iterasjoner 1) 2) 120 iterasjoner 180 iterasjoner 3) 4)

39 Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α = 0, β = 1 V = 1 δ( g, g ) c s r Anta 2 nærmeste naboer nabosystem. Anta to klasser.

40 Initialtilstand Resultat 60 iterasjoner 1) 2) 120 iterasjoner 180 iterasjoner 3) 4)

41 Eksempel min ( is µ l ) s α 2 L = l s 2σls 2 + β c C Vc () l α > 0, β > 0 V = 1 δ( g, g ) c s r Anta 4 nærmeste naboer nabosystem. Anta to klasser.

42 Resultat Terskling Markov Feil: 25.16% Feil: 0.75%

43 Resultat Terskling Markov Feil: 36.81% Feil: 4.34%

45 Markovsk segmentering Lite følsom for støy Global Fleksibel Kompleks algoritme Regnekrevende Parametrene kan være vanskelige å bestemme

46 Oversikt, del 2 Medisinsk anvendelse. Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.

47 Adrenoleukodystrofi, ALD Genetisk sykdom (knyttet til X-kromosomet). Redusert oksydasjon av fettsyrer. Fører til en demyelinisering av sentralnervesystemet. Dårlig funksjon i binyrene. Spontan utvikling mot vegetativ tilstand. Svært sjelden tilstand.

48 Adrenoleukodystrofi Ekko 1 Ekko 2 Hjernen ALD Ventriklene

49 Medisinsk anvendelse. Oversikt, del 2 Adrenoleukodystrofi (ALD). Målinger av syke områder. Manuelle kontra automatiske metoder. Resultater. Utvidelse til kontinuerlige etiketter. Diskret eller kontinuerlige etiketter. Perspektiver. Konklusjon.

50 Målinger av syke områder Tykke kutt Partial volumes. Manuell segmentering er vanskelig, tidkrevende og unøyaktig. ALD : variasjoner inter- og intra-observatør i størrelsesorden 15% (ekstremt tilfelle: intra-observatørvariasjon på 36%). Fusjon fra flere bilder er ofte nødvendig.

51 Målinger av syke områder ALD Partial volume

53 Resultater, ALD

54 Resultater, ALD

55 Resultater, ALD Ventriklene, kutt 1 Areal i cm^ /-15% 7 2/8/90 11/2/91 9/3/92 Dato

56 Resultater, ALD 17 Ventriklene, kutt 2 Areal i cm^ /8/90 11/2/91 9/3/92 Dato

57 Resultater, ALD Sykdom, kutt 1 Areal i cm^ /8/90 11/2/91 9/3/92 Dato

58 Resultater, ALD Sykdom, kutt 2 Areal i cm^ /8/90 11/2/91 9/3/92 Date

59 Resultater, Fettvev Kutt på nivå med L4, bilde scannet fra film Bukvegg Underhudsfett L4 Fett i bukhulen

60 Resultater, Fettvev

64 Kontinuerlige etiketter ξ = ξ1,ξ 2,...,ξ Nc ( ) ξ i 0,1,, N l i=1 [ ] ξ i = 1

65 Kontinuerlige etiketter Diskret Kontinuerlig

66 Kontinuerlige etiketter

67 Kontinuerlige etiketter

68 Kontinuerlige etiketter Image 1 Image 2

69 Kontinuerlige etiketter ALD

70 Kontinuerlige etiketter Ventriklene

71 Kontinuerlige etiketter Hjernen

73 Diskret eller kontinuerlige etiketter

74 Diskret eller kontinuerlige etiketter

75 Diskret eller kontinuerlige etiketter Posisjon 1 Posisjon n Posisjon 9

76 Diskret eller kontinuerlige etiketter 58.5 Volum 7 Relative feil Volum Relativ feil i % Position Position

77 Diskret eller kontinuerlige etiketter Position 1 Position n Position 9

78 Diskret eller kontinuerlige etiketter 128 Volum 7 Relative feil Volum Relativ feil i % Position Position

80 Perspektiver, MrHyde Window/NT-versjon av software-pakken MrHyde. Mulighet for testing i klinisk miljø. Potensielt nyttig software for radiologer. Forbedret parameterestimering. Forbedring av segmenteringsmetoder som gir kontinuerlige etiketter. Teoretisk interessante. Forbedret presisjon.

81 Perspektiver, neste liv... Bildebehandling som fagfelt står i stampe, få overbevisende framskritt har blitt gjort i de siste 20 årene. Plus ca va, moins ca va, P. Zamperoni (PRL, 17, , 1966). Why progress in machine vision is so slow, Theo Pavlidis (PRL, 13, , 1992). Hva bør man satse på? C mon, c mon-it s either one or the other.

82 Perspektiver Menneskets synssystem er beviset på at maskinsyn er mulig. Fokus har i stor grad vært på lavnivå synsprosesser. Credo: Fokus bør endres fra lavnivå til høynivå sysnsprosesser. Erfaring...bruk av modeller. Læring...bytte av eller oppbygging av nye modeller. Kunnskap...hvordan lagre modellene. Matthews...we re getting another one of those strange aw blaw es span yol sounds.