Hva er segmentering? INF Fritz Albregtsen. Tema: Segmentering av bilder Del 1: - Ikke-kontekstuell terskling

Transkript

1 Hva er segmentering? IN ritz Albregtsen Tema: Segmentering av bilder Del 1: - Ikke-kontekstuell terskling Litteratur: Efford, DIP, kap Segmentering er en prosess som deler opp bildet i meningsfulle regioner I det enkleste tilfelle har vi bare to typer regioner orgrunn Bakgrunn Problemet blir banalt hvis vi bare har én objekt-region, og denne er homogen Vi har som regel flere objekter i bildet Objektene er sjelden helt like, selv om de er av samme type Ofte har vi flere typer (klasser) av objekter samtidig Belysningen kan variere over bildet Refleksjon etc varierer over objektet 1 Hva er god segmentering? To segmenterings-kategorier ire krav til god segmentering : 1 Regioner i et segmentert bilde bør være uniforme og homogene mht karakteristika som gråtone, tekstur, eller andre egenskaper Nabo-regioner av forskjellig klasse bør være signifikant forskjellige mht de egenskaper der regionene hver for seg er uniforme 3 Regioner bør være enkle, uten mange hull Region-grensene bør være enkle (uten mange frynser ), og må være riktig plassert Det finnes ingen grunnleggende teori for dette Mindre informasjon i segmentert bilde Mer relevant informasjon for videre analyse Segmentering er ett av de viktigste elementene i et komplett bilde-analyse system I segmenteringen får vi fram regioner og objekter som senere skal beskrives og gjenkjennes Det finnes to kategorier av metoder, basert på likhet og diskontinuitet mellom pikslene i bildet 1 Ved terskling og ved region-basert segmentering (groing, split-and-merge) får vi fram de pikslene som ligner hverandre Dermed har vi alle pikslene i objektet Ved kant-basert segmentering finner vi basalelementer kant-punkter, linje-punkter, hjørne-punkter, I neste steg: Tynner og kjeder sammen til kanter, linjer, hjørner, Dermed har vi omrisset av objektene Vi skal ikke gå videre med kant-basert segmentering i IN160 3

2 TERSKLING Kategorier av tersklings-metoder Ved terskling og ved region-basert segmentering (groing, split-and-merge) får vi fram de pikslene som ligner hverandre Dermed har vi alle pikslene i objektet Hvis vi a priori har grunn til å anta at objektene feks er lysere enn bakgrunnen, kan vi sette en terskel T, og lage oss et binært ut-bilde g(x, y) ved 0 hvis f(x, y) T 1 hvis f(x, y) > T Har vi flere klasser av objekter med forskjellig intensitet eller refleksjons-egenskaper, så kan vi utvide dette til M gråtone-intervaller ved hjelp av M 1 terskler 0 hvis 0 f(x, y) t 1 1 hvis t 1 < f(x, y) t M 1 hvis t M 1 < f(x, y) G 1 Terskling er et spesialtilfelle av klassifikasjon Jfr histogram-utjevning til noen få gråtoner Interaktive og automatiske I interaktiv terskling vises bildet fram, og brukeren prøver seg gjerne fram til hun/han finner den subjektivt beste terskel I automatisk terskling trengs ingen brukerinteraksjon, og heller ingen subjektiv vurdering Mange bruker begrepet automatisk for å implisere at brukeren ikke trenger å spesifisere parametre til tersklings-rutinen I denne forstand finnes det egentlig ingen automatiske metoder for valg av optimal terskel Det er alltid innebygde parametre i algoritmene Optimal er et ofte misbrukt ord! 5 6 Kategorier av tersklings-metoder Kategorier av tersklings-metoder Parametriske vs ikke-parametriske Parametriske metoder estimerer parametrene til fordelingene i et histogram, og velger deretter optimal terskel Dette er vanskelig, lite robust, og langsomt Ikke-parametriske metoder terskler ut fra gitte kriterier, uten å finne parametre Disse metodene er forholdsvis robuste og raske Kontekstuelle og ikke-kontekstuelle Ikke-kontekstuelle metoder benytter bare histogrammet til bildet Kontekstuelle metoder tar også hensyn til geometriske relasjoner mellom pikslene Single-pass vs multi-pass En-pass algoritmer viktige i sanntidsimplementasjoner (lesing av blanketter, strek-koder,) Iterativt konvergerende metoder benytter en søketeknikk for å finne optimal terskel i noen få steg Ekstensive metoder beregner et kriterium for alle mulige valg av terskel, og finner deretter den optimale terskelen Globale vs lokale Globale metoder finner én terskel for hele bildet Lokalt adaptive metoder finner ny terskel for hver posisjon i bildet Generelt har vi at t(x, y) = T [x, y, f(x, y), E(x, y)] der E(x, y) er en egenskap beregnet over et naboskap til (x, y) 7 8

3 En enkel tersklings-algoritme Klassifikasjons-feil ved terskling Anta at et bilde har to intensitets-områder: forgrunn og bakgrunn Histogrammet vil da vise to topper, gjerne med et dal-søkk imellom Hvor skal vi legge terskelen? Én mulig oppskrift er Algoritme 101 i boka til Efford: Start med en terskel-verdi t = middel-verdien av alle pikslene i bildet inn middelverdien (µ 1 (t)) av alle piksler som er mørkere en terskelen, og middelverdien (µ (t)) av piksler som er lysere enn terskelen La ny terskel være t = 1 (µ 1(t) + µ (t)) Gjenta de to punktene ovenfor til terskelen ikke flytter seg mer Dette kalles Ridler og Calvard s metode Hvorfor virker den? Hvilke betingelser må være oppfylt? Når vil denne metoden svikte? 9 Anta at histogrammet er en sum av to fordelinger b(z) og f(z), der b og f er normaliserte bakgrunnsog forgrunns-histogrammer, og z er gråtonen La og B være a priori sannsynlighetene for bakgrunn og forgrunn (B+=1) Det normaliserte histogrammet kan da skrives som p(z) = B b(z) + f(z) De to sannsynlighetene for å feil-klassifisere et piksel, gitt en terskel t, er da E B (t) = t f(z)dz E (t) = b(z)dz t Den totale feilen blir (E(t) [1, 1]) E(t) = E B (t) + B E (t) = t f(z)dz + B b(z)dz t Legges terskelen veldig høyt eller veldig lavt, vil feilen bli stor Det er rimelig å anta at feilen har et minimum for en viss T Denne T vil vi finne!!! 10 Optimal terskling - dvs minimum feil Hvordan deriverer vi et integral av typen b(λ) I(λ) = f(x; λ)dx a(λ) når integrasjons-grensene avhenger av den parameteren som vi deriverer mht? Leibnitz regel sier: di(λ) dλ = db(λ) f(b(λ); λ) da(λ) dλ I vårt tilfelle har vi to integraler t dλ f(a(λ); λ)+ b(λ) a(λ) E(t) = f(z)dz + B b(z)dz t som skal deriveres mht terskelverdien t : Parameteren λ svarer til t or første integral har vi: :) a(λ) (konstant derivert = 0) :) b(λ) t ( derivert = 1) :) f(x; λ) f(x) (uavhengig av t) or det andre integralet har vi: ;) a(λ) t ( derivert = 1) ;) b(λ) (konstant, derivert = 0) ;) f(x; λ) b(x) (uavhengig av t) Dermed får vi at de(t) = 0 f(t ) = B b(t ) dt Merk at dette er en generell løsning som gir minst feil Ingen restriksjoner mht fordelingene b og f!!! f(x; λ) dx λ Terskling av to Gauss-fordelinger Anta at bakgrunns-og forgrunns-intensitetene følger hver sin Gauss-fordeling, b(z) og f(z), slik at p(z) = B e (z µ B) σ B + e (z µ ) σ πσb πσ Vi har ligningen for total feil : E(t) = B t t b(z)dz + f(z)dz Vi vet at optimal løsning ligger der hvor Mer eksplisitt B b(t ) = f(t ) B e (T µ B) σ B = e (T µ ) σ πσb πσ Vi kan stryke π, og ta logaritmen : (T µ B ) B σb ln = (T µ ) σb σ ln σ Dette gir en annengrads-ligning i T : (σ B σ ) T +(µ B σ µ σb) T +σb µ σ µ B + σ B σ ln Bσ = 0 σ B Vi kan altså komme til å trenge to terskler! Hvorfor? 11 1

4 Hvor ligger terskelen? Hvor godt blir dette? Vi har en annengradsligning i T: (σ B σ ) T + (µ Bσ µ σ B) T +σb µ σ µ B + σ B σ ln Bσ = 0 σ B Hvis standard-avvikene i de to fordelingene er like σ B = σ = σ får vi en mye enklere ligning : B (µ B µ ) T (µ B + µ )(µ B µ ) + σ ln = 0 dvs T = (µ B + µ ) σ ( + (µ B µ ) ln B Det er altså bare hvis a priori sannsynlighetene og B er omtrent like, eller hvis σ = 0, at vi har T = (µ B + µ ) Men vi kjenner ikke µ B og µ, så vi itererer vha de trunkerte µ 1(t k) og µ (t k) i Algoritme 101 t k+1 = 1 [µ 1(t k ) + µ (t k )] = 1 tk tk z=0 zp(z) z=0 p(z) + ) z=tk+1 zp(z) tk+1 p(z) E T Total error 00 1 : 1 10 : : 1 P 1 /P igure 1: or the iterative method of Ridler and Calvard, we present the total fraction of mis-classified pixels versus the ratio of the a priori probabilities (on a logarithmic scale) of two Gaussian distributions with equal variance our different line types represent different distances between the distribution means, µ µ1 = D σ, D = 1 (solid), D = (dash-dot), D = 3 (dashed), D = (dotted) or hvilke verdier av P 1 /P og (µ µ 1 )/σ er metoden brukbar? Selv for P 1 /P = 1 er feilen E T = 1 π D/ e (1/)u du 1 π e (1/)(D/) 13 1 Terskling - to cosinus-fordelinger Vil illustrere hvordan vi gjør to ting: inner terskelverdien for minimum total-feil inner andelen av feilklassifiserte objekt-piksler Bruker en veldig enkel fordeling! Anta at vi har mørke objekter på en lys bakgrunn, og at sannsynlighetsfordelingene er p(z) = [ ] π a cos (z z0)π a for z 0 a z z 0 + a 0 ellers med z 0 = 1, a = 1 for objektene, og z 0 = 3, a = for bakgrunnen Oppdrag: Skisser sannsynlighetsfordelingene Hvis 1/3 av alle pikslene er objekt-piksler; finn den terskelverdi, T, som gir minst mulig total feil finn andelen feilklassifiserte objektpiksler, E o (T ), ved den terskelen som gir minst mulig total feil Terskling av to cosinus-fordelinger Løsning: Vi skal finne den terskel T som gir 1 π 3 cos cos P o p o (T ) = P b p b (T ) (T 1)π = (1 1 3 )π 8 cos (T 1)π (T 3)π = cos T = (T 1)π = (T 3)π (T 3)π 1 umulig løsning 5/3 korrekt optimal terskelverdi Andelen feilklassifiserte objektpiksler finner vi ved å integrere forgrunns-fordelingen (substituerer y = z 1) E o = = π sin yπ π ] dy π 5/3 cos (z 1)π dz = π [ 1 yπ cos /3 1 = 1 ( sin π sin π ) = /

5 Terskling - to Poisson-fordelinger Vi observerer en scene der bakgrunnen egentlig har konstant intensitet, µ 1, og alle objektene egentlig også har konstant intensitet, µ Men på grunn av statistiske fluktuasjoner får vi et bilde der histogrammet er en lineær kombinasjon av to (diskrete) Poisson-fordelinger p(x ω i ) = e µi µx i x!, i = 1, Vis at den terskelverdi T som gir minst mulig feilklassifikasjon er gitt ved T = µ µ 1 + ln P (ω1) P (ω) ln µ Løsning : P e µ µt T! T ln ( µ µ 1 µ1 = P 1 e µ1 µt 1 T! ) T = P 1 e (µ µ1) P µ µ 1 = µ µ 1 + ln T = ln µ µ µ 1 + ln µ1 P1 P P1 P Terskling av radar-bilder I radar-bilder av sjø vil man se at der vinden skaper små-bølger er bildet mye lysere enn der det er stille I et N-look kvadratrot-bilde er sannsynlighetsfordelingen gitt ved (Ulaby 1986) p(s) = q N N q N 1 µ (N 1)! µ s e N( q Γ(N + 05) µ s), q = Γ(N) N Den terskel som gir minst mulig total feil for et bilde med to slike fordelinger p 1 (s) og p (s) med a priori sannsynligheter θ og (1 θ) og middelverdier µ 1 og µ er gitt ved θp 1 (T ) = (1 θ)p (T ) Vi setter inn kvadratrot-fordelingen for p 1 og p og får (Schistad 1989) θ q N N ( q µ1 (N 1)! µ1 Dette gir ) N 1 T e T N( q ) µ 1 = (1 θ) q µ ( 1 θ µ1 θ µ ) q N N = e T µ 1 ( e T N ) = e q µ La k = 1 θ N µ1 θ µ Da er den optimale terskelen T gitt ved ln k T = Nq ( 1 µ 1 µ 1 N N ( q (N 1)! µ T Nq ( ) ) 1 µ 1 µ 1 ) N 1 T e T N( q ) µ ler-nivå terskling Hvis vi har M terskler, får vi i analogi med Alg 101: der µ(0, t 1 ) + µ(t 1 + 1, t ) = t 1 µ(t 1, t ) + µ(t + 1, t 3 ) = t µ(t M 1, t M ) + µ(t M + 1, G 1) = t M tj z=ti+1 zp(z) µ(t i + 1, t j ) = tj z=ti+1 p(z) Start med et vilkårlig sett av terskler t 0 1,, t0 M og beregn iterativt et nytt sett t 1 1,, t 1 M ved t k+1 1 = 1 (µ(0, tk 1 ) + µ(tk 1 + 1, tk )) t k+1 M = 1 (µ(tk M 1, t k M) + µ(t k M + 1, G 1)) Nye generasjoner av terskler beregnes inntil alle terskler er stabile Prosedyren konvergerer meget raskt Otsu s metode - motivasjon Anta at vi har et gråtonebilde med G gråtoner, med normalisert histogram p(i) Anta at bildet inneholder to populasjoner av piksler, slik at pikslene innenfor hver populasjon er noenlunde like, mens populasjonene er forskjellige Målsetning: Vi vil finne en terskel T slik at hver av de to klassene som oppstår ved tersklingen blir mest mulig homogen, mens de to klassene blir mest mulig forskjellige En veiet sum av variansene under og over terskelen skal da være minst mulig Og en veiet sum av kvadratet av differensen mellom middelverdiene skal være størst mulig Vi trenger noen enkle begreper! (ikke noe nytt, bare kjente ting) 19 0

6 Otsu s metode - enkle begreper A posteriori sannsynlighet for de to klassene er P 1 (t) = t p(i), P (t) = G 1 Midlere gråtone i de to klassene er µ 1 (t) = µ (t) = der t ip(i) t p(i) = µ(t) P 1 (t) ip(i) G 1 p(i) = µ(t) t ip(i), Variansen innenfor de to klassene er σ 1(t) σ (t) p(i) = 1 P 1 (t) ip(i) t ip(i) 1 P 1 (t) t [i µ 1 (t)] p(i) = 1 P 1 (t) t p(i) [i µ (t)] p(i) p(i) ip(i) µ p(i) t 1 = 1 P 1 (t) = µ µ(t) 1 P 1 (t) [i µ 1 (t)] p(i) G 1 [i µ (t)] p(i) Otsu s metode Den totale variansen i intensitetsfordelingen kan selvsagt deles i to ved σt ot G 1 (i µ) p(i) σt ot = t (i µ) p(i) + G 1 (i µ) p(i) Adderer og subtraherer klassenes a posteriori middelverdier σ T ot = t = t + G 1 [i µ 1 (t) + µ 1 (t) µ] p(i)+ G 1 [i µ (t) + µ (t) µ] p(i) (i µ 1 (t)) p(i)+ t (µ 1 (t) µ) p(i)+ t (i µ 1 (t))(µ 1 (t) µ)p(i) (i µ (t)) p(i)+ G 1 (µ (t) µ) p(i)+ G 1 (i µ (t))(µ (t) µ)p(i) ørste ledd i hver linje ovenfor kan uttrykkes vha definisjonene av σ 1(t) og σ (t) Andre ledd kan uttrykkes ved P 1 (t) og P (t), siden µ, µ 1 (t) og µ (t) er uavhengige av summasjonsvariabelen i Altså: σ T ot = P 1 (t)σ1(t) + (µ 1 (t) µ) P 1 (t) + (µ 1 µ) t (i µ 1 (t))p(i) + P (t)σ (t) + (µ (t) µ) P (t) + (µ µ) G 1 (i µ (t))p(i) 1 De to summene bakerst faller bort, fordi t G 1 (i µ 1 (t))p(i) = t ip(i) t µ 1 (t)p(i) = µ 1 (t)p 1 (t) µ 1 (t)p 1 (t) = 0 (i µ (t))p(i) = G 1 Dermed har vi σ T ot ip(i) G 1 µ (t)p(i) = µ (t)p (t) µ (t)p (t) = 0 = P 1(t)σ 1(t) + (1 P 1(t))σ (t) + (µ 1 (t) µ) P 1 (t) + (µ (t) µ) (1 P 1 (t)) = σ w (t) + σ B (t) Dette stemmer med målsetningen vår! Vi vil nå finne den t som gir min [ σ w(t) ] og max [ σ B(t) ] Siden summen er konstant, trenger vi bare å finne max [ σ B(t) ] σb(t) = (µ 1 (t) µ) P 1 (t) + (µ (t) µ) (1 P 1 (t)) = µ(t) P 1 (t) µ P 1 (t) + µ µ(t) 1 P 1 (t) µ (1 P 1 (t)) = [µ(t) µp 1(t)] + [µ µ(t) µ + µp 1(t)] P 1(t) 1 P 1(t) = [µ(t) µp 1(t)] (1 P 1 (t)) + P 1 (t) [ µ(t) + µp 1 (t)] P 1 (t)(1 P 1 (t)) = [µ(t) µp 1(t)] P 1 (t)(1 P 1 (t)) Søk etter maksimalverdien av σ B for alle t der 0 < P 1 (t) < 1 To andre uttrykk for σ B(t): = (µ 1 (t) µ) P 1 (t) + (µ (t) µ) (1 P 1 (t)) = P 1 (t)µ 1(t) P 1 (t)µ 1 (t)µ + P 1 (t)µ + P (t)µ (t) P (t)µ (t)µ + P (t)µ = P 1 (t)µ 1 (t) + P (t)µ (t) µ [P 1 (t)µ 1 (t) + P (t)µ (t)] + µ (P 1 (t) + P (t)) = P 1 (t)µ 1 (t) + P (t)µ (t) µ = P 1 (t)µ 1 (t) + P (t)µ (t) (P 1 (t)µ 1 (t) + P 1(t)P (t)µ 1 (t)µ (t) + P (t)µ ) = µ 1(t)(P 1(t) P 1 (t)) P 1 (t)p (t)µ 1 (t)µ (t) + µ (t)(p (t) P (t)) = P 1 (t)(1 P 1 (t))µ 1 (t) P 1(t)P (t)µ 1 (t)µ (t) + P (t)(1 P (t))µ (t) = P 1 (t)p (t)µ 1 (t) P 1(t)P (t)µ 1 (t)µ (t) + P P 1 (t)µ (t) = P 1 (t)(1 P 1 (t)) [µ 1 (t) µ (t)] σ B for fortløpende verdier av t [0, G 1] kan beregnes effektivt ved rekursive uttrykk for P 1 (t) og µ 1 (t) Tilsvarende effektivisering finner dere i en oppgave om entropi-terskling! 3

7 Multispektral terskling - I Multispektral terskling - II Anta at vi har observert samme scene på flere bølgelengder Vi kan da utføre terskling basert på to-dimensjonale tre-dimensjonale eller multi-dimensjonale histogrammer Enkel metode: 1: Bestem terskler uavhengig for hver kanal : Kombiner alle segmenterte kanaler til ett bilde Dette svarer til at vi har delt opp feks RGB-rommet i bokser Hva svarer dette til i IHS? Litt mer kompleks metode: Velg et punkt i det multidimensjonale rommet som referanse (feks (R 0, G 0, B 0 ) i RGB-rommet) Terskle basert på avstand fra referansepunktet d(x, y) = [f R (x, y) R 0 ] + [f G (x, y) G 0 ] + [f B (x, y) B 0 ] slik at 1 hvis d(x, y) d max 0 hvis d(x, y) > d max Dette definerer en kule med radius d max omkring punktet (R 0, G 0, B 0 ) i RGB-rommet Kan lett generaliseres til en ellipsoide, med forskjellige avstands-terskler i R, G og B d(x, y) = [f R(x, y) R 0 ] Merk at da er d R + [f G(x, y) G 0 ] d + [f B(x, y) B 0 ] G d B 1 hvis d(x, y) 1 0 hvis d(x, y) > Hierarkisk terskling Andre typer histogrammer En hierarkisk data-struktur kan dannes ved at vi lager nye versjoner av et N N bilde der oppløsningen er redusert ved gjentatt lavpass-filtrering Oftest har vi N = n En pyramide basert på midling over piksler inneholder piksler N ( ) 133N Start segmenteringen ved lav oppløsning (høyt oppe i pyramiden) Neste nivå gir bedre oppløsning i segmenteringen, men bare piksler nær overganger blir re-segmentert til objekt/bakgrunn Gjentas for alle nivå-par opp til full oppløsning ordel: mindre påvirkning fra støy, siden den er sterkt redusert øverst i pyramiden Unøyaktigheter pga midling over kanter gjenopprettes ved re-segmentering vha data ett steg lenger ned i pyramiden Man snik-innfører geometrisk kontekst! Meget effektive segmenteringsverktøy kan implementeres ved terskling av histogrammer som viser noe annet enn frekvensen av gråtoner i bildet or alle mulige settinger av terskelverdi kan vi feks finne følgende fra det binære bildet: Antall objekter i bildet Midlere objekt-areal Midlere objekt-perimeter Antall overganger (0-1 eller 1-0) i det tersklede bildet i horisontal og vertikal retning 7 8

8 Adaptiv terskling ved interpolasjon Korreksjon for ujevn belysning etc Globale terskler gir ofte dårlig resultat Globale metoder kan benyttes lokalt, i del-bilder eller i løpende vinduer Dette virker ikke der vinduet/delbildet bare inneholder en klasse Oppskrift: Del opp bildet (gjerne med overlapp) or del-bilder med bimodalt histogram: inn lokal terskelverdi, T c (i, j) og tilordne den til sentret (i, j) i del-bildet or del-bilder med unimodalt histogram: inn lokal terskelverdi ved interpolasjon Interpolasjon II: Gå gjennom alle piksel-posisjoner og bestem adaptiv terskelverdi T (x, y) ved interpolasjon mellom de lokale terskelverdiene T c (i, j) Den endelige tersklingen blir da 0 hvis f(x, y) T (x, y) 1 hvis f(x, y) > T (x, y) Hvordan kan vi korrigere for Attenuering i optikken Posisjons-avhengig sensitivitet Ujevn belysning av objektet Hvis f(x, y) er den observerte versjonen av bildet g(x, y), og f(x, y) = e(x, y) g(x, y) så kan vi finne korreksjonen e(x, y) ved å avbilde et objekt med konstant intensitet c Vi observerer da f c (x, y), og finner e(x, y) f c (x, y) = e(x, y) c e(x, y) = f c(x, y) c Når vi så observerer et nytt bilde f(x, y), finner vi det sanne bildet ved f(x, y) cf(x, y) = e(x, y) f c (x, y) Dette bildet egner seg bedre for terskling! orutsetter stabilitet (over tid) orutsetter linearitet Velg f c slik at c b