INF 310 Digial bildebehandling forelesning nr 11 1/4 005 Segmenering av bilder Dagens ema: - Ikke-koneksuell erskling Lieraur: Efford, DIP, kap. 10.1-10. Friz Albregsen Deparmen of Informaics Universiy of Oslo Hva er segmenering? Segmenering er en prosess som deler opp bilde i meningsfulle regioner. I de enklese ilfelle har vi bare o yper regioner Forgrunn Bakgrunn Probleme blir banal hvis vi bare har én objek-region, og denne er homogen. Vi har som regel flere objeker i bilde. Objekene er sjelden hel like, selv om de er av samme ype. Ofe har vi flere yper klasser av objeker samidig. Belysningen kan variere over bilde. Refleksjon ec varierer over objeke. INF 310, 1.04.005, page 1 of 7 INF 310, 1.04.005, page of 7 Hva er god segmenering? Fire krav il god segmenering : 1 Regioner i e segmener bilde bør være uniforme og homogene m.h.. karakerisika som gråone, eksur, eller andre egenskaper. Nabo-regioner av forskjellig klasse bør være signifikan forskjellige m.h.. de egenskaper der regionene hver for seg er uniforme. 3 Regioner bør være enkle, uen mange hull. 4 Region-grensene bør være enkle uen mange frynser, og må være rikig plasser. De finnes ingen grunnleggende eori for dee. Mindre informasjon i segmener bilde. Mer relevan informasjon for videre analyse. To segmenerings-kaegorier Segmenering er e av de vikigse elemenene i e komple bilde-analyse sysem. I segmeneringen får vi fram regioner og objeker som senere skal beskrives og gjenkjennes. De finnes o kaegorier av meoder, baser på likhe og diskoninuie mellom pikslene i bilde. 1 Ved erskling og ved region-baser segmenering groing, spli-and-merge får vi fram de pikslene som ligner hverandre. Dermed har vi alle pikslene i objeke. Ved kan-baser segmenering finner vi basalelemener kan-punker, linje-punker, hjørne-punker,... I nese seg: Tynner og kjeder sammen il kaner, linjer, hjørner,... Dermed har vi omrisse av objekene. INF 310, 1.04.005, page 3 of 7 INF 310, 1.04.005, page 4 of 7
TERSKLING Ved erskling og ved groing og spli-and-merge får vi fram de pikslene som ligner hverandre. Dermed har vi alle pikslene i objeke. Hvis vi a priori har grunn il å ana a objekene f.eks. er lysere enn bakgrunnen, kan vi see en erskel T, og lage oss e binær u-bilde gx, y ved 0 hvis fx, y T gx, y 1 hvis fx, y > T Har vi flere klasser av objeker med forskjellig inensie eller refleksjons-egenskaper, så kan vi uvide dee il M gråone-inervaller ved hjelp av M 1 erskler. 0 hvis 0 fx, y 1 1 hvis 1 < fx, y gx, y.. M 1 hvis M 1 < fx, y G 1 Terskling er e spesialilfelle av klassifikasjon. Jfr. hisogram-ujevning il noen få gråoner. INF 310, 1.04.005, page 5 of 7 Kaegorier av ersklings-meoder Inerakive og auomaiske I inerakiv erskling vises bilde fram, og brukeren prøver seg gjerne fram il hun/han finner den subjekiv bese erskel. I auomaisk erskling rengs ingen bruker-ineraksjon, og heller ingen subjekiv vurdering. Mange bruker begrepe auomaisk for å implisere a brukeren ikke renger å spesifisere paramere il ersklings-ruinen. I denne forsand finnes de egenlig ingen auomaiske meoder for valg av opimal erskel. De er allid innebygde paramere i algorimene. Opimal er e ofe misbruk ord! INF 310, 1.04.005, page 6 of 7 Kaegorier av ersklings-meoder Kaegorier av ersklings-meoder Parameriske vs. ikke-parameriske Parameriske meoder esimerer paramerene il fordelingene i e hisogram, og velger dereer opimal erskel. Dee er vanskelig, lie robus, og langsom. Ikke-parameriske meoder erskler u fra gie krierier, uen å finne paramere. Disse meodene er forholdsvis robuse og raske. Koneksuelle og ikke-koneksuelle Ikke-koneksuelle meoder benyer bare hisogramme il bilde. Koneksuelle meoder ar også hensyn il geomeriske relasjoner mellom pikslene. Single-pass vs. muli-pass En-pass algorimer vikige i sannidsimplemenasjoner lesing av blankeer, srek-koder,... Ieraiv konvergerende meoder benyer en søke-eknikk for å finne opimal erskel i noen få seg. Eksensive meoder beregner e krierium for alle mulige valg av erskel, og finner dereer den opimale erskelen. Globale vs. lokale Globale meoder finner én erskel for hele bilde. Lokal adapive meoder finner ny erskel for hver posisjon i bilde. Generel har vi a x, y T [x, y, fx, y, Ex, y der Ex, y er en egenskap beregne over e naboskap il x, y. INF 310, 1.04.005, page 7 of 7 INF 310, 1.04.005, page 8 of 7
En enkel ersklings-algorime Ana a e bilde har o inensies-områder: forgrunn og bakgrunn. Hisogramme vil da vise o opper, gjerne med e dal-søkk imellom. Hvor skal vi legge erskelen? Én mulig oppskrif er Algorime 10.1 i boka il Efford: Sar med en erskel-verdi middel-verdien av alle pikslene. Finn middelverdien µ 1 av alle piksler som er mørkere en erskelen, og middelverdien µ av piksler som er lysere enn erskelen. La ny erskel være 1 µ 1 + µ Gjena de o punkene ovenfor il erskelen ikke flyer seg mer. Dee kalles Ridler og Calvard s meode. Hvorfor virker den? Hvilke beingelser må være oppfyl? Når vil denne meoden svike? INF 310, 1.04.005, page 9 of 7 Klassifikasjons-feil ved erskling Ana a hisogramme er en sum av o fordelinger bz og fz, der b og f er normalisere bakgrunns- og forgrunns-hisogrammer, og z er gråonen. La F og B være a priori sannsynligheene for bakgrunn og forgrunn B+F1. De normalisere hisogramme kan da skrives som pz B bz + F fz De o sannsynligheene for å feilklassifisere e piksel, gi en erskel, er da E B E F fzdz bzdz Den oale feilen blir E [1, 1 E F E B + B E F F fzdz + B bzdz Legges erskelen veldig høy eller veldig lav, vil feilen bli sor. De er rimelig å ana a feilen har e minimum for en viss T. INF 310, 1.04.005, page 10 of 7 Opimal erskling - dvs. minimum feil Hvordan deriverer vi e inegral av ypen Iλ bλ aλ fx; λdx når inegrasjons-grensene avhenger av den parameeren som vi deriverer mh? Leibniz regel sier: diλ dλ dbλ dλ daλ fbλ; λ faλ; λ + dλ I vår ilfelle har vi o inegraler E F fzdz + B som skal deriveres m.h.. erskelverdien.. : Parameeren λ svarer il For førse inegral har vi:. : aλ konsan deriver 0. : bλ deriver 1. : fx; λ fx uavhengig av For de andre inegrale har vi:. ; aλ deriver 1. ; bλ konsan, deriver 0. ; fx; λ bx uavhengig av bλ aλ bzdz Dermed får vi a de 0 F ft B bt d fx; λ dx λ Merk a dee er en generell løsning som gir mins feil. Ingen resriksjoner mh fordelingene b og f!!! INF 310, 1.04.005, page 11 of 7 Terskling av o Gauss-fordelinger Ana a bakgrunns-og forgrunns-inensieene følger hver sin Gauss-fordeling, bz og fz, slik a pz B e z µ B σ B + F e z µ F σ F πσb πσf Vi har ligningen for oal feil : E B bzdz + F fzdz Vi ve a opimal løsning ligger der hvor Mer eksplisi B bt F ft B e T µ B σ B F e T µ F σ F πσb πσf Vi kan sryke π, og a logarimen : T µ B B σb ln T µ F F σ B σf ln σ F Dee gir en annengrads-ligning i T : σ B σ F T +µ B σf µ F σb T +σbµ F σf µ B + σbσ F BσF ln 0 F σ B Vi kan alså komme il å renge o erskler! Hvorfor? INF 310, 1.04.005, page 1 of 7
Hvor ligger erskelen? Vi har en annengradsligning i T: σb σf T + µ B σf µ F σb T +σbµ F σfµ B + σbσ F BσF ln 0 F σ B Hvis sandard-avvikene i de o fordelingene er like σ B σ F σ får vi en mye enklere ligning : µ B µ F T µ B + µ F µ B µ F + σ ln dvs. T µ B + µ F σ + µ B µ F ln F B B 0 F De er alså bare hvis a priori sannsynligheene F og B er omren like, eller hvis σ 0, a vi har T µ B + µ F Men vi kjenner ikke µ B og µ F, så vi iererer v.h.a. de runkere µ 1 k og µ k i Alg. 10.1 k+1 1 [µ1k + µk 1 [ k z0 zpz k z0 pz + zk+1 zpz k+1 pz Terskling - o cosinus-fordelinger Vil illusrere hvordan vi gjør o ing: Finner erskelverdien for minimum oal-feil Finner andelen av feilklassifisere objek-piksler Bruker en veldig enkel fordeling! Ana a vi har mørke objeker på en lys bakgrunn, og a fordelingene er pz [ π a cos z z0π a 0 ellers for z 0 a z z 0 + a med z 0 1, a 1 for objekene, og z 0 3, a for bakgrunnen. Oppdrag: Skisser sannsynlighesfordelingene. Hvis 1/3 av alle pikslene er objek-piksler; finn den erskelverdi, T, som gir mins mulig oal feil finn andelen feilklassifisere objekpiksler, E o T, ved den erskelen som gir mins mulig oal feil. INF 310, 1.04.005, page 13 of 7 INF 310, 1.04.005, page 14 of 7 Terskling - o Poisson-fordelinger Terskling av o cosinus-fordelinger Løsning: Vi skal finne den erskel T som gir P o p o T P b p b T [ 1 π T 1π 3 4 cos 1 1 [ T 3π 3 π 8 cos 4 [ T 1π [ T 3π cos cos 4 T 1π T 3π 4 1 umulig løsning T 5/3 korrek opimal erskelverdi Vi observerer en scene der bakgrunnen egenlig har konsan inensie, µ 1, og alle objekene egenlig også har konsan inensie, µ. Men på grunn av saisiske flukuasjoner får vi e bilde der hisogramme er en lineær kombinasjon av o diskree Poisson-fordelinger px ω i e µ i µx i x!, i 1, Vis a den erskelverdi T som gir mins mulig feilklassifikasjon er gi ved µ µ 1 + ln T ln µ µ1 P ω1 P ω Andelen feilklassifisere objekpiksler finner vi ved å inegrere forgrunnsfordelingen subsiuerer y z 1 E o 5/3 π sin yπ π 4 [ π z 1π 4 cos 1 1 /3 dz π 4 1 sin π sin π 3 /3 [ yπ cos 1 1 dy 3 0.075 INF 310, 1.04.005, page 15 of 7 Løsning : P e µ µt T! T ln µ µ 1 µ µ 1 P 1 e µ1 µt 1 T! P 1 e µ µ1 P T µ µ 1 + ln T P1 P µ µ 1 + ln P1 P ln µ µ1 INF 310, 1.04.005, page 16 of 7
Fler-nivå erskling Hvis vi har M erskler, får vi i analogi med Alg. 10.1: der µ0, 1 + µ 1 + 1, 1 µ 1, + µ + 1, 3. µ M 1, M + µ M + 1, G 1 M µ i + 1, j j zi+1 zpz j zi+1 pz Sar med e vilkårlig se av erskler 0 1,..., 0 M og beregn ieraiv e ny se 1 1,..., 1 M ved k+1 1 1 µ0, k 1 + µ k 1 + 1, k. k+1 M 1 µk M 1, k M + µ k M + 1, G 1 Nye generasjoner av erskler beregnes innil alle erskler er sabile. Prosedyren konvergerer mege rask. Osu s meode - moivasjon Ana a vi har e gråonebilde med G gråoner, med normaliser hisogram pi. Ana a bilde inneholder o populasjoner av piksler, slik a pikslene innenfor hver populasjon er noenlunde like, mens populasjonene er forskjellige. Målsening: Vi vil finne en erskel T slik a hver av de o klassene som oppsår ved ersklingen blir mes mulig homogen, mens de o klassene blir mes mulig forskjellige. En veie sum av variansene under og over erskelen skal da være mins mulig. Og en veie sum av kvadrae av differensen mellom middelverdiene skal være sørs mulig. Vi renger noen enkle begreper! ikke noe ny, bare kjene ing INF 310, 1.04.005, page 17 of 7 INF 310, 1.04.005, page 18 of 7 Osu s meode - enkle begreper A poseriori sannsynlighe for de o klassene er P 1 pi, P pi 1 P 1 Midlere gråone i de o klassene er µ 1 ipi µ pi P 1 µ ipi pi ipi ipi µ µ 1 P 1 1 P 1 der µ ipi, µ ipi pi Variansen innenfor de o klassene er σ1 [i µ 1 pi pi 1 [i µ 1 pi P 1 σ [i µ pi pi 1 1 P 1 [i µ pi INF 310, 1.04.005, page 19 of 7 Osu s meode - li grundig Den oale variansen i inensiesfordelingen σt o i µ pi kan selvsag deles i o ved σ T o i µ pi + i µ pi Adderer og subraherer klassenes a poseriori middelverdier σ T o [i µ 1 + µ 1 µ pi+ [i µ + µ µ pi i µ 1 pi+ µ 1 µ pi+ i µ 1 µ 1 µpi + i µ pi+ µ µ pi+ i µ µ µpi Førse ledd i hver linje ovenfor kan urykkes vha definisjonene av σ1 og σ. Andre ledd kan urykkes ved P 1 og P, siden µ, µ 1 og µ er uavhengige av summasjonsvariabelen i. Alså: σ T o P 1 σ 1 + µ 1 µ P 1 + µ 1 µ i µ 1 pi + P σ + µ µ P + µ µ i µ pi INF 310, 1.04.005, page 0 of 7
De o summene bakers faller bor, fordi i µ 1 pi ipi µ 1 pi µ 1 P 1 µ 1 P 1 0 i µ pi ipi µ pi µ P µ P 0 Dermed har vi σ T o P 1 σ 1 + 1 P 1 σ + µ 1 µ P 1 + µ µ 1 P 1 σ w + σ B Dee semmer med målseningen vår! Vi vil nå finne den som gir min [ σ w og max [ σ B. Siden summen er konsan, renger vi bare å finne max [ σ B σb µ 1 µ P 1 + µ µ 1 P 1 [ [ µ µ µ P 1 µ P 1 + 1 P 1 µ 1 P 1 [µ µp 1 + [µ µ µ + µp 1 P 1 1 P 1 [µ µp 1 1 P 1 + P 1 [ µ + µp 1 P 1 1 P 1 [µ µp1 P 1 1 P 1 Mulispekral erskling - I Ana a vi har observer samme scene på flere bølgelengder. Vi kan da uføre erskling baser på o-dimensjonale re-dimensjonale eller muli-dimensjonale hisogrammer Enkel meode: 1: Besem erskler uavhengig for hver kanal. : Kombiner alle segmenere kanaler il e bilde. Dee svarer il a vi har del opp f.eks. RGB-romme i bokser. Hva svarer dee il i IHS? Søk eer maksimalverdien av σb for alle der 0 < P 1 < 1. INF 310, 1.04.005, page 1 of 7 INF 310, 1.04.005, page of 7 Mulispekral erskling - II Li mer kompleks meode: Velg e punk i de mulidimensjonale romme som referanse f.eks. R 0, G 0, B 0 i RGB-romme. Terskle baser på avsand fra referansepunke. dx, y slik a [f R x, y R 0 + [f G x, y G 0 + [f B x, y B 0 gx, y 1 hvis dx, y d max 0 hvis dx, y > d max Dee definerer en kule med radius d max omkring punke R 0, G 0, B 0 i RGB-romme. Kan le generaliseres il en ellipsoide, med forskjellige avsands-erskler i R, G og B [f R x, y R 0 dx, y Merk a da er d R gx, y + [f Gx, y G 0 d + [f Bx, y B 0 G d B 1 hvis dx, y 1 0 hvis dx, y > 1 Hierarkisk erskling En hierarkisk daa-srukur kan dannes ved a vi lager nye versjoner av e N N bilde der oppløsningen er reduser ved gjena lavpass-filrering. En pyramide baser på midling over piksler inneholder N 1 + 1 4 + 1 16 + 1.33N piksler Sar segmeneringen ved lav oppløsning høy oppe i pyramiden Nese nivå gir bedre oppløsning i segmeneringen, men bare piksler nær overganger blir re-segmener il objek/bakgrunn. Gjenas for alle nivå-par opp il full oppløsning. Fordel: mindre påvirkning fra søy, siden den er serk reduser øvers i pyramiden. INF 310, 1.04.005, page 3 of 7 INF 310, 1.04.005, page 4 of 7
Adapiv erskling ved inerpolasjon Globale erskler gir ofe dårlig resula. Andre yper hisogrammer Mege effekive segmeneringsverkøy kan implemeneres ved erskling av hisogrammer som viser noe anne enn frekvensen av gråoner i bilde. For alle mulige seinger av erskelverdi kan vi f.eks. finne følgende fra de binære bilde: Anall objeker i bilde Midlere objek-areal Midlere objek-perimeer Anall overganger 0-1 eller 1-0 i de ersklede bilde i horisonal og verikal rening INF 310, 1.04.005, page 5 of 7 Globale meoder kan benyes lokal, i del-bilder eller i løpende vinduer. Dee virker ikke der vindue/delbilde bare inneholder en klasse. Oppskrif: Del opp bilde gjerne med overlapp For del-bilder med bimodal hisogram: Finn lokal erskelverdi, T c i, j og ilordne den il senre i, j i del-bilde For del-bilder med unimodal hisogram: Finn lokal erskelverdi ved inerpolasjon. Inerpolasjon II: Gå gjennom alle piksel-posisjoner og besem adapiv erskelverdi T x, y ved inerpolasjon mellom de lokale erskelverdiene T c i, j. Den endelige ersklingen blir da gx, y 0 hvis fx, y T x, y 1 hvis fx, y > T x, y INF 310, 1.04.005, page 6 of 7 Korreksjon for ujevn belysning ec Hvordan kan vi korrigere for Aenuering i opikken Posisjons-avhengig sensiivie Ujevn belysning av objeke Hvis fx, y er den observere versjonen av bilde gx, y, og fx, y ex, y gx, y så kan vi finne korreksjonen ex, y ved å avbilde e objek med konsan inensie c. Vi observerer da f c x, y, og finner ex, y f c x, y ex, y c ex, y f cx, y c Når vi så observerer e ny bilde fx, y, finner vi de sanne bilde ved fx, y cfx, y gx, y ex, y f c x, y Dee bilde egner seg bedre for erskling! Foruseer sabilie over id Foruseer linearie Velg f c slik a c b 1. INF 310, 1.04.005, page 7 of 7