IN 310 19. april 017 Segmenering ved erskling Global erskling Kap 10.3 Generelle hisogramfordelinger og klassifikasjonsfeil To populære ersklingsalgorimer ruken av kaner, og effeken av søy og glaing Lokal erskling Disse noaene er baser på. Albregsens segmeneringsnoaer fra fjoråre. Originalnoaene fra 016 inneholder mange ineressane dealjer, og de anses som kursorisk pensum! 017.04.19 IN 310 1
Hva er segmenering? Segmenering er en prosess som deler opp bilde i meningsfulle regioner. Segmenering er e av de vikigse elemenene i e komple bildeanalysesysem. I segmenering får vi fram regioner og objeker som senere skal beskrives og gjenkjennes. I de enklese ilfelle har vi bare o yper regioner: orgrunn akgrunn Eksempel: finne symboler for OCR 017.04.19 IN 310
Segmenerings-problemer Probleme blir banal hvis vi bare har en objek-region, og denne er homogen. Men vi har som regel flere objeker i bilde. Objekene er sjelden hel like, selv om de er av samme ype. Ofe har vi flere yper/klasser av objeker samidig. elysningen kan variere over bilde. Refleksjon, farge ec. kan variere over objeker i bilde. Hva og hvor er objeke i dee bilde? 017.04.19 IN 310 3
To segmenerings-kaegorier Vi skiller mellom o kaegorier av meoder, baser på hhv. likhe og diskoninuie mellom pikslene i bilde. 1. Ved erskling og region-baser segmenering får vi fram de pikslene som ligner hverandre. Dee gir alle pikslene i objeke.. Ved kan-baser segmenering finner vi basis-elemener i omrisse il objekene: Kan-punker, linje-punker, hjørne-punker.. I nese seg: Tynner brede kaner Lenker punkene sammen 017.04.19 IN 310 4
g Dagens verkøy: Terskling Hvis vi har grunn il å ana a objekene f.eks. er lysere enn bakgrunnen, kan vi see en erskel T og lage oss e binær ubilde gx,y ved mappingen: 0 hvis g x, y 1 hvis f x, y T f x, y T Da har vi få e u-bilde gx,y med bare o mulige verdier. Vi olker nå piksler med gx,y=1 som objek-piksler. Vi har gjor en global pikselvis klassifikasjon baser på pikselinensie alene f 017.04.19 IN 310 5
Terskling, eksempel Ana a e bilde har o inensies-områder: forgrunn og bakgrunn. Hisogramme vil da vise o opper, gjerne med e dalsøkk mellom. Avhengig av hvor mye forgrunn vi har i forhold il bakgrunn, kan de hende vi ikke ser o opper. Nøkkelspørsmål: Hvor skal vi legge erskelen? 017.04.19 IN 310 6
Terskling av egenskapsbilde Terskling er ofe noe som gjøres på e bilde hvor eksuregenskapene il objekene vi er ineresser i har bli fremheve Original remheve okjekeksur Mer om dee i IN4300! 017.04.19 IN 310 7
Klassifikasjon Ana a vi har hisogrammene il bakgrunn og forgrunn hver for seg, henholdsvis h 1 og h Hisogramme for hele bilde er da h=h 1 +h La oss så klassifisere pikslene kun baser på gråone or hver gråone må vi besemme om en slik piksel skal klassifiseres il forgrunn eller bakgrunn Minimerer oal anall feilklassifisere piksler om vi velger forgrunn for en inensie i om h i>h 1 i Hvorfor?! G 1 Da vil anall feilklassifisere piksler være min{ h1 i, h i} i0 - akgrunn, h 1 - orgrunn, h Hadde vi ha h 1 og h, ville alså en opimal klassifikaor vær riviel ilgjengelig! 017.04.19 IN 310 8
Mulig fremgangsmåe: inn h 1 og h Har vi h 1 og h har vi alså al vi renger En mulig fremgangsmåe kan da være å ana enkle fordelinger for h 1 og h, og å finne de paramerene som gir modellhisogrammer som il sammen ilnærmer h bes mulig Eksempelvis, ana o Gauss-fordelinger og ilpass: Summen av de o Gauss-kurvene passer rimelig god il de observere hisogramme blå linje Piksler med inensie hvor rød > grøn blir klassifiser il bakgrunn En populær algorime for slik ilpasning kalles expecaion-maximizaion EM Ikke pensum i dee kurse! Vi skal se på forenklede modeller/fremgangsmåer hvor vi finner erskelene direke 017.04.19 IN 310 9
Noen begreper relaer il hisogrammer La p 1 i og p i være normalisere bakgrunns- og forgrunnshisogrammer La og være a priori sannsynlighe for bakgrunn og forgrunn +=1 De normalisere hisogramme il bilde kan da skrives p i p1 i p i Vi har selvfølgelig h = NMp, h 1 = NMp 1 og h = NMp der NM er anall piksler i bilde Merk: På noen av noaene er fi normaliser forgrunnshisogram, og bi normaliser bakgrunnshisogram 017.04.19 IN 310 10
Klassifikasjonsfeil ved erskling Andelen feilklassifisere piksler: Andelen forgrunnspiksler klassifiser som bakgrunnspiksler pluss andelen bakgrunnspiksler klassifiser som forgrunn or en gi erskel : 1 E p z dz p z dz enyer ofe koninuerlige variable, da våre hisogrammodeller ofe er definer for slike, jfr. normalfordelingen 017.04.19 IN 310 11
inn den T som minimerer feilen E p z dz p 1 E vil allid ha e minimum der kurvene for forgrunnsog bakgrunnshisogrammer krysser hverandre hvorfor? Kan også see den derivere lik 0 og vi får: z dz VIKTIG! de d 0 p p1 Merk a dee er en generell løsning som gir mins feil. De er ingen resriksjoner mh. fordelingene p 1 og p! 017.04.19 IN 310 1
Sudie av o Gauss-fordelinger To Gauss-fordelinger med samme sandardavvik, σ. D = μ -μ 1 0,03 D=μ -μ 1 =σ D=μ -μ 1 =3σ 0,03 Like a priori sannsynligheer. D avgjør om vi ser o opper. 0 0 8 16 4 3 40 48 56 0 0 8 16 4 3 40 48 56 0,04 0,04 Ulike a priori sannsynlighe. D avgjør om vi ser o opper. 0 0 8 16 4 3 40 48 56 0 0 8 16 4 3 40 48 56 0,05 0,05 Veldig ulike sannsynligheer. Selv ved sor verdi for D ser vi ikke o opper. 0 0 8 16 4 3 40 48 56 0 0 8 16 4 3 40 48 56 017.04.19 IN 310 13
To Gauss-fordelinger II E eksempel: To Gauss-fordelinger bakgrunn : μ 1 = 16, σ 1 = 3 forgrunn : μ = 36, σ = 8 0,15 Normalisere hisogrammer: Skalerer med a priori sannsynligheer, f.eks. P 1 =0., P = 1-P 1 = 0.8 0 0,04 0 8 16 4 3 40 48 56 Dee kan forskyve både minimum i bildes hisogram skjæringspunke mellom fordelingene 0 0 8 16 4 3 40 48 56 017.04.19 IN 310 14
017.04.19 IN 310 15 Terskling av o Gauss-fordelinger Ana a bakgrunns- og forgrunns-inensieene følger hver sin Gauss-fordeling, bz og fz, slik a de normalisere hisogramme kan skrives som og er a priori sannsynligheer for for- og bakgrunn og er middelverdiene for bakgrunn og forgrunn. og er variansen for bakgrunn og forgrunn. x x e e z p
017.04.19 IN 310 16 Opimal løsning o Gauss-fordelinger Vi ve a opimal løsning ligger der hvor Vi seer inn for bz og fz: Vi kan sryke og a logarimen: Dee gir en annengrads-ligning i T: Vi kan alså få o løsninger for T. T b T f T T e e T T ln ln 0 ln T T
To erskler når kan de skje? Hvis sandardavvikene i de o Gauss-fordelingene er forskjellige og skjæringspunkene mellom fordelingene skaler med a priori sannsynlighe ligger innenfor gråoneskalaen i bilde En erskelverdi for hver skjæringspunk. 0,03 De er bare mellom de o ersklene a fleralle av pikslene er bakgrunnspiksler! 0 0 8 16 4 3 40 48 56 017.04.19 IN 310 17
017.04.19 IN 310 18 Hvor ligger opimal erskel? Vi har en annengradsligning i T: Hvis sandard-avvikene i de o fordelingene er like = = > 0 får vi en enklere ligning: Hvis a priori sannsynligheene og er omren like har vi en veldig enkel løsning: 0 ln T T T T ln 0 ln T Jfr Riddler & Calvards meode
Hvis vi nå bare anar a P 1 =P E lie eksempel: or = μ 1 = 0 og μ = 44, med σ 1 = σ = 8, så vil T = μ 1 +μ /= 3 være en OK erskel, selv om P 1 =0.6 P. 0,03 0 0 8 16 4 3 40 48 56 0,05 or P 1 =0.9 P vil feilen bli ganske sor. 0 0 8 16 4 3 40 48 56 017.04.19 IN 310 19
Ridler og Calvards meode: en enkel ersklingsalgorime Ana o Gauss-fordelinger med forvenninger μ 1 og μ, og med σ 1 σ, og ana Iseden for å ilpasse denne modellen il hisogramme vår, kan de gjøres implisi ved å finne erskelen direke for en slik modell som vi neopp så: T= μ 1 +μ / Vi kjenner ikke den sanne μ 1 og μ så vi sarer med å gjee på en løsning eregn så ny erskel T ved μ 1 +μ / aser på denne erskelen, finner vi ny μ 1 og μ som henholdsvis middelverdien il pikslene under og over erskelen Gjena de sise o punkene il den nye erskelen ikke endrer verdi T konvergerer Dee er en enkel og rask ilnærming il de å finne paramerene μ 1, μ, σ 1, σ, og som gir fordelinger som passer hisogramme vår Husk a vi anar σ 1 σ og Algorimen beskrives i DIP s. 74 også kjene under navne k-means 017.04.19 IN 310 0
Osus meode - moivasjon Ana a bilde inneholder o populasjoner av piksler, slik a pikslene innenfor hver populasjon er noenlunde like, mens populasjonene er forskjellige. Målseing: Le igjennom alle gråonene, og finn en erskel T slik a hver av de o klassene som oppsår ved ersklingen blir mes mulig homogene, mens de o klassene bli mes mulig forskjellige. Klassene er homogene: variansen i hver av de o klassene er mins mulig. Separasjonen mellom klassene er sor: avsanden mellom middelverdiene er sørs mulig. 017.04.19 IN 310 1
017.04.19 IN 310 Osus meode I/II or en gi erskel, la σ 1 og σ være variansen il pikslene i henholdsvis bakgrunn og forgrunn, og være den vekede variansen il middelverdiene: der P 1 og P er sannsynligheen for bakgrunn og forgrunn P 1 = anall bakgrunnspiksler/oal anall piksler i bilde, P =1- P 1, og μ er den oale middelverdien i bilde Osu foreslår a vi velger som minimerer σ w = P 1 σ 1 + P σ 1 1 1 1 0 1 1 1 / / P P P i p i P i p i G i i
Osus meode II/II σ W +σ = σ To og er uavhengig av alså konsan Å minimerer σ w er alså de samme som å maksimere σ Vi kan alså likeså god maksimere σ Ved å prøve alle erskler Divideres σ med oale variansen får vi e kvaniaiv mål på separabilie:, To 0 1 017.04.19 IN 310 3
Osus meode; i praksis Gi e NxM pikslers bilde med G gråoner. inn bildes hisogram, hk, k= 0,1,,..,G-1. inn bildes normalisere hisogram: eregn kumulaiv normaliser hisogram: eregn kumulaiv middelverdi, μk: eregn global middelverdi, μ: eregn variansen mellom klassene, σ k: inn erskelen der σ k har si maksimum. eregn separabiliesmåle, η: h k p k, k 0,1,,..., G 1 MN k P1 k p i, k 0,1,,..., G 1 i0 k ip i, k i0 G 1 i0 k 0,1,,..., G 1 P1 P 1 P 1 ip i, 0 1 To 1 017.04.19 IN 310 4
Effeken av a priori sannsynlighe Toal ersklingsfeil mo log 10 P 1 /P for fire verdier av μ -μ 1 = Dσ: eilen øker rask ved log 10 P 1 /P 1 D = 1 D = D = 3 D = 4 => Osus meode bør bare brukes når 0.1<P 1 /P <10. De samme gjelder for Ridler & Calvard. 017.04.19 IN 310 5
ruk av kan-informasjon Hvordan kan vi unngå problemene som følger av a objek og bakgrunn har ulik a priori sannsynlighe? ruk bare piksler som ligger på eller nær overgangen mellom objek og bakgrunn. orholde mellom a priori sannsynligheer blir da 1. Hvordan gjør vi de? ruk en gradien-esimaor, og erskle resulae. ruk en Laplace-operaor nullgjennomgang, og uvid resulae. Dee er egenlig en sirkelsluning: or å forbedre ersklingen av objeke renger vi objekes omriss. or å avgrense omrisse renger vi en erskling. 017.04.19 IN 310 6
Eksempel I Gi e bilde fx,y der objek-areale er relaiv lie. eregn e kanbilde Enen gradien-magniude eller absoluverdi av Laplace. Terskle kanbilde med en høy erskel. -> maske-bilde G T x,y inn hisogram av fx,y G T x,y inn opimal erskel med f.eks. Osu. Anvend på fx,y. Nær perfek resula. 017.04.19 IN 310 7
Eksempel II Vi ønsker å finne de lyse srukurene i fx,y. Vanskelig hisogram: Osu -> feil erskelverdi eregn abslaplace Terskle høy percenil -> maske-bilde G T x,y inn hisogram av fx,y G T x,y. inn opimal erskel med f.eks. Osu. Anvend på fx,y. 017.04.19 IN 310 8
Effeken av søy i bilde Gi o-nivå gråonebilde G=56. A priori sannsynligheer 0.5. Søy => Miser bimodalie. Global erskling => Mange feilklassifisere piksler. Søyfjerning + erskling: + imodal hisogram => bedre erskling lurring av bilde => feil langs objek-kanen. 017.04.19 IN 310 9
017.04.19 IN 310 30 lernivå-erskling Har vi flere klasser av objeker med forskjellig inensie, så kan vi uvide dee il M gråone-inervaller ved hjelp av M-1 erskler. 1, hvis 1..., hvis 1, 0 hvis 0, 1 1 1 G y x f M y x f y x f y x g M
lernivå Ridler & Calvards meode Ridler & Calvards meode kan generaliseres il M erskler: M, k1 1, k1 0, M 1, k, 1, k M, k 1, k 1, M, k, k 1, G 1 Ny se erskelverdier beregnes il alle erskler er sabile dvs il alle differansene n,k n,k-1, 1 n M, er mindre enn ΔT. Prosedyren konvergerer vanligvis rask. 017.04.19 IN 310 31
lernivå Osu-erskling Maksimeringskrierie il Osu, σ, kan generaliseres il M klasser alså M-1 erskler: M 1,,.., P 1 M k1 k k inn de M-1 ersklene 1 > >...> M-1 som maksimerer urykke over 017.04.19 IN 310 3
Global, variabel eller adapiv? Global erskling : Samme verdi for T over hele bilde. Ved Osus meode: Variabel erskling: Verdien av T varierer over bilde. Lokal adapiv erskling: T beregnes fra bildes lokale egenskaper μ, σ,... 017.04.19 IN 310 33
Eksempel bimodalie i lokale vinduer imodal, ca 1:1 imodal, skjev forhold Unimodal 017.04.19 IN 310 34
Adapiv erskling ved inerpolasjon Globale erskler gir ofe dårlig resula. Globale meoder kan benyes lokal. Dee virker ikke der vindue bare inneholder en klasse! Mulig oppskrif: NIVÅ I: Del opp bilde i del-bilder or del-bilder med bi-modal hisogram, eller som for eksempel har god Osu-separasjonsmål: inn lokal erskelverdi T lokal i,j NIVÅ II: Piksel-for-piksel inerpolasjon: Gå gjennom alle piksel-posisjoner besem adapiv erskelverdi Tx,y ved inerpolasjon mellom de lokale erskelverdiene T lokal i,j. Terskle så hver piksel x,y i bilde i erskelverdiene Tx,y. 017.04.19 IN 310 35
017.04.19 IN 310 36 En enklere adapiv meode En meode som benyer de dere lære i forelesningen om gråoneransformer eregn middelverdi og sandardavvik innenfor e glidende nxn vindu over hele bilde. Nieblacks meode: Se den lokale erskelverdien il La u-bilde være gi ved Ex.: for w = 31, k = - 0.8 :,,, j i k j i j i,, hvis 1,, 0 hvis, j i j i f j i j i f j i g
Oppsummering erskling Generelle fordelinger og klassifikasjonsfeil Har vi h 1 og h har vi al: forgrunn der h i>h 1 alså der *p i > *p 1 i Terskling og lokale klassifikasjonsfeilminima der *p 1 i=*p i To vanlige globale ersklingsalgorimer: Ridler og Calvards meode k-means Osus meode maksimerer separasjon mellom o implisi anae normalfordele klasser Hvilke beingelser må være oppfyl? Når feiler de? Ulik apriori sannsynlighe og bruken av kaninformasjon Effekene av søy og bruken av lavpassfiler lernivå-erskling Lokale adapive meoder; Nieblacks meode 017.04.19 IN 310 37