Oppsummering, mai 2014: Sampling og kvantisering Geometriske operasjoner Gåt Gråtone- og histogramoperasjoner F4,5. Segmentering ved terskling

Transkript

1 INF 310 Digital bildebehandling Oppsummering, mai 014: Avbildning F1 Sampling og kvantisering F Geometriske operasjoner F3 Gåt Gråtone- og histogramoperasjoner F4,5 Segmentering ved terskling Farger og fargerom F13 F15 INF FA 1

2 Rayleigh-kriteriet et To punkt-kilder kilder kan adskilles hvis de ligger slik at sentrum i det ene diffraksjonsmønstret faller sammen med den første mørke ringen i det andre. Vinkelen mellom dem er da gitt ved sin = 1 1. /D radianer. Dette er Rayleigh-kriteriet. Vi kan ikke se detaljer som er mindre enn dette INF FA

3 Hvor små detaljer kan en linse oppløse? Vinkeloppløsningen er gitt ved y θ s sin 1. D D y Tangens til vinkelen θ er gitt ved tg y s For små vinkler er sin = tgθ =, når vinkelen er gitt i radianer. => Den minste detaljen vi kan oppløse: y s 1. y D 1. s D INF FA 3

4 Samplingsteoremet Shannon/Nyquist Anta at det kontinuerlige bildet er båndbegrenset, dvs. det inneholder ikke høyere frekvenser enn f max Det kontinuerlige bildet kan rekonstrueres fra det digitale bildet dersom samplingsraten f s =1/T s er større enn f max altså T s < ½T 0 f max kalles Nyquist-raten I praksis oversampler vi med en viss faktor for å kunne få god rekonstruksjon INF FA 4

5 Anti-aliasing Ved anti-aliasing fjerner/demper vi de høyere frekvensene i bildet før vi sampler INF FA 5

6 Kvantisering Hvert piksel lagres vha. n biter Pikselet kan da inneholde heltallsverdier fra 0 til n -1 Eks 3 biter: INF FA 6

7 Kvantiseringsfeil Kvantiseringsfeil Summen av hver piksels avrundingsfeil Kan velge intervaller og tilhørende rekonstruksjonsintensiteter for å minimere denne => Ikke nødvendigvis uniform fordeling Sentrale stikkord: Lagringsplass ehov for presisjon/akseptabelt informasjonstap Hardware-kompleksitet, eller fysiske begrensninger Merk: Fremvisning og videre analyse av det kvantiserte bildet kan stille ulike krav til presisjon INF FA 7

8 Geometriske operasjoner Endrer på pikslenes posisjoner Første steg i denne prosessen: Transformer pikselkoordinatene x,y til x,y : x = T x x,y y = T y x,y T x og T y er ofte gitt som polynomer. Siden pikselkoordinatene må være heltall, må vi deretter bruke interpolasjon til å finne pikselverdien gråtonen i den nye posisjonen. INF FA 8

9 Affine transformer Transformerer pikselkoordinatene x,y tilx x,y : x = T x x,y y = T y x,y Affine transformer beskrives ved: På matriseform: x = a 0 x + a 1 y + a y =bx+by+b 0 b 1 + b eller INF FA 9

10 Eksempler på enkle transformer - I Transformasjon a 0 a 1 a b 0 b 1 b Uttrykk Identitet x = x y = y Skalering s s 0 x = s 1 x y = s y Rotasjon cosθ -sinθ 0 sinθ cosθ 0 x =xcosθ-ysinθ y =xsinθ+ycosθ F F INF FA 10

11 Eksempler på enkle transformer - II Transformasjon a 0 a 1 a b 0 b 1 b Uttrykk Translasjon 1 0 x 0 1 y x = x+ x y = y+ y = Horisontal shear 1 s x x+s 1 y med faktor s 1 1 y = y Vertikal shear med dfaktor s s 1 0 x = x y = s x+y F INF FA 11

12 Alternativ måte å finne transformkoeffisientene ffi i t En affin transform kan bestemmes ved å spesifisere tre punkter før og etter avbildningen inn-bildet resultat-bildet Med disse tre punktparene p kan vi finne de 6 koeffisientene; a 0, a 1, a, b 0, b 1, b Med flere enn 3 punktpar velger man den transformasjonen som minimerer kvadrat-feilen summert over alle punktene. INF FA 1

13 Forlengs-mapping for all x',y' do gx',y' = 0 a 0 = cos θ a 1 = -sin θ b 0 = sin θ b 1 =cosθ θ for all x,y do x = rounda 0 x+a 1 y y = roundb 0 x+b 1 y if x,y inside g gx,y = fx,y end Eksempel: Enkel rotasjon ved transformen: Flytter de posisjonstransformerte pikselposisjonene til nærmeste pikselposisjon i utbildet. Skriver innbildets fx,y inn i gx, y INF FA 13

14 aklengs-mapping a 0 = cos -θ a 1 = -sin -θ b 0 = sin -θ b 1 = cos -θ for alle x,y do x = rounda 0 x +a 1 y y = roundb 0 x +b 1 y if x,y inside f gx,y = fx,y else gx,y =0 end Samme eksempel som ved forlengs-mappingen. N: x,y rotert t med θ ga x,y x,y rotert med -θ gir x,y Resample bildet. Her; for hvert utbilde-piksel, invers-transformér, og velg nærmeste piksel fra innbildet. For hver pikselposisjon i ut-bildet: Hent pikselverdi fra innbildet. INF FA 14

15 aklengs-mapping, forts. INF FA 15

16 Trilineær interpolasjon Utvidelsen fra D til 3D kalles trilineær interpolasjon, og er en lineær interpolasjon mellom resultatene av to bilineære interpolasjoner. Resultatet e er uavhengig av rekkefølgen. INF FA 16

17 Interpolasjon en sammenligning Nærmeste nabo gir D trappefunksjon. Diskontinuitet midt mellom punktene. i-lineær interpolasjon bruker x=4 piksler. Derivert er ikke kontinuerlig over bilde-flaten. i-kubisk interpolasjon gir glattere flater. Er mer regnekrevende. ruker 4x4=164 piksler. INF FA 17

18 Normalisert histogram Vi har at Det normaliserte histogrammet: pi kan ses på som en sannsynlighetsfordeling for pikselintensitetene Uavhengig av antall piksler i bildet INF FA 18

19 Kumulativt histogram Hvor mange piksler har gråtone mindre enn eller lik gråtone j? Normalisert kumulativt histogram: Sannsynligheten for at en tilfeldig valgt piksel er mindre eller lik gråtone j INF FA 19

20 Lineær gråtonetransform Lineær strekking T [ i ] ai b g x, y a f x, y b a regulerer kontrasten, og b lysheten a>1: mer kontrast a<1: mindre kontrast Q: Når og hvordan påvirker a middelverdien? di b: flytter alle gråtoner b nivåer Negativer: a=-1, b =maxverdi for bildetype INF FA 0

21 Endre lysheten brightness Legge til en konstant b til alle pikselverdiene g g x, y f x, y b Hvis b>0, alle pikselverdiene øker, og bildet blir lysere Hi Hvis b<0, bildet blir mørkere Histogrammet flyttes opp eller ned med b Middelverdien endres! hg hf f INF FA 1

22 Endre kontrasten Multiplisere hver pikselverdi med en faktor a: g g x, y a f x, y Hvis a > 1, kontrasten øker Hvis a < 1, kontrasten minker hg f Eks: ruke hele intensitetsskalaen Q: Hva skjer med middelverdien? hf INF FA

23 Justering av μ og σ Justering av μ og σ Gitt inn bilde med middelverdi μ og varians σ Gitt inn-bilde med middelverdi μ og varians σ Anta en lineær gråtone-transform T[i]=ai+b Ny middelverdi μ T og varians σ T er da gitt ved Ny middelverdi μ T og varians σ T er da gitt ved b a i p i T G i T 1 0 ] [ ] [ ] [ i p i T i p i T G i G i T Dvs. a=σ T /σ, b= μ T -aμ i i p b ai i p b aib i a G i G i i i T/, μ T μ Vi kan altså velge nye μ T og σ T, a i p i i p i a G i G i beregne a og b, anvende T[i]=ai + b på inn-bildet og få et ut-bilde med riktig μ T og σ T og få et ut bilde med riktig μ T og σ T 3 INF FA

24 Logaritmiske transformasjoner Q: Hvilken av transformasjonene til høyre er brukt her? Fig 3.3 i DIP INF FA 4

25 Power-law gamma-transformasjoner Mange bildeproduserende apparater har et input/outputforhold som kan beskrives som: s ci Fig 3.6 i DIP der s er ut-intensiteten t it t ved en input i Kan korrigeres ved gråtonetransformen T[i] = i 1/γ Generell kontrast-manipulasjon rukervennlig med kun én variabel INF FA 5

26 Histogramutjevning histogram equalization Mål: Maksimere kontrasten t Gjøre histogrammet uniformt flatt Kumulative histogrammet en rett linje Middel: Global gråtonetransform; T[i] Altså flytte på hele histogramsøyler Tilnærming ved å spre søylene mest mulig utover det støttede tt intensitetsintervallet it t i t t INF FA 6

27 Algoritme for histogramutjevning For et nm bilde med G gråtoner: Lag array h, p, c og T av lengde G med initialverdi 0 Finn bildets normaliserte histogram Gå igjennom bildet piksel for piksel. Hvis piksel har intensitet i, la h[i]=h[i]+1 Deretter skalér, p[i] = h[i]/n*m, i=0,1,,g-1 Lag L det kumulative histogrammet t c c[0] = p[0] c[i] = c[i-1]+p[i], i=1,,...,g-1 Sett inn verdier i transformarray T T[i] = Round G-1*c[i], i=0,1,...,g-1 Gå igjennom bildet piksel for piksel, Hvis bildet har intensitet i, sett intensitet i utbildet til s=t[i] INF FA 7

28 Histogramtilpasning Histogramutjevning gir flatt histogram Kan spesifisere annen form på resultathistogrammet: 1.Gjør histogramutjevning på innbildet, finn s=ti.spesifiser ønsket nytt histogram gz 3.Finn den transformen T g som histogramutjevner gz og inverstransformen T -1 g 4.Inverstransformer det histogramutjevnede bildet fra punkt 1 ved z=t -1 g s INF FA 8

29 Terskling Hvis vi har grunn til å anta at objektene f.eks. er lysere enn bakgrunnen, kan vi sette en terskel T og lage oss et binært ut-bilde gx,y ved mappingen: g x, y 0 hvis 1 hvis f x, y f x, y T T g Da har vi fått et ut-bilde gx,y med bare to mulige verdier. Med riktig valg av T vil nå alle piksler med gx,y=1 være objekt-piksler. f INF FA 9

30 Klassifikasjonsfeil ved terskling Anta at histogrammet er en sum av to fordelinger bz og fz, b og f er normaliserte bakgrunns- og forgrunns-histogrammer. La F og være a priori sannsynlighet for bakgrunn og forgrunn +F=1 Det normaliserte histogrammet til bildet kan da skrives p z b z F f z Sannsynlighetene for å feilklassifisere et piksel, gitt en terskelverdi t, finner vi fra de normaliserte fordelingene: E t f z dz t E F t b z dz t INF FA 30

31 Den totale feilen Vi har funnet andelen feilklassifikasjon i hver fordeling. Den totale feilen finner vi ved å multiplisere med a priori sannsynlighetene for forgrunn og bakgrunn: E t F E t E t t F f z dz b z dz Legges terskelen veldig høyt eller veldig lavt, blir feilen stor. Det er rimelig å anta at feilen har et minimum for en bestemt t verdi t =T. F t INF FA 31

32 Finn den T som minimerer feilen E t F f z dz b z dz t t Deriverer Et mhp. t vha. Leibnitz regel for derivasjon av integraler. Setter den deriverte lik 0 og får: de t 0 F f T b T dt VIKTIG!!! Merk at dette er en generell løsning som gir minst feil. Det er ingen restriksjoner mht. fordelingene b og f!! INF FA 3

33 Hvilket histogram? Det er IKKE skjæringen mellom de normaliserte histogrammene vi er ute etter! 0, Normalized histograms ,04 Det er skjæringen mellom de a priori-skalerte normaliserte histogrammene som gir riktig terskelverdi!!! Scaled normalized histograms INF FA 33

34 Forskjellige standardavvik? Hvis standardavvikene i de to Gauss-fordelingene er forskjellige og skjæringspunktene mellom fordelingene skalert med a priori sannsynlighet ligger innenfor gråtoneskalaen i bildet En terskelverdi for hvert skjæringspunkt. 0,03 Det er bare mellom de to tersklene at flertallet av pikslene er bakgrunnspiksler! INF FA 34

35 Hvor ligger optimal terskel? Hvor ligger optimal terskel? Vi har en annengradsligning i T: 0 ln F F F F F F F F T T Hvis standard-avvikene i de to fordelingene er like = F = får vi en enklere ligning: F T F F F 0 ln Hvis a priori sannsynlighetene F og er omtrent like F T F F ln eller hvis =0 har vi en veldig enkel løsning: F T INF FA 35 T

36 En enkel tersklings-algoritme Start med terskel-verdi t=middelverdien til alle pikslene i bildet. Finn middelverdien 1 t av alle piksler som er mørkere enn terskelen Finn middelverdien t av alle piksler som er lysere enn terskelen. La ny terskel-verdi være t 1 1 t t Gjenta de to punktene ovenfor til terskelen ikke flytter seg mer. Dette kalles Ridler og Calvard s metode Hvilke betingelser må være oppfylt for at metoden skal virke? INF FA 36

37 Otsu s s metode - motivasjon Anta at vi har et gråtonebilde med G gråtoner, med normalisert histogram pi. Anta at bildet inneholder to populasjoner av piksler, slik at pikslene innenfor hver populasjon er noenlunde like, mens populasjonene p er forskjellige. Målsetting: Vi vil finne en terskel T slik at hver av de to klassene som oppstår ved tersklingen blir mest mulig homogen, mens de to klassene bli mest mulig forskjellige. Klassene er homogene: variansen i hver av de to klassene er minst mulig. Separasjonen mellom klassene er stor: avstanden mellom middelverdiene di er størst t mulig. INF FA 37

38 Otsu s s metode; oppsummering Gitt et NxM pikslers bilde med G gråtoner. Finn bildets histogram, hk, k= 0,1,,..,G-1. Finn bildets normaliserte histogram: h k p k, k 0,1,,..., G 1 MN eregn kumulativt normalisert histogram: eregn kumulativ middelverdi, μk: eregn global middelverdi, μ: eregn variansen mellom klassene, σ k: Finn terskelen, T, der σ k har sitt maksimum. eregn separabilitetsmålet, ηt: k P1 k p i, k 0,1,,..., G 1 i0 k ip i, k i0 k 0,1,,..., G 1 G 1 i0 ip i k P P1 k P k1 P k k k 1 1 T T, 0 T 1 INF FA 38 Tot

39 Adaptiv terskling ved interpolasjon Globale terskler gir ofte dårlig resultat. Globale metoder kan benyttes lokalt. Dette virker ikke der vinduet bare inneholder en klasse! Oppskrift: NIVÅ I: Del opp bildet i del-bilder. For del-bilder med bi-modalt histogram: Finn lokal terskelverdi e T c i,j og tilordne den til senterpikselet i,j i del-bildet. For del-bilder med uni-modalt histogram: Finn lokal l terskelverdi ved interpolasjon. NIVÅ II: Piksel-for-piksel interpolasjon: Gå gjennom alle piksel-posisjoner p bestem adaptiv terskelverdi Tx,y ved interpolasjon mellom de lokale terskelverdiene T c i,j. Terskle så hvert piksel x,y i bildet i terskelverdiene Tx,y. INF FA 39

40 Tre integraler gir RG e teg ae g G Lys fra en kilde med spektralfordeling E Lys fra en kilde med spektralfordeling E treffer et objekt med spektral refleksjonsfunksjon S. Reflektert lys detekteres av tre typer tapper med spektral lysfølsomhetsfunksjon q i. p y ø j q i Tre analoge signaler kommer ut av dette: d S E G d q S E R R d q S E d q S E G G q 40 INF FA

41 RG primærfarger Commision Internationale de l Eclairage Eclairage, CIE The International Commision of Illumination har definert primærfargene: lå: nm Grønn: nm Rød: 700 nm INF FA 41

42 eskrivelse av farger En farge kan beskrives på forskjellige måter kalles fargerom RG HSI Hue, Saturation, Intensity CMY Cyan, Magenta, Yellow pluss mange flere.. HSI er viktig for hvordan vi beskriver og skiller farger. I Intensitet: hvor lys eller mørk er den S saturation/metning: hvor sterk er fargen H dominerende farge bølgelengde H og S beskriver sammen fargen og kalles kromatisitet INF FA 4

43 RG-kuben 0,0,1 blå cyan magenta hvit Gråtonebilder: r=g=b 0,0,0 svart grønn 0,1,0 1,0,0 rød gul INF FA 43

44 RG og CMY RG og CMY er i prinsippet i sekundærfarger for hverandre. INF FA 44

45 Hue, Saturation, Intensity HSI hvit Hue: ren farge - gir bølgelengden l idet elektromagnetiske spektrum. cyan S H grønn gul H er vinkel og ligger mellom 0 og : rød Rød: H=0, grønn: H= /3, blå= 4/3, gl:h gul: H=/3, cyan=, magenta= 5/3 blå magenta I Rød: H=0, grønn: H= 85, blå= 170, gul: H=4, cyan= 17, magenta= 13. Hvis vi skalerer H-verdiene til 8-bits verdier vil svart INF FA 45

46 Fargebilder agebde ogfargetabeller agetabee RG kan lagres med like mange biter for r, g, b, f.eks Selv = 9 biter gir oss = 51 kombinasjoner, men bare 8 forskjellige nivåer av rødt, grønt og blått, og dermed også bare 8 forskjellige gråtoner. Et scene med mange nyanser av én farge vil da se ille ut! Hvorfor? Jo fordi denne fargen bare får 8 forskjellige nyanser! Det er ikke sikkert at alle de 51 fargene finnes i bildet. Alternativt kan man bruke 8 biter og fargetabeller. Hver rad i tabellen beskriver en r, g, b-farge med 4 biter. Tabellen inneholder de 56 fargene som best beskriver bildet. I bilde-filen ligger pikselverdiene som tall mellom 0 og 55. Når vi skal vise bildet, slår vi bare opp i samme rad som pikselverdien, og finner de tilsvarende r, g, b-verdiene. INF FA 46

47 Histogramutjevning av RG-bilder hvit Histogramutjevning på hver komponent R,G,, uavhengig gg av hverandre Ofte dårlig resultat cyan Et bedre alternativ er å benytte HSI: Transformér bildet fra RG til HSI Gjør histogramutjevning g på I- komponenten Transformer HSI ny tilbake til RG grønn S gul blå magenta I svart H rød INF FA 47

48 Terskling es gav fargebilder agebde - I Anta at vi har observert samme scene på flere bølgelengder. Vi kan da utføre terskling basert på to-dimensjonale tre-dimensjonale eller multi-dimensjonale histogrammer Enkel metode: 1: estem terskler uavhengig for hver kanal. : Kombiner alle segmenterte kanaler til ett bilde. Dette svarer til at vi har delt opp f.eks. RG-rommet i bokser. INF FA 48

49 Terskling av fargebilder - II es ga agebde En mer kompleks metode: Velg et punkt i det multidimensjonale rommet som referanse, f.eks. R 0,G 0, 0 Terskle basert på avstand fra dette referansepunktet. f G f R f d Slik at 0 0 0,,,, y x f G y x f R y x f y x d G R max max, 0 hvis, 1hvis, d y x d d y x d y x g Dette definerer en kule med radius d max omkring punktet R 0,G 0, 0. Kan lett generaliseres til ellipsoide med forskjellige avstands-terskler i R,G, max, y 0 0 0,,,, G G R R d y x f d G y x f d R y x f y x d Merk at da er 1 0 hi 1, 1hvis, d y x d y x g 1, hvis 0 y x d 49 INF FA

50 Terskling es i HSI Transformer fra RG til HSI. Anta at vi vil segmentere ut de delene av bildet som Har en gitt farge H Er over en gitt metnings-terskel S Lag en maske ved å terskle S- bildet velg en percentil Multipliser H-bildet med masken. Velg et intervall i H som svarer til ønsket farge. Husk at H er sirkulær! INF FA 50

51 Kontakt oss Hvis du lurer på noe i INF310-pensum e-post Hvis du tenker på flere kurs i digital bildeanalyse Hvis du tenker på å ta en Master-oppgave Takk, og lykke til med eksamen!!! INF FA 51