Histogrammetoder. Lars Aurdal Norsk regnesentral. Histogrammetoder p.1/91

Transkript

1 Histogrammetoder Lars Aurdal Norsk regnesentral Histogrammetoder p.1/91

2 Oversikt 1 Litt praktisk informasjon. Grånivåtransformasjoner. Grunnleggende transformasjoner. Negativer. Log-transformasjoner. Potens-transformasjoner. Histogrammetoder p.2/91

3 Oversikt 2 Grunnleggende transformasjoner. Stykkevis lineære transformasjoner. Grånivå-kutting (slicing). Bitplan-kutting (slicing). Histogrammetoder p.3/91

4 Oversikt 3 Histogramprosessering. Histogramutjevning (equalization). Histogramtilpasning (matching). Histogrammetoder p.4/91

5 Praktisk informasjon Alle transparentene blir gjort tilgjengelige på kursets web-sider. På kursets web-sider finnes også forslag til øvinger og hvordan disse kan gjøres i Matlab. Pensum er i sin helhet dekket av kursboka. Endelig pensum oppgis senere. Histogrammetoder p.5/91

6 Grånivåtransformasjoner 1 Med romdomenet mener vi pikslene som utgjør bildet. En metode eller algoritme som opererer i romdomenet har altså den egenskapen at den arbeider direkte med pikslene. Histogrammetoder p.6/91

7 Grånivåtransformasjoner 2 En algoritme som arbeider i romdomenet betegner vi: g(x,y)=t [ f (x,y)] der f (x,y) er inputbildet, g(x,y) det prosesserte bildet og T en operator definert over et eller annet nabolag av (x,y). Histogrammetoder p.7/91

8 Grånivåtransformasjoner 3 Ofte kan T også operere på et sett inputbilder, for eksempel for å beregne gjennomsnitt. De vanligste nabolagene som betraktes for en piksel (x,y) er denne pikselens 4 eller 8 nærmeste naboer. Histogrammetoder p.8/91

9 Grånivåtransformasjoner 4 Vi skal betrakte transformasjoner T som betrakter nabolag av størrelse 1 1, det vil si en enkelt piksel. Gitt definisjonsligningen for en romlig transformasjon: g(x,y)=t [ f (x,y)] ser vi at i dette tilfellet avhenger g bare av verdien av f i punktet (x,y). I slike tilfeller sier vi at T er en grånivå- (intensitets-) transformasjon. Histogrammetoder p.9/91

10 Grånivåtransformasjoner 5 En grånivåtransformasjon betegner vi gjerne: s = T (r) der vi for enkelthets skyld lar s og r være grånivåverdien g(x, y) og f (x, y) respektive. Histogrammetoder p.10/91

11 Grånivåtransformasjoner, eksempel 1 s=t(r) T(r) Dersom T (r) har formen vist i figuren ser vi at effekten vil være å strekke kontrasten i bildet rundt verdien m. Mørk Lys Mørk m Lys Kontrasforsterkende transformasjon. r Histogrammetoder p.11/91

12 Grånivåtransformasjoner, eksempel 2 s=t(r) Dersom T (r) har formen vist i figuren under ser vi at effekten vil være å terskle bildet ved verdien m. Mørk Lys T(r) r m Mørk Lys Tersklende transformasjon. Histogrammetoder p.12/91

13 Grånivåtransformasjoner 6 Vi skal se eksempler på endel viktige grånivåtransformasjoenr. Husk at disse transformasjonene bare betrakter pikslene i punktet (x, y). Transformasjoner som betrakter et større nabolag rundt (x, y) kan selvfølgelig gjøres mye mer fleksible. Histogrammetoder p.13/91

14 Grunnleggende grånivåtransformasjoner Husk: vi betraker grånivåtransformasjoner betegnet ved s = T (r) der s og r er grånivåverdier. s og r er i de fleste praktiske tilfeller digitale verdier. Mappingen gitt ved T representeres vanligvis som en oppslagstabell, mappingen av verdien r står i tabellens posisjon r. Histogrammetoder p.14/91

15 Grunnleggende grånivåtransformasjoner L-1 Negativ Log Mye brukte grånivåtransformasjoner. Grånivåene forutsettes å ligge i intervallet [0,L 1]. s 3L/4 L/2 L/4 nte rot Identitet nte potens Invers log 0 0 L/4 L/2 3L/4 r L-1 Histogrammetoder p.15/91

16 Log-transformasjoner 1 Den generelle formen på disse transformasjonene er: s = clog(1 + r) der c er en konstant og der det forutsettes at r 0. Histogrammetoder p.16/91

17 Log-transformasjoner 2 L-1 Logtransformasjonene mapper et smalt bånd av mørke grånivåverdier i inputbildet til et bredere bånd av lyse verdier i outputbildet. s 3L/4 L/2 L/4 0 Negativ Log nte rot Identitet nte potens Invers log 0 L/4 L/2 3L/4 L-1 r Histogrammetoder p.17/91

18 Log-transformasjoner 3 L-1 De inverse logtransformasjonene mapper et bredt bånd av mørke grånivåverdier i inputbildet til et smalere bånd av lyse verdier i outputbildet. s 3L/4 L/2 L/4 0 Negativ Log nte rot Identitet nte potens Invers log 0 L/4 L/2 3L/4 L-1 r Histogrammetoder p.18/91

19 Log-transformasjoner 4 En viktig anvendelse av logtransformasjonene er ved avbildning av Fourier-spektra. Histogrammetoder p.19/91

20 Øving 1 Beregn absoluttverdien av fouriertransformen av bildet i forrige slide. Hva er min- og max-verdien? Hva blir resultatet av en direkte visning av dette bildet? Hva blir resultatet når du log-transformerer dette bildet før visning? Histogrammetoder p.20/91

21 Potens-transformasjoner 1 Den generelle formen på disse transformasjonene er: s = cr γ der c og γ er positive konstanter. Histogrammetoder p.21/91

22 Potens-transformasjoner 2 Effekten er den samme som for logtransformasjonene, men her får vi en hel familie av ulike transformasjoner ved å endre γ γ=0.04 γ=0.1 γ=0.2 γ=0.4 γ=0.67 γ=1.0 γ=1.5 γ=2.5 γ=5.0 γ=10.0 γ=25.0 Histogrammetoder p.22/91

23 Potens-transformasjoner 3 En rekke displayenheter har slike responsfunksjoner. Ved konvensjon omtales eksponenten i ligningen som γ (gamma). Det å korrigere for ulike displayenheters transferfunksjon omtales ofte som gammakorreksjon Histogrammetoder p.23/91

24 Potens-transformasjoner 4 Skjermer med katodestrålerør har en transferfunksjon mellom spenning og intensitet som er en potensfunksjon med γ i området 1.8 til 2.5. Ved å se på kurvene for disse verdiene ser vi at en slik skjerm vil gi bilder som er for mørke. Histogrammetoder p.24/91

25 Potens-transformasjoner 5 Antar vi at skjermen har en transferfunksjon gitt ved: s = r 2.5 kan vi korrigere for dette ved å preprosessere bildene med grånivåtransformasjonen: s = r 1/2.5 = r 0.4 Histogrammetoder p.25/91

26 Potens-transformasjoner 6 γ = 0.1 γ = 2.0 γ = 1.0 γ = 0.2 γ = 5.0 Histogrammetoder p.26/91

27 Stykkevis lineære transformasjoner 1 I praksis er transformasjonene vi har diskutert så langt ofte for lite fleksible. Vi trenger større grad av kontroll med formen på transformasjonen. Stykkevis lineære transformasjoner kan være løsningen i slike tilfeller. Mange kommersielle programmer tilbyr denne typen av grånivåtransformasjoner. Histogrammetoder p.27/91

28 Stykkevis lineære transformasjoner 2 s=t(r) s=t(r) T(r) T(r) Mørk Lys Mørk Lys r r Mørk Lys Mørk Lys Histogrammetoder p.28/91

29 Stykkevis lineære transformasjoner 3 Photoshop demo. Histogrammetoder p.29/91

30 Grånivå-kutting (slicing) 1 s=t(r) Egentlig bare et særtilfelle av stykkevis lineære transformasjoner som brukes for å framheve et bestemt område av grånivåer. Mørk Lys Mørk Lys s=t(r) Mørk T(r) T(r) Lys r r Mørk Lys Histogrammetoder p.30/91

31 Grånivå-kutting (slicing) 2 s=t(r) s=t(r) s=t(r) Mørk Lys T(r) Mørk Lys T(r) Mørk Lys T(r) r r r Mørk Lys Mørk Lys Mørk Lys Histogrammetoder p.31/91

32 Øving 2 Prøv grånivå-kutting på bildet i forrige slide. Histogrammetoder p.32/91

33 Bitplan-kutting (slicing) 1 Et bilde der hver piksel er representert ved en byte (256 ulike grånivåer) kan betraktes som sammensatt av 8 bitplan, der bitplan 0 representerer de minst signifikante bitene En 8-bit byte Bit-plan 7 Bit-plan 0 Histogrammetoder p.33/91

34 Øving 3 Matlab-demo. Prøv bitplan-kutting på demon-bildet. Histogrammetoder p.34/91

35 Histogramprosessering 1 Histogrammet til et digitalet bilde med grånivåverdier i området [0,L 1] er en diskret funksjon: h(r k )=n k der r k er k-te grånivå og n k er antall piksler i bildet som har nivå r k. Histogrammetoder p.35/91

36 Histogramprosessering 2 Det er vanlig å normalisere histogrammet ved å dele hver verdi med det totale antallet piksler i bildet. Det normaliserte histogrammet er derfor gitt ved: p(r k )=n k /n for k = 0,1,...,L 1. Histogrammetoder p.36/91

37 Histogramprosessering 3 Grovt sagt kan p(r k ) sies å gi et estimat for sannsynligheten for at et grånivå r k forekommer i bildet. Merk at summen av alle verdiene i et normalisert histogram er 1. Histogrammetoder p.37/91

38 Histogramprosessering Original Histogram Histogrammetoder p.38/91

39 Histogramprosessering For mørkt Histogram Histogrammetoder p.39/91

40 Histogramprosessering For lyst Histogram Histogrammetoder p.40/91

41 Histogramprosessering For lav kontrast Histogram Histogrammetoder p.41/91

42 Histogramutjevning 1 Vi skal begynne med å betrakte kontinuerlige funksjoner. La den kontinuerlige r representere grånivåene i et bilde. Anta at r er normalisert til intervallet [0, 1]. r = 0 representerer svart mens r = 1 representerer hvit. Senere skal vi la betrakte det diskret tilfellet og la grånivåene ligge i inervallet [0,L 1]. Histogrammetoder p.42/91

43 Histogramutjevning 2 Vi skal betrakte transformasjoner av r definert ved: s = T (r), 0 r 1 Histogrammetoder p.43/91

44 Histogramutjevning 3 Vi skal i tillegg kreve at transformasjonen T(r) tilfredsstiller følgende betingelser: T (r) er enentydig og monotont økende i intervallet 0 r 1. 0 T(r) 1 for 0 r 1. Histogrammetoder p.44/91

45 Histogramutjevning 4 Det første kravet er nødvendig for at T(r) skal ha en invers og kravet om enentydighet gjør at rekkefølgen mellom mørke og lyse verdier i input- og output-bildet bevares. Det andre kravet gjør at output-verdiene vil ligge i samme intervall som input-verdiene Histogrammetoder p.45/91

46 Histogramutjevning 5 s=t(r) Figuren til høyre viser en transformasjon som har disse egenskapene Mørk Lys 1 s k =T(r k ) T(r) r k Mørk Lys 1 r Histogrammetoder p.46/91

47 Histogramutjevning 6 Vi kan betrakte grånivåverdiene i bildet som tilfeldige variable i intervallet [0, 1]. En sentral beskrivelse av slike variable er disses sannsynlighetstetthetsfordelig (tetthet). La nå p r (r) og p s (s) være tetthetene til r og s respektive. Histogrammetoder p.47/91

48 Histogramutjevning 7 Fra statistikken vet vi følgende: Dersom p r (r) og s = T (r) er kjente og dersom T 1 (s) er enentydig og monotont økende så gjelder: p s (s)=p r (r) dr ds Tettheten til s er defor gitt ved tettheten til r samt T(r). Histogrammetoder p.48/91

49 Histogramutjevning 8 Følgende transformasjon skal vise seg å være spesielt viktig: s = T(r)= r 0 p r (w)dw der w bare er en integrasjonsvariabel. Legg merke til at høyresiden her ikke er noe annet enn den kumulative tettheten til r. Histogrammetoder p.49/91

50 Histogramutjevning 9 Husk: s = T (r)= r 0 p r (w)dw En tetthetsfunskjon er alltid positiv. Integralet av en funksjon er arealet under denne funksjonen. Derfor må denne transformasjonen være enentydig og monotont økende. Det er også lett å innse at transformasjonen må gi resultater i intervallet [0, 1]. Histogrammetoder p.50/91

51 Histogramutjevning 10 Husk: s = T(r)= Vi anvender formelen: r 0 p r (w)dw p s (s)=p r (r) dr ds Histogrammetoder p.51/91

52 Histogramutjevning 11 Vi vet at: ds dr = dt(r) dr = d dr [ r 0 ] p r (w)dw Leibniz regel sier at den deriverte av et bestemt integral med hensyn til dets øvre grense er integranden evaluert ved denne grensen: ds dr = dt(r) = d [ r ] p r (w)dw = p r (r) dr dr 0 Histogrammetoder p.52/91

53 Histogramutjevning 12 Vi vet nå at: og vi finner: ds dr = p r(r) p s (s)=p r (r) dr ds = p r(r) 1 p r (r) = 1, 0 s 1 Histogrammetoder p.53/91

54 Histogramutjevning 13 Siden p s (s) er en tetthet må den være identisk lik 0 utenfor intervallet 0 s 1. p s (s) er defor en uniform tetthet. Vi har med andre ord funnet at transformasjonen vi betrakter tar en tilfeldig fordelt variabel r og transformerer den til en variabel s som er uniformt fordelt. Histogrammetoder p.54/91

55 Histogramutjevning 14 I det diskret tilfellet betrakter vi sannsynligheter og ikke sannsynlighetstettheter. Videre betrakter vi nå summer og ikke integraler. Sannsynligheten for at et grånivå rk skal opptre i et bilde er gitt ved: p r (r k )= n k n, k = 0,1,2,...,L 1 der n er det totale antallet piksler i bildet, n k antallet piksler som har grånivå r k og L antallet grånivåer i bildet. Histogrammetoder p.55/91

56 Histogramutjevning 15 Den diskret versjonen av transformasjonen blir nå: s k = T (r k )= k j=0 p r (r j )= k j=0 n j n, k = 0,1,2,...,L 1 Denne transformasjonen kalles en histogramutjevning (histogram equalization, histogram linearization). Det kan vises at den tifredsstiller de gitte betingelsene. Histogrammetoder p.56/91

57 Histogramutjevning 16 Den vil ikke produsere den diskret ekvivalenten av en uniform fordeling. Den vil imidlertid strekke histogrammet slik at vi får et bilde der det tillatte dynamiske området utnyttes bedre. Histogrammetoder p.57/91

58 Histogramutjevning Original Histogram Histogrammetoder p.58/91

59 Histogramutjevning 18 x Histogramutjevnet Histogram Histogrammetoder p.59/91

60 Øving 4 Utfør histogramutjevning på bildet i forrige slide. Histogrammetoder p.60/91

61 Histogramtilpasning 1 Under histogramutjevning bestemmes automatisk transformasjonen som må brukes. Dette er en helautomatisk metode som gir et bilde med et tilnærmet flatt histogram. Men hva om vi ønsker en annen form på histogrammet? Løsningen er histogramtilpasning. Histogrammetoder p.61/91

62 Histogramtilpasning 2 La oss betrakte de kontinuerlige grånivåverdiene r, s og z, som før er disse kontinuerlige, tilfeldige variable. La som før p r (r), p s (s) og p z (z) betegne deres kontinuerlige fordelingsfunksjoner. La nå r være grånivåene i inputbildet og z nivåene i outputbildet. Histogrammetoder p.62/91

63 Histogramtilpasning 3 p r (r) kan estimeres fra input-bildet. p z (z) lar vi være en spesifisert fordeling som vi ønsker at outputbildet skal ha. La nå s være en tilfeldig variabel med egenskapen: s = T(r)= r 0 p r (w)dw der w bare er en integrasjonsvariabel. Histogrammetoder p.63/91

64 Histogramtilpasning 4 Husk at uttrykket: s = T(r)= r 0 p r (w)dw er den transformasjonen som utjevner histogrammet til en kontinuerlig variabel r. Histogrammetoder p.64/91

65 Histogramtilpasning 4 Vi har: s = T (r)= Vi definerer nå videre: r 0 p r (w)dw G(z)= z 0 p z (t)dt = s der t er en integrasjonsvariabel. Av dette er det innlysende at: G(z)=T (r) Histogrammetoder p.65/91

66 Histogramtilpasning 5 Vi hadde: og: Derfor må: s = T(r)= G(z)= z 0 r 0 p r (w)dw p z (t)dt = s z = G 1 (s)=g 1 [T(r)] Histogrammetoder p.66/91

67 Histogramtilpasning 6 Vi hadde: z = G 1 (s)=g 1 [T(r)] Husk nå at T (r) kan bestemmes etter at p r (r) er estimert fra bildet. Og: G(z) kan bestemmes fordi p z (z) er gitt. Histogrammetoder p.67/91

68 Histogramtilpasning 7 Husk: z = G 1 (s)=g 1 [T(r)] Dersom vi antar at G 1 eksisterer og tilfredstiller de riktige betingelsene viser denne ligningen at en variabel z med spesifisert tetthet kan oppnås fra en variabel r med vilkårlig tetthet. Histogrammetoder p.68/91

69 Histogramtilpasning 8 Prosedyren er: 1. Finn tettheten p r (r) til inputbildet. 2. Finn den transformasjonen T(r) som transformerer denne tettheten til en uniform tetthet. 3. Finn også den transformasjonen G(z) som transformerer den spesifiserte tettheten p z (z) til en uniform tetthet. 4. Finn den inverse G 1 (z) av denne siste transformasjonen. 5. Transformasjonen som gir r den ønskede tettheten er nå G 1 (T(r)) Histogrammetoder p.69/91

70 Histogramtilpasning 9 I praksis kjenner vi ikke analytiske uttrykk for T(r) og G 1 (z). I det diskret tilfellet kan dette problemet omgås. Som før oppnår vi i det diskret tilfellet ikke en perfekt match med det ønskede histogrammet. Histogrammetoder p.70/91

71 Histogramtilpasning 10 Husk den kontinuerlige transformasjonen: s = T (r)= Den diskret varianten er: r 0 p r (w)dw s k = T (r k )= k j=0 p r (r j )= k j=0 n j n, k = 0,1,2,...,L 1 Histogrammetoder p.71/91

72 Histogramtilpasning 11 Husk også den kontinuerlige transformasjonen: G(z)= z 0 p z (t)dt = s Den diskret varianten er: G(z k )= k p z (z i )=s k, k = 0,1,2,...,L 1 i=0 Vi leter nå etter verdier z som tilfredsstiller denne ligningen. Histogrammetoder p.72/91

73 Histogramtilpasning 12 Den endelige kontinuerlige transformasjonen var: z = G 1 (s)=g 1 [T(r)] Den diskret varianten er: eller: z k = G 1 [T(r k )], k = 0,1,2,...,L 1 z k = G 1 [s k ], k = 0,1,2,...,L 1 Histogrammetoder p.73/91

74 Histogramtilpasning 13 I det diskret tilfellet gjelder følgende: Hvert sett av gråtoneverdier {r j }, {s j } og {z j } for k = 0,1,2,...,L 1 er en endimensjonal vektor med L elementer. Alle transformasjonene fra r til s og fra s til z er tabelloppslag. Histogrammetoder p.74/91

75 Histogramtilpasning 14 Husk at i det kontinuerlige tilfellet hadde vi: z = G 1 (s)=g 1 [T(r)] Den ønskede z må derfor ha egenskapen: G(z)=s Det er denne siste ligningen vi benytter i det diskret tilfellet. Histogrammetoder p.75/91

76 Histogramtilpasning 15 I det kontinuerlige tilfellet kan ligningen: løses eksakt for z. G(z)=s I det diskret tilfellet må vi nøye oss med en tilnærmet løsning. Histogrammetoder p.76/91

77 Histogramtilpasning 16 For å finne den transformerte verdien av en bestemt s k fra det opprinnelige bildet leter vi iterativt etter den ẑ som gjør differansen: (G(ẑ) s k ) 0 k = 0,1,2,...,L 1 så liten som mulig. Histogrammetoder p.77/91

78 Histogramtilpasning 17 Husk: (G(ẑ) s k ) 0 k = 0,1,2,...,L 1 Sett ẑ = 0 initielt og øk denne i heltallige trinn inntil ligningen over er tilfredsstilt. Sett så z k = ẑ. Histogrammetoder p.78/91

79 Histogramtilpasning 18 Ved å gjenta denne prosessen for alle k bygger vi opp hele tabellen som skal til. Merk at ettersom verdiene av s k øker monotont trenger vi ikke begynne med ẑ = 0 hver gang. For k = k + 1 begynner vi ganske enkelt med ẑ = z k og iterer i heltallige trinn derfra. Histogrammetoder p.79/91

80 Oppsummering 1 Beregn histogrammet for det gitte bildet. Beregn mappingen fra r k til s k ved: s k = T (r k )= k j=0 p r (r j )= k j=0 n j n, k = 0,1,2,...,L 1 Histogrammetoder p.80/91

81 Oppsummering 2 Beregn mappingen fra z k til v k ved: G(z k )= k i=0 p z (z i )=s k, k = 0,1,2,...,L 1 Histogrammetoder p.81/91

82 Oppsummering 3 For hver piksel i det opprinnelige bildet, dersom verdien er r k, finn den tilsvarende s k. Bruk så den iterative metoden diskutert over til å mappe s k til z k. Histogrammetoder p.82/91

83 Eksempel 1 Initial image 0.4 Histogram of input image Opprinnelig bilde, 8 nivåer Opprinnelig bilde, histogram Histogrammetoder p.83/91

84 Eksempel Histogram of input image 1 Cumulative histogram of input image Opprinnelig bilde, histogram Opprinnelig bilde, kum. histogram Histogrammetoder p.84/91

85 Eksempel 3 1 Cumulative histogram of input image 7 LUT to give input image a uniform distribution Opprinnelig bilde, kum. histogram Opprinnelig bilde, forover LUT Histogrammetoder p.85/91

86 Eksempel Desired histogram 1 Cumulative histogram of desired distribution Ønsket histogram Ønsket kum. histogram Histogrammetoder p.86/91

87 Eksempel 5 1 Cumulative histogram of desired distribution 7 LUT to give specified image a uniform distribution Ønsket kum. histogram Revers LUT Histogrammetoder p.87/91

88 Eksempel 6 Forward transformed image 0.4 Histogram of forward transformed image Forover transformert Forover transformert histo. Histogrammetoder p.88/91

89 Eksempel 7 Inverse transformed image 0.7 Histogram of final transformed image Endelig resultat Endelig resultat histogram Histogrammetoder p.89/91

90 Eksempel Histogram of final transformed image 0.35 Desired histogram Endelig resultat histogram Ønsket histogram Histogrammetoder p.90/91

91 Øving 5 Utfør histogramutjevning på bildet brukt i de forutgående slidene. Histogrammetoder p.91/91