TDT Grunnleggende visuell databehandling

Transkript

1 TDT Grunnleggende visuell databehandling Håkon Åmdal November Grafikk 1.1 Computer Graphics Å lage et rasterbilde fra en scene. Scene Computer Graphics Raster image Visualisering Bruke en visuell presentasjon av data for å øke forståelse. Data Set Visualization Model Modellering Teknikker for å representere grafiske objekter. Model Graphics Pipeline Image Image buffer 2-dimensjonalt array med W x H, hvor hver piksel har et gitt antall bits (for å representere en farge/intensitet). I minnet er disse lineære. Et dobbeltbuffer er at man har to buffre (fyller opp det ene, viser det andre) Color look up table Et ekstra nivå med indireksjon, der fargene er lagret i en tabell ved siden av, og image buffer inneholder index til denne tabellen Hardware Grafikkort har gjerne Z-buffer og lar seg programmere med shaders (vertex og fragment). 1

2 1.2 Rasterisering Konvertering av 2D-primitiver til diskrete pikselrepresentasjoner. I utgangspunktet er kompleksiteten for rasterisering O(P p) der P er antall primitiver og p er antall piksler Midtpunkt og nabolag 2

3 1.3 Rasteriseringsalogritmer for linjer Må dele opp i oktanter. Det er lett å konvertere fra én oktant til en annen Suboptimal I en suboptimal algoritme akkumulerer man feil med stigningstallet. For hver x-verdi man skriver får man en ny feil i y-retningen. Dersom denne feilen er større enn 0.5, legger man til én på y, og trekker én fra feilen. Gjelder i 1. kvadrant. while ( x<=xe ) { x +=1; e +=dy/ dx ; #dy/ dx = s i f ( e >= 0. 5 ) { y += 1 e = 1 } } Dette inneholder for mye flyttalsaritmetikk, så hvis man ganger alt som har med bestemmelsesverdier å gjøre med dx, får man bare heltall. while ( x<=xe ) { x +=1; e +=dy ; i f ( e >= f l o o r ( 0. 5 dx ) ) { y += 1 e = dx } } 3

4 Ved å sette e til -0.5*dx i starten, er det enklere å se om man skal hoppe, siden man bare trenger å sjekke om e >= Rasteriseringsalgoritmer for sirkler En sirkel har en 8-veis-symmetri. Hver enkelt piksel settes til alle permutasjoner av [x, -x] og [y, -y]. Beskrevt algoritme tar utgangspunkt i oktant 2 og dekrementerer y. Bruk en sirkelfunksjon med sentrum i (0, 0.5) (vet ikke hvorfor): c(x, y) = x 2 + (y 0.5) 2 r 2 = 0 (1) Vi begynner på toppen av sirkelen og går med klokken. Siden x=0 her og vi har en radius på r, får vi da en startfeil: c(0, r) = (r 0.5) 2 r 2 = 0.25 r r (2) Vi fjerner 0.25 siden vi ønsker å operere med heltall. Vi bruker endelige differanser for endring i x og y, henholdsvis c(x + 1, y) c(x, y) = 2x + 1 (3) c(x, y + 1) c(x, y) = 2y + 2 (4) Dette er de to potensielle stegene vi kan få i algoritmen. x=0; y=r ; e= r ; while ( x <= y ) { s e t 8 p i x e l s ( x, y, c ) ; e += 2 x + 1 ; #f r e m o v e r d i f f e r a n s e n t i l x x += 1 ; i f ( e >= 0) { e = 2 y + 2 ; #f r e m o v e r d i f f e r a n s e n t i l y y = 1 ; } } 1.5 Point in polygon Parity test: Hvor mange kanter krysser jeg? Winding test: Følg kanten og snurr rundt. Odde er innefor, par er utenfor. For konvekse polygoner: Sett samme retning på alle kanter, sett inn punktkoordinatene i alle linjelikningene og sjekk om alle har samme tegn. 4

5 1.6 Polygon rasterization Enklest Regn ut I(x, y), alle punkter der scanline og kanter i polygonet krysser. Sorter etter (y, x), lag spans mellom pikslene i mellom. Her forekommer det noen problemer med noder som havner på skannelinjene. Løsning: Lukk linjer ved y min og åpne de ved y max. Ignorer horisontale kanter Scanline Polygon Rasterization ALgorithm Please, kan noen forklare meg denne? 5

6 1.6.3 Triangle rasterization Enkleste: Ta bounding box og bruk point in polygon test på alle piksler i denne boundingboksen. Point in polygon er enkelt med en trekant (konveks), bare sjekk om alle linjer har samme fortegn. Vanskeligere: Edge walking. Bruk Bresenham per linje. Synkroniser algoritmene slik at de får samme y- eller x-verdier Area Filling Man kan brke en rekursiv floodfill-algoritme som fyller ut farge fra et seedingpunkt. 1.7 Anti-aliasing Dette skjer fordi piksler ikke er matematiske punkter men små arealer. Uønskede effekter: Jagged appearance of object silhouettes Improperly rasterized small objects incorrectly rasterized detail Pre-filtering Dette består av å få ut høye frekvenser før sampling, og regne ut totalt bidrag Catmull s algorithm Klipp i hver piksel, og regn på hvor mye areal fra hver polygon som er synlig. Juster farge deretter Anti-aliased Line Rasterization En linje som spenner over to piksler ønsker: Topp-piksel har farge proposjonalt med A2. Bunnpikser har farge proposjonalt med 1-A1. 6

7 1.7.2 Post-filtering Virutelt bilde. feks. nidoble antall piksler, regne ut snittet av 3x3-ruter og legge dette i én piksel. Dette blir bedre om man bruker konvolusjonsfiltre (mer vekt på piksler i sentrum). Adaptiv: Bedre sampling ved høye frekvenser. Stokastisk: Lage støy av anti-aliasing. 1.8 Clipping Cohen-Sutherland Dette er en algoritme for å klippe linjer slik at de passer inn i et vindu. For hvert endepunkt i linjene du klipper, definér fire bits: 1. y>y max? 1 : 0 2. y<y min? 1 : 0 3. x>x max? 1 : 0 4. x<x min? 1 : 0 7

8 Triviell aksept To endepunkter er fullstendig på innsiden dersom: c 1 c 2 = Triviell forkastning To endepunkter er fullstendig på utsiden dersom: c 1 c Alle andre linjer klippes i to og behandles rekursivt til alle er helt inni eller utenfor Skala Legger på et ekstra bit ekstra informasjon per vertex når den klipper. Den ekstra bitten er 1 dersom fortegnet til linjen den klippes med er positiv. Den kan regne seg frem til hva som er på innsiden og hva som er på utsiden ved å gjøre en enkel sjekk. 1.9 Liang-Barsky Gjør om linjene til parameteriserte former. Merk at dette alltid på være tilfelle: Dette fører til: x min x 1 + t x x max (5) y min y 1 + t y y max (6) t x x 1 x min (7) t x x max x 1 (8) t x y 1 y min (9) t x y max y 1 (10) Ut ifra dette kan vi få punktsett (p i, q i ) fordi alle er på formen tp i q i. (p 1, q 1 ) = ( x, x 1 x min ) (11) (p 2, q 2 ) = ( x, x max x 1 ) (12) (p 3, q 3 ) = ( y, y 1 y min ) (13) (p 4, q 4 ) = ( y, y max y 1 ) (14) Hver av disse tuplene brukes på henholdsvis venstre, høyre, nedre og øvre kant av klipperammen. For å regne ut hvor linjen går inn, tar man maks av alle qi p i der p i er mindre enn null. t in kan heller ikke være mindre enn null. For å regne ut t out tar man minste verdi av qi p i der p i er større enn null. t out kan heller ikke være større enn 1. t in = max({ q i p i p i < 0, i : 1..4} {0}) (15) 8

9 t out = min({ q i p i p i > 0, i : 1..4} {1}) (16) Hvis t out t in bruker man disse verdiene for å få nye start- og stoppunkter. Hvis ikke, er linjen utenfor Sutherland-Hodgman Klipping av polygon i et annet konveks polygon. Denne algoritmen har m steg som tilsvarer m kanter i klippepolygonet. Klipp polygonet for hver kant. Når man klipper en linje med en linje, kan man få forskjellige outputs. Se svart piksel: Kompleksitet på SH er O(mn) der m er antall noder av klippepolygonet og n er antall noder av subjektpolygonet Greiner-Hornmann Støtter både clipping polygons og subject polygons 1. Gå igjennom polygon S, og skru en bryter av og på når du kommer inn i C (bruk winding number). 9

10 2. Gjør det samme med C med hensyn på S. 3. Unionen av linjene som er tegnet opp er resultatet ditt Enkelt å regne ut C S ved å endre starttilstand på av og på -bryterne Litt smått om koordinatsystemer og transformasjoner Gå fra object coordinates World coordinates eye coordinates Vi bruker høyrehånds koordinatsystemer. En transformasjon er en mapping til og fra masse sett (f.eks. E 3 til E 3 ) Affine transformation Affine transformasjoner tar vare på affine kombinasjoner. En kombinasjon av punkter er affin dersom: n p = a i p i (17) og i=0 n a i = 1 (18) i=0 En transformasjon er affin dersom den bevarer affine kombinasjoner, ergo: Φ( p) = n a i Φ( p i ) (19) i=0 Konsekvenser av dette er at man bare trenger å regne ut ekstremitetene av polygoner. 10

11 1.12 Homogene koordinater Vi trenger dette, fordi forflytting av et punkt ikke kan uttrykkes som en lineær kombinasjon av x og y i et punkt. Vi innfører derfor en ekstra dimensjon, w som ikke kan være w = 0. Når man bruker homogene koordinater unngår man også fixed point, altså at en transformasjon på et punkt i origo alltid vil resultere i et nytt punkt i origo Transformasjon i 3D Translation T ( d) = d x d y d z (20) T 1 ( d) = T ( d) (21) Scaling S(s x, s y, s z ) = s x s y s z (22) S 1 (s x, s y, s z ) = S( 1 s x, 1 s y, 1 s z ) (23) Rotation R x (θ) = R y (θ) = R z (θ) = cos(θ) sin(θ) 0 0 sin(θ) cos(θ) cos(θ) 0 sin(θ) sin(θ = 0 cos(θ) cos(θ) sin(θ) 0 0 sin(θ) cos(θ) (24) (25) (26) Likning 27 gjelder alle rotasjonsmatriser. R 1 (θ) = R( θ) (27) 11

12 Shear SH xy (a, b) = SH xz (a, b) = 1 0 a b a b (28) (29) SH yz (a, b) = a b For XY-shear blir x addert med a*z, og y addert med b*z. (30) Change of basis Hvis du har tre ortonormale vektorer (alle står vinkelrett på hverandre, er enhetsvektorer (lengde=1), kan du endre fra gjeldende koordinatsystem til dette koordinatsystemet. Husk at begge systemene må ha samme retning (høyreeller venstrehånd). i = [a, b, c] j = [d, e, f] k = [p, q, r] M BASIS = a b c 0 d e f 0 p q r a d p 0 M 1 BASIS = M T BASIS = b e q 0 c f r (31) (32) 1.14 Projeksjoner og sånn Vi tar koordinatsystemet gjennom: World Cordinate system Eye coordinate system Canonical screen system. 12

13 WCS to ECS Brukeren bestemmer her hva han vil se av verden, og gjør operasjoner som culling enklere ECS til CSS Ta alle objekter som har overlevd inn i en kube (-1,-1,-1) til (1,1,1). Behold høy flyttalspresisjon. Herifra kan objektene lett taes opp på skjermer Projeksjon Å ta noe fra 3D til 2D. To typer: Perspective: Distansen mellom center of projection og projeksjonsplan er endelig. Parallell: uendelig Distansen mellom center of projection og projeksjonsplan er Projeksjonsmappinger er ikke affine Perspective projection P P ER = (33) gjelder hvis planet står langs Z-aksen. d d d (33) Ortografisk projeksjon P ORT HO = (34) (34) fjerner effektivt z-koordinaten (punktene blir med andre ord projisert ned på xy-planet) Oblique Projection I stedet for å sende alle punkter ned med en vektor som står normalt på xy-planet (z-aksen), kan man sende dem med en retning DOP (Direction of projection). Vi får da: P = P + λdop (35) 13

14 Siden P z = 0, får vi at λ = DOP z. Av dette følger: z P OBLIQUE ( DOP ) = 1 0 DOPx DOP z DOPy DOP z (36) Projeksjon ned på en hvilken som helst flate P = c c c 0 n x n y n z 0 Her er c = n x x 0 +n y y 0 +n z z 0. Utgangspunktet i utregningen er at 1.15 WCS til ECS (37) OP = aop. Nok informasjon for å definere ECS er ( E, up, g) der E er origo, up er retningen opp, g er synsretningen. Vi ønsker å ha det inn i følgende koordinatsystem: x e er den horisontale aksen og øker til høyre. y e er den vertikale aksen og øker oppover. z e peker mot observatøren. Regnes ut slik (lett å se for seg hvis man tegner det): z e = g (38) x e = up z e (39) y e = z e x e (40) Forflytt med E. Gjør alle disse vektorene om til enhetsvektorer og endre basis med matrise (31) ECS til CSS Ortografisk Tanken bak dette er at du har et paralellepiped som er definert med koordinatene (l,b,n) (left, bottom, near) og (r,t,f) (right, top, far). Dette skal mappes inn i (-1, -1, -1), (1, 1, 1). 1. Flytt boksen din slik at midtpunktet er i origo med (20): T ( r+l 2, t+b 2, n+f 2 ) 2. Skalér slik at det får størrelse 2 med (22): S( 2 r l, 2 t b, 2 f n ) 14

15 Perspektiv Alt blir værre når det er snakk om perspektiv, men alt vi ønsker er å gjøre frustumet ( pyramiden ) vår om til en parallelepiped slik at vi kan bruke ortografisk transformasjon fra ECS til CSS. Se bilde: Som man ser, kan vi ikke kvitte oss med z-koordinaten som i (33). Et slikt view blir definert med θ, z e = n, z e = f og aspect. 15

16 Regner ut: t = n tan( θ 2 ) (41) b = t (42) r = t aspect (43) l = r (44) Vår nye z-koordinat blir: z s = A + B z e. Siden vi vet at z e = n må mappes 16

17 til z s = n og z e = f må mappes til z s = f, får vi følgende matrise: P V T = n n n + f nf (45) Nå er det bare å fortsette med CSS-konverteringen som i Husk at matrisen kun gjelder hvis pyramiden ligger langs z-aksen, så du trenger ikke å forflytte boksen i x- og y-retning Frustum culling Etter at vi har kommet i CSS, er det lett å sjekke om punkter er innenfor. Sørg for: w x, y, z w (46) Hvorfor klippe i 3D og ikke i 2D? I vanlig perspektivprojeksjon vil objekter på baksiden av E bli opp-ned (vi mister informasjon om klipping). Unngår potensielt perspektiv-deling på null. Blir lettere å allokere dybdebuffer, når vi vet at alle z-verdiene er mellom -1 og What happens next? CSS flyttes til viewport coordinate system med først en skalering, så en forflytning Hidden Surface Elimination To måter. O(P 2 ): f o r each p r i m i t i v e { f i n d v i s i b l e part render v i s i b l e part } O(P p): f o r each p i x e l { f i n d c l o s e s t primitve render p i x e l with c o l o r o f c l o s e s t primitve } Dette er tunge operasjoner. Mye kan fjernes. 17

18 Fjerne baksidepolygoner (back-face culling) Fjerne elementer som er helt på utsiden av frustum (frustum culling) Siden dette har kjøretid på enten O(P ) eller O(P v) (v er average number of vertices per primitive), ser vi at flaskehalsen er HSE-algoritmene Back-face culling Enkel operasjon. Hvis g er syssretningen og n er normalvektoren til et polygon, elliner alle som står mindre enn 90 grader på synsretningen Frustum culling g n > 0 (47) Som beskrevet i likning (46). Siden punkter ikke har konstant w, må denne interpoleres med Ulikhetene må også skrives om: (1 t)w 1 + tw 2 (48) ((1 t)w 1 + tw 2 ) (1 t)x 1 + tx 2 (1 t)w 1 + tw 2 (49) d clipping ((1 t)w 1 + tw 2 ) (1 t)y 1 + ty 2 (1 t)w 1 + tw 2 (50) ((1 t)w 1 + tw 2 ) (1 t)z 1 + tz 2 (1 t)w 1 + tw 2 (51) Algoritmene beskrevet i 1.8 kan utvides til 3D. For Cohen-Sutherland, utvid med to ekstra bits for z-verdier. Triviell aksept og triviell forkastning vil fortsatt fungere Z-buffer algorithm Veldig enkel algoritme. Grafikkort har, sammen med sitt display-buffer, tilknyttet et z-buffer med 1:1-korresponsdanse mellom piksler. 1. Initier z-bufferet med verdien til far clipping plane. 2. For hver piksel som skal tegnes, sjekk z-bufferet. Hvis z-verdien i bufferet er større enn pikselen som skal tegnes, oppdater både display- og z-buffer. Siden det er strevsomt å regne ut ny z-verdi for hver x- og y-verdi, tar man i bruk fremoverdifferanser. F (x, y) = z = d c a c x b c y (52) 18

19 Utledet fra den implisitte likningen for et plan. Fremoverdifferansen for x blir da F (x + 1, y) F (x, y) = a (53) c Dette gjør det lettere å regne ut z, trenger bare én addisjon per steg. I praksis blir z-verdi interpolert ut ifra z-verdier på kantene til et polygon. Komplkisiteten til algoritmen en O(P s) hvor s er gjennomsnittlig antall piksler dekket av et polygon. Dette er en veldig enkel algoritme, men den sliter med transparente objekter Bounding volumes Mange komplekse polygoner kan gjøre det dyrt med beregninger av linjekrysninger. Man kan da bruke bounding boxes, selv om de kan gi falsk alarm på grunn av void space. Men du kan vite at de går klar av hverandre hvis boundingboksene går klar av hverandre. Man vil ha minst mulig void space. Mulige løsninger: Lage parallelpiped som bounding box. Orienterte parallelepipeds. Hiearkiske bounding-bokser. Progressive hulls. Polygoner som er enkle, som blir vanskeligere jo større oppløsning man trenger. Man kommer til slutt til de faktiske polygonene og kan da beslutte Space subdivision Deles opp i celler. Der scenene er enkle, er cellene store, men blir mindre ved behov. Minste størrelse er en voxel Illuminering En illumineringsmodell belyser punkt p og tar høyde for mye: Direction of light Directon of observation Surface normal Materialegenskaper mye mer... Dette skjer etter at objektene har fått teksturer. Lyset i som beregnes skalerer fargevektoren. Forskjell på illumination model og illumination algorithm. Sistnevnte implementerer en modell i en effektiv algoritme. 19

20 1.24 Phong Illumination Model Denne modellen gjør om innkommende lys med styrke og vinkel (Θ i, φ i ) til utgående lys (Θ i, φ i ) for et punkt p. Tar ikke høyde for lys som er reflektert fra andre kilder. Fire komponenter: Emmision Ambient reflection Diffuse reflection Specular reflection Emmision I e For objekter som er selvlysende Ambient I g Gjør slik at en overflate uten direkte lys synes likevel. Hele scenen har I a, konstant ambient light, som gjør: k a er da ambient reflectance coefficient. I g = I a k a (54) Diffuse I d Lys som blir spredt i alle retninger, proposjonalt med vinkelen lyset treffer punktet på. I d = I i k d cosθ = I i k d ( n l) (55) Her er θ vinkelen mellom normalvektoren til pikselen og retningen på lyset. Disse må være enhetsvektorer for at (55) skal stemme. Det er også mulig å ha forskjellige k d for ulike bølgelengder, altså ulike fargeverdier Specular I s Her er det sammenheng mellom vektoren fra lyset til punktet og fra kamera til punktet. I s = I i k s cos n α = I i k s (ˆr ˆv) n (56) Her er ˆr vektoren som reflekteres av punktet for lyskilden. Vi ser at i jo større grad kameraretningen ˆv samsvarer med ˆr, jo kraftigere lys. For at lyset skal avta fortere, og vi får mer shinyness, legger vi på en eksponent n. Jo høyere n, jo mindre spredning, og mer shininess. Specular reflection tar fargen til lyskilden, ikke til objektet selv. 20

21 Sammenheng mellom diffuse og specular Specular og diffuse henger tett sammen. Koeffisientene henger tett sammen: 0 kd, ks 1, kd + ks 1 (57) Diffuse tilsvarer matte overflater, specular glatte overflater Distance factor En tilnærming til avtagende lys, der lyset blir svakere jo lenger unna du er. En modell med tre konstanter ser ut som dette: f(d) = 1 c 1 + c 2 d + c 3 d 2 (58) Funksjonen multipliseres med specular- og diffuse-leddene i Fargeavhengighet Man kan forskjellige koeffesienter for R, G og B. Dette gjelder ikke specular lightning, da dette skal simulere en hvit lyskilde Vektorer brukt i Phong Vi trenger følgende vektorer for å beregne lysverdier: n l n r eller h Normalvektor Normalvektoren til en implisitt overflate er gradienten til overflaten. n = f(x, y, z) (59) For likningen for et plan forenkles dette til: For en parametrisk variant har vi følgende: n = [a, b, c] T (60) Normalvektoren blir da x = f x (u, v) y = f y (u, v) z = f z (u, v) n = f u f v (61) (62) 21

22 Ofte vet vi bare nodene, ikke likningene. Bruk ordinært kryssprodukt for tre noder. Dersom man har flere noder som ikke er i plan, må man approksimere normalvektoren. Dette kan man gjøre ved hjelp av gjennomsnitt eller en metode som heter Martin-Newell s teknikk Martin-Newell s teknikk n i=1 n = (y i y i 1 )(z i + z i 1 ) n i=1 (z i z i 1 )(x i + x i 1 ) (63) n i=1 (x i x i 1 )(y i + y i 1 ) Nodenormaler Kan være greit å ha normaler per node, og ikke bare for overflatene (hvis man skal runde av kantene. Her kan man ta snittet av normalvektorene til polygonene som inneholder den gitte noden. Man kan også vekte normalvektorene, der de større bidrar mer. En siste metode er å la vinkelen bestemme hvor mye normalvektoren skal telle. Jo større vinkel, jo mer bidrag Refleksjonsvektorer Refleksjonsvektoren regnes ut som dette: r = 2 r 1 ˆl = 2ˆn(ˆn ˆl) ˆl (64) 22

23 1.25 Illumination algorithms Algoritmene bruker en illuminasjonsmodell og gjennomfører utregningene Constant shading Ingen specular reflection Lys- og kamera er plassert samme sted, og uendelig langt borte. ˆn ˆl er konstant for hvert polygon Gouraud Shading Regner ut intensiteter per node. Interpolerer kantene med lineær sammenheng mellom lystyrkene på hver side. Interpolerer hver scanline med verdiene regnet ut på kantene i punktet ovenfor Phong Shading Regner ut en ny lysstyrke for hver piksel Regner i stedet ut normalvektorene med interpolasjon (som beskrevet i Gouraud Shading) 1.26 Grayscale For å representere akromatisk lys (gråtone), er lineære intensiteter en dårlig idé, siden øyet vårt ikke fungere på den måten. Vi opererer heller med ratioer mellom påfølgene lysverdier. Φ 1 = λ Φ 0 Φ 2 = λ Φ 1 = λ 2 Φ 0... Φ n 1 = λ n 1 Φ 0 = 1 (65) 1.27 Gamma Correction Skjermer har et ikke-lineært forhold mellom input- og output-verdier. Gammacorrection er å justere input-verdiene slik at vi får et lineært forhold: input = input 1 γ (66) 23

24 1.28 Color model En mdell for å kunne gjøre følgende med farger: Beskrive Sammenligne Klassifisere Sortere Vi har både deviceavhengige og deviceuavhengige modeller. I en deviceuavhnegig modell vil en fargekoordinat representere en unik farge, og er nyttig for å konvertere mellom deviceavhengige modeller Perceptual linearity Forskjellen mellom to farger er propesjonal med forskjellen i fargeverdiene i fargemodellen CIE XYZ Color Model Beskriver faktiske farger med bølgelengder. X,Z inneholder informasjon om farge, mens Y inneholder lysstyrke RGB Color Model Additiv modell som begynner med svart og ender i hvit. Den er god på grunn av sin additive natur og at RGB er synlige farger, ikke teoretiske kvantiteter. Ikke perceptually linear, det er vanskelig å finne opp en hvilken som helst farge. 24

25 RGB Cube Enhetskube med alle farger i RGB-modellen. chromaticity, lengde er intensitet. Retning på vektor bestemmer RGB Triangle Du kan mappe alle farger i en triangel med hjørner (1,0,0), (0,1,0) og (0,0,1), eneste du mister er intensitet. Ved å bruke denne triangelen kan vi få nye begreper: Hue. Den dominerende bølgelengden. Saturation. Hvor mye vitt som er i en farge HSV Color model Deler opp i Hue, Saturation og Intensity i en kjegle Hue er et fargehjul, hvor vinkelen bestemmer farge. Jo lenger ut på kantene du kommer til hjulet, jo høyere saturation. Høyest intensitet på bunnen av kjeglen, lavest på toppen (spissen) 1.32 CMY Color model Invers av RGB. Er substraktiv, bra for printere (som begynner på hvit og gjør ting mørkere). CMYK legger på en svart komponent, for bedre sortkvalitet på skrivere High Dynamic Range Dynamisk rekkevide til et bilde er ratioen fra høyeste til laveste intensitetsverdi. Et vanlig RGB-bilde har en dynamisk rekkevidde på 90:1, øyet har på :1. Et vanlig RGB-bilde gjør en god jobb med å vise hva en monitor kan, men ikke hva et øye kan. For å lage HDR-bilder kan man for eksempel ta flere bilder med ulik eksponeringstid og sette sammen. 2 Bildebehandling Gir en verktøykasse for analyse av et bilde. Du kan dele opp i tre nivåer: High-level. Computer vision. Mid-level. Image understanding, segmentering. Low-level. Noise reduction og andre ting som får bildet bedre for prosessering. 25

26 2.1 Typical Image Processing Steps Dette har vært spørsmål på flere eksamenssett Image acquisition Få inn et digitalt bilde. Recording. Sampling. Skalering Image Enchancement Subjektiv prosess for å få bildet til å se bedre ut. Målet er å gjøre bildet passende for det det skal brukes til Image Restoration Målet er å bruke matematiske modeller for å gjøre bildet bedre (feks fjerne støy) Morphological Processing Hente ut bildekomponenter, gjerne lage binære bilder Segmentation Partisjonere bildet inn i meningsfulle biter, gjerne forgrunn/bakgrunn Representation and description Ta ut attributter for å skille objekter fra hverandre Object Recognition Finne ut hva et objekt er (er det en bil?) 2.2 Menneskeøyet Består av to forskjellige receptor classes, cones (6-7 millioner, fargesyn, hver har sin nervetråd) og rods ( millioner, sensitive for lavt lys, flere kan være knyttet til en enkelt nervetråd) 26

27 Den blinde flekken er en nervetråd som kommer ut (feil fra evolusjonen) som gjør at det ikke er noen cones eller rods på et lite område. 2.3 Sampling Gjøre om fra analogt til digitalt. De sier at sampling: discretization of a signal (spatial or temporal) og quantization: assign a discrete intensity value to the signal. Med andre ord; sampling er å skanne med diskrete koordinater (tid og rom), quantization er å gjøre om disse samplene til diskrete verdier. Nyquist-Shannon sampling theorem sier at: f s > 2f max (67) Samplefrekvensen må minst være dobbelt så stor som den høyeste frekvensen man finner i bildet. Vi foretrekker blur foran aliasing-effekter, så kjør over med et lavpassfilter før man skalerer ned et bilde. 2.4 Image Sensing and Acquisition Et kamera har en matrise med sensorer. For å få farger på disse, legger man på fargefiltre over hver sensor, gjerne to grønne per blå og rød, siden øyet vårt er mer sensitivt for grønn-farger. Vi kan gå fra RGB til grayscale med denne formelen: luminance = 0.30R G B (68) 2.5 Naboskap De to vanligste formene for naboskap er 4-nabo (kryss) eller 8-nabo (3x3-kvadrat med ramme). Vi har også avstandsfunksjoner: City block: D 4 (p, q) = x p x q + y p y q (69) 27

28 Chess-board: Euclidian: D 8 (p, q) = max( x p x q, y p y q ) (70) D E (p, q) = x p x q 2 + y p y q 2 (71) 2.6 Spatial image enhancement En operasjon i spatial domain blir uttrykt på følgende måte: g(x, y) = T [f(x, y)] (72) der f(x, y) er input image og T er en operasjon definert på nabolaget til (x, y). Hvis nabolaget bare består av en piksel, snakker vi om en intensity transformation eller en point processing operation: q = T (p) (73) Dette brukes til kontrastmanipulering og image thresholding. 2.7 Negativt bilde T (p) = 255 p (74) 2.8 Logarithmic Transform q = T (p) = c log(1 + p) (75) Denne kan komprimere den dynamiske rekkevidden til et bilde. 2.9 Gamma Transformations Veldig allsidig transformasjon for å utvide enten mørke eller lyse områder i et bilde. q = cp γ, c > 0, γ > 0 (76) γ < 1 Utvider lave intensiteter, γ > 1 utvider høye intensiteter. Kan hjelpe til å vise bilder bedre på skjermer ved å gamma-justere bildene før visning Histogrammet til et bilde Et histogram til et bilde gir informasjon om spredningen av intensitetsverdiene. En funksjon h(k) teller antall piksler med verdi k. h(k) = δ(i ij k) (77) (ij) Ω der δ er 1 dersom x = 0. man kan normalisere et histogram ved å dividere på antall piksler: p(k) = h(k) (78) MN 28

29 Mean and Variance Vi kan bruke histogrammet til å regne ut forventningsverdi og varians dersom vi allerede har et normalisert histogram, p(k). L 1 m = kp(k) (79) k=0 L 1 σ 2 = (k m) 2 p(k) (80) k= Histogram Equalization Vi ønsker oss en intensity transform-funksjon som sprer ut histogrammet vårt. Det viser seg at en skalert versjon av den kumulative intensitetsdistribusjonen gjør nytten. 1. Regn ut den kumulative fordelingen av grå-verdier. Siste verdi her skal tilsvare antall piksler i bildet (NM). 2. Normaliser, altså divider med antall piksler i bildet (NM). 3. Multipliser med antall gråverdier du har i bildet, og rund disse verdiene av til nærmeste heltall. 4. Siste rad (i punktet ovenfor) utgjør nå en mapping fra gamle til nye gråverdier Histogram Equalization med farger Hvis man kjører HE-algoritmen på fargene enkeltvis, vil fargene bli forskjøvet. En vanlig metode er å kjøre en kombinert HE på intensitet og saturation i HSI-fargemodellen 2.12 Støytyper Normal (Gaussian) noise. Vanlig type støy, hvor støyen per piksel er uavhengig av intensiteten på signalet. Uniform noise. Likt fordelt utover et gitt intervall [a,m] Salt-and-pepper noise. Svarte og hvite piksler, kan forekomme av overføringsfeil og lignende. Annet: Exponential, poisson, speckle noise, ayleight, gamma... 29

30 2.13 Bit plane slicing Høyere bits er mer viktige enn lavere bits Neighborhood Processing Beskrevet flott slik: 1. Definér et senterpunkt. 2. Gjør en operasjon på pikslene i nabolaget. 3. La responsen herifra bestemme verdien på valgt senterpiksel. 4. Rinse repeat på resten av pikslene i bildet. De fleste filtre er av odde størrelse, slik at naboene blir vektlagt likt Lineære filtre Dersom et filter representerer en lineær kombinasjon av intensitetene til nabolaget kan det kalles lineært. g i,j = 2.15 Average/box filter a s= a t= b b w s,t x x+s,j+t (81) Normalisert matrise med like elementer og summen er 1.0. Følge av at summen er 1.0, er at gjennomsnittlig gråverdi ikke er endret. 30

31 2.16 Korrelasjon og konvolusjon Korrelasjon: Konvolusjon: g i,j = g i,j = a s= a t= b a s= a t= b b w s,t x x+s,j+t (82) b w s,t x x s,j t (83) Sistnevnte ble introdusert for å la en enhetsrespons bli lik filteret. For å utføre en konvolusjon, må du snu masken 180 grader. Hvis filteret er symmetrisk er korrelasjon og konvolusjon det samme. Konvolusjon er lineært Padding Padding skjer når man ønsker å utvide kantene på et bilde (for eksempel hvis man skal kjøre et spatial filter). Vi har fire typer: Zero/Constant padding. Fyll inn resten av bildet med null eller gjennomsnittlig farge/gråverdi. Symmetric/Reflection padding. Reflekter kanten. Symmetrisk gjentar du alle pikslene i motsatt rekkefølge ( ), med reflection hopper du over første piksel ( ). Replicate padding. Kopiér pikselen som var på kanten. Circular padding. Gjenta bildet Smoothing Man kan smoothe med både lineære og ikke-lineære filtre. Et eksempel er Average/box filter. Man kan også bruke vektet gjennomsnittsverdi: (84) Et godt ikke-lineært filter for salt-and-pepper noise er median filtering, der man finner medianen til nabolaget Derivasjonsfiltre Et godt filter for den deriverte er [ 1 er [ ]. 1 ]. Et godt filter for den andrederiverte 31