Bilder Litteratur : I dag og neste uke: Cyganski kap. 5- -dimensjonal virkelighet Kamera og optikk fokallengde f Bildet blir en 2-dimensjonal projeksjon av objektet Temaer : Hvordan dannes bilder? Hvordan virker øyet og den visuelle persepsjon? Representasjon av bilder Bilde Neste gang : Sampling og kvantisering av bilder Oppløsning Mer om bilder, farger, fargetabeller, video. Objekt Linse, f.eks. øyet eller et kamera Bildeplan INF00-Bilde- INF00-Bilde-2 Optikk lager bilder Noen begreper Fokallengden f bestemmer hvor stort bildet av objektet blir. y Fra fotografering med 5 mm film (langs diagonalen til 2 x mm): F 2 F f f s s y Fokallengde 50 mm gir omtrent samme synsfelt som øyet (7º) Fokallengde 28 mm gir vidvinkel (75º) Fokallengde 00 mm gir zoom (8º) Objekt-bilde relasjon: /s + /s = /f Forstørrelse: m = y /y = - s /s (fortegnet betyr at bildet er opp-ned) Lensmakers equation : n= refraksjonsindeks for glasset i linsen R og R2 er krumningsradiene til de to linseflatene) = ( n )( f ) R R 2 Andre detektor-størrelser (f.eks. digital-kamera) gir andre synsfelt. Vi måler alltid en 2-dimensjonal projeksjon av -D objektet. For å kunne gjenskape objektet i dimensjoner må vi ta flere 2-dimensjonale projeksjoner i ulike plan og rekonstruere objektet. Computer-tomografi (CT) og Magnetisk resonans (MR) gir -D bilder av vev inne i kroppen. Confokal mikroskopi belyser og avbilder på flere dyp i vevet, mens serielle tynne snitt av cellepreparater gir D bilder med meget høy oppløsning. INF00-Bilde- INF00-Bilde-
Øyet Retina Øyet fokuserer ved at linsens fokallengde endres, mens avstanden fra linsen til bildet er konstant. Synssystemet dekker et veldig stort intensitets-område. For normalt syn regner vi med ca 0 dekader. To klasser av reseptorer: Bildet dannes på retina (netthinna), som er en fotoreseptiv hinne. To typer lysfølsomme celler: Staver ( rods ) Ca 75-50 millioner, spredt over hele retina Flere koblet til hver nerve-ende => lav geometrisk oppløsning Staver ( rods ) Scotopisk (lav-lys) syn: dekker nedre 5- dekader Brukes til mørkesyn Gir bare gråtoner (½ time mørke => 0 000 ganger høyere følsomhet) Gir bare gråtoner Tapper ( cones ) konsentrert om fovea Brukes til dagsyn typer (R,G,B-følsomme) fovea Når vi ser direkte på et objekt, øker oppløsningen, fordi fovea blir brukt, og mange flere nerve-ender blir stimulert. Fovea er bare 2.5 mm i diameter. Er ikke følsomme for rødt lys Tapper ( cones ) Ca 7 millioner, konsentrert i fovea Koblet til hver sin nerve-ende => høy geometrisk oppløsning Fotopisk (høy-lys) syn: dekker øvre 5- dekader Farge-følsomme: typer (R=700 nm, G=5nm, B= nm) INF00-Bilde-5 INF00-Bilde- Øyets linsesystem Egenskaper ved synet Øyets linsesystem fokuserer lyset. Øye-linsen har en fokallengde, f, som er ca.5 cm. Linsestyrken angis ofte i dioptre, d. d=/f, der f er gitt i meter. Øye-linsen er vanligvis 7 d (/.5x0-2 =.7), hvorav cornea (horn-hinnen) står for 5 d. D for dioptre er byttet ut med liten d, 7/-0, For å unngå forveksling med aperturdiameter på foil 29,0, Cornea har samme brytningsindeks som vann (.), slik at fokuseringseffekten av cornea forsvinner under vann. Q: Hva betyr det at man korrigerer langsynthet med en +.0 brille? A: Man bruker en konvergerende linse med f=0.m. Q: Hva er fokallengden for en.0 brille? A: f = /d = -/ = -0.25 m. Vi kan se lysintensiteter som varierer over et stort intervall. Vi ser bare et visst antall nivåer samtidig : - den minste gråtone-forskjellen vi kan oppfatte er ca 2% => ca 50 forskjellige gråtoner, men mange flere farger. Når øyet skifter fokus til et annet sted i bildet som har et annet bakgrunnsintensitetsnivå, tilpasser øyet seg dette og ser fint lokale intensitets-forskjeller. Evnen til å skifte fokus raskt (akkomodasjon) svekkes med alderen. Mesteparten av input-info kommer via synsnervene. Men kan vi stole på det vi ser? Rekreasjon: visuelle gåter INF00-Bilde-7 INF00-Bilde-8
Farge-ergonomi Øynene stiller krav til arbeidsmiljøet Farger gir mer informasjon, hurtig identifikasjon, gir sammenhenger og assosiasjoner, øker motivasjonen. Jo flere farger, desto bedre? Nei, sannheten er som vanlig noe mer nyansert. Rødt øker blodtrykk, puls og svette midlertidig. Blått virker motsatt. Viktig at ikke overlesset fargebruk forvirrer. Få og lett gjenkjennelige farger Samme lysstyrke og fargemetning Stabile farger Minst mulig farge-stereopsi: Forskjellige farger fokuserer i ulike plan. Resultat: Øye-hjerne arbeider med re-fokusering => hodepine og trøtthet. T-Rex and Me I synshjernebarken (visual cortex) sitter mengder av kantdetektorer, som finner kanter og linjer med forskjellige orienteringer (vinkler) og forskjellige tykkelser, separat for høyre og venstre øye. Øyet skanner over objektet, og konsentrerer seg om de interessante, krumme kantene. I tillegg har vi flere typer raske øyebevegelser. Når øyet beveger seg raskt, er synet slått av. Uten de raske øyebevegelsene, som gir nye reseptorer muligheten til å se bekrefte konturene av objektet, faller synet ut i løpet av sekunder. INF00-Bilde-9 INF00-Bilde-0 Test synet ditt Hvor fine detaljer kan vi se? Vi kan se ca. 0 svarte og 0 hvite rader per grad av synsfeltet. Vårt synsfelt er ca. 9.25 º horisontalt og 9º vertikalt for hvert øye Vi ser i landscape-format A-ark holdt ca. 0 cm foran øyet. 50º horisontalt synsfelt => 50*0 = 000 vertikale linjer -> 000 piksler 0º vertikalt synsfelt => 0*0 = 2 00 horisontale linjer -> 800 piksler 000 piksler / tommer (A) 550 DPI (dots per inch) Vi kan fokusere på avstander 9 cm 0 cm 200 cm alder 7 7 5 50 DPI OK Kan bruke 200 DPI 00 DPI er bra INF00-Bilde- INF00-Bilde-2
Bildedannelse og energikilder Det elektromagnetiske spektrum; gammastråling, røntgen, synlig lys, mikrobølger, radiobølger, kan beskrives som bølger med en bestemt bølgelengde Bølgelengden λ kan være veldig kort eller veldig lang Andre sensorer enn øyet Aktive og passive sensorer: belyse og se eller bare se. Optisk satellittbilde: Landsat Radarbilde fra satellitt: SAR, Infrarødt satellittbilde Medisinsk ultralyd NMR magnetisk resonnans Røntgen og CT Sonar, seismikk lyd Mikroskopi CCD-kamera Laser avstand scanner INF00-Bilde- INF00-Bilde- Det elektromagnetiske spekteret Fiolett: 0.-0. µm Blå: 0.-0.500 µm Grønn: 0.500-0.578 µm Gul: 0.578-0.592 µm Oransje: 0.592-0.20 µm Rød: 0.20-0.7 µm Sammenheng mellom bølgelengde og frekvens: c=λv c lysets hastighet (x0 8 m/s) λ - bølgelengde (m) v frekvens (sykler pr. sek, Hz) Eksempel: bilde fra Landsat-satellitten Måler lys i 7 bølgelengder samtidig 2 5 7 2 5 7 Blå Grønn Rød Middel infrarød Termisk infrarød Middel infrarød 0.5-0.52 0.52-0.0 Nærinfrarød 0.- 0.9 0.7-0.90.55-.75 0.- 2.5 2.08-2.5 Max. penetrasjon av vann Planter og friskhet Vegetasjonstype Biomasse Fuktighet i bakke og vegetasjon Temperatur Mineraler INF00-Bilde-5 INF00-Bilde-
Eksempel: radarbilde vs. optisk Eksempel: radarbilde av oljesøl fra M/S Prestige Bilde fra ERS- SAR-satellitten Radaren viser røffheten på overflater Landsat-bilde fra samme område INF00-Bilde-7 INF00-Bilde-8 Eksempel: Magnetisk resonnans-bilde Viktige begreper Et digitalt bilde er en funksjon av to (eller flere) heltallsvariable f(x,y) (x og y er heltall) Et 2-dimensjonalt digitalt bilde er en 2-dimensjonal array/matrise. Dette kalles raster-representasjon. Hvert element i matrisen kalles et piksel, og angis ved koordinater x og y. y 2 5 5 7 7 7 5 x 9 5 9 9 MR-bilder av hjernen Klassifisert i vevstyper, svulst markert i rødt Tallverdien til hvert piksel angir intensiteten (hvor lyst/mørkt) til pikslet. Merk: origo (0,0) er ofte oppe i venstre hjørne i bildet. Det første pikslet kan ha indekser (0,0) eller (,) INF00-Bilde-9 INF00-Bilde-20
Matematisk representasjon av digitale bilder Eksempel - Pikseltyper f(x,y) er bildeverdien i piksel (x,y). f(x,y) er et tall som forteller noe om intensiteten (lysstyrken) målt i punkt (x,y). f(x,y) kan være en vektor, f.eks. r,g,b for et fargebilde. 0,0 y x 0 0 0 0 0 0 0 25 2 0 0..5 2. 0 0 0 0 0 0 0 0.2. 0.0 0 0 2 0 0. 8.7. 0 0 0 0 0 0 2 0 0. 0. 0. 0 0 5 0 0 55.5 7. Bit Byte Real 5. 0.2..2 2.5 0.0 0. 0.8 0. 0. f(x,y) må representeres med en gitt datatype (integer, byte, float etc.). INF00-Bilde-2 INF00-Bilde-22 Bilder med flere bånd Flere bånd: Ulike frekvenser/bølgelengder Mange egenskaper Fargebilder lagres vanligvis som RGB-bilder Notasjon: f(,x,y) bånd f(,x,y) bånd f(x,y) et bånd Naturen er kontinuerlig. Digitalt bilde består av et endelig 2D rutenett med punkter. Sampling: prosessen som plukker ut punkter fra et kontinuerlig objekt som avbildes til et 2D rutenett. Samplingsproblem: hvor tett må punktene i rutenettet ligge? Sampling av bilder 0,0 y x INF00-Bilde-2 INF00-Bilde-2
Frekvens i bilder Naturlige frekvenser i bilder Periodiske bilder: et begrenset sett av frekvenser Naturlige bilder: et uendelig sett av frekvenser. Fourier-teori: et bilde kan beskrives ved en endelig sum av sinus og cosinussignaler med ulike frekvenser. Bildet består av et endelig sett frekvenser. INF00-Bilde-25 INF00-Bilde-2 Sampling Valg av rutenett/gridstørrelser Bildet varierer i intensitet med ulike frekvenser. Antar bildet inneholder av et endelig antall frekvenser. En høy frekvens beskriver et mønster som varierer hurtig i bildet, lav frekvens noe som varierer langsomt. Nyquist-kriteriet: Samplingsraten må minst være dobbelt så stor som den høyeste frekvensen i bildet. Dette betyr: Vi må sample minst to ganger pr. periode av det objektet som varierer hurtigst i det kontinuerlige bildet. Det digitale bildet må altså ha minst to piksler pr periode for den minste periodisk struktur i det kontinuerlige bildet. I tillegg må vi ha god nok optikk til å avbilde slike strukturer! Gridstørrelsen er ofte gitt av sensorer: Video: f.eks. 0x80 (kolonner x linjer) Digitalt kamera: f.eks. 02 x78 (0.7 megapixel) Bedre kamera:70 x 8 (2. megapixel) Enda bedre: 2272 x 70 (.0 megapixel) Gridstørrelse og fokallengde bestemmer den romlige oppløsningen, gitt som en vinkel. Hvis vi kjenner avstand fra kamera til objektet som avbildes, kan vi angi romlig oppløsning som størrelsen av hvert piksel på objektet, for eksempel i meter. INF00-Bilde-27 INF00-Bilde-28
Vinkel-oppløsning til en linse En punktkilde avbildes som et diffraksjonsmønster, som er bestemt av form og størrelse til aperturen. Sirkulær apertur => en sentral lys disk med vekselvis mørke og lyse ringer rundt, med avtagende intensitet. To lys-punkter kan akkurat adskilles i bildet hvis de ligger slik at sentrum i det ene diffraksjonsmønstret faller sammen med den første mørke ringen i det andre. Vinkelen er gitt ved sin θ =.22 x λ / D (Rayleigh-kriteriet) Hvis vi skal se 0 lyse linjer pr grad, må vi ha en apertur D gitt ved sin(/0)º=.22. 500. 0-9 /D => D = 2.. 0 - meter = 2. mm. Dette gjelder for en helt perfekt linse. Øyets pupille er litt større. Avstand mellom punkter i objekt og bilde Anta at en f=5 mm linse har et har et forhold mellom fokallengde og aperturdiameter f/d =. Vi avbilder et objekt som er.5 meter unna. Vi antar at λ=500. 0-9 meter (grønt lys). Q: Hva er den minste avstand y mellom to punkter på objektet som kan adskilles, og hva er den tilsvarende avstand y i bildeplanet? Aperturen er D=f/ = 5 mm/ =.7 mm =.7. 0-2 meter. y/.5 m =.22. 500. 0-9 /.7. 0-2 => y =.8. 0 - m 0.2 mm. y /5mm =.22. 500. 0-9 /.7. 0-2 => y =.8. 0 - mm 2 µm Bytter til et kompakt digital-kamera med f = 5.8 mm, f/d =. Nå er D=f/. = 5.8 mm/. =.87 mm =.87. 0 - meter y/.5 m =.22. 500. 0-9 /.87. 0 - => y =.. 0 - m. mm. y /5.8mm =.22. 500. 0-9 /.87. 0 - => y =.89. 0 - mm 2 µm Kravene til samplingstetthet i bildeplanet er omtrent de samme, men kompakt-kameraet gir mye dårligere oppløsning av detaljer i objektet. Hvis man blender ned aperturen, blir oppløsningen dårligere. INF00-Bilde-29 INF00-Bilde-0 Kommentar om sampling av bilder Når et kamera tar bilde av et objekt, vil hvert piksel i bildet vanligvis inneholde lys målt fra hele det området som pikselet dekker. Eksempel: la oss si at piksel dekker det området som er vist til høyre, og at dette lille området inneholder noe fin-struktur: Dette representeres etter samplingen ved gjennomsnittlig lysstyrke i området: Dermed er all struktur som er mindre enn pikselstørrelsen blitt visket ut. Vi har målt en middelverdi over et areal, og gjengir det likedan. Dette er forskjellig fra sampling av lyd, der samplet lages ved at man fryser lydstyrken på et gitt tidspunkt. Romlig oppløsning avhenger av anvendelsen Et kamera på mobiltelefon skal sende bildet over en GSMlinje og har relativt dårlig oppløsning. Bilder på Internett skal også overføres raskt og ligger ofte lagret med dårlig oppløsning. Skal vi skanne inn et håndtegnet kart, må vi ha god nok oppløsning til at tekst og linjer kommer korrekt med. Skal vi ta bilder av jorden fra satellitt, kan vi enten dekke et stort område med liten oppløsning (km) eller dekke et mindre område med høy oppløsning (m). INF00-Bilde- INF00-Bilde-2
Eksempel: Ledningskart Eksempler - romlig oppløsning 52x52 25x25 28x28 x 2x2 x INF00-Bilde- INF00-Bilde- Dette er Mona Lisa Eksempler - antall bit pr. piksel Dette er Mona Lisa genskapt i mosaik. Forbenede reaktionære bagtaler denne teknik. 2 sorte og hvite kvadrater 8 bit, 25 nivåer 7 bit, 28 nivåer bit, nivåer anbragt på rette sted! Man påstår at noget i smilet -- ikke helt kommer med. 5 bit, 2 nivåer bit, nivåer bit, 8 nivåer INF00-Bilde-5 INF00-Bilde-
Kvantisering f(x,y) er intensitet/lysstyrke i (x,y) og i naturen en kontinuerlig variabel Må velge datatype for lagring (byte, short, int, float, double) Kvantisering: prosessen som transformerer et kontinuerlig sampel f k (x,y) til et diskret sampel f(x,y) To stikkord sentrale: Lagringsplass Behov for presisjon/akseptabelt informasjonstap Merk: Display og videre bildeanalyse av det kvantiserte bildet stiller ulike krav til presisjon. Digitalisering i tre enkle steg Et kontinuerlig bilde er en reell funksjon f(x,y) av to (eller flere) reelle og kontinuerlige variable.. Vi legger på et rutenett, og beregner gjennomsnittsverdien av f(x,y) i hver rute: Rutenettet er vanligvis kvadrater. Vi har nå en reell funksjon f (x,y ), der heltallene x og y gir nummereringen av rutene. 2. Vi skalerer f (x,y ) slik at den passer innenfor det område vi skal bruke som gråtoneskala.. Vi kvantiserer verdiene av f (x,y ) til nærmeste heltalls verdi i gråtoneskalaen. Vi har nå funnet f (x,y ), som er en heltalls funksjon av to heltalls variable. INF00-Bilde-7 INF00-Bilde-8 Kvantisering og datatyper Eksempel: plassbehov Hvert piksel lagres vha. n bit Pikselet kan da inneholde verdier fra 0 til 2 n - Radarbilde fra ERS-satellitten: Dekker 00x00 km 8 bits bilder: 25 ulike verdier (0-255) Pikselstørrelse 20x20m bits bilder: 55 verdier 5000x5000 piksler unsigned: fra -278 til 277 signed: fra 0 til 5525 2 bits integer 8-bit per pixel: 25 MB Utsnitt av ERS SAR bilde 2 bits float bit per pixel: 50 MB 2 bit per pixel: 00 MB INF00-Bilde-9 INF00-Bilde-0
Bilder tar mye plass Dette bør du ha fått med deg i dag En side i læreboka er på 50 linjer a 80 tegn. Et 2-dimensjonalt digitalt bilde er en 2-dimensjonal heltalls matrise (array). Hvor mange bok-sider svarer et Mpix fargebilde til? ( x 0 x x 8) /(50 x 80 x 8) bok-sider = x 0 bok-sider Hvert tall i matrisen svarer til et lite (oftest kvadratisk) område i det opprinnelige analoge bildet. Hvert tall i matrisen kalles et piksel ( picture element ). Hvor stort må et 2 bits fargebilde være for at utsagnet et bilde sier mer enn 0 000 ord skal være riktig? 0 000 ord x tegn/ord x 8 bits/tegn / 2 bits/pixel = 20 000 pixler, altså et kvadratisk bilde med piksler hver vei. For et gråtonebilde: 0 000 x x 8 / 8 = 0 000 piksler, altså et kvadratisk bilde med 25 pixler langs aksene. I gråtone-bilder angir piksel-verdien hvor lyst / mørkt det lille området i det opprinnelige bildet er. I fargebilder er piksel-verdien en vektor ( heltall). Hvert piksel har implisitte romlike koordinater (x,y), gitt ved posisjonen i matrisen. INF00-Bilde- INF00-Bilde-2 Dette bør du også ha fått med deg Det digitale bildet må ha minst to piksler pr periode for den minste periodisk struktur i det kontinuerlige bildet. Vi må ha god nok optikk til å avbilde slike strukturer! Vinkeloppløsningen er gitt ved sin θ =.22 x λ / D. Vi velger en kvantisering som tilfredsstiller de krav som display og/eller senere bildebehandling og analyse stiller. Digitale bilder tar generelt stor plass. Senere skal vi se på metoder for koding og kompresjon. Neste uke: Forelesningsfri! Uke : Mer om bilder. INF00-Bilde-