Rayleigh-kriteriet. INF 2310 Digital bildebehandling. Hvor små detaljer kan en linse oppløse? Samplingsteoremet (Shannon/Nyquist)

Transkript

1 IN 3 Dgtal bldebehandlng Ralegh-krteret Oppsummerng II ma : Avbldnng Samplng og kvantserng Geometrske operasoner 3 Gråtone- og hstogramoperasoner 45 ltrerng blde-doménet 67 ltrerng rekvens-doménet 89 Kompreson og kodng av blder Segmenterng ved tersklng 3 Morologske operatorer 4 arger og argerom 5 To punkt-klder kan adsklles hvs de lgger slk at sentrum det ene draksonsmønstret aller sammen med den ørste mørke rngen det andre. Vnkelen mellom dem er da gtt ved sn θ. λ / D radaner. Dette er Ralegh-krteret. V kan kke se detaler som er mndre enn dette IN 3 - A IN 3 - A vor små detaler kan en lnse oppløse? Vnkeloppløsnngen er gtt ved Tangens tl vnkelen θ er gtt ved λ sn θ. D tg θ s or små vnkler er snθ tgθ θ når vnkelen θ er gtt radaner. > Den mnste detalen v kan oppløse: θ s s D λ sλ.. D D Samplngsteoremet Shannon/Nqust Anta at det kontnuerlge bldet er båndbegrenset dvs. det nneholder kke høere rekvenser enn ma Det kontnuerlge bldet kan rekonstrueres ra det dgtale bldet dersom samplngsraten s /T s er større enn ma altså T s < ½T ma kalles Nqust-raten I prakss oversampler v med en vss aktor or å kunne å god rekonstrukson IN 3 - A IN 3 - A 4

2 Ant-alasng Ved ant-alasng erner/demper v de høere rekvensene bldet ør v sampler Kvantserng vert pksel lagres vha. n bter Pkselet kan da nneholde heltallsverder ra tl n - Eks 3 bter: IN 3 - A IN 3 - A 6 Kvantserngsel Geometrske operasoner Kvantserngsel Summen av hver pksels avrundngsel Kan velge ntervaller og tlhørende rekonstruksonsntensteter or å mnmere denne > Ikke nødvendgvs unorm ordelng Sentrale stkkord: Lagrngsplass ehov or presson/akseptabelt normasonstap ardware-komplekstet eller sske begrensnnger Endrer på pkslenes possoner ørste steg denne prosessen: Transormer pkselkoordnatene tl : T T T og T er ote gtt som polnomer. Merk: remvsnng og vdere analse av det kvantserte bldet kan stlle ulke krav tl presson Sden pkselkoordnatene må være heltall må v deretter bruke nterpolason tl å nne pkselverden gråtonen den ne possonen IN 3 - A IN 3 - A 8

3 Ane transormer Eksempler på enkle transormer - I Transormerer pkselkoordnatene tl : T T Ane transormer beskrves ved: a + a + a b + b + b Transormason a a a b b b Uttrkk Identtet Skalerng s s s s Rotason cosθ -snθ snθ cosθ cosθ-snθ snθ+cosθ På matrseorm: eller IN 3 - A a a a b b b Uttrkk Translason + + orsontal shear med aktor s s +s Vertkal shear med aktor s s s+ Alternatv måte å nne transormkoesentene Eksempler på enkle transormer - II Transormason IN 3 - A En an transorm kan bestemmes ved å spessere tre punkter ør og etter avbldnngen resultat-bldet nn-bldet Med dsse tre punktparene kan v nne de 6 koesentene; a a a b b b Med lere enn 3 punktpar velger man den transormasonen som mnmerer kvadrat-elen summert over alle punktene IN 3 - A IN 3 - A

4 orlengs-mappng aklengs-mappng or all '' do g'' a cos θ a -sn θ b sn θ b cos θ or all do rounda +a roundb +b nsde g g end Eksempel: Enkel rotason ved transormen: ltter de possonstransormerte pkselpossonene tl nærmeste pkselposson utbldet. Skrver nnbldets nn g a cos -θ a -sn -θ b sn -θ b cos -θ or alle do rounda +a roundb +b nsde g else g end Samme eksempel som ved orlengs-mappngen. N: rotert med θ ga rotert med -θ gr Resample bldet. er; or hvert utblde-pksel nvers-transormér og velg nærmeste pksel ra nnbldet. or hver pkselposson ut-bldet: ent pkselverd ra nnbldet IN 3 - A IN 3 - A 4 aklengs-mappng orts. Trlneær nterpolason Utvdelsen ra D tl 3D kalles trlneær nterpolason og er en lneær nterpolason mellom resultatene av to blneære nterpolasoner. Resultatet er uavhengg av rekkeølgen IN 3 - A IN 3 - A 6

5 Interpolason en sammenlgnng Nærmeste nabo gr D trappeunkson. Dskontnutet mdt mellom punktene. -lneær nterpolason bruker 4 pksler. Dervert er kke kontnuerlg over blde-laten. -kubsk nterpolason gr glattere later. Er mer regnekrevende. ruker 446 pksler. V har at Normalsert hstogram Det normalserte hstogrammet: p kan ses på som en sannsnlghetsordelng or pkselntenstetene Uavhengg av antall pksler bldet IN 3 - A IN 3 - A 8 Kumulatvt hstogram Lneær avbldng vor mange pksler har gråtone mndre enn eller lk gråtone? Lneær strekkng T [ ] a + b g a + b Normalsert kumulatvt hstogram: Sannsnlgheten or at en tleldg valgt pksel er mndre eller lk gråtone a regulerer kontrasten og b lsheten a>: mer kontrast a<: mndre kontrast Q: Når og hvordan påvrker a mddelverden? b: ltter alle gråtoner b nvåer Negatver: a- b maverd or bldetpe IN 3 - A IN 3 - A

6 Endre lsheten brghtness Endre kontrasten Legge tl en konstant b tl alle pkselverdene g Multplsere hver pkselverd med en aktor a: g b g + vs b > alle pkselverdene øker og bldet blr lsere vs b < bldet blr mørkere stogrammet lttes opp eller ned med b Mddelverden endres! hg h a g vs a > kontrasten øker vs a < kontrasten mnker Eks: ruke hele ntenstetsskalaen Q: va sker med mddelverden? hg h IN 3 - A IN 3 - A Justerng av µ og σ Logartmske transormasoner Gtt nn-blde med mddelverd µ og varans σ Anta en lneær gråtone-transorm T[]a+b N mddelverd µ T og varans σ T er da gtt ved G T µ T[ ] p aµ + b σ G G Dvs. a + ab + b p a + b aσ T /σ b µ T -aµ V kan altså G G a p p a σ velge ne µ T og σ T beregne a og b anvende T[]a + b på nn-bldet og å et ut-blde med rktg µ T og σ T T G T[ ] p G T[ ] p p Q: vlken av transormasonene tl høre er brukt her? g 3.3 DIP IN 3 - A IN 3 - A 4

7 Power-law gamma-transormasoner stogramutevnng hstogram equalzaton Mange bldeproduserende apparater har et nput/outputorhold som kan beskrves som: s c der s er ut-ntensteten ved en nput γ Kan korrgeres ved gråtonetransormen T[] /γ Generell kontrast-manpulason rukervennlg med kun én varabel g 3.6 DIP Mål: Maksmere kontrasten Gøre hstogrammet unormt latt Kumulatve hstogrammet en rett lne Mddel: Global gråtonetransorm; T[] Altså ltte på hele hstogramsøler Tlnærmng ved å spre sølene mest mulg utover det støttede ntenstetsntervallet IN 3 - A IN 3 - A 6 Algortme or hstogramutevnng or et n m blde med G gråtoner: Lag arra h p c og T av lengde G med ntalverd nn bldets normalserte hstogram Gå gennom bldet pksel or pksel. vs pksel har ntenstet la h[]h[]+ Deretter skalér p[] h[]/n*m G- Lag det kumulatve hstogrammet c c[] p[] c[] c[-]+p[]...g- Sett nn verder transormarra T T[] Round G-*c[]...G- Gå gennom bldet pksel or pksel vs bldet har ntenstet sett ntenstet utbldet tl st[] stogramtlpasnng stogramutevnng gr latt hstogram Kan spessere annen orm på resultathstogrammet:.gør hstogramutevnng på nnbldet nn st.spesser ønsket ntt hstogram gz 3.nn den transormen T g som hstogramutevner gz og nverstransormen T g - 4.Inverstransormer det hstogramutevnede bldet ra punkt ved zt g - s IN 3 - A IN 3 - A 8

8 Utregnng av -D konvoluson g + w + w w k w h k k or å regne ut resultatet av en konvoluson or posson : Roter masken 8 grader legg den over bldet slk at mnst en posson overlapper med bldet. Multplser hvert element masken med underlggende pkselverd. Summen av produktene gr verden or g posson. or å regne ut resultatet or alle possoner:ltt masken pksel or pksel og genta operasonene over. V bruker notasonen g h * der * er konvolusons-operatoren Praktske problemer Kan ut-bldet ha samme pksel-representason som nn-bldet? Trenger v et mellom-lager? va gør v langs blde-randen? Anta at bldet er M N pksler Anta at lteret er m n mm + nn + Uberørt av rand-eekt: M-m N-n 33: M-N- 55: M-4N IN 3 - A IN 3 - A 3 va gør v langs randen? Alternatver:. Sett g. Sett g 3. Trunker ut-bldet 4. Trunker konvolusons-masken h 5. Utvd bldet ved relected ndeng 6. Crcular ndeng Et lte tps om konvoluson Når v konvolverer et lter med et blde: Er v nteressert å lage et ntt blde med samme størrelse som nput-bldet. V bruker en av teknkkene ra orrge ol. Når v konvolverer en lter-kerne med en annen lter-kerne: V vl lage eektv mplementason av et stort lter med en kombnason av enkle separable ltre. V beregner resultatet or alle possoner der de to lter-kernene gr overlapp IN 3 - A IN 3 - A 3

9 Egenskaper ved konvoluson Kommutatv *g g* Assosatv *g*h *g*h Dstrbutv *g+h *g + *h Assosatv ved skalar multplkason a*g a*g *ag Kan utnttes sammensatte konvolusoner! Lavpass-ltre Slpper gennom lave rekvenser og demper eller erner høe rekvener. øe rekvenser skarpe kanter stø detaler. Eekt: blurrng eller utsmørng av bldet Utordrng: bevare kanter samtdg som homogene områder glattes IN 3 - A IN 3 - A 34 Separable ltre Geometrsk orm: kvadrat rektangel Rektangulære mddelverd-ltere er separable. h 5 [ ] ordel: et raskt lter. Vanlg konvoluson: n multplkasoner og addsoner. stk -D konvolusoner: n multplkasoner og addsoner. 5 Ikke-unormt lavpass-lter Unorme lavpass-ltre kan mplementeres raskt. Ikke-unorme ltre or eksempel: D Gauss-lter: + h ep σ Parameter σ er standard-avvketbredden lterstørrelse må tlpasses σ IN 3 - A IN 3 - A 36

10 Rang-ltrerng V lager en en-dmensonal lste av alle pkselverdene nnenor vnduet. V sorterer lsten stgende rekkeølge. V velger en pksel-verd ra en bestemt posson den sorterte lsten Denne pksel-verden er resultatet av ltrerngen og skrves ut tl tlsvarende pksel-posson ut-bldet. Medan-lter g medan av verdene et vndu rundt nn-pkslet. Medan den mdterste verden sortert lste. Vndu: kvadrat rektangel pluss. Rask mplementason kan gøres vha. hstogram med hstogram-oppdaterng etter hvert som vnduet lttes. Et av de mest brukte kant-bevarende stø-ltre. Speselt godt tl å erne mpuls-stø salt og pepper Problemer: Tnne kanter kan orsvnne ørner kan rundes av Obekter kan bl ltt mndre Valg av vndus-størrelse og orm er vktg! IN 3 - A IN 3 - A 38 Medan og hørner øpass-ltere Slpper gennom høe rekvenser. Demper eller erner lav-rekvente varasoner. Med kvadratsk vndu rundes hørnet av Med pluss -vndu bevares hørnet Eekt: erner langsomt varerende bakgrunn ramheve kanter lner og skarpe detaler IN 3 - A IN 3 - A 4

11 IN 3 - A 4 øpass-ltre Et høpass-lter må ha postve vekter mdten og negatve vekter lenger ut. V lar summen av vektene være null. voror er dette lurt? vs v lar mddelverden av ut-bldet bl null må noen deler av ut-bldet være <. Det er ngen god de å bentte g. or ramvsnng skaler g og legg tl en konstant slk at v år postve pkselverder IN 3 - A 4 Noen gradent-operatorer - I Pel derence Separated pel derence Roberts-operatoren IN 3 - A 43 Noen gradent-operatorer - II Prewtt-operatoren Sobel-operatoren re-chen-operatoren IN 3 - A 44 g g og gradent-magntuden G V nner de horsontale kantene: eregn g * V nner de vertkale kantene: eregn g * eregn gradent-magntude og retnng: + tan g g g g G θ Gradent-magntude Gradent retnng

12 IN 3 - A 45 Laplace-operatoren Laplace-operatoren er gtt ved: Den endrer ortegn der har et nleksons-punkt / vendepunkt. har to ekstremverder det v passerer en kant markerer kant-posson. Kantens eksakte posson nnes ved nullgennomgangen. Dette gr kke brede kanter. V nner bare magntude kke retnng smooth [- -] [- -] IN 3 - A 46 lere Laplace-operatorer Merk at Laplace-operatorene kan uttrkkes som senter-verd mnus et veet mddel over et lokalt naboskap. D D pluss D kvadrat IN 3 - A 47 Laplace vs. Sobel Sobel-ltrert > bred kant Laplace-ltrert > dobbelt-kant IN 3 - A 48 ra Laplace tl LoG V gorde gradent-operatorene stø-robuste ved å bgge nn en lavpassltrerng. Eksempel: Sobel-operator V kan gøre det samme med Laplace-operatoren V bruker et Gauss-lter G Og sden konvoluson er kommutatv år v Der LoG er resultatet av å anvende Laplace-operatoren på en Gauss-unkson. [ ] [ ] h h LoG G G

13 Cann s algortme I Cann s algortme gøres kant-lokalserng slk: Tnnng non-mamal suppresson: vs et pksel har en nabo med høere pkselverd settes pkselverden ned. sterese-tersklng to terskler T h og T l Vanskelg å nne en god gradent-terskel or hele bldet.. Merk alle pksler der G >T h. Scan alle pksler der G [T l T h ] 3. vs et slkt pksel er nabo tl et merket pksel så merkes dette pkselet også. 4. Genta ra trnn tl konvergens. Tersklng vs v har grunn tl å anta at obektene.eks. er lsere enn bakgrunnen kan v sette en terskel T og lage oss et bnært ut-blde g ved mappngen: hvs g hvs T > T Da har v ått et ut-blde g med bare to mulge verder. Med rktg valg av T vl nå alle pksler med g være obekt-pksler. g IN 3 - A IN 3 - A 5 Klasskasonsel ved tersklng Anta at hstogrammet er en sum av to ordelnger bz og z b og er normalserte bakgrunns- og orgrunns-hstogrammer. La og være a pror sannsnlghet or bakgrunn og orgrunn + Det normalserte hstogrammet tl bldet kan da skrves p z b z + z Sannsnlghetene or å elklasssere et pksel gtt en terskelverd t nner v ra de normalserte ordelngene: E E t t t z dz b z dz Den totale elen V har unnet andelen elklasskason hver ordelng. Den totale elen nner v ved å multplsere med a pror sannsnlghetene or orgrunn og bakgrunn: E t E t + E t Legges terskelen veldg høt eller veldg lavt blr elen stor. Det er rmelg å anta at elen har et mnmum or en bestemt verd t T t IN 3 - A IN 3 - A 5 t z dz + t b z dz

14 nn den T som mnmerer elen E t z dz + b z dz Derverer Et mhp. t vha. Lebntz regel or dervason av ntegraler. Setter den derverte lk og år: de t dt t Merk at dette er en generell løsnng som gr mnst el. Det er ngen restrksoner mht. ordelngene b og!! t T b T VIKTIG!!! Det er IKKE skærngen mellom de normalserte hstogrammene v er ute etter! Det er skærngen mellom de a pror-skalerte normalserte hstogrammene som gr rktg terskelverd!!! vlket hstogram? IN 3 - A IN 3 - A 54 orskellge standardavvk? vs standardavvkene de to Gauss-ordelngene er orskellge og skærngspunktene mellom ordelngene skalert med a pror sannsnlghet lgger nnenor gråtoneskalaen bldet En terskelverd or hvert skærngspunkt. Det er bare mellom de to tersklene at lertallet av pkslene er bakgrunnspksler! vor lgger optmal terskel? V har en annengradslgnng T: σ σ ln σ T + µ σ µ σ T + σ µ σ µ + σ µ σ vs standard-avvkene de to ordelngene er lke σ σ σ år v en enklere lgnng: µ µ T µ + µ µ µ + σ ln c µ + µ σ T + ln µ µ vs a pror sannsnlghetene og er omtrent lke eller hvs σ har v en veldg enkel løsnng: µ + µ T IN 3 - A IN 3 - A 56

15 En enkel tersklngs-algortme Start med terskel-verd tmddelverden tl alle pkslene bldet. nn mddelverden µ t av alle pksler som er mørkere enn terskelen nn mddelverden µ t av alle pksler som er lsere enn terskelen. La n terskel-verd være t µ t + µ t Genta de to punktene ovenor tl terskelen kke ltter seg mer. Dette kalles Rdler og Calvard s metode vlke betngelser må være opplt or at metoden skal vrke? Otsu s metode - motvason Anta at v har et gråtoneblde med G gråtoner med normalsert hstogram p. Anta at bldet nneholder to populasoner av pksler slk at pkslene nnenor hver populason er noenlunde lke mens populasonene er orskellge. Målsettng: V vl nne en terskel T slk at hver av de to klassene som oppstår ved tersklngen blr mest mulg homogen mens de to klassene bl mest mulg orskellge. Klassene er homogene: varansen hver av de to klassene er mnst mulg. Separasonen mellom klassene er stor: avstanden mellom mddelverdene er størst mulg IN 3 - A IN 3 - A 58 Otsu s metode; oppsummerng Gtt et NM pkslers blde med G gråtoner. nn bldets hstogram hk k..g-. nn bldets normalserte hstogram: h k p k k... G MN k eregn kumulatvt normalsert hstogram: P k p k... G eregn kumulatv mddelverd µk: eregn global mddelverd µ: eregn varansen mellom klassene σ k: nn terskelen T der σ k har stt maksmum. eregn separabltetsmålet ηt: µ k p k σ k µ k... G G [ µ k µ P k ] P k P k p σ T η T η T σ Tot Adaptv tersklng ved nterpolason Globale terskler gr ote dårlg resultat. Globale metoder kan benttes lokalt. Dette vrker kke der vnduet bare nneholder en klasse! Oppskrt: NIVÅ I: Del opp bldet del-blder. or del-blder med b-modalt hstogram: nn lokal terskelverd T c og tlordne den tl senterpkselet del-bldet. or del-blder med un-modalt hstogram: nn lokal terskelverd ved nterpolason. NIVÅ II: Pksel-or-pksel nterpolason: Gå gennom alle pksel-possoner bestem adaptv terskelverd T ved nterpolason mellom de lokale terskelverdene T c. Terskle så hvert pksel bldet terskelverdene T IN 3 - A IN 3 - A 6

16 Tre ntegraler gr RG Ls ra en klde med spektralordelng Eλ treer et obekt med spektral releksonsunkson Sλ. Relektert ls detekteres av tre tper tapper med spektral lsølsomhetsunkson q λ. Tre analoge sgnaler kommer ut av dette: R G E λ S λ q R E λ S λ q E λ S λ q λ dλ G λ dλ λ dλ RG prmærarger Commson Internatonale de l Eclarage CIE The Internatonal Commson o Illumnaton har denert prmærargene: lå: nm Grønn: 546. nm Rød: 7 nm IN 3 - A IN 3 - A 6 eskrvelse av arger RG-kuben En arge kan beskrves på orskellge måter kalles argerom RG SI ue Saturaton Intenst CMY Can Magenta Yellow pluss mange lere.. SI er vktg or hvordan v beskrver og skller arger. I Intenstet: hvor ls eller mørk er den S saturaton/metnng: hvor sterk er argen domnerende arge bølgelengde og S beskrver sammen argen og kalles kromatstet blå magenta Gråtoneblder: rgb svart rød gul hvt can grønn IN 3 - A IN 3 - A 64

17 RG og CMY ue Saturaton Intenst SI RG og CMY er prnsppet sekundærarger or hverandre. hvt ue: ren arge - gr bølgelengden det elektromagnetske spektrum. S can grønn gul rød blå magenta I er vnkel og lgger mellom og π: Rød: grønn: π/3 blå 4π/3 gul: π/3 can π magenta 5π/3 vs v skalerer -verdene tl 8-bts verder vl Rød: grønn: 85 blå 7 gul: 4 can 7 magenta 3. svart IN 3 - A IN 3 - A 66 argeblder og argetabeller RG kan lagres med lke mange bter or r g b.eks Selv bter gr oss kombnasoner men bare 8 orskellge nvåer av rødt grønt og blått og dermed også bare 8 orskellge gråtoner. Et scene med mange nanser av én arge vl da se lle ut! voror? Jo ord denne argen bare år 8 orskellge nanser! Det er kke skkert at alle de 5 argene nnes bldet. Alternatvt kan man bruke 8 bter og argetabeller. ver rad tabellen beskrver en r g b-arge med 4 bter. Tabellen nneholder de 56 argene som best beskrver bldet. I blde-len lgger pkselverdene som tall mellom og 55. Når v skal vse bldet slår v bare opp samme rad som pkselverden og nner de tlsvarende r g b-verdene. stogramutevnng av RG-blder stogramutevnng på hver komponent RG uavhengg av hverandre Ote dårlg resultat can Et bedre alternatv er å bentte SI: Transormér bldet ra RG tl SI Gør hstogramutevnng på I- komponenten Transormer SI n tlbake tl RG grønn S hvt gul rød blå magenta I svart IN 3 - A IN 3 - A 68

18 Tersklng av argeblder - I Anta at v har observert samme scene på lere bølgelengder. V kan da utøre tersklng basert på to-dmensonale tre-dmensonale eller mult-dmensonale hstogrammer Enkel metode: : estem terskler uavhengg or hver kanal. : Kombner alle segmenterte kanaler tl ett blde. Dette svarer tl at v har delt opp.eks. RG-rommet bokser. Tersklng av argeblder - II En mer kompleks metode: Velg et punkt det multdmensonale rommet som reeranse.eks. R G Terskle basert på avstand ra dette reeransepunktet. d R + G + [ ] [ ] [ ] R G Slk at hvs d dma g hvs d > dma Dette denerer en kule med radus d ma omkrng punktet R G. Kan lett generalseres tl ellpsode med orskellge avstands-terskler RG d [ R ] [ G ] [ ] Merk at da er hvs d g hvs d > R d R G + + dg d IN 3 - A IN 3 - A 7 Tersklng SI Transormer ra RG tl SI. Anta at v vl segmentere ut de delene av bldet som ar en gtt arge Er over en gtt metnngs-terskel S Lag en maske ved å terskle S- bldet velg en percentl Multplser -bldet med masken. Velg et ntervall som svarer tl ønsket arge. usk at er srkulær! Kontakt oss vs du lurer på noe IN3-pensum e-post vs du tenker på lere kurs dgtal bldeanalse vs du tenker på å ta en Master-oppgave Takk og lkke tl med eksamen!!! IN 3 - A IN 3 - A 7