Høgskolen i Østfold Avdeling for informasjonsteknologi Fag IAD33505 Bildebehandling og mønstergjenkjenning Laboppgave nr 3 Frevensanalyse av signaler (del 2) og filtrering av bilder Sarpsborg 28.01.2005 28.01.05 Ny oppgave Log LMN Log, LMN Rev. Dato. Beskrivelse. Skrevet av Kontrollert Godkjent Fil : Skrevet ut av : i 28.01.2005 1:28 Antall sider : 13
Labkjøring: Alle gruppene må senest ha kjørt oppgaven i uke 5. Presentasjon og skriftlig innlevering etter gjennomført laboppgave. Dette er likt for alle laboppgavene med mindre annet er beskrevet særskilt i oppgaven. Presentasjonsdel: Straks etter at gruppen har gjennomført laben, skal gruppen gi en muntlig presentasjon, en slags miniforelesning (trening mot hovedprosjekt), av laboppgaven. Maks. 30 min. Gruppen avtaler tidspunkt og sted med faglærer. Alle i gruppen skal delta i presentasjonen! Alle bilder som gruppen har tatt, skal inngå i presentasjonen (se også skriftlig del). Alle spørsmål i oppgaveteksten skal besvares (se også skriftlig del). Følgende spørsmål skal også besvares under presentasjonen: Hvilke problemer møtte dere på underveis? Hvilke forbedringer, eventuelt ny løsningsstrategi, ville bli gjort dersom oppgaven skulle være løst på nytt? Oppgavens vanskelighetsgrad? (1 (lett) 5 (meget vanskelig)). Skriftlig del: Denne delen skal være en skriftlig labbesvarelse i kortversjon. Alle bilder tatt under labkjøringen skal inngå. Pass på at de kommer i kronologisk rekkefølge. Alle spørsmål i laboppgaveteksten skal besvares. Dersom gruppen har skrevet egne MatLabprogrammer, så skal de vedlegges. Til slutt skal rapporten inneholde en konklusjon som oppsummerer oppgaven: hva dere har lært, hvilke problemer oppsto underveis og hvilke forbedringer bør gjøres. Innføring i bildebehandling - HIØ side 2
Oppgave A: Frekvensanalyse av signaler (del 2) Oppgave B: Filtrering av bilder Innledning. Oppgave A tar for seg hvordan fouriertransformen kan benyttes som verktøy til å analysere frekvensinnholdet i lydsignaler. Oppgave B tar for seg hvordan fouriertransformen gir viktig informasjon av frekvensinnholdet til signaler, både i en eller flere dimensjoner. Denne informasjonen kan benyttes til filterdesign. Oppgaven tar for seg ulike filtreringsmetoder ved bruk av frekvensanalyse anvendt på bilder. Formål. Oppgave A Se bruken av frekvensanalyse i forhold til filtrering og analysering av sinusoidale signaler og lydsignaler. Oppgave B Benytte klassiske filtreringsmetoder på kompliserte bilder. Få innsikt i hvordan frekvensinnholdet og faseinformasjon henger sammen med ønsket filtrering. Få forståelse for hvordan lage egne filtre for bildefiltrering ved bruk av vinduer. Utstyr. Datamaskin med installert Mat Lab med toolboksene Image Processing Toolbox (IPC) og Signal Processing Toolbox (SPT). Litteratur. Læreboka: Digital Image Processing using MatLab av Rafael C. Gonzalez, Richard E. Woods, Steven L. Eddins. Innføring i bildebehandling - HIØ side 3
Generelt om oppgave A Denne oppgaven er en fortsettelse av forrige lab-oppgave. I denne oppgaven skal vi anvende fouriertransformen til å filtrere lyd. Oppgave A. Del 1 Filtrering Til nå har vi kun betraktet perfekte signaler i form av sinus-kurver. Hent lydfilen 'sinusnoise' som finnes på følgende URL: //Leia / fag/ bildeb /Lab3 /sinusnoise.wav. Les filen inn i MatLab ved hjelp av kommandoen wavread. Få med samplingsraten på filen. Plott lydsamplingen og fourierspekteret i samme figur ved hjelp av kommandoen subplot i MatLab. Signalet i lydfilen inneholder et sinusoidalt signal begravet i støy. Fra fourierspekteret ser vi klart at en frekvens er mer dominerende enn andre. Er det rimelig å anta at denne komponenten representerer signalet, og resten støy? Vi skal nå gjøre en primitiv støyfiltrering for å prøve å få tilbake det opprinnelige signalet. Dette gjør vi enkelt ved å sette alle uønskede frekvenser lik null. Gjør dette, og husk at for fouriertransformen sin del, må dette gjøres også for de negative frekvensene og de komplekse verdiene. Transformer så signalet tilbake til en lydsampling etter at filtreringen er utført ved den inverse fouriertransformen, ved bruk av kommandoen ifft i MatLab. Lydsignalet som da fremkommer vil da fortsatt inneholde komplekse verdier fra inverstransformen. Fjern disse og plott signalet. Er dette gjort riktig, skal signalet vises som et pent sinusoidalt signal. Del 2 Et ekte lydsignal Helt til slutt skal vi betrakte en lydsampling hentet fra musikeren 'Biosphere'. Hent og les inn i MatLab filen //Leia / fag/ bildeb /Lab3 /BevegendeRytmer.wav. Hør på samplingen og legg merke til at lydsammensetningen består av flere distinkte frekvenser. Gjør en fourieranalyse av samplingen. Er det mulig å avgjøre hvilke frekvenser som tilhører enkelte lyder? Klarer dere ved bruk av filtreringsmetoden i Del 1 å fjerne enkelte lyder fra samplingen? Innføring i bildebehandling - HIØ side 4
Generelt om oppgave B I denne oppgaven skal vi betrakte litt enkel filterdesign. Her vil vi definere et filter som et system for kun å slippe gjennom visse frekvensområder til et inputsignal til frekvensspekteret. Med andre ord vil filtertransferfunksjonen, H, forme et 'vindu' i frekvensrommet hvor en del av frekvensspekteret får lov å slippe gjennom. De idealiserte amplitudekarakteristikkene, H(jω), til fire grunnleggende filtre vises for ω > 0 i figur 1. Fra disse fire karakteristikkene er lavpassfilteret det mest fundamentale, og vi skal i hovedsak betrakte analoge og digitale lavpassfiltre i denne laboppgaven. Todimensjonale lavpassfiltre Figur 1 viser lengst til venstre amplitudekarakteristikken til et ideelt lavpassfilter som et endimensjonalt vindu for positive frekvenser. Vi kan visuelt se for oss at frekvensene som er innenfor vinduet slipper gjennom, mens høyere frekvenser utenfor vinduet stoppes. Denne lavpasseffekten har vi tidligere i bildesammenheng sett gir en slags utsmøringseffekt. Bilder er todimensjonale signaler og fouriertransformeres i to dimensjoner. Dette betyr at filterdesign ikke kan betraktes i en enkelt dimensjon. Vi må også huske på at filtre som vi designer også må ta hensyn til negative frekvenser. Et ideelt todimensjonalt lavpassfilter vises i figur 2. Vi ser fra figuren at amplitudekarakteristikken til lavpassfilteret er kakeformet med sentrum i origo når filteret fungerer i to dimensjoner. Figur 1: Idealiserte amplitudekarakteristikker for fire grunnleggende filtre Figur 2: Idealisert amplitudekarakteristikk for todimensjonalt lavpassfilter Innføring i bildebehandling - HIØ side 5
Del 1 Todimensjonal fouriertransform Vi skal nå implementere det ideelle lavpassfilteret og anvende det på to bilder. Bildene vi skal bruke, er bilder av Abraham Lincoln og Mona Lisa, se figur 3. Begge disse bildene er detaljerte bilder med mye informasjon, men er likevel forskjellige med hensyn på frekvensinnhold. Hent bildefilene 'Lincoln.tif' og 'Mona.tif' som finnes på følgende URL-er: //Leia / fag/ bildeb /Lab3 /Lincoln.tif //Leia / fag/ bildeb /Lab3 /mona.tif. Figur 3: Abraham Lincoln og Mona Lisa Antall piksler i de to bildene er forskjellige. Det er en fordel at dere modifiserer begge til samme format. Pass på at antall blir ikke for stort for ikke å vente forlenge ved bildeprosessering. Etter at bildene er innleste, må frekvensspektrene beregnes for de to bildene. Benytt kommandoen fft2 til å beregne fourierspekteret ved den todimensjonale FFT-algoritmen for begge bildene. Dersom vi kaller det originale bildet for x( t1, t2),( t1 og t2 representerer bildekoordinater i x- og y-retning) vil fouriertransformen til x skrives F { x ( t1, t2)} = X ( jω1, jω2). Vi husker at FFT -algoritmen fungerer syklisk, slik at skifting av koordinatene etter transformen er nødvendig. Til dette benyttes kommandoen fftshift i MATLAB. Plott X ( jω1, jω2) for begge bildene og få frem frekvensspektra. I disse spektrene er nullfrekvensene, ( ω 1 = 0 og ω2 = 0), sentrerte i midten. For å få til et slikt plott, må X ( jω1, jω2) justeres slik at verdiene blir liggende innenfor gråtoneskalaen, slik at resultatet blir synlig. Hvis ikke, vil spektrene sannsynligvis vises helt sort. Hva er grunnen til at de to spektrene ser så forskjellige ut for de to bildene? På hvilken måte henger dette sammen med frekvensinnholdet i bildene? Innføring i bildebehandling - HIØ side 6
Del 2 Fasens betydning Etter hvert som man jobber med FFT-algoritmen, forstår man raskt viktigheten av at FFTskifting må skje korrekt. Dersom FFT-skiftet ikke gjøres korrekt, vil informasjon om bildets fase bli forkludret. Vi husker fra kompleksanalysen at X ( jω) = X ( jω) e jθ, jθ hvor e kalles faseinformasjonen til X ( jω). Når vi plotter fourierspektra på den måten vi har sett til nå, er vi kun interessert i amplituden, mens faseinformasjonen ikke benyttes. I det følgende skal vi kort betrakte fasens betydning for informasjon i bilder. Prøv først å inverstransformere (ifft2 i MatLab) frekvensspekteret til et av de to bildene uten fase, dvs. utfør: F 1 { 1 2 X ( jω, jω )}. Plott deretter bildet som nå vises uten fase, siden Kommentér resultatet. jθ e = 1, som gir θ = 0. Fasebytte Dersom alt ble utført korrekt i plotting av nullfasebildet, har dere sett at det ikke er mye igjen av det opprinnelige bildet. Svært mye viktig informasjon ligger igjen i faseinformasjonen. Hvis dere vil, kan dere gjerne plotte absoluttverdien av fasen (plott absoluttverdien siden fasen også er kompleks) for å se at det er mye informasjon plassert der også. Fasen kan enkelt beregnes ved θ e j = X ( jω). X ( jω) Beregn deretter faseinformasjonen til de to bildene vi til nå har benyttet (dere trenger ikke plott). Vi skal se at de to bildene vi har benyttet ikke er så forskjellige når det gjelder faseinformasjon. Bytt så om på fasene til de to bildene, slik at bildet av Mona Lisa får faseinformasjonen til bildet av Abraham Lincoln, og motsatt. Utfør så en invers fouriertransformasjon og plott deretter bildene som fremkommer. Kommenter resultatet. Hva kan sies om faseinformasjonen til de to bildene? Innføring i bildebehandling - HIØ side 7
Del 3 Filtrering Nå som vi grundig har belyst fourierspekteret som en viktig representasjon for bildeinformasjonen, skal vi prøve noen enkle filtre. Slik som nevnt innledningsvis, må bildefiltre i frekvensrommet designes med hensyn på to dimensjoner, altså sirkulært, slik som lavpassfilteret vist i figur 2. Vi må derfor begynne med å lage en MATLAB-rutine som kan fungere sirkulært, altså danne slike 'kakeformer' som figuren viser. Selve filteret må være en matrise like stor som selve bildet. For å lage et slikt lavpassfilter, må et sirkulært felt i midten av matrisen være satt lik 1, mens resten er null. Dette filteret, H ( jω1, jω2), vil dermed kun slippe gjennom frekvenser i en viss radius rundt senteret av frekvensspekteret, siden X Filtrert ( jω1, jω2) = H ( jω1, jω2) X Original ( jω1, jω2). Et eksempel på et slikt filter implementert i MatLab vises i figur 4. Implementer et slikt filter. Figur 4: Ideelt lavpassfilter implementert i MatLab. Et sirkulært felt rundt senteret av filteret er satt lik 1, mens resten er satt lik 0 Etter at dere har fått sirkelrutinen til å fungere, kan dere implementere alle de fire filtrene vist i figur 1, ved kun å justere på erstatningsverdien og sirkelradiusen til filteret. Anvend minst to av disse filtrene på frekvensspektrene til bildene vi hittil har benyttet med en selvvalgt radius. Spektrene vil da kunne se ut slik som vist i figur 5. Spektrene i figuren er valgt med en relativ liten radius. Inverstransformer så de filtrerte bildene og plott resultatene. Blir resultatet som forventet? Til slutt i denne oppgaven kan dere prøve å inverstransformere noen av filtrene som dere har benyttet, for så å plotte dem. Kommenter resultatene og forklar hvordan vi kunne ha benyttet oss av filtrene i tidsrommet i stedet for i frekvensrommet. Likner de inverstransformerte filtrene på tidligere benyttede masker brukt i bilde behandling? Innføring i bildebehandling - HIØ side 8
Figur 6: Originalt, lavpassfiltrert og høypassfiltrert frekvensspekter til et vilkårlig bilde Innføring i bildebehandling - HIØ side 9
θ e j = X ( jω). X ( jω) Beregn deretter faseinformasjonen til de to bildene vi til nå har benyttet (dere trenger ikke plott). Vi skal se at de to bildene vi har benyttet ikke er så forskjellige når det gjelder faseinformasjon. Bytt så om på fasene til de to bildene, slik at Bildet av Mona Lisa får faseinformasjonen til bildet av Abraham Lincoln, og motsatt. Utfør så en invers fouriertransformasjon og plott deretter bildene som fremkommer. Kommenter resultatet. Hva kan sies om faseinformasjonen til de to bildene? θ e j = X ( jω). X ( jω) Del 2 Fasens betydning Etter hvert som man jobber med FFT-algoritmen, forstår man raskt viktigheten av at FFTskifting må skje korrekt. Dersom FFT-skiftet ikke gjøres korrekt, vil informasjon om bildets fase bli forkludret. Vi husker fra kompleksanalysen at X ( jω) = X ( jω) e jθ, jθ hvor e kalles faseinformasjonen til X ( jω). Når vi plotter fourierspektra på den måten vi har sett til nå, er vi kun interessert i amplituden, mens faseinformasjonen ikke benyttes. I det følgende skal vi kort betrakte fasens betydning for informasjon i bilder. Prøv først å inverstransformere (ifft2 i matlab) frekvensspekteret til et av de to bildene uten fase, dvs. utfør: F 1 { 1 2 X ( jω, jω )}. Plott deretter bildet som nå vises uten fase, siden Fasebytte jθ e = 1, som gir θ = 0. 10 Dersom alt ble utført korrekt i plotting av nullfasebildet, har dere sett at det ikke er mye igjen Dersom av det opprinnelige alt ble utført bildet. korrekt Svært i plotting mye av viktig nullfasebildet, informasjon har ligger dere sett igjen at det i faseinformasjonen. ikke er mye igjen av Hvis det dere opprinnelige vil, kan dere bildet. gjerne Svært plotte mye absoluttverdien viktig informasjon av fasen ligger (plott absoluttverdien igjen i faseinformasjonen. siden fasen Hvis også dere kompleks) vil, kan dere for å gjerne se at det plotte er mye absoluttverdien informasjon av plassert fasen der (plott også. absoluttverdien siden fasen også er kompleks) for å se at det er mye informasjon plassert der også. side Fasen kan enkelt beregnes ved Fasen kan enkelt beregnes ved Innføring i bildebehandling - HIØ
Kommenter resultatet. Del 3 Filtrering Nå som vi grundig har belyst fourierspekteret som en viktig representasjon for bildeinformasjonen, skal vi prøve noen enkle filtre. Slik som nevnt innledningsvis, må bildefiltre i frekvensrommet design es med hensyn på to dimensjoner, altså sirkulært, slik som lavpassfilteret vist i figur 2. Vi må derfor begynne med å lage en MATLAB-rutine som kan fungere sirkulært, altså danne slike 'kakeformer' som figuren viser. Selve filteret må være en matrise like stor som selve bildet. For å lage et slikt lavpassfilter, må et sirkulært felt i midten av matrisen være satt lik 1, mens resten er null. Dette filteret, H ( jω1, jω2), vil dermed kun slippe gjennom frekvenser i en viss radius rundt senteret av frekvensspekteret, siden X Filtrert ( jω1, jω2) = H ( jω1, jω2) X Original ( jω1, jω2). Et eksempel på et slikt filter implementert i MATLAB vises i figur 4. Implementer et slikt filter. Til hjelp for å definere det sirkulære området, kan dere benytte rutinen 'sirkel. m' som finnes på URL: http:j jbukharin.hiof.no jfagj da335 j sirkel. m Figur 4: Ideelt lavpassfilter implementert i Matlab. Et sirkulært felt rundt senteret av filteret er satt lik 1, mens resten er satt lik 0 Etter at dere har fått sirkelrutinen til å fungere, kan dere implementere alle de fire filtrene vist i figur 1, ved kun å justere på erstatningsverdien og sirkelradiusen til filteret. Anvend minst to av disse filtrene på frekvensspektrene til bildene vi hittil har benyttet med en selvvalgt radius. Spektrene vil da kunne se ut slik som vist i figur 5. Spektrene i figuren er valgt med en relativ liten radius. Inverstransformer så de filtrerte bildene og plott resultatene. Blir resultatet som forventet? 11 Innføring i bildebehandling - HIØ side
Til slutt i denne oppgaven kan dere prøve å inverstransformere noen av filtrene som dere har benyttet, for så å plotte dem. Kommenter resultatene og forklar hvordan vi kunne ha benyttet oss av filtrene i tidsrommet i stedet for i frekvensrommet. Likner de inverstransformerte filtrene på tidligere benyttede masker brukt i bilde behandling? Figur 6: orginalt, lavpassfiltrert oghøypassfiltrert frekvensspekter til et vilkårlig bilde Fasebytte θ e j = X ( jω). X ( jω) Beregn deretter faseinformasjonen til de to bildene vi til nå har benyttet (dere trenger ikke plott). Vi skal se at de to bildene vi har benyttet ikke er så forskjellige når det gjelder faseinformasjon. Bytt så om på fasene til de to bildene, slik at Bildet av Mona Lisa får faseinformasjonen til bildet av Abraham Lincoln, og motsatt. Utfør så en invers fouriertransformasjon og plott deretter bildene som fremkommer. Kommenter resultatet. Hva kan sies om faseinformasjonen til de to bildene? Beregn deretter faseinformasjonen til de to bildene vi til nå har benyttet (dere trenger ikke plott). Vi skal se at de to bildene vi har benyttet ikke er så forskjellige når det gjelder faseinformasjon. Bytt så om på fasene til de to bildene, slik at Bildet av Mona Lisa får faseinformasjonen til bildet av Abraham Lincoln, og motsatt. Utfør så en invers fouriertrans- 12 Dersom alt ble utført korrekt i plotting av nullfasebildet, har dere sett at det ikke er mye igjen av det opprinnelige bildet. Svært mye viktig informasjon ligger igjen i faseinformasjonen. Hvis dere vil, kan dere gjerne plotte absoluttverdien av fasen (plott absoluttverdien siden fasen også er kompleks) for å se at det er mye informasjon plassert der også. side Fasen kan enkelt beregnes ved Innføring i bildebehandling - HIØ
formasjon og plott deretter bildene som fremkommer. Kommenter resultatet. Hva kan sies om faseinformasjonen til de to bildene? 13 Innføring i bildebehandling - HIØ side