UNIVERSITETET I OSLO

UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet Eksamen i: Eksamensdag: Mandag. mai Tid for eksamen: 9. 4. Oppgavesettet er på sider. Vedlegg: Tillatte hjelpemidler: MAT-INF36 Anvendelser av lineær algebra, prøveeks. Ingen Godkjent kalkulator Kontroller at oppgavesettet er komplett før du begynner å besvare spørsmålene. Oppgave Fourieranalyse a (vekt %) Regn ut DFT av vektorene x = (, 3, 5, 7), og av x = (, 4, 6, 8) (du skal altså regne ut F 4 x og F 4 x ). Svar: Vi får at 8 F 4 x = i i 3 5 = + i i i 7 i i i 4 + i F 4 x = b (vekt %) i i = 6 8 i Forklar hvordan du kan regne ut DFT av vektoren (,, 3, 4, 5, 6, 7, 8) basert på utregningene fra a. (du trenger ikke gjøre selve utregningen). Hva er fordelene med denne fremgangsmåten, og hva kalles algoritmen? Svar: I FFT-algoritmen splitter vi opp beregningen av F 4 (x) i beregningen av F (x (e) ) og F (x (o) ), der x (e) og x (o) er vektorene av lengde med likeindekserte og odde-indekserte komponenter, respektive. I dette tilfellet blir x (e) = (, 3, 5, 7) og x (o) = (, 4, 6, 8). Me andre ord vil FFT-algoritmen bruke FFT-beregningene vi gjorde i a., slik at vi kan spare regnearbeid. Fordelen med å benytte FFT-algoritmen er at vi sparer regneoperasjoner (er av orden O(N log N)). (Fortsettes på side.)

Eksamen i MAT-INF36, Mandag. mai Side Oppgave Fourieranalyse I denne oppgaven antar vi at alle funksjoner er periodiske med periode T. Du får bruk for at vi i Fourieranalysedelen av kurset definerte indreproduktet for slike funksjoner ved f, g = T T f(t)g(t)dt. a (vekt %) Anta f er kontinerlig deriverbar. Bruk delvis integrasjon til å vise at f, e πint/t = T πin f, e πint/t, og forklar hvorfor det følger fra dette at (f N ) (t) = (f ) N (t), der f N er N te ordens Fourierrekka til f, og (f ) N er N te ordens Fourierrekka til f. Med andre ord, den deriverte av Fourierrekka er lik Fourierrekka til den deriverte. Svar: Vi har at f, e πint/t = T = T T ( [ T = T πin T f(t)e πint/t dt πin f(t)e πint/t T ] T f (t)e πint/t dt = + T ) T f (t)e πint/t dt πin T πin f, e πint/t. hvor vi brukte at T πin f(t)e πint/t er periodisk med periode T. Videre har vi at (f N ) (t) = = ( N n= N N n= N f, e πint/t e πint/t ) = πin T f, e πint/t e πint/t = (f ) N (t). N n= N f, e πint/t e πint/t der vi satt inn sammenhengen mellom indreproduktene som vi fant. Nedenfor finner du plott av firkantpulsen (f s (t)) og trekantpulsen (f t (t)) over en periode, slik vi har definert dem i kurset (vi har satt T = ):.5.5 f s (t) f t (t).5.5..4.6.8 t..4.6.8 t b (vekt %) Forklar fra figuren hvorfor f t(t) = 4 T f s(t), bortsett fra i de to punktene der f t ikke er deriverbar. (Fortsettes på side 3.)

Eksamen i MAT-INF36, Mandag. mai Side 3 Svar: Vi ser fra figuren at trekantpulsen vokser lineært med fra t = til t = T/, slik at den deriverte her er T/ = 4 T = 4 T f s(t). På samme måte blir stigningstallet 4 T = 4 T f s(t) på andre halvdel av perioden, slik at f t(t) = 4 T f s(t) for alle t i den første perioden. c (vekt %) I kompendiet regnet vi ut at Fourierrekka til firkantpulsen kunne skrives (f s ) N (t) = 4 π sin(πt/t ) + 4 3π sin(π3t/t ) + 4 5π sin(π5t/t ) +. Fra b. følger det nå at ((f t ) ) N (t) = 4 ( 4 T π sin(πt/t ) + 4 3π sin(π3t/t ) + 4 ) 5π sin(π5t/t ) + Bruk dette og resultatet fra a. til å regne ut (f t ) N (Fourierrekka til trekantpulsen). Dette verifiserer et eksempel fra kompendiet, der vi fant denne Fourierrekka ved direkte utregning. Du kan ta for gitt at du kan bruke resultatet fra a. selv om det finnes to punkter der f t ikke er kontinuerlig deriverbar. Svar: Fra a. følger det at ((f t ) N ) (t) = 4 ( 4 T π sin(πt/t ) + 4 3π sin(π3t/t ) + 4 ) 5π sin(π5t/t ) +. Integrerer vi denne får vi at (f t ) N (t) = 8 π ( cos(πt/t ) + 3 cos(π3t/t ) + 5 cos(π5t/t ) + )+C. Setter vi her inn t = T/4 på begge sider ser vi at C =. Dette gir Fourierrekka for trakantpulsen som vi også fant i kompendiet. Oppgave 3 Filtre Vi skal i denne oppgaven se på filteret T = 6 {, 4, 6, 4, }. 3a (vekt %) Skriv opp en 8 8 sirkulant Toeplitz matrise som svarer til å anvende dette filteret på en vektor av lengde 8. Svar: Vi får matrisen 6 4 4 4 6 4 4 6 4 4 6 4 6 4 6 4 4 6 4 4 6 4 4 4 6 (Fortsettes på side 4.)

Eksamen i MAT-INF36, Mandag. mai Side 4 3.5.5.5 3 4 5 6 7 3b (vekt %) Figur : Plott av λ T (ω) Regn ut og plott (den kontinuerlige) frekvensresponsen til T. Er filteret et lavpass- eller høypassfilter? Svar: Frekvensresponsen blir λ T (ω) = 6 (eiω + 4e iω + 6 + 4e iω + e iω ) = + 4 3 cos ω + 3 cos(ω). Det er klart at dette har sin største verdi for ω =, og at vi har minimumsverdi for ω = π (dette kan også sees ved at man regner ut den deriverte og setter denne lik ). Filteret er derfor et lavpassfilter, og Figur viser λ T (ω). Det er klart at dette gir et lavpassfilter. 3c (vekt %) La oss definere vektoren x = (cos(π5 /N), cos(π5 /N),..., cos(π5 (N )/N)), der N er lengde til vektoren. Regn ut T x. Svar: I kompendiet definerte vi Fourierbasisvektoren φ n som vektoren med elementer N e πikn/n. Vi har også at φ N n er vektoren med elementer N e πik(n n)/n = N e πikn/n. Setter vi n = 5 får vi at e πi5 /N = Nφ 5 e πi5 /N = Nφ N 5, (Fortsettes på side 5.)

Eksamen i MAT-INF36, Mandag. mai Side 5 der representerer k. Dermed får vi at cos(π5 /N) = ( e πi5 /N + e πi5 /N) = N(φ5 + φ N 5 ). Siden både φ 5 og φ N 5 er egenvektorer har vi nå skrevet x som en sum av egenvektorer. De tilhørende egenverdiene er gitt ved frekvensresponsen og er derfor gitt ved λ T (π5/n) = + 4 3 cos(π5/n) + 3 cos(4π5/n) λ T (π(n 5)/N) = + 4 3 cos(π(n 5)/N) + cos(4π(n 5)/N) 3 = + 4 3 cos(π5/n) + 3 cos(4π5/n), respektive. Siden disse er like blir også x en egenvektor for T med + 4 3 cos(π5/n) + 3 cos(4π5/n) som tilhørende egenverdi, slik at T x = ( + 4 3 cos(π5/n) + 3 cos(4π5/n))x. Oppgave 4 Bilder og tensorprodukter La filteret T være gitt ved T = {,, }. 4a (vekt %) I kompendiet definerte vi T T som en operasjon på et bilde, og forklarte at T T anvendt på et bildet X kan regnes ut ved hjelp av et såkalt computational molecule. Skriv opp det tilhørende computational molecule for T T. Svar: Hvis vi gjør slik som i Eksempel 7.4 får vi ((T T )(x y)) i,j = (T x) i (T y) j = (x i + x i + x i+ )(y j + y j + y j+ ) = x i y i + x i y i+ + x i+ y i + x i+ y i+ + x i y j + x i y j + x i y j+ + x i+ y j + 4x i y j Ved lineær utvidelse vil dette også holde når vi erstatter x y med en generell matrise X, og vi får derfor molekylet (som kan leses ut av koeffisentene over) 4. Flere observante studenter har sett at vi også kan regne ut molekylet ved å regne ut t t, der t er vektoren med filterkoeffisienter, det vil si at molekylet blir ( ) = 4. Strengt talt er det ikke slik vi har lært å regne ut molekylet i denne versjonen av kompendiet, men dere vil ikke få trekk på eksamen hvis dere regner ut molekylet på denne måten, siden denne måten å regne ut på burde vært formulert og bevist i kompendiet (siden det er enklest å regne ut molekylet på denne måten). (Fortsettes på side 6.)

Eksamen i MAT-INF36, Mandag. mai Side 6 4b (vekt %) La oss definere x = (,, 3), y = (3,, ), z = (,, ), og w = (, 4, ). Regn ut matrisen A = x y + z w, slik vi har definert tensorproduktet av vektorer i kompendiet. Svar: Vi får at A = ( 3 ) + ( 4 ) 3 3 8 4 5 5 = 6 4 + 8 4 = 8 6. 9 6 3 8 4 4 7 4c (vekt %) Forklar hvordan vi kan regne ut (T T )A ved å anvende filteret T på hver rad og søyle i matrisen, og gjennomfør utregningen. Hvis matrisen A mer generelt var et bilde, hva kan du si om hvordan det nye bildet blir seende ut? Svar: I kompendiet lærte vi at (T T )A = T AT T, som svarer til at vi først anvender T på hver søyle i bildet, og på den resulterene matrisen anvender T på hver rad. Anvender vi T på hver søyle i bildet får vi 9 46 3 først matrisen T A = 3 48 4. Anvender vi filteret på radene her 35 5 5 7 44 får vi T AT T = 36 5 8. Siden filteret som blir anvendt er et 45 6 35 lavpassfilter vil det nye bildet se litt utglattet ut i forhold til det gamle. Oppgave 5 Wavelets I denne oppgaven skal vi la φ(t) være funksjonen vi brukte da vi definerte Haar-waveleten, det vil si funksjonen som er på [, ], og ellers. La funksjonen f være definert på [, N) ved at f(t) = t. Vi minner også om at funksjonen ψ er definert på [, N) ved å være på [, /), på [/, ), og ellers, og at indreproduktet vi bruker er definert ved f, g = N f(t)g(t)dt. 5a (vekt %) I kompendiet definerte vi funksjonen ψ m,n ved ψ m,n (t) = m/ ψ( m t n). Vis at ψ m,n er ortonormale. Svar: Kanskje enklest å lage en tegning her og forklare ut fra denne: Hvis vi ser på ψ m,n og ψ m,n og m > m så vil enten supportene til de to funksjonene være disjunkte (i så fall så er de ortogonale), eller supporten til ψ m,n er inneholdt i an av halvdelene til supporten til ψ m,n, og der er ψ m,n konstant (enten eller ). Siden ψ m,n har lik stort areal over og under x-aksen følger det da at N ψ m,n (t)ψ m,n (t)dt =, slik at funksjonene er ortogonale. At funksjonene har norm følger ved en enkel utregning. (Fortsettes på side 7.)

Eksamen i MAT-INF36, Mandag. mai Side 7 5b (vekt %) Regn ut w m,n = f, ψ m,n (vi kalte disse for waveletkoeffisienter). Her var ψ m,n = m/ ψ( m t n). Svar: Siden ψ m,n er kun på [ m n, m (n + )) f, ψ m,n = = m (n+/) m n [ m/ t m m/ (n+) tdt ] m (n+/) m n m/ tdt m (n+/) ] m (n+) [ m/ t m (n+/) = 3m/ ( (n + /) n (n + ) + (n + /) ) = 3m/. 5c (vekt %) Regn ut projeksjonen av f ned på underrommet W utspent av funksjonene {ψ,, ψ,,..., ψ,n }. Svar: Vi har at N proj W f = f, ψ,n ψ,n = 4 n= N n= ψ,n. Oppgave 6 Wavelets Anta at vi kjører følgende algoritme på lyden representert ved vektoren S: l=length(s); c=(s(::(l-))+s(::l))/sqrt(); w=(s(::(l-))-s(::l))/sqrt(); news=[c w]; news=news/max(abs(news)); playerobj=audioplayer(news,44); playblocking(playerobj) 6a (vekt %) Kommenter koden og forklar hva som skjer. Hvilken wavelet er det som blir brukt? Hva representerer vektorene c og w? Beskriv lyden du vil høre. Svar: c og w representerer koordinatene i waveletbasisene φ og ψ. Koden kjører en Haar-wavelettransform. Lyden skaleres slik at verdiene ligger mellom og, og deretter avspilles lyden. Siden lyden splitts i to deler, og c representerer en lavere oppløsnings-versjon av lyden (med halvparten lydsampler) så vil vi først høre lyden avspilt i dobbel hastighet. Deretter hører vi detaljdelen av lyden w avspilt i dobbel hastighet. Fra kompendiet husker vi at vi kan gjenkjenne lyden også i detaljdelen. 6b (vekt %) Anta at vi legger til noen linjer i koden over som nullstiller elementene i vektoren w før vi regner oss tilbake ved å kjøre en invers wavelet transform. (Fortsettes på side 8.)

Eksamen i MAT-INF36, Mandag. mai Side 8 Hva vil du høre hvis du spiller av den nye lyden du da får? Svar: Dette svarer til at vi rekonstruerer lavere oppløsnings-versjonen av lyden. Oppgave 7 Konveksitet 7a (vekt %) Forklar hva det vil si at f er en konveks funksjon, og vis at max{f, g} er en konveks funksjon når f og g er det (vi definerer max{f, g} ved at max{f, g}(x) = max(f(x), g(x))) Svar: At f er konveks vil si at f(( λ)x + λy) ( λ)f(x) + λf(y) for alle λ mellom og. Vi har at f(( λ)x + λy) ( λ)f(x) + λf(y) ( λ) max{f, g}(x) + λ max{f, g}(y) g(( λ)x + λy) ( λ)g(x) + λg(y) ( λ) max{f, g}(x) + λ max{f, g}(y), men da vil også max{f, g}(( λ)x + λy) ( λ) max{f, g}(x) + λ max{f, g}(y), slik at max{f, g} også er konveks. 7b (vekt %) Anta f, g er konvekse, positive, og voksende funksjoner, begge to ganger deriverbare og definert på R. Vis at h(x) = f(x)g(x) er konveks. Hint: Se på den andrederiverte til h(x). Svar: Vi har at h (x) = f (x)g(x) + f(x)g (x), og h (x) = f (x)g(x) + f(x)g (x) + f (x)g (x). Siden f og g er konvekse er f (x) og g (x). Siden funksjonene er voksende er f (x) og g (x). Siden funksjonene også er positive ser vi at alle tre ledd i summen er større eller lik slik at h (x), og det følger at h også er konveks. Oppgave 8 Ikkelineær optimering I denne oppgaven skal vi finne minimum for funksjonen f(x, y) = 3x + y under betingelsene x + y = og x, y. 8a (vekt %) Finn en matrise A og en vektor b slik at betingelsen x + y = kan skrives på formen Ax = b. Svar: Vi kan sette A = ( ), og b =. 8b (vekt %) Formuler KKT-betingelsene for dette problemet, og finn minimum ved å løse disse. Svar: Vi setter g (x, y) = x og g (x, y) = y, og har at (Fortsettes på side 9.)

Eksamen i MAT-INF36, Mandag. mai Side 9 f = (3, ), g = (, ), g = (, ). KKT-betingelsene tar derfor formen x + y = og f + A T λ + ν g + ν g = (3, ) + λ(, ) + ν (, ) + ν (, ) =, der de siste to leddene bare tas med hvis de tilsvarende ulikhetene er aktive, og der ν, ν. Hvis ingen av ulikhetene er aktive får vi at (3, ) + λ(, ) =, som ikke har noen løsning. Hvis begge ulikhetene er aktive har vi at x = y =, som ikke oppfyller betingelsen x+y =. Hvis vi bare har en aktiv ulikhet så har vi to muligheter: Hvis den første er aktiv får vi at (3, ) + λ(, ) + ν (, ) =. Likningen for komponent sier at λ =, og likningen for komponent sier da at 3 ν =, slik at ν =. Hvis den andre ulikheten er aktiv får vi at (3, ) + λ(, ) + ν (, ) =. Likningen for komponent sier at λ = 3, og likningen for komponent sier da at 3 ν =, som gir at ν =. Denne muligheten må vi imidlertid forkaste siden ν <. Vi står igjen med den første ulikheten som aktiv som eneste mulighet. Da er x =, og betingelsen x + y = gir da at y =, og minimumsverdi. Siden f klart er nedad begrenset på området vi minimerer over så er det klart at dette må være et globalt minimum. Vi bør til slutt si noe om det finnes kandidater til minimum fra punkter som ikke er regulære. Hvis ingen av ulikhetene er aktive har vi ingen kandidater, siden h = (, ). Hvis en ulikhet er aktiv får vi ingen kandidater heller, siden (, ) og (, ) er lineært uavhengige, og siden (, ) og (, ) er lineært uavhengige. Hvis begge ulikhetene er aktive (x = y = ) er det opplagt at betingelsen x + y = ikke er oppfylt. Alt i alt får vi ingen nye kandidater fra punkter som ikke er regulære. 8c (vekt %) Skriv opp barrierfunksjonen φ(x, y) = ln( g (x, y)) ln( g (x, y)) for dette optimeringsproblemet, der g og g representerer de to bibetingelsene i problemet. Regn også ut φ. Svar: Vi får at φ(x, y) = ln x ln y, og vi har at φ = ( /x, /y). 8d (vekt %) Løs barrierproblemet med parameter µ, og kall løsningen for x(µ). Blir lim µ x(µ) løsningen du fant i b.? Svar: I barrierproblemet minimerer vi funksjonen f(x, y) + µφ(x, y) = 3x + y µ ln x µ ln y under bibetingelsen x + y =. KKT-betingelsene blir da (3, ) + µ( /x, /y) + λ(, ) =, som gir likningene µ x = 3 + λ µ y = + λ. Dette gir at µ y + = µ x, som igjen gir at µ(y x) = xy. Setter vi inn betingelsen x + y = får vi at µ( x) = x( x), som kan skrives x ( + µ)x + µ =. Løser vi dette finner vi at x = + µ ± ( + µ) 4µ (Fortsettes på side.) = + µ ± + 4µ.

Eksamen i MAT-INF36, Mandag. mai Side Dette svarer til to forskjellige punkter, avhengig av hvilket fortegn vi velger, men velger vi + som fortegn ser vi at x >, slik at y < for at x + y =, slik at (x, y) da er utenfor definisjonsområdet til problemet. Derfor er x = +µ +4µ. Det er klart at x når µ her, slik at løsningen på barrierproblemet konvergerer mot løsningen på det opprinnelige problemet. Oppgave 9 Ikkelineær optimering [%] Vi skal se på følgende optimeringsproblem. min{x : x, (x ) x }. Skriv opp KKT betingelsene for dette problemet, og finn minimum. Svar: Vi kan skrive opp tre ulikhetsbetingelser g (x, x ) = x g (x, x ) = (x ) + x. Regner vi ut gradientene ser vi at KKT betingelsene tar formen ( ) ( ) ( ) (x ) + µ + µ =, x der de to siste leddene på venstre side bare blir inkludert hvis de tilhørende ulikhetene er aktive. Det er klart at vi ikke finner noen løsning hvis ingen ulikhet er aktiv. Hvis kun den første ulikheten er aktiv finner vi heller ingen løsning. Hvis kun den andre ulikheten er aktiv får vi likningene (x ) + x = + µ (x ) = µ x =. Fra den siste likningen får vi at vi enten har at x = eller µ =. µ = er i konflikt med den andre likningen. Hvis x = gir den første likningen at x = eller x =. x = innsatt i den andre likningen gir at µ = /, som strider mot µ. Med x = får vi µ = /, slik at (, ) er en kandidat til minimum. Hvis begge ulikhetene er aktive har vi likningene (x ) + x = x = + µ (x ) = µ + µ x =. Det er klart at dette reduserer seg til det systemet vi akkurat løste, slik at (, ) blir eneste kandidat til minimum. Det er klart at vi faskisk må ha et minimum, siden enhver kontinuerlig funksjon definert på et lukket, begrenset område har et minimum. Til slutt bør man også her kommentere eventuelle punkter som ikke er regulære. Hvis den første ulikheten er aktiv er det umulig å ha at g =. (Fortsettes på side.)

Eksamen i MAT-INF36, Mandag. mai Side Hvis den andre ulikheten er aktiv må vi ha at ((x ), x ) = i et punkt som ikke er regulært, slik at (x, x ) = (, ). Det er imidlertid klart at den andre ulikheten ikke er aktiv i dette punktet. Hvis begge ulikhetene er aktive er det opplagt at (x, x ) = (, ), eller (, ). Det første punktet har vi allerede sett på. I det andre punktet er gradientene g = (, ) og g = (, ), som er lineært uavhengige, slik at vi ikke får noen kandidater fra punkter som ikke er regulære. SLUTT