6.8 Anvendelser av indreprodukter

6.8 Anvendelser av indreprodukter Vektede minste kvadraters problemer Anta at vi approksimerer en vektor y = (y 1,..., y m ) R m med ŷ = (ŷ 1,..., ŷ m ) R m. Et mål for feilen vi da gjør er y ŷ, der betegner den vanlige normen i R m. Kvadrering gir SS(E) := y ŷ 2 = (y 1 ŷ 1 ) 2 + + (y m ŷ m ) 2. I situasjoner der y er resultatet av målinger vil noen av y s komponenter kunne regnes som sikrere enn andre. Vi kan da vekte hvert feilledd y j ŷ j med en passende vekt w j > 0; de sikre komponentene gis da høyere vekt enn de usikre. Den vektede summen av kvadratene for feilene blir vektetss(e) := w 2 1 (y 1 ŷ 1 ) 2 +... + w 2 m(y m ŷ m ) 2. 1 / 16

Sett W = diag(w 1,..., w m ). Vi innfører det vektede indreproduktet i R m definert ved x, y W = (W x) (W y) = w 2 1 x 1 y 1 +... + w 2 m x m y m. Den assosierte vektede normen på R m er da gitt ved Dermed er x W = W x = ( w 2 1 x 2 1 +... + w 2 m x 2 m) 1/2. y ŷ 2 W = w 2 1 (y 1 ŷ 1 ) 2 +... + w 2 m (y m ŷ m ) 2 = vektetss(e), så vektetss(e) = y ŷ 2 W = W (y ŷ) 2. 2 / 16

Betrakt nå et inkonsistent likningssystem A x = y der A er en m n matrise og y R m. En vektet minste kvadraters løsning av dette systemet (med hensyn på vektmatrisen W ) er en vektor x R n som gir minimum for uttrykket y Ax W som en funksjon av x. Nå er y Ax W = W (y Ax) = W y (W A)x = ỹ Ãx der ỹ = W y og à = W A. Vi ser at x må være vanlig minste kvadraters løsning av systemet à x = ỹ, dvs. av W A x = W y. Så vektet minste kvad. løsning x av systemet A x = y kan bestemmes ved å løse de vektede normallikningene (W A) T (W A) x = (W A) T W y 3 / 16

Anta f.eks. at (x 1, y 1 ),..., (x m, y m ) er datapunkter i planet (der x i x j når i j) og at vi vekter disse punktene henholdsvis med vektene w 1,..., w m. Anta videre at vi har valgt en lineær modell med grunnfunksjoner f 1, f 2,..., f n og at den assosierte designmatrisen X har lineært uavhengige kolonner. Vi kan da beregne den unike vektet minste kvadraters løsning β = ( β 1, β 2,..., β n ) av systemet X β = y ved å løse de vektede normallikningene Grafen til funksjonen (W X ) T (W X ) β = (W X ) T W y. f = β 1 f 1 + β 2 f 2 +... + β n f n vil da gi den best mulig tilnærmingen til de gitte datapunktene i vektet minste kvadraters forstand. 4 / 16

Om Fourier rekker Fouriers idé var at (pene) funksjoner på et intervall bør kunne approksimeres ved hjelp av lineære kombinasjoner av rene harmoniske svingninger. For enkelhets skyld betrakter vi vektorrommet V = C[0, 2π] av kontinuerlige funksjoner på [0, 2π], med indreproduktet f, g = og den assosierte normen 2π 0 f (t)g(t) dt ( 2π ) 1/2 f = f (t) 2 dt. La n være et naturlig tall. Vi definerer 0 S n = { u 0, u 1,..., u n, v 1,..., v n } der u 0 (t) = 1, u k (t) = cos kt og v k (t) = sin kt for k = 1,..., n. 5 / 16

Vi setter nå W n = SpanS n. Et element g i W n er da på formen g(t) = a 0 + n ( ak cos kt + b k sin kt ) k=1 der a 0, a 1,..., a n, b 1,..., b n R. Så W n er underrommet av V som består av lineære kombinasjoner av rene harmoniske svingninger med frekvenser opptil n. Det kan sjekkes ved utregning at S n er ortogonal. Så S n er en ortogonal basis for W n. La f V. Den n-te ordens Fourier approksimasjonen av f er definert ved F n (f ) = Proj Wn (f ). Vi har da at F n (f ) = n k=0 f, u k u k, u k u k + n k=1 f, v k v k, v k v k. 6 / 16

Utregning gir for k 1. Videre er f, u k = Så vi får at u 0, u 0 = 2π og u k, u k = v k, v k = π 2π 0 f (t) cos kt dt, f, v k = 2π F n (f ) = a n 0 2 + ( ak cos kt + b k sin kt ) k=1 0 f (t) sin kt dt. der a k = 1 π b k = 1 π 2π 0 2π 0 f (t) cos kt dt, k 0 f (t) sin kt dt, k 1. 7 / 16

Teoremet om beste approksimasjon gir at F n (f ) er funksjonen i W n som tilnærmer f best mulig Et av hovedresultatene i Fourier-analyse er at f F n (f ) 0 når n. Dette beskrives ved å si at Fourier rekken til f, nemlig rekken a 0 2 + (a k cos kt + b k sin kt), k=1 konverger mot f m.h.p. når n. Det å beregne F n (f ) i praksis kan være arbeidskrevende, og er ofte umulig å gjøre eksakt. Problemet er å beregne alle integralene som inngår i Fourier-koeffisientene a 0,..., a n, b 0,..., b n. Ofte må disse integralene beregnes approksimativt ved hjelp av en numerisk integrasjonsmetode. 8 / 16

4.8 Anvendelse på differenslikninger Vi minner om at signalrommet S består av alle reelle følger av typen y = {y k } k= = (..., y 2, y 1, y 0, y 1, y 2,...) Vi vil som regel skrive y = {y k } for vektorer i S. Vektorromsoperasjonene i S er gitt ved x + y = {x k + y k }, cy = {c y k } Hva med lineær uavhengighet i S? Betrakt f.eks. tre signaler u = {u k }, v = {v k } og w = {w k } i S. Anta at c 1 u + c 2 v + c 3 w = 0, der c 1, c 2, c 3 R. Dette betyr at {c 1 u k + c 2 v k + c 3 w k } = 0, dvs at c 1 u k + c 2 v k + c 3 w k = 0 for alle k Z 9 / 16

For en gitt k Z kan vi bruke dette for k, k + 1 og k + 2 og får da likningssystemet u k v k w k c 1 0 u k+1 v k+1 w k+1 c 2 = 0 u k+2 v k+2 w k+2 c 3 0 Koeffisientmatrisen C k = u k v k w k u k+1 v k+1 w k+1 u k+2 v k+2 w k+2 til systemet ovenfor kalles Casorati matrisen nr. k til signalene u, v og w. Hvis det fins en k Z slik at C k er invertibel, vil systemet ovenfor bare ha den trivielle løsningen c 1 = c 2 = c 3 = 0, og vi kan da konkludere med at u, v og w er lineært uavhengige. 10 / 16

Eksempel. La r, s, t være tre forskjellige reelle tall. Betrakt signalene u = {r k }, v = {s k } og w = {t k }. Casorati-matrisen for k = 0 blir 1 1 1 C 0 = r s t r 2 s 2 t 2 og en utregning gir at det(c 0 ) = (r s) (s t) (t r) 0. Så C 0 er invertibel. Dermed kan vi konkludere at signalene {r k }, {s k }, {t k } er lineært uavhengige i S. Merk: Man kan gå frem på tilsvarende måte for å undersøke lineær uavhengighet av et endelig antall gitte signaler i S. 11 / 16

Lineære differenslikninger En lineær differenslikning av orden n for en følge {y k } i S er en likning på formen a 0 y k+n + a 1 y k+n 1 + + a n 1 y k+1 + a n y k = z k (k Z) der a 0, a 1,..., a n R med a 0 0, a n 0, og {z k } S. Ved å dele på a 0 kan vi likegodt anta at a 0 = 1. Hvis z k = 0 for alle k, kalles likningen for homogen. Merk: La T : S S være definert ved T ({y k }) = { y k+n + a 1 y k+n 1 + + a n 1 y k+1 + a n y k }. Da er T lineær og likningen ovenfor kan skrives som T ({y k }) = {z k } I signalbehandling kalles T for et linært filter, mens a j -ene kalles filterkoeffisientene. 12 / 16

Underrommet av S gitt ved H = KerT = { y S T (y) = 0 } er løsningsmengden til den homogene differenslikningen y k+n + a 1 y k+n 1 + + a n 1 y k+1 + a n y k = 0 (k Z) H består da av signalene som blir filtrert bort av T. Teorem 16: Anta at y 0, y 1,..., y n 1 er spesifiserte. Da har likningen y k+n + a 1 y k+n 1 + + a n 1 y k+1 + a n y k = z k (k Z) nøyaktig en løsning. Teorem 17: Løsningsmengden H til en n-te ordens homogen likning y k+n + a 1 y k+n 1 + + a n 1 y k+1 + a n y k = 0 er et n-dimensjonalt underrom av S. 13 / 16

Merk: Til en en homogen differenslikning som i Teorem 17 kan vi assosiere en polynomlikning x n + a 1 x n 1 + + a n 1 x + a n = 0 ( ) som ofte kalles den karakteristiske likningen (jf. tidligere emner). Da gjelder bl.a.: Dersom r er en reell rot i ( ), så er følgen {y k } = {r k } med i H, dvs den er en løsning av den homogene likningen. Reelle røtter som er forskjellige gir lineært uavhengige følger i H. Vi kan dermed konkludere at hvis det fins n forskjellige reelle røtter r 1,..., r n for ( ), så er {r k 1 }, {r k 2 },..., {r k n } en basis for H. 14 / 16

Dersom z = ρe iθ er en kompleks rot i ( ), angitt på polar form, så er begge følgene {ρ k cos(kθ)} og {ρ k sin(kθ)} med i H (og disse er lineært uavhengige). Dersom en rot har multiplisitet større enn 1 vil den gi opphav til flere løsninger. Hvis f.eks. r er en rot med multiplisitet 2, så vil også følgen {kr k } være i H. Vi går ikke nærmere inn på det generelle tilfellet. Når n er lik 2 eller 3 vil løsningene av typen beskrevet ovenfor stort sett være nok til å kunne angi en basis for H. 15 / 16

Om ikkehomogene lineære differenslikninger Disse kan løses ved å finne en spesiell løsning; å finne den generelle løsningen av den tilhørende homogene likningen; Generell løsning blir da den spesielle + generell løsning av den homogene likningen. Dette er helt analogt med situasjonen for lineære likningsystemer. 16 / 16