6.4 (og 6.7) Gram-Schmidt prosessen La W {0} være et endeligdimensjonalt underrom av et indreprodukt rom V. Man kan starte med en vanlig basis for W og konstruere en ortogonal basis for W. Ønskes det en ortonormal basis for W er det bare å normalisere alle vektorene. En konsekvens av denne prosessen er at enhver matrise med lineært uavhengige kolonner har en QR-faktorisering. 1 / 12
Vi betrakter først V = R n med prikkproduktet. Eksempel. Anta at W er et underrom av R n med dim W = 2. La {x 1, x 2 } være en basis for W. Vi skal lage en ortogonal basis for W : Vi lar p være den ortogonale projeksjonen av x 2 langs x 1 : p = x 2 x 1 x 1 x 1 x 1. Da er x 2 p W og x 2 p er ortogonal på x 1. Vi setter derfor v 1 = x 1 v 2 = x 2 p = x 2 x 2 x 1 x 1 x 1 x 1 Da er {v 1, v 2 } en ortogonal mengde av ikke-null vektorer i W. Siden dim W = 2 er {v 1, v 2 } en ortogonal basis for W. 2 / 12
Teorem 11 Gram-Schmidt prosessen i R n Anta at {x 1,..., x p } er en basis for et underrom W av R n. Sett W k = Span {x 1,..., x k } for k = 1,..., p. Sett: v 1 = x 1 v 2 = x 2 x 2 v 1 v 1 v 1 v 1 v 3 = x 3 x 3 v 1 v 1 v 1 v 1 x 3 v 2 v 2 v 2 v 2. =. v p = x p x p v 1 v 1... x p v p 1 v p 1 v 1 v 1 v p 1 v p 1 Da er {v 1,..., v k } en ortogonal basis for W k for k = 1,..., p. Spesielt er {v 1,..., v p } en ortogonal basis for W. Merk: Gram Schmidt-prosessen lar seg greit programmere i Matlab (men rett fram progammering vil gi en ustabil numerisk metode). 3 / 12
QR-faktorisering Denne faktoriseringen av en m n matrise A brukes i flere numeriske algoritmer. Vi nøyer oss med å se på tilfellet der A har lineært uavhengige kolonner. Da må m n. Teorem 12 - QR-faktoriseringen. Anta at A er en m n matrise med lineært uavhengige kolonner. Da kan A faktoriseres på formen A = Q R der Q er en m n matrise med kolonner som danner en ortonormal basis for Col A, R er en n n øvre triangulær invertibel matrise med positive elementer langs hoveddiagonalen. 4 / 12
Kommentar: Anta at A = [ x 1 x n ] er som i Teorem 12. Matrisen Q = [ u 1 u n ] kan velges ved at {u1,..., u n } er den ortonormale basisen for Col A vi får ved å bruke Gram-Schmidt prosessen på {x 1,..., x n }, etterfulgt av normalisering av alle vektorene. Siden Q har ortonormale kolonner er Q T Q = I. Dermed er R = I R = Q T Q R = Q T A. Dette gir en grei måte å finne R på når man regner for hånd med små matriser. For store matriser vil fremgangsmåten ovenfor kunne gi numeriske problemer. Matlab bruker derfor en annen tilnærming. Matlabkommandoen [Q R] = qr(a) beregner en QR-faktorisering av A. 5 / 12
Gram-Schmidt prossessen i indreprodukt rom La W være et endeligdimensjonalt underrom av et indreprodukt rom V og anta at {x 1,..., x p } er en basis for W. Sett: v 1 = x 1 v 2 = x 2 x 2, v 1 v 1, v 1 v 1 v 3 = x 3 x 3, v 1 v 1, v 1 v 1 x 3, v 2 v 2, v 2 v 2. =. v p = x p x p, v 1 v 1, v 1 v 1... x p, v p 1 v p 1, v p 1 v p 1 Da er {v 1,..., v p } en ortogonal basis for W. 6 / 12
6.5 Minste kvadraters problemer I mange anvendte situasjoner møter man lineære likningssystemer som er inkonsistente, dvs. uten løsninger, samtidig som man gjerne skulle ha funnet en løsning. Hva gjør man da? En typisk situasjon er såkalt lineær regresjon: Gitt en mengde punkter i planet (som ofte er resultatet av en serie med målinger beheftet med usikkerhet), finn linjen som best approksimerer disse punktene. Vi skal se i avsn. 6.6 at dette er et spesialtilfelle av en større klasse problemer om lineære modeller, der man skal finne den best mulig approksimasjon. Et inkonsistente likningsystem kan betraktes som et minste kvadraters problem, der løsningen(e) er den/de som er best mulig(e) i en viss forstand. 7 / 12
Betrakt et likningssystem A x = b der A er en m n matrise og b R m. Dette systemet er konsistent kun når b Col A. Hvis b ikke er med i Col A, hva kan vi gjøre? Vi kan da prøve å få feilen b A x minst mulig. Dette kalles gjerne for et minste kvadraters problem (fordi uttrykket b A x 2 er en sum av kvadrater). Definition. Vi sier at ˆx R n er en minste kvadraters løsning av systemet A x = b dersom for alle x R n. b A ˆx b A x Merk: Siden Col A = { A x x R n }, så er ˆx bestemt ved at A ˆx gir den beste approksimasjonen av b blant alle vektorene i Col A. Fra Teorem 9 får vi at Minste kvadraters løsning(er) ˆx er det samme som løsningene av systemet A ˆx = ˆb der ˆb :=Proj Col A (b). 8 / 12
Merk: Anta at systemet A x = b er konsistent, dvs. at b W = Col A. Da er ˆb = Proj W (b) = b. Så minste kvadraters løsninger blir da det samme som vanlige løsninger. Anta at A har lineært uavhengige kolonner (m.a.o. rref(a) har pivoter i alle kolonner). Da vil systemet A ˆx = ˆb ha en entydig løsning. Det betyr at systemet A x = b vil da ha en entydig minste kvadraters løsning. Dersom A har lineært avhengige kolonner, følger det at A x = b vil ha uendelig mange minste kvadraters løsninger. Uttrykket b ˆb ( = b A ˆx ) kalles minste kvadraters feilen. Det angir minimumsavstanden mellom b og vektorer på formen A x. 9 / 12
Vi kan altså finne minste kvadraters løsning ved følgende oppskrift: Bestem en ortogonal basis for W := Col A (som oftest må man da bruke Gram-Schmidt prosessen); Beregn ˆb := Proj W (b). Løs systemet A ˆx = ˆb. Det finnes en annen metode som ofte er enklere: Teorem 13. La A være en m n matrise og la b R m. Da er minste kvadraters løsninger ˆx av systemet A x = b gitt ved løsningene av (det konsistente) systemet A T A x = A T b. Merk: Systemet A T A x = A T b kalles ofte normallikningene for systemet A x = b. Beviset bygger på at b ˆb W. 10 / 12
Teorem 14. La A være en m n matrise. Da er A T A invertibel hvis og bare hvis A har lineært uavhengige kolonner. Når dette er oppfylt, så er den entydige minste kvadraters løsning ˆx av A x = b gitt ved formelen ˆx = (A T A) 1 A T b. En numerisk mer stabil metode for å beregne minste kvadraters løsning når koeffisientmatrisen har lineært uavhengige kolonner er følgende: Teorem 15. La A være en m n matrise som har lineært uavhengige kolonner og la b R m. La A = Q R være en QR-faktorisering av A, i henhold til Teorem 12. Da er den entydige minste kvadraters løsning ˆx av A x = b lik den entydige løsningen av systemet R x = Q T b. Merk: Dette betyr at ˆx = R 1 Q T b. Men, for å unngå å beregne R 1, er det som regel best å bestemme ˆx ved å løse systemet ovenfor. 11 / 12
Vi tar med til slutt en nokså spesiell situasjon, der ˆx kan angies eksplisitt: Anta at m n matrisen A har ortogonale kolonner u 1,..., u n, der u j 0 for j = 1,..., n. Da er den entydige minste kvadraters løsning ˆx av systemet A x = b gitt ved ˆx = ( b u1,..., b u ) n. u 1 u 1 u n u n Her gjenkjenner vi koeffisientene til ˆx som koeffisientene til b relativt til basisen {u 1,..., u n }. 12 / 12