6.4 Gram-Schmidt prosessen

6.4 Gram-Schmidt prosessen La W {0} være et endeligdimensjonalt underrom av R n. (Senere skal vi mer generelt betrakte indreprodukt rom; se seksjon 6.7). Vi skal se hvordan vi kan starte med en vanlig basis for W og konstruere en ortogonal basis for W. Ønsker vi en ortonormal basis for W er det bare å normalisere alle vektorene. En konsekvens av denne prosessen er at enhver matrise med lineært uavhengige kolonner har en QR-faktorisering. 1 / 27

Vi betrakter V = R n med prikkproduktet. Eksempel. Anta at W er et underrom av R n med dim W = 2. La {x 1, x 2 } være en basis for W. Vi skal lage en ortogonal basis for W : Vi lar p være den ortogonale projeksjonen av x 2 langs x 1 : p = x 2 x 1 x 1 x 1 x 1. Da er x 2 p W og x 2 p er ortogonal på x 1. Vi setter derfor v 1 = x 1 v 2 = x 2 p = x 2 x 2 x 1 x 1 x 1 x 1 Da er {v 1, v 2 } en ortogonal mengde av ikke-null vektorer i W. Siden dim W = 2 er {v 1, v 2 } en ortogonal basis for W. 2 / 27

Teorem 11 Gram-Schmidt prosessen i R n Anta at {x 1,..., x p } er en basis for et underrom W av R n. Sett W k = Span {x 1,..., x k } for k = 1,..., p. Sett: v 1 = x 1 v 2 = x 2 x 2 v 1 v 1 v 1 v 1 v 3 = x 3 x 3 v 1 v 1 v 1 v 1 x 3 v 2 v 2 v 2 v 2. =. v p = x p x p v 1 v 1... x p v p 1 v p 1 v 1 v 1 v p 1 v p 1 Da er {v 1,..., v k } en ortogonal basis for W k for k = 1,..., p. Spesielt er {v 1,..., v p } en ortogonal basis for W. Merk: Gram Schmidt-prosessen lar seg greit programmere i Matlab (men rett fram progammering gir en ustabil numerisk metode; se i Study Guiden). 3 / 27

QR-faktorisering Denne faktoriseringen av en m n matrise A brukes i flere numeriske algoritmer. Vi nøyer oss med å se på tilfellet der A har lineært uavhengige kolonner. Da må m n. Teorem 12 - QR-faktoriseringen. Anta at A er en m n matrise med lineært uavhengige kolonner. Da kan A faktoriseres på formen der A = Q R Q er en m n matrise der kolonnene danner en ortonormal basis for Col A, R er en n n øvre triangulær invertibel matrise med positive elementer langs hoveddiagonalen. 4 / 27

Kommentar: Anta at A = [x 1 x n ] er som i teoremet. Vi skal se at Q = [u 1 u n ] kan velges ved at {u 1,..., u n } er den ortonormale basisen for Col A vi får ved å bruke Gram-Schmidt prossessen på {x 1,..., x n }, etterfulgt av normalisering av alle vektorene. Siden Q har ortonormale kolonner er Q T Q = I. Dermed er R = I R = Q T Q R = Q T A. Dette gir en grei måte å finne R på når man regner for hånd med små matriser. For store matriser vil denne fremgangsmåten kunne gi numeriske problemer. Programpakker som Matlab bruker derfor en annen tilnærming. 5 / 27

Eksempel. Vi regner ut følgende QR-faktoriseringer : og 3 5 1 1 1 1 1 5 2 3 7 8 1 2 1/ 2 1/ 3 0 1 = 0 1/ [ ] 3 1 4 1/ 2 1/ 2 3 2 0 3 3 3 1 3 = 1 1 3 1 20 2 20 3 20/2 20 1 3 1 0 20 20/2 0 0 20 3 1 3 Matlab og QR-faktorisering: Kan da bruke [Q R] = qrfact(a) der qrfact er Matlab-funksjonen definert i Matlab-heftet. (Se også i Study-guiden). 6 / 27

6.5 Minste kvadraters problemer I mange anvendte situasjoner møter man lineære likningssystemer som er inkonsistente, dvs. uten løsninger, samtidig som man gjerne skulle ha funnet en løsning. Hva gjør man da? En typisk situasjon er såkalt lineær regresjon: gitt en mengde punkter i planet (som ofte er resultatet av en serie med målinger beheftet med usikkerhet), finn linjen som best approksimerer disse punktene. Vi skal se i avsn. 6.6 at dette er et spesialtilfelle av en større klasse problemer om lineære modeller, der man skal finne den best mulige approksimasjonen. Inkonsistente likningsystemer kan betraktes som minste kvadraters problemer, der løsningen(e) er den/de som er best mulig(e) i en viss forstand. 7 / 27

Betrakt et likningssystem Ax = b der A er en m n matrise, x IR n og b IR m. Vi vet at systemet er konsistent b Col A. Så hvis b ikke er med i Col A, hva kan vi gjøre? Vi kan da prøve å få feilen b Ax minst mulig. Dette kalles gjerne for et minste kvadraters problem (fordi uttrykket b Ax 2 er en sum av kvadrater). Definition Vi sier at ˆx IR n er en minste kvadraters løsning av systemet A x = b dersom b A ˆx b A x for alle x IR n. Merk: Siden Col A = { A x x IR n }, så er ˆx altså slik at A ˆx gir den beste approksimasjonen av b blant alle vektorene i Col A. Fra Teorem 9 om beste approksimasjon, får vi at en minste kvadraters løsning ˆx er bestemt ved at A ˆx = ˆb der ˆb :=Proj W (b) med W := Col A. 8 / 27

Nå er ˆb W = Col A, så systemet A ˆx = ˆb er alltid konsistent. Dermed vil det alltid finnes minste kvadraters løsninger, og disse finnes ved å løse systemet Aˆx = ˆb. Vi har altså kommet frem til at følgende grunnleggende observasjon holder: ˆx IR n er en minste kvadraters løsning av systemet A x = b ˆx er en løsning av (det konsistente) systemet A ˆx = ˆb der ˆb = Proj W (b) og W = Col A. 9 / 27

Merk: Anta at systemet A x = b er konsistent, dvs. at b W = Col A. Da er ˆb = Proj W (b) = b. Så minste kvadraters løsninger blir da det samme som vanlige løsninger. Anta at A har lineært uavhengige kolonner (m.a.o. rref(a) har pivoter i alle kolonner). Da vil systemet A ˆx = ˆb ha en entydig løsning. Det betyr at A x = b vil da ha en entydig minste kvadraters løsning. Dersom A har lineært avhengig kolonner, så følger det på tilsvarende måte at A x = b vil da ha uendelige mange minste kvadraters løsninger. b Aˆx = b ˆb kalles minste kvadraters feilen: den angir minimumsavstanden mellom b og vektorer på formen Ax. 10 / 27

Dermed: Vi kan finne minste kvadraters løsning (tungvint) ved å bestemme en ortogonal basis for W = Col A (ved Gram-Schmidt prossessen) og så beregne ˆb = Proj W (b). Så må vi løse systemet Aˆx = ˆb. Det finnes en enklere metode! Teorem 13. Betrakt likningssystemet Ax = b der A er en m n matrise, x IR n og b IR m. Da gjelder ˆx IR n er en minste kvadraters løsning av systemet A x = b ˆx IR n en løsning av (det konsistente) systemet A T Ax = A T b Merk: A T Ax = A T b kalles ofte normallikningene for Ax = b. Beviset bygger på at b ˆb W. 11 / 27

Eksempel. A = 3 5 1 1 1 1 1 5 2 3 7 8 Normallikningene blir 20 40 30 40 100 70 30 70 70, b = x 1 x 2 x 3 = 1 0 0 0 3 5 1 Man finner nå (for hånd eller ved Matlab) at løsningen blir ˆx = (0.325, 0.025, 0.15). Vi gir nå et teoretisk interessant resultat (men som sjelden brukes ved praktiske utregninger).. 12 / 27

Teorem 14. La A være en m n matrise. Da er A T A invertibel hvis og bare hvis A har lineært uavhengige kolonner. Når dette er oppfylt, så er den entydige minste kvadraters løsning ˆx av A x = b gitt ved ˆx = (A T A) 1 A T b. En numerisk mer stabil metode for å beregne minste kvadraters løsning når koeffisientmatrisen har lineært uavhengig kolonner er følgende: Teorem 15. La A være en m n matrise som har lineært uavhengige kolonner og la b IR m. La A = Q R være QR-faktoriseringen av A, i henhold til Teorem 12. Da er den entydige minste kvadraters løsning ˆx av A x = b lik den entydige løsningen av systemet R x = Q T b. Merk: Dette betyr at ˆx = R 1 Q T b. Men det er best å unngå å beregne R 1 og istedet løse systemet ovenfor. 13 / 27

Eksempel (forts.) Med A som foran har vi QR-faktoriseringen A = QR = 1 20 3 1 3 1 3 1 1 3 1 3 1 3 20 2 20 3 20/2 0 20 20/2 0 0 20 Vi kan derfor finne ˆx ved å beregne (den entydige løsningen) av Rx = Q T b, dvs. av 20 2 20 3 20/2 x 1 0 20 20/2 x 2 = 0 0 20 x 3 1 3 1 1 3 1 20 1 3 3 1 0 0. 3 1 1 3 0 Løsning av dette systemet ved baklengssubstitusjon gir at ˆx = (0.325, 0.025, 0.15).. 14 / 27

Til slutt, en liten observasjon: Anta at matrisen A har ortogonale ikkenull kolonner u 1,..., u n. (Dette er ikke veldig sannsynlig men det hender jo...). Da er den entydige minste kvadraters løsning ˆx av A x = b gitt ved ˆx = ( b u 1 u 1 u 1,..., b u n u n u n ). Her gjenkjenner vi koeffisientene til ˆb mhp basisen {u 1,..., u n }. 15 / 27

Kap. 7 Symmetriske matriser og kvadratiske former Vi skal koble diagonalisering av matriser sammen med ortogonalitet. Skal bl.a. se på symmetriske matriser som har uvanlig pene egenskaper mht. diagonalisering. Knyttet til symmetriske matriser har vi kvadratiske former og vi skal studere visse optimeringsproblemer for disse. Til slutt ser vi på singulærverdi dekomposisjonen til en matrise. Den er nyttig i mange anvendelser. 7.1 Symmetriske matriser Vi skal se at alle symmetriske matriser er diagonaliserbare, og har spesielle spektrale egenskaper. Singulærverdi dekomposisjonen til en (rektangulær) matrise A (avsnitt 7.4), henger nøye sammen med diagonaliseringen av den symmetriske matrisen A T A. For komplekse matriser er det analoge til symmetrisk det som kalles selv-adjungerte (eller Hermitiske ) matriser. Disse spiller en fremtrende rolle i fysikk (spesielt i kvantemekanikk). 16 / 27

Definisjon. En n n (reell) matrise A kalles symmetrisk dersom A T = A. Hvis A = [a ij ], så er A symmetrisk hvis og bare hvis a ij = a ji for alle i, j. a b c F.eks. er matrisen A = b d e er symmetrisk. c e f Alle diagonalmatriser er symmetriske. Hvis A M n (R), så er B = A + A T symmetrisk. Og hvis A M m n (R), så er C = A T A symmetrisk. Hva er spesielt med symmetriske matriser? [ ] 7 2 Eksempel. Betrakt den symmetriske matrisen A =. 2 4 Utregning gir at egenverdiene til A er 3 og 8, og at egenrommene til A er gitt ved 17 / 27

[ ] 4 2 { [ ] E3 A = Nul (A 3 I ) = Nul 1 } = Span, 2 1 2 [ ] 1 2 { [ ] E8 A = Nul (A 8 I ) = Nul 2 } = Span. 2 4 1 Legg merke til at egenrommene til A er ortogonale på hverandre: La v 1 = (1, 2), v 2 = (2, 1), som utspenner hvert sitt egenrom. Da er v 1 v 2 = 0, så disse er ortogonale på hverandre. Ved å normalisere v 1 og v 2 får vi vektorene u 1 = 1 [ 5 1 2 ], u 2 = 1 5 [ 2 1 ], som danner en ortonormal basis for R 2 med egenvektorer for A. Matrisen P = [u 1 u 2 ] er dermed ortogonal (P 1 = P T ), og slik at A = P [ 3 0 0 8 ] P 1 = P [ 3 0 0 8 ] P T Vi skal se at dette er typisk for symmetriske matriser. 18 / 27

En viktig egenskap ved en symmetrisk matrise er at dens egenrom er ortogonale på hverandre: Teorem 1. La A være en symmetrisk matrise, og la u 1, u 2 være egenvektorer for A som tilhører to forskjellige egenverdier. Da er u 1 ortogonal på u 2. En annen viktig egenskap er: En symmetrisk matrise har bare reelle egenverdier. Definisjon. A M n (R) kalles ortogonalt diagonaliserbar dersom det fins en n n ortogonal matrise P (så P 1 = P T ) og en n n diagonal matrise D slik at A = P D P T = P D P 1 Merk at da er A diagonaliserbar i vanlig forstand. Videre er A T = (P D P T ) T = (P T ) T D T P T = P D P T = A. En ortogonalt diagonaliserbar matrise er altså symmetrisk. Den omvendte påstanden er også riktig. 19 / 27

Teorem 2. La A være en kvadratisk matrise. Da er A ortogonalt diagonaliserbar hvis og bare hvis A er symmetrisk. Ortogonal diagonalisering i praksis (når vi regner for hånd.): La A være en symmetrisk n n matrise. Vi skal konstruere P = [u 1... u n ] ortogonal og D = diag(λ 1,..., λ n ) slik at A = P D P T = P D P 1. Her må λ 1,..., λ n R være egenverdiene til A og P s kolonner må danne en ortonormal basis for R n bestående av de tilhørende egenvektorene. Metoden er: Bestem egenverdiene til A. For hver av egenverdiene: bestem en basis for det tilh. egenrommet og utfør Gram-Schmidt prosessen med normalisering. Dann mengden B som består av alle de ortonormale basisene konstruert ovenfor. Matrisen P har vektorene fra B som sine kolonner. Matrisen D er diagonalmatrisen med de tilhørende egenverdiene til A i tilsvarende rekkefølge. 20 / 27

Eksempel. La A = 1 2 2 2 1 2 2 2 1 Vi finner da at egenverdiene til A er ±3. Finner tilhørende egenvektorer (1, 0, 1) og (0, 1, 1) for egenverdi 3, og bruker Gram-Schmidt prosessen på disse. For egenverdi 3 finner vi egenvektor ( 1, 1, 1) som vi normaliserer. { Resultatet er B = 2 1 1 0 1, 1. 6 1 2 1, 1 3 som er en o. n. b. for R 3 av egenvektorer for A. P = 1 1 2 6 2 0 6 1 3 1 3 1 2 1 6 1 3 er da ortogonal, og slik at A = P diag(3, 3, 3) P T. 1 1 1 } 21 / 27

Mengden av alle egenverdier til en kvadratisk matrise A kalles ofte spektret til A. Neste teorem oppsummerer de spektrale egenskapene til symmetriske matriser. Teorem 3 Spektralteoremet for symmetriske matriser. La A være en n n symmetrisk matrise. Da gjelder følgende: a) A har n reelle egenverdier når vi teller med multiplisiteten. b) Dimensjonen til hvert av egenrommene til A er lik multiplisiteten til den tilhørende egenverdien, c) Egenrommene står ortogonalt på hverandre. d) A er ortogonalt diagonaliserbar. 22 / 27

Spektral dekomposisjonen til en symmetrisk matrise. Betrakt en n n symmetrisk matrise A. Velg P = [u 1... u n ] ortogonal og D = diag(λ 1,..., λ n ) slik at A = P D P T. Da er λ 1 0 0 0 λ 2 0 0 u T 1 A = [u 1 u 2... u n ].. 0...... u T........ 2. 0 u T n 0 0 0 λ n u T 1 u T = [λ 1 u 1 λ 2 u 2... λ n u n ] 2. u T n = λ 1 u 1 u T 1 + λ 2 u 2 u T 2 + + λ n u n u T n (bruker kolonne-rad formelen for matriseproduktet i siste likhet). 23 / 27

Dette kan skrives som A = λ 1 P 1 + λ 2 P 2 + + λ n P n der P j = u j u T j, j = 1,... n. Dette kalles kalles en spektral dekomposisjon av A. Sett W j = Span {u j }. Ved Teorem 10 i Kap. 6 er Proj Wj (x) = u j u T j x for alle x R n. Matrisen P j = u j u T j er altså standardmatrisen til Proj Wj. Hver P j har rang 1 siden Col P j = W j er 1-dimensjonalt, og tilfredstiller at P 2 j = P j = P T j. 24 / 27

7.1 forts. Schur triangularisering og spektralteoremet Vi skal se på to svært sentrale resultat i lineær algebra. Spektralteoremet (Teorem 3 i Lay): dette sier bl.a. at reelle symmetriske matriser er ortogonalt diagonaliserbare, og Schur triangularisering: tilleggsstoff (noe kjennskap). Vi fokuserer på det reelle tilfellet (det finnes en kompleks variant) Minner om at to kvadratiske matriser A og B kalles similære dersom det finnes en invertibel matrise S slik at B = S 1 AS. Da har A og B samme egenverdier. Spesielt enkelt er dette hvis S er en ortogonal matrise (dvs. S er n n og kolonnene er ortonormale); da er nemlig S 1 = S T!! 25 / 27

Teorem ( Schur triangulering) Anta at A er en n n matrise med reelle egenverdier λ 1, λ 2,..., λ n (telles med multipl., i en viss rekkefølge). Da finnes en (reell) ortogonal matrise U slik at U T AU = T er øvre triangulær, og der diagonalelementene i T er egenverdiene til A, t ii = λ i (i n). Merk: U T er den transponerte av U. T er en matrise. Schur triangularisering har en rekke anvendelser. Vi skal her bruke dette resultatet til å vise spektralteoremet. 26 / 27

Teorem ( Spektralteoremet) La A være en reell symmetrisk n n matrise. Da har A reelle egenverdier λ 1, λ 2,..., λ n (telles med multipl., i en viss rekkefølge) og det finnes en (reell) ortogonal matrise U slik at U T AU = D der D er diagonalmatrisen med diagonalelementer λ 1, λ 2,..., λ n. Kolonnene i U er n ortonormale egenvektorer som hører til de resp. egenverdiene. Bevis (skisse): Først kan man bruke at A er symmetrisk til å vise at A har relle egenverdier og dermed reelle egenvektorer. Ved Schur triangulering finnes da en ortogonal matrise U slik at U T AU = T der T er øvre triangulær. Men A symmetrisk som medfører at T er symmetrisk, og T er derfor en diagonalmatrise. 27 / 27