Kap. 6 Ortogonalitet og minste kvadraters problemer

Transkript

1 Kap. 6 Ortogonalitet og minste kvadraters problemer vanlig indreprodukt (prikkprod.) i IR n, egenskaper. ortogonalitet i IR n Pythagoras teorem: u og v i IR n er ortogonale hvis og bare hvis u + v 2 = u 2 + v 2. ortogonalt komplement W til underrom W ; finne basis for W når W er utspent av gitte vektorer. (Row A) = Nul A og (Col A) = Nul A T. ortogonal mengde; og hvis alle er ulik nullvektoren er disse lineært uavhengige; ortogonal basis. Teorem: hvis S = {u 1,, u p } er ortogonal basis for et underrom W av R n, og y W, så er y = c 1 u c p u p der c j = y u j u j u j for j = 1,..., p. Så: enkelt å beregne koordinatene. Leddet c j u j er ortogonal projeksjon av y langs u j. 1/10

2 ortonormal mengde, ortonormal basis. ortogonal matrise: kvadratisk matrise U s.a. U T U = I, har ortonormale kolonner (og ortonormale rader), er invertibel og U 1 = U T. ortogonale matriser (lin.transf. x Ux) bevarer lengde, indreprodukt, og ortogonalitet. Teoremet om ortogonal dekomposisjon: W underrom av R n ; da har hver y R n en entydig dekomposisjon y = ŷ + z der ŷ W og z W. Vektoren ŷ kalles den ortogonale projeksjonen av y på W, betegnes med Proj W (y). B C = p j=1 kol j(b) rad j (C). Hvis W er underrom av R n, og de p kolonnene i U ortonormal basis for W (dim. p), da er Proj W (y) = p j=1 (y u j)u j = UU T y. Beste approksimasjon teorem: hvis W er underrom av R n og y R n, så er Proj W (y) den vektoren i W som er nærmest y, dvs. avstanden z y er minst mulig. 2/10

3 Gram-Schmidt prosess: gitt en basis x 1,..., x p for et underrom W av R n, definer W k = Span {x 1,..., x k } for 1 k p: beregn v 1,... v p ved v 1 = x 1, v 2 = x 2 Proj W1 (x 2 ),..., v p = x p Proj Wp 1 (x p ). Da er v 1,... v k ortogonal basis for W k (k p). Projeksjonene finner vi ved formler foran (idet vi har ortogonal basis for hvert underrom). QR-faktorisering: A = QR, der kol. i Q danner en ortonormal basis for Col A, og R er øvre triangulær. Finnes ut fra GS-prosessen (men med numerisk algoritme for stor matrise). minste kvadraters problem (MK): finn x slik at feilen Ax b blir minst mulig; beste approksimasjons tolkning. entydig MK løsning hvis A har lin. uavh. kolonner. normallikningene: A T Ax = A T b gir MK løsning. Kan også løses via QR-fakt. av A. anvendelse av MK på lineære modeller, regresjon, approksimasjon av en funksjon i gitte punkter ved en lineær kombinasjon av gitte grunnfunksjoner. 3/10

4 definisjon av indreprodukt u, v på et generelt vektorrom V ; egenskaper symmetri, linearitet, og pos.def. eksempler: IR n, polynomrom, funksjonsrom. lengde, avstand, ortogonalitet i indreprod. rom. generalisering av Gram-Schmidt ortogonalisering, ortogonal dekomposisjon av vektorer, projeksjon ned i underrom, og Pythagoras. Cauchy-Schwarz ulikhet: u, v u v. trekantulikheten: u + v u + v. V = C[a, b] av alle kontinuerlige funksjoner, indreprod. f, g = b a f (t)g(t)dt. vektet indreprodukt, og vektet MK problem, vektede normallikninger. 4/10

5 Fourier analyse: approksimasjon av funksjoner med trigonometriske funksjoner. V = C[0, 2π], indreproduktet f, g = 2π 0 f (t)g(t), la S n = {u 0, u 1,..., u n, v 1,..., v n } der u 0 (t) = 1, u k (t) = cos kt, og v k (t) = sin kt (k = 1,..., n): S n er en ortogonal mengde. La W n = Span S n : underrom av V. Definerer n-te ordens Fourier approksimasjonen av f V ved F n (f ) = Proj Wn (f ), og finner denne ved projeksjonsformler (koef. i approks. er integraler som kan beregnes numerisk, feks. i Matlab). Har at f F n (f ) går mot 0 når n. 5/10

6 Kap. 7 Symmetriske matriser og kvadratiske former symmetrisk matrise: A = A T. Teorem: hvis A symmetrisk, u 1, u 2 to egenvektorer for A som tilhører forskjellige egenverdier λ 1 og λ 2 ; da er u 1 og u 2 ortogonale. en kvadratisk matrise A kalles ortogonalt diagonaliserbar: A = PDP T = PDP 1 for en ortogonal matrise P, og D diagonal matrise. Teorem: A kvadratisk matrise; da er A ortogonalt diagonaliserbar hvis og bare hvis A er symmetrisk. (Mer under!) metode for å finne P og D over: finn egenverdiene til A; for hver av egenverdiene: bestem først basis og ortogonaliser ved Gram-Schmidt, normaliser, lag matrisen P med disse som kolonner; D diagonalmatrisen med egenverdiene på diag. 6/10

7 Spektralteoremet for symmetiske matriser: A har n reelle egenverdier (teller multipl.); dimensjonen til hvert egenrom er lik mult. til den tilhørende egenverdien; egenrommene er ortogonalt på hverandre; A er ortogonalt diagonaliserbar. Schur triangulering: hvis A har reelle egenverdier λ 1, λ 2,..., λ n (telles med mult.); da finnes en (reell) ortogonal matrise U slik at U T AU = T der T er øvre triangulær, og der diagonalelementene i T er egenverdiene til A. Schur triang. brukes bl.a. til å vise spektraleteoremet. kvadratiske form: Q(x) = x T A x der x R n og A symmetrisk matrise. Fjerne kryssledd: med koordinatsystem med akser fra ortonormal egenvektorbasis for A, blir Q(x) gjort om til en kvadratisk form uten kryssledd. Lar y = P 1 x der A = PDP T med P ortogonal. for n = 2: nivåkurvene for en kvadratisk form er ellipse eller hyperbel. 7/10

8 klassifikasjon av kvadr. former: positiv definit (Q(x) > 0 når x O), negativ definit, indefinit, pos. semidef., neg.semidef. O er entydig minimumspunkt for Q når Q er pos. def. Tilsv. begreper for symmetriske matriser, f.eks. pos.def. matrise. Teorem: Q (eller tilhørende A) pos.def. hvis og bare hvis alle egenverdiene er positive. Tilsv. for de andre typene. Q(x) = x T A x, der A er symm., har maksimum og minimum på S = {x R n : x = 1}: lik h.h.v. største og minste egenverdi til A (oppnås for tilhørende enhets egenvektorer). la A være m n matrise: maksimum av f (x) = Ax på S (som over) eksisterer og er lik σ 1 = λ 1, der λ 1 er største egenverdi til (den symmetriske) matrisen A T A. Maks. oppnås for tilh. egenvektor for A T A. σ 1 kalles operatornormen til A (og er største singulære verdi for A, se under). 8/10

9 singulærverdiene til en m n matrise A er σ i = λ i (i n), der λ i -ene er egenverdiene til A T A. Ordner sing. verdiene avtagende. Har σ i = Av i der v i er de ortonormale egenvektorene for A T A. Videre er Av 1,..., Av r ortogonal basis for Col A, og Av i = O for i > r. Her er r antall positive singulærverdier, som også er rangen til A. singulærverdi dekomposisjonen (SVD): A m n matrise kan skrives A = U Σ V T, der U og V er ortogonale matriser, Σ m n diagonalmatrise med singulære verdier langs diagonalen. finne SVD: beregn A T A og ortogonal diagonaliser denne; egenvektorene v 1,..., v n danner V ; egenverdiene gir Σ, og U bestemt ved u j = 1 σ j Av j (j = 1,..., r), og resterende u j er vilkårlig, men slik at U er ortogonal. u 1,..., u n er ortonormal basis for Col A, v r+1,..., v n er o.n. basis for Nul A osv. 9/10

10 kondisjonstallet til en invertibel matrise A er σ 1 /σ n : stor verdi betyr at beregnet løsning (ved f.eks. Gauss eliminasjon) av Ax = b kan være langt fra eksakt løsning. redusert SVD A = V r D Ur T der r = rank A og U r (V r ) består av de r første kolonnene i U (V ). Kan brukes til å finne pseudoinvers A + = V r D 1 Ur T, og skrive MK løsning som x = A + b. 10/10