3.9 Teori og praksis for Minste kvadraters metode.

Transkript

1 3.9 Teori og praksis for Minste kvadraters metode. Vi fortsetter med minste kvadraters problem. Nå skal vi se nærmere på noen teoretiske spørsmål, bl.a. hvordan normallikningene utledes. Minner om MK problemstillingen: La A være en m n matrise (der typisk m>n)ogla b IR m og betrakt det overbestemte lineære likningssystemet Ax = b. Systemet har vanligvis ingen løsning. For enhver vektor x IR n defineres residualet r = r(x) som feilen r(x) = Ax b. En vektor x som gir minst mulig residual vektor (målt i Euklidsk norm) kalles en minste kvadraters løsning av Ax = b. Altså: Ax b Ax b for alle x IR n. Lin.alg. Seksjon 3.9: #1 of 9

2 Minste kvadraters problem i IR n. Vi diskuterer MK problemet med vekt på geometrisk forståelse. La x som vanlig være vektoren x 1 x =. x n. Husk at avstanden (Euklidsk avstand) mellom vektorene x og y er x y = (x y) T (x y)=( (x j y j ) 2 ) 1/2. j Vi er interessert i følgende problem: Minste kvadraters problem i IR n : La W være et underrom av IR n og la v IR n være gitt. Finn en vektor w W slik at v w v w for alle w W. En slik vektor w kalles en beste minste-kvadraters approksimasjon til v. Altså: nærmeste punkt til v i W. v v-w* w* Lin.alg. Seksjon 3.9: #2 of 9

3 Geometrisk tyder figuren på atbeste minste-kvadraters approksimasjon kjennetegnes av at residualet (feilen) v w er ortogonal på underrommet W, dvs. ortogonal på alle vektorer i W. Vi viser nå at dette faktisk er tilfelle helt generelt! Teorem 18. La W være et p-dimensjonalt underrom av IR n og la v IR n. Anta at en vektor w oppfyller (v w ) T w = 0 for alle w W. Da er w beste minste-kvadraters approksimasjon til v. Bevis. La w W. Ortogonaliteten, eller Pythagoras, gir at v w 2 = (v w )+(w w) 2 = (v w ) T (v w )+2(v w ) T (w w)+ (w w) T (w w) = v w 2 + w w 2 v w 2. Dette viser også at beste minste-kvadraters approksimasjon er entydig: Fra siste ulikhet ser vi at hvis v w = v w,såmåw=w. Lin.alg. Seksjon 3.9: #3 of 9

4 Hvordan finne beste approksimasjon? Forrige teorem sier at vi bør lete etter en vektor w som oppfyller (v w ) T w = 0 for alle w W. Heldigvis er det nok å sjekke denne ortogonaliteten for et fåtall vektorer, nemlig en basis for W. Teorem 19. La W være et p-dimensjonalt underrom av IR n og la u 1,...,u p være en basis for W. Da holder (v w ) T w = 0 for alle w W hvis og bare hvis (v w ) T u i = 0 for i = 1,...,p. (2) (Bevis: hver vektor w W er på formenw= ia i u i ; bruk linearitet av matriseproduktet). Legg merke til at likning (2) er et system av p lineære likninger som den ukjente vektoren w skal oppfylle. Vi finner da en beste minste kvadraters løsning ved å løse dette likningssystemet. Mer om dette følger! Eksistems og entydighet av beste approksimasjon. Teorem 20. La W være et p-dimensjonalt underrom av IR n og la v IR n. Da er det nøyaktig én beste minste kvadraters løsning til v i W. Lin.alg. Seksjon 3.9: #4 of 9

5 Bevis. Eksistens. Vi kan finne en løsning av likning (2) på følgende måte. Vi kan anta at basisen u 1,...,u p er ortogonal (for eller kan vi bruke Gram-Schmidt). Siden w skal ligge i W fins skalarer a 1,...,a p slik at p w = a i u i. i=1 Setter dette inn i likning (2) og får pga. ortogonaliteten at (v) T u i a i u T i u i = 0 for i = 1,...,p. Dette gir at a i = (v) T u i /u T i u i for i = 1,...,p. Med disse koeffisientene blir w gitt ved p w = ((v) T u i /u T i u i)u i. (4) i=1 og likning (2) holder. Ut fra Teorem 18 og 19 ser vi da at w er en beste approksimasjon til v i W. Entydighet. Dette viste vi foran (side 3). Lin.alg. Seksjon 3.9: #5 of 9

6 Minste-kvadraters løsning til inkonsistente systemer Ax = b. Vi vender tilbake til problemet: finn minste kvadraters løsning x av Ax = b, dvs. Ax b Ax b for alle x IR n. Hva er forbindelsen til approksimasjonsproblemet vårt? Vi har jo at x Ax er en lineær transformasjon og når x gjennomløper hele IR n vil y = Ax gjennomløpe underrommet R(A) av IR m ; dette er rekkevidden eller kolonnerommet til A. Såtilhvery R(A) fins minst én x slik at y = Ax. Videre er min{ Ax b : x IR n }=min{ y b : y R(A)}. Vi lar nå W = R(A) og får: La y være en beste minste-kvadraters approksimasjon til b i W = R(A). Daerx IR n en minste kvadraters løsning av Ax = b hvis og bare hvis Ax = y. Vi vet at y er løsningen av w T (y b) = 0 for alle w W. Her er det nok å kreve dette for alle vektorer w i en basis for W.Og,idetW =R(A), vil jo kolonnene A j, j = 1,...,nutspenne W.Altså: A T i (y b) = 0 som på matriseform blir for j = 1,...,n A T (y b) = 0. Lin.alg. Seksjon 3.9: #6 of 9

7 Siden y = Ax ser vi derfor at x er løsning av systemet A T (Ax b) = 0 eller A T Ax = A T b. Dette er jo nettopp normallikningene! Ut fra denne diskusjonen får vi et bevis for vårt hovedresultat om MK problemet, nemlig Teorem 17. Betrakt systemet Ax = b. Da gjelder: (i) Systemet A T Ax = A T b er konsistent. (ii) Minste kvadraters løsninger av Ax = b er nettopp løsningene av A T Ax = A T b. (iii) MK (minste kvadraters) løsningen av Ax = b er unik hvis og bare hvis A har rang n. Entydighet av minste-kvadraters løsning til Ax = b. Vi har sett at det er en entydig beste minste kvadraters løsning y til v i W (når W er underrom og v er gitt). MEN: dette betyr ikke at man alltid har entydig minste kvadraters løsninger av Ax = b. Grunnen til dette er at selv om y er entydig såkandet være mange løsninger (og minst én løsning) x av Ax = y. Lin.alg. Seksjon 3.9: #7 of 9

8 Hvis kolonnene i A er lineært uavhengige,så er det en entydig løsning x (dette følger direkte av definisjonen av lineær uavhengighet). Men hvis kolonnene i A er lineært avhengige, vil det være uendelig mange slike løsninger. Man kan da f.eks. være interessert i en minste kvadraters løsning x med minst norm, så x =min{ x : Ax = y }. Pseudoinvers. Det kan vises at for enhver m n matrise A så fins det en entydig n m matrise X slik at AX I m F blir minst mulig. Her bruker vi Frobenius normen for matriser definert ved m n A F = a 2 i,j. i=1 j=1 (Dette er det samme som å oppfatte matrisen som en lang vektor av dimensjon mn og beregne Euklidsk norm.) Denne entydige løsningen X betegnes med A + og kalles den pseudoinverse til A. La nå x være minimum norm minste kvadraters løsning av Ax = b. Da kan det vises at x = A + b. Hvis A er ikkesingulær, har man at A + = A 1,såvihar en videreføring av formelen x = A 1 b for vilkårlige matriser!! Lin.alg. Seksjon 3.9: #8 of 9

9 MATLAB og minste-kvadraters løsninger. MATLAB kommandoen x=a \ b returner minimum norm minste kvadraters løsning av Ax = b, dvs.a + b. Hvis m = n og Ax = b er inkonsistent, vil x=a \ b gi en advarsel og ingen MK løsning. Hvis man likevel ønsker en MK løsning, så kan man gjøre dette ved å stille opp normallikningene og løse disse på vanlig måte. MATLAB kommandoen pinv(a) resturnerer den pseudoinverse til matrisen A. Derfor kan man også finne minimum norm minste kvadraters løsning av Ax = b ved kommandoen pinv(a) b. Lin.alg. Seksjon 3.9: #9 of 9