6.5 Minste kvadraters problemer I mange anvendte situasjoner møter man lineære likningssystemer som er inkonsistente, dvs. uten løsninger, samtidig som man gjerne skulle ha funnet en løsning. Hva gjør man da? En typisk situasjon er såkalt lineær regresjon: gitt en mengde punkter i planet (som ofte er resultatet av en serie med målinger beheftet med usikkerhet), finn linjen som best approksimerer disse punktene. Vi skal se i avsn. 6.6 (neste forelesning) at dette er et spesialtilfelle av en større klasse problemer om lineære modeller, der man skal finne den best mulige approksimasjonen. Inkonsistente likningsystemer kan betraktes som minste kvadraters problemer, der løsningen(e) er den/de som er best mulig(e) i en viss forstand. 1/16
Betrakt et likningssytem Ax = b der A er en m n matrise, x IR n og b IR m. Vi vet at systemet er konsistent b Col A. Så hvis b ikke er med i Col A, hva kan vi gjøre? Jo, istedet for å prøve på å få til at Ax = b, kan vi prøve å få til at feilen b Ax blir minst mulig. Dette kalles gjerne for et minste kvadraters problem (fordi uttrykket b Ax 2 er en sum av kvadrater). Definition Vi sier at ˆx IR n er en minste kvadraters løsning av systemet A x = b dersom for alle x IR n. b A ˆx b A x Merk: Siden Col A = { A x x IR n }, så er ˆx altså slik at A ˆx gir den beste approksimasjonen av b blant alle vektorene i Col A. (Tegn figur eller se Fig. 1 s. 426). 2/16
Fra Teorem 9 om beste approksimasjon, får vi at en minste kvadraters løsning ˆx er bestemt ved at A ˆx = ˆb der ˆb :=Proj W (b) med W := Col A. Nå er ˆb W = Col A, så systemet A ˆx = ˆb er alltid konsistent. Dermed vil det alltid finnes minste kvadraters løsninger, og disse finnes ved å løse systemet Aˆx = ˆb. Vi har altså kommet frem til at følgende grunnleggende observasjon holder: ˆx IR n er en minste kvadraters løsning av systemet A x = b ˆx er en løsning av (det konsistente) systemet A ˆx = ˆb der ˆb = Proj W (b) og W = Col A. 3/16
Merk: Anta at systemet A x = b er konsistent, dvs. at b W = Col A. Da er ˆb = Proj W (b) = b. Så minste kvadraters løsninger blir da det samme som vanlige løsninger. Anta at A har lineært uavhengige kolonner (m.a.o. rref(a) har pivoter i alle kolonner). Da vil systemet A ˆx = ˆb ha en entydig løsning. Det betyr at A x = b vil da ha en entydig minste kvadraters løsning. Dersom A har lineært avhengig kolonner, så følger det på tilsvarende måte at A x = b vil da ha uendelige mange minste kvadraters løsninger. b Aˆx = b ˆb kalles minste kvadraters feilen: den angir minimumsavstanden mellom b og vektorer på formen Ax. 4/16
Eksempel 1. Betrakt systemet Ax = b 3 5 1 A = 1 1 1 1 5 2 3 7 8 ( ) der, x IR3, b = 1 0 0 0. Vi finner her at systemet er inkonsistent (se f.eks. på rref([a b])). Så vi går derfor inn for å bestemme minste kvadraters løsning av ( ). Nå har A lineært uavhengige kolonner (sjekk!), så vi vet at det vil finnes nøyaktig en minste kvadraters løsning. Vi må først beregne ˆb = Proj W (b) der W = Col A. Bruker f.eks. Matlab og får ˆb = (0.95, 0.15, 0.15, 0.05) (har regnet dette eksakt før). Løsning av A ˆx = ˆb ved Matlab gir ˆx = (0.325, 0.025, 0.15). Minste kvadraters feil er da b Aˆx = b ˆb = 0.2236. (Regn eksakt hvis du vil!) 5/16
Metoden vi nettopp ga for å bestemme minste kvadraters løsning fungerer greit, gir den en god del utregninger. For å bestemme ˆb = Proj W (b) må vi først bestemme en ortogonal basis for W = Col A (ved Gram-Schmidt prossessen). Deretter må vi beregne ˆb. Så må vi løse systemet Aˆx = ˆb. Det finnes en noe enklere metode! Teorem 13. Betrakt likningssytemet Ax = b der A er en m n matrise, x IR n og b IR m. Da gjelder ˆx IR n er en minste kvadraters løsning av systemet A x = b ˆx IR n en løsning av (det konsistente) systemet A T Ax = A T b Merk: A T Ax = A T b kalles ofte normallikningene for Ax = b. 6/16
Om beviset for Teorem 13: Anta at ˆx IR n er en minste kvadraters løsning av systemet A x = b. Vi vet at da er A ˆx = ˆb der ˆb = Proj W (b) og W = Col A. Videre vet vi at b ˆb W (ved Teorem 8). Nå vet vi også at W = (Col A) = Nul A T (ved Teorem 3). Dette gir oss at A T (b ˆb) = O, altså at A T b = A T ˆb. Siden A ˆx = ˆb er da A T b = A T A ˆx. Dermed har vi godtgjort at ˆx er en løsning av normallikningene. Dette viser den ene implikasjonen i teoremet. Den omvendte implikasjonen går nokså tilsvarende (se boka; taes evt på tavla). 7/16
Eksempel 1 (forts. ). Vi betrakter igjen samme system som i Eks. 1, men finner nå minste kvadraters løsning ved å bruke Teorem 13. Vi beregner først og A T A = A T b = 3 1 1 3 5 1 5 7 1 1 2 8 20 40 30 40 100 70 30 70 70 3 1 1 3 5 1 5 7 1 1 2 8 3 5 1 1 1 1 1 5 2 3 7 8 1 0 0 0 = 3 5 1 =. 8/16
Normallikningene blir altså 20 40 30 40 100 70 30 70 70 x 1 x 2 x 3 = 3 5 1 Man finner nå (for hånd eller ved Matlab) at løsningen blir ˆx = (0.325, 0.025, 0.15) (som funnet før).. 9/16
Eksempel 2. Betrakt nå systemet A x = b ( ) der 4 0 8 2 A = 0 2 2, x IR 3, b = 0. 1 1 1 11 Vi finner lett ut at systemet er inkonsistent og at A har lineært avhengige kolonner (sjekk!). Så vi vet at ( ) vil ha uendelige mange minste kvadraters løsninger. Vi beregner A T A = og 4 0 1 0 2 1 8 2 1 A T b = 4 0 1 0 2 1 8 2 1 4 0 8 0 2 2 1 1 1 2 0 11 = = 17 1 33 1 5 3 33 3 69 19 11 27 Løsning av A T A x = A T b gir at minste kvadraters løsningene av ( ) er gitt ved ˆx =.... 10/16.
Et teoretisk interessant resultat (som ikke brukes ved praktiske utregninger) sier følgende: Teorem 14. La A være en m n matrise. Da er A T A invertibel hvis og bare hvis A har lineært uavhengige kolonner. Når dette er oppfylt, så er den entydige minste kvadraters løsning ˆx av A x = b gitt ved ˆx = (A T A) 1 A T b. Bevis: Den første påstanden bevises i oppgavene 6.5.19-21. Vi skisserer her et alternativt bevis for halvparten av denne. Anta at A har lineært uavhengige kolonner. Da har A en QR-faktorisering, A = QR. Siden Q har ortonormale kolonner vet vi at Q T Q = I. Derfor er A T A = (QR) T QR = R T Q T QR = R T R Men R er øvre triangulær med bare positive tall langs diagonalen, så det følger lett at R T R er invertibel. Dermed er A T A invertibel. Når vi vet at A T A er invertibel, så følger det fra A T Aˆx = A T b at ˆx er gitt ved formelen ovenfor. 11/16
Eksempel 1 (forts.). Matrisen A = 3 5 1 1 1 1 1 5 2 3 7 8 har lin. uavh. kolonner (som påpekt allerede).teorem 14 sier da at A T A er invertibel, noe vi kan lett sjekke; vi finner at (A T A) 1 = Derfor er 20 40 30 40 100 70 30 70 70 ˆx = (A T A) 1 A T b = 1 = 21/80 7/80 1/40 7/80 1/16 1/40 1/40 1/40 1/20 21/80 7/80 1/40 7/80 1/16 1/40 1/40 1/40 1/20 som gir ˆx = (0.325, 0.025, 0.15) (som funnet før!) 3 5 1. 12/16
En numerisk mer stabil metode for å beregne minste kvadraters løsning når koeffisientmatrisen har lineært uavhengig kolonner er følgende : Teorem 15. La A være en m n matrise som har lineært uavhengige kolonner og la b IR m. La A = Q R være QR-faktoriseringen av A, i henhold til Teorem 12. Da er den entydige minste kvadraters løsning ˆx av A x = b lik den entydige løsningen av systemet R x = Q T b. Merk: Dette betyr at ˆx = R 1 Q T b. Men det er best å unngå å beregne R 1 og istedet løse systemet ovenfor. Bevis: Vi så i beviset for Teorem 14 at da er A T A = R T R. Normallikningene kan derfor skrives som R T R x = (QR) T b, dvs. R T R x = R T Q T b. Siden R er invertibel, er R T invertibel. Dermed kan vi forkorte R T i likningen ovenfor. Dette gir oss at normallikningene kan skrives som R x = Q T b og påstanden følger da fra Teorem 13. 13/16
Eksempel 1 (for siste gang!). QR-faktoriseringen til matrisen A = 3 5 1 1 1 1 1 5 2 3 7 8 har vi regnet ut tidligere. Vi fant da ut at A = QR = 1 20 3 1 3 1 3 1 1 3 1 3 1 3 20 2 20 3 20/2 0 20 20/2 0 0 20. 14/16
Vi kan derfor finne ˆx ved å beregne (den entydige løsningen) av Rx = Q T b, dvs. av 20 2 20 3 20/2 x 1 0 20 20/2 x 2 = 0 0 20 x 3 1 3 1 1 3 1 20 1 3 3 1 0 0. 3 1 1 3 0 Løsning av dette systemet ved baklengssubstitusjon gir (igjen!) at ˆx = (0.325, 0.025, 0.15). 15/16
Til slutt, en liten observasjon: Anta at matrisen A har ortogonale ikkenull kolonner u 1,..., u n. (Dette er ikke veldig sannsynlig men det hender jo...). Da er den entydige minste kvadraters løsning ˆx av A x = b gitt ved ˆx = ( b u 1 u 1 u 1,..., b u n u n u n ). Her gjenkjenner vi koeffisientene til ˆb mhp basisen {u 1,..., u n }. 16/16