Anvendelser. Kapittel 12. Minste kvadraters metode

Transkript

1 Kapttel Anvendelser I dette kaptlet skal v se på forskjellge anvendelser av teknkke v har utvklet løpet av de sste ukene Avsnttene og eksemplene v skal se på er derfor forholdsvs uavhengge Mnste kvadraters metode Dette er en teknkk for å fnne tlnærmede løsnnger tl systemer med flere lknnger enn ukjente La oss s at A er en m n-matrse, x og b er kolonnevektorer C n, og at v ønsker å betrakte systemet Ax = b for m > n Dette systemet vl kke ha noen løsnng med mndre b tlfeldgvs lgger kolonnerommet tl A Så v ønsker stedet å fnne den ˆx som mnmerer avstanden fra Ax tl b Hvs v krever at vektoren Ax b står ortogonalt på kolonnerommet tl A, oppnår v dette V oppsummerer dskusjonen vår et teorem: Teorem La A være en m n-matrse og b en kolonnevektor C n Mengden av mnste kvadraters løsnnger for systemet Ax = b er lk løsnngsmengden for systemet A (Ax b) = 0 Hvs n n-matrsen A A er nverterbar, så fnnes det en entydg mnste kvadraters løsnng ˆx for systemet Ax = b for hver b Merk Hvs A er en reell m n-matrse og b er en kolonnevektor R n, så kan v spørre om mnste kvadraters løsnnger for systemet Ax = b R n Denne mengden er da lk løsnngsmengden for systemet A T (Ax b) = 0 V legger også merke tl at A T A er alltd en symmetrsk matrse ford (A T A) T = A T (A T ) T = A T A Merk Grunnen tl at det kalles mnste kvadraters metode er at avstanden v w mellom to punkter v og w R n måles ved å ta kvadratroten tl summen av kvadratene, det vl s v w = (v w ) + (v w ) + + (v n w n ) Aˆx er punktet kolonnerommet med mnst avstand tl b Nullrommet tl A er det ortogonale komplementet tl kolonnerommet, altså må v ha eller A (Ax b) = 0 A Ax = A b Dette er et n n-system som kalles normallgnngene Løsnngen av systemet gr den x-en som mnmerer avstanden fra Ax tl b V skrver ˆx for denne vektoren Punktet Aˆx er dermed punktet kolonnerommet tl A som lgger nærmest tl vektoren b Defnsjon V kaller ˆx den mnste kvadraters løsnng for Ax = b der v og w er de te koordnatene tl henholdsvs v og w Å mnmere avstanden fra b tl vektorene Ax betyr derfor at v mnmerer en sum av kvadrater Eksempel V vl bruke mnste kvadraters metoden for å fnne vektoren som lgger nærmest tl en løsnng for Ax = b med 6 A = og b = 7 6 Ford A er en reell matrse, er A = A T V ganger matrsen A med sn transponerte på venstre sden [ 6 [ A T 6 7 A = 90 0 = 0 4 7

2 V må også beregne A T b: A T b = [ = [ 45 8 Nå løser v systemet A T Ax = A T b: [ [ / [ / Det vser at ˆx = er mnste kvadratersløsnng tl systemet Ax = b Det betyr at punktet 6 [ Aˆx = / = 7 5 er punktet kolonnerommet tl A som har mnst avstand fra b Eksempel 3 V ønsker å bruke mnste kvadrats metode på systemet Ax = b med A = 0 og b = + 0 V ganger matrsen A på venstre sde med sn adjungerte [ 0 0 og får [ = 0 V ganger b med A, og får [ = [ 3 [ 3 V vl altså fnne løsnngen av systemet med totalmatrse [ 3 3 Gausselmnasjon gr [ 3 3 Løsnngen er Dette betyr at vektoren 0 0 [ [ = [ er det punktet kolonnerommet tl matrsen A som mnmerer avstanden tl punktet b Polynomnterpolasjon og regresjon Som en anvendelse av mnste kvadraters metoden ser v på hvordan den hjelper å fnne grafer som passer best tl observerte data Først mnner v om polynomnterpolasjon, en metode v har sett tdlgere semesteret Så ser v på stuasjoner der v trenger mnste kvadraters metoden V husker at, hvs du har n+ punkter (x, y ) R, der x er forskjellg for alle punkter, vl det generelt være mulg å fnne et reelt polynom p(x) = a n x n + a n x n + + a x + a 0 hvs grafen går gjennom alle dsse punktene, altså at p(x ) = y for alle n + Dette kalles nterpolasjon Lknngene over utgjør et (n+) (n+)-lknngssystem for koeffsentene a med totalmatrse x n x n x n n+ x n x y x n x y x n n+ x n+ y n+ Det kan vses at dette lgnngssystemet alltd har entydg løsnng så lenge x j x k for j k, men det skal v kke gjøre Det følger at du alltd kan nterpolere n + punkter med et polynom av orden n på en entydg måte Eksempel 4 V prøver å fnne et annengradspolyom som går gjennom punktene [ [ [ 0, og 0 Et annengradspolynom skrves p(x) = ax + bx + c, så lknngssystemet blr c = a + b + c = 0 4a + b + c = Løsnngen er a =, b = og c =, slk at polynomet blr p(x) = x x + = (x ) Det er lett å sjekke at polynomet tar de rette verdene x = 0, x = og x = Dersom man prøver å gjøre den samme prosessen med et polynom som har orden m < n, vl man få det overbestemte (n + ) (m + )systemet x m x m x m n+ x m x y x m x y xn+ m x n+ y n+ Dette systemet har kke nødvendgvs en løsnng Generelt kan v derfor bare håpe på å fnne en mtegradspolynom som mnmerer avstanden tl punktene Mnste kvadraters metoden er da akkurat teknkken v trenger for å fnne polynomet som passer tl punktene

3 Prosessen å fnne polynomet som passer best tl punkt kalles regresjon Det enkleste tlfellet er at v har n punkter R og vl fnne lnjen som passer best tl dsse punktene, dvs har mnst avstand tl alle punktene Dette problemet oppstår for eksempel når v observerer data med to koordnater og v vl fnne en lnærsammenheng som passer best tl dataene Hvs (x, y ),, (x n, y n ) er datapunktene R så kan v prøve å fnne lnjen y = ax + b som passer best tl dsse punktene Hvs punktene lgger på en lnje så kunne v fnne a og b slk at y = ax + b, y = ax + b, og y n = ax n + b Dsse lgnngene kan v sammle en matrselgnng x y [ a x A = y med A = b og y = y x n y n () Det betyr at hvs v kan løse lgnngssystemet, så har v lnjen punktene lgger på Hvs punktene kke lgger på en lnje, kan v bruke mnste kvadraters metode på systemet for å fnne a og b som gr oss lnjen som approksmerer punktene best Eksempel 5 V har observert datapunktene (0, 4), (, ), (, ), (3, 3) og (4, ) V vl fnne lnjen y = ax + b som passer best tl dsse punktene V vl altså [ fnne mnste kvadraterslosnng tl systemet A = y med a b 0 4 A = 3 og y = 3 4 V må altså løse lgnngssystemet A T A som er [ [ a b [ 0 [ a = A b T y Gausselmnasjon gr [ [ [ [ 6 0 6/ /5 Løsnngen er a = 6 5 and b = 5 Lnjen som passer best tl datapunktene er altså gtt ved y = 6 5 x + 5 V kan også spørre for annengrads- eller ntegradspolynomer som approksmerer datapunkt best La oss derfor se på et eksempel tl: Eksempel 6 V prøver å fnne et annengradspolyom som går gjennom punktene [ [ [ [ 0 3,, og 0 Lknngssystemet blr nå c = a + b + c = 0 4a + b + c = 9a + 3b + c = Dette systemet har ngen løsnng, men v kan bruke mnste kvadraters metode Matrsen er: 0 0 A = 4, 9 3 mens høyresden b er: b = 0 Den adjungerte A er: A = 0 3 V ganger A med A og b, og får A A = = og A b = = 8 4 V må løse systemet A A = A b, altså systemet med totalmatrse Løsnngen er slk at polynomet blr p(x) = x 0 x

4 Markovkjeder V begynner med et eksempel Eksempel 7 Barna en barnehage heer på fotballklubbene Arsenal London, Lverpool og Manchester Unted Premer League Barna er ennå kke helt bestemt på hvlken klubb de lker best og noen skfter klubben fra sesong tl sesong Det vses at når et barn heer på Man Unted, er det en 50 % sannsynlghet at barnet fortsatt heer på Man Unted neste sesong, en 30 % sannsynlghet at barnet heer på Lverpool neste sesong, og en 0 % sannsynlghet at barnet heer på Arsenal neste sesong; når et barn heer på Lverpool, er det en 0 % sannsynlghet at barnet heer på Man Unted neste sesong, en 80 % sannsynlghet at barnet fortsatt heer på Lverpool neste sesong, og en 0 % sannsynlghet at barnet heer på Arsenal neste sesong; når et barn heer på Arsenal, er det en 30 % sannsynlghet at barnet heer på Man Unted neste sesong, en 30 % sannsynlghet at barnet heer på Lverpool neste sesong, og en 40 % sannsynlghet at barnet fremdeles heer på Arsenal neste sesong V oppsummerer denne nformasjonen en tabell der v uttrykker sannsynlghetene ved desmaltall: bytter fra M L A tl M L A Dette ser allerede ut som en matrse M = Faktsk hjelper oss matrse- og vektorregnng tl å fnne ut hvordan klubbsupporten skfter fra år tl år For hvs fordelngen av barna på klubbene et år er sånn at 50% heer på Man Unted, 30% på Lverpool og -% på Arsenal, så kan v skrve det som en vektor 05 x 0 = 03 0 Etter en sesong blr fordelngen da x = M x 0 = = Etter to sesonger er det x = M x 0 = = V kan fortsette denne prosessen (under antagelsen at barna forblr mange år barnehagen) og får fordelngene x 3 = M x, x 4 = M x 3 osv V ser da at fordelngen endrer seg mndre og mndre etterhvert og konvergerer tl vektoren q = som oppfyller M q = = 06 = q () Dette er et eksempel for en Markovkjede som er en prosess der sannsynlgheten for overgangen fra tlstand på tdspunkt t tl den neste avhenger bare fra tlstand t V skal bare se på Markovkjeder der overgangen er gtt ved en matrse Defnsjon En sannsynlghetsvektor er en vektor v R n der alle koordnatene er større eller lk 0 og summen av koordnatene er lk En n n matrse M kalles stokastsk matrse hvs kolonnene M er sannsynlghetsvektorer, det vl s at elementene er kke-negatve og kolonnesummene er lk Gtt en sannsynlghetsvektor x 0 og en stokastskmatrse M, så kan v sjekke at x = M x 0 også er en sannsynlghetsvektor Derfor er også x = M x og x n+ = M x n en sannsynlghetsvektor V oppfatter x n som tlstanden på tdspunkt n som oppstår fra utgangstlstanden x 0 Defnsjon La M være en stokastsk matrse og x 0 en sannsynlghetsvektor V kaller følgen av vektorene en Markovkjede {x n } for n = 0,,, I eksempel 7 møttes v en Markovkjede og observerte at den konvergerer tl en stabl tlstand V stller da selvfølgelg spørsmålet: Konvergerer alle Markovkjeder tl en stabl tlstand? For å fnne svare på spørsmålet må v undersøke stokastske matrser Lgnng uttrykker at er en egenverd for M med egenvektor q V skal nå se at dette alltd gjelder for stokastske matrser Teorem 8 En stokastsk matrse M har alltd som en egenverd Bevs La m j være elementet M rad og kolonne j Ford M er en stokastsk matrse er kolonnesummene lk, dvs m j = for alle =,, n Den transponerte matrsen M T har derfor radsummene lk Vektoren u = er derfor en egenvektor for 4

5 M T tl egenverd : M T m u = = m = m n Nå observerer v at egenverdene tl M T er også egenverdene tl M (men egenvetkorene kan være forskjellge) Merk La A være en n n-matrse Egenverdene tl A T og A er lke ford det(a T λi n ) = det ( (A λi n ) T ) = det(a λi n ) Det vser at λ er egenverd for A hvs og bare hvs λ er en egenverd for A T La M være en stokastsk matrse Ford er egenverd for M, vet v at det fnnes egenvektorer som hører tl egenverd V vet at v fnner egenvektorene som hører tl egenverd ved å fnne kke-trvelle løsnnger for lgnngssystemet (M I n ) x = 0 En løsnng q for dette lgnngssystemet som også er en sannsynlghetsvektor, dvs som har koordnatsum lk og alle koordnatene er kke-negatve, har en spesel betydnng for Markovkjeder Derfor gr v den et navn: Defnsjon La M være en stokastsk matrse En egenvektor for M som hører tl egenverd og er en sannsynlghetsvektor kalles en lkevektsvektor Eksempel 9 I eksempel 7 fnner v lkevektsvektoren: (M I 3 ) = Det vser at løsnngene er alle vektorer på formen t Ford v leter etter en løsnng som også er en sannsynlghetsvektor, er lkevektsvektoren for M vektoren 03 q = 06 0 V kan lure på om det fnnes kun én eller forskjellge lkevektsvektorer for en stokastsk matrse Faktsk er lkevektsvektoren unk når v krever at M oppfyller en lten ekstrabetngelse Defnsjon En stokastsk matrse M kalles regulær hvs det fnnes en k slk at alle elementene M k er større enn 0 I eksempel 7 er M en regulær stokastsk matrse ford M = Spørsmål: Er matrsen en regulær stokastsk matrse? Teorem 0 La M være en regulær stokastsk matrse Da har M en unk lkevektsvektor q For enhver utgangssannsynlghetsvetktor x 0 konvergerer Markovkjeden {x n } tl q når n Bevs V bare skssérer déen for bevset: Vektoren Markovkjeden konvergerer tl, må være en lkevektsvektor ford M( lm n x n) = M( lm n M n x 0 ) = lm n M n+ x 0 = lm n x n+ = lm n x n V vet allerede at er en egenverd og at det derfor alltd fnnes en vektor q 0 med Aq = q Det som gjenstår er å vse at q er en sannsynlghetsvektor og at q er den eneste med denne egenskapen Dette følger fra Perron-Frobenus-teoremet Det tar ltt td tl å bevse dette og v nøyer oss har med å nevne at teoremet fnnes Merk V observerer at vektoren Markovkjeden konvergerer tl kke avhenger av utganstlstanden x 0 Det er et ganske overraskende resultat Det betyr at når v venter lenge nok, så spller startpunktet ngen rolle Oppgave: Fnn lkevektsvektorene for de stokastske matrsene [ A = B = Eksempel En bolog studerer to koloner med maur Hun legger merke tl at, når maurene er ute for å hente mat, går noen av maurene seg bort og bytter kolonene Etter lang td med observasjon fnner hun at hver tme skfter 5% av maurene fra kolon A tl kolon B, mens 3% av maurene fra kolon B tl kolon A 5

6 På et tdspunkt teller hun at 55% av alle maurene hører tl kolon A og 45% hører tl kolon B Oppgave: Fnn en stokastsk matrse som beskrver mgrasjonen Kan du fnne ut hva forholdet av maurene kolonene blr etter mange tmer? Eksempel Forskere vl løse klmaproblemet og tester forskjellge metoder for å transformere CO andre mndre skadelge gasser, v kaller dem gass A og gass B I ekspermentet foranderer seg det lukkede systemet med gassene hver dag etter det følgende mønsteret: 5% av gass A går over tl gass B og 5% går over tl CO, (dvs 80% av gass Aforblr gass A), 5% av gass B går over tl gass A og 5% går over tl CO, mens 0% av CO går over tl gass A og 0% av CO går over tl gass B Forskerne begynner med en fordelng der det er lke mye av alle tre gassene s systemet Spørsmål: Får forskerne være optmstske? 6