Projeksjon TMA0 høsten 08 En projeksjon er en lineærtransformasjon P som tilfredsstiller P x = P x for alle x Denne ligningen sier at intet nytt skjer om du benytter lineærtransformasjonen for andre gang, man kan tenke at P x er skyggen x kaster dersom man lyser på x med en lommelykt Vi skal begrense oss til å studere ortonale projeksjoner Dette betyr at lommelykten står slik at x P x danner en rettvinklet trekant Ortonal projeksjon i R Du husker skalarproduktet fra gymnaset Du har lært to måter å beregne skalarproduktet, nemlig v = v cos θ, der θ er vinkelen mellom v, v = v + v Vi bruker skalarproduktet til å projisere vektorer ortonalt på hverandre Det sentrale spørsmålet er: hvordan kan vi skrive vektoren v i figuren under? v v Hva er projeksjon? Vi kan utlede en formel for lengden: slik at v = cos θ = v v cos θ = v v, v = v v v = v v v = v v v v Denne vektoren kalles gjerne sin komponent i retningen gitt av v, eller sin projeksjon på v Komponenten til ortonalt på v er Eksempel Vektoren [ = sin komponent i retningen gitt av v = er: v = v v v v = [ 5 ] VI kan så beregne lengden v : [ v = [ = 5 ] [ 5 v Adjungering Før vi kan generalisere projeksjon til C n, må vi utvide transponeringsoperasjonen litt Definisjon La a a a n a a a n A = a m a m a mn være en kompleks m n-matrise Den adjungerte av A er n m-matrisen a a a m A a a a m = a n a n a mn der radene kolonnene i A er byttet om, alt er komplekskonjugert Merk Å adjungere en reell matrise er det samme som å transponere den Eksempel Hvis vi lar A være matrisen 5i 0 i A =, i så er den adjungerte av A gitt ved: 5i A = 0 i i Hvis vi adjungerer denne matrisen igjen, så kommer vi tilbake til utgangspunktet: (A ) = A Vi tar med noen regneregler for adjungering Teorem For enhver matrise A har vi at å adjungere to ganger gir den opprinnelige matrisen: (A ) = A Hvis A B er matriser sik at produktet AB er definert, så er den adjungerte av produktet lik produktet av de adjungerte, i motsatt rekkefølge: (AB) = B A Indre- ytreprodukt La v være kolonnevektorer i C n Indreproduktet mellom dem er definert som: v = v + v + + v n n Ytreproduktet er: v v v n v v v v n = n v n v n v n = v v v n
Vi har definert indre- ytreprodukt for kolonnevektorer Det er ikke noe problem å sette opp tilsvarende definisjoner for rekkevektorer, men det skal vi ikke plage dere med Vi definerer lengden til en vektor v som v = v v, vi sier at v er ortonale dersom v = v = 0 Merk Dersom v er reelle, blir indreproduktet v = v T = v + v + + v n n = v slik du er vant til fra gymnaset Resultatet av dette produktet er en skalar, det er derfor man gjerne kaller det skalarproduktet Merk v v består av de kvadrerte absoluttverdiene til komponentene til v Merk Ytreproduktet v er en ikke inverterbar matrise, siden alle kolonnene er parallelle Eksempel I R er v ortonale dersom vinkelen mellom dem er π/ Eksempel 5 Vektorene er ortonale 0 Eksempel 6 Vektorene [ i] er ortonale 0 [ i Eksempel 7 Vektoren v = alle 0 har lengde for Vi tar med noen regneregler for indre- ytreprodukt Disse er lette å utlede, så vi dropper bevisene Teorem 8 Indreproduktet tilfredsstiller følgende regneregler: v = v (cv) = c(v ) = v (c) (v + u) = v + u v ( + u) = v + v u Det neste på posten er Pytagoras teorem Teorem 9 Dersom vektorene v er ortonale, er v = v + Bevis Vi vet at v = (v ) (v ) = v v v v + = v v v + = v + siden v v = 0 siden v = 0 v = 0 Projeksjon i C n En naturlig generalisering av projeksjon på v C n er lineærtransformasjonen P v = vv v v Assosiativiteten til matrisemultiplikasjon gir at vi kan skrive P v = vv v v = v v v v = v v v v så likheten med projeksjon i R er slående P v() P v() Hva er projeksjon? Eksempel 0 La oss projisere vektoren = 5i 0 i både på normalt på v = i Vi beregner: slik at v v = + i ( i) + = 6 v = ( 5i) + i 0 + i = 7i P v = v v v v = 7i i 6 P v () = v v v v = 5i 0 7i i = 09i 7 6 6 i 80i Mer om ortonalitet Definisjon En ortonal mengde er en mengde vekorer u, u,,u n, slik at u i u k = 0 for alle vektorer u i u k i mengden Dersom i tillegg u j = for alle vektorene, sier vi at mengden er ortonormal v
Eksempel Standardbasisen e, e,,e n for C n er en ortonal mengde Definisjon Dersom en ortonal mengde u, u,,u n spenner ut et rom V, sier vi at mengden er en ortonal basis for V Definisjon Det er vanlig å sette opp u, u,,u n som kolonner i en matrise U Vi sier da at U er en ortonal matrise Hvis vi har en ortonal basis for et rom, er det veldig lett å finne en vektors komponenter i rommet La oss si at vi ønsker å finne vektoren v sine komponenter i basisen u, u,,u n Komponentene til v er gitt ved likningen v = x u + x u + x n u n = Ux Hvis vi ganger begge sider av denne likningen med U, får vi U v = U Ux, siden kolonnene til U er ortonale, blir den kvadratiske matrisen U U diagonal: u u 0 0 0 0 u u 0 0 U U = 0 0 u u 0 0 0 0 u nu n Følgelig er løsningen av systemet U v = U Ux enkel å skrive opp Teorem La u, u,,u n være en ortonal basis for V, la v V I så fall kan v skrives v = P u v + P u v + + P un v = u v u u u + u v u u u + + u nv n u u n nu n Vi kan så projisere en vektor ned i et rom der den ikke hører hjemme Projeksjonen minimerer avstanden fra rommet til vektoren Teorem La u, u,,u n være en ortonal basis for V, la v / V Punktet v = P u v + P u v + + P un v = u v u u u + u v u u u + + u nv n u u n nu n er det punktet i V som har kortest avstand til v: v v = min v V Bevis Vi må først bevise at v v står ortonalt på V Rommet V er utspent av u, u,,u n Vi sjekker at v v står ortonalt på hver u j : (v v ) u j = v u j (v ) u j = v u j v u j = 0 Dersom V, ligger så v i V, da står v v v ortonalt på hverande Pytagoras teorem gir v = v v ( v ) = v v + v v v, for alle V, slik at v v v, v v = min v V Gram-Schmidts metode La v, v,,v n være en lineært uavhengig vektormengde Vi skal lage oss en ortonal basis u, u,,u n for rommet utspent av vektorene i mengden Vi begynner med å definere u = v Vektoren v er ikke nødvendigvis ortonal på u, men u = v P u v = v u v u u u er Vektoren u = v P u v P u v = v u v u u u u v u u u er ortonal på både u u De tre vektorene u, u u spenner ut det samme rommet som v, v v Nå kan vi fortsette slik, definere rekursivt k u k = v k P uj v k j= k = v k j= u j v k u j u u j j Teorem Mengden u, u,,u n er en ortonal basis for rommet utspent av v, v,,v n Bevis Vi bruker induksjon Det er lett å se at u u er ortonale: u u = u (v u v u u u ) = u v u v u u u u = u v u v = 0 Siden u u er ikketrivielle lineærkombinasjoner av de lineært uavhegnige vektorene v v, er det åpenbart at u u spenner ut det samme rommet som v v La nå V k = Sp{v, v,, v k } Vi antar at u, u,, u k er en ortonal basis for V k Vi må vise at u k står ortonalt på V k, at u, u,, u k spenner ut V k Vi sjekker indreproduktet av u j med u k Siden u j u m = 0 når j m, får vi u j u k = u j (v k = u j v k k m= k m= = u j v k u j v k = 0 u mv k u mu m u m ) u mv k u mu m u j u m
Vi ser altså at u k står ortonalt på alle u j, siden u, u,, u k er en ortonal basis for V k, står u k ortonalt på V k Siden v k er lineært uavhengig av u, u,, u k, u k er en lineærkombinasjon av V k u, u,, u k, spenner u, u,, u k ut V k Minste kvadraters metode Dette er en teknikk for å finne tilnærmede løsninger til systemer med flere likninger enn ukjente La oss si at A er en m n-matrise, x b er kolonnevektorer i C n, at vi ønsker å betrakte systemet Ax = b for m > n Dette systemet vil ikke ha noen løsning med mindre b tilfeldigvis ligger i kolonnerommet til A, så vi ønsker istedet å finne den x som minimerer avstanden fra Ax til b Hvis vi krever at vektoren Ax b står ortonalt på kolonnerommet til A, oppnår vi dette Altså må vi ha eller A (Ax b) = 0 A Ax = A b Dette er et n n-system som kalles normalligningene Løsningen av systemet gir den x som minimerer avstanden fra Ax til b Eksempel 5 Vi ønsker å bruke minste kvadrats metode på systemet med totalmatrise 0 i i i + i i Vi ganger matrisen på venstre side av ligningssystemet med sin adjungerte [ 0 i ] 0 i i får 0 i 0 0 i i = i i Vi ganger høyresiden med den adjungerte av venstresiden, får i 0 i 0 + i i = i i i i Løsningen av systemet med totalmatrise [ i ] i er i/ i/ Dette betyr at vektoren 0 i/ i i i/ = / + i i/ / + i er det punktet i kolonnerommet til matrisen 0 i i som minimerer avstanden til punktet i + i i Litt om polynominterpolasjon Hvis du har n + punkter (x i, y i ) i R, der x i er forskjellig for alle punkter, vil det generelt være mulig å finne et reelt polynom p(x) = a n x n + a n x n + + a x + a 0 hvis graf går gjennom alle disse punktene, altså at p(x i ) = y i for alle i n + Dette kalles interpolasjon Likningene over utgjør et (n+) (n+)-likningssystem for koeffisientene a i med totalmatrise x n x n x n n+ x n x y x n x y x n n+ x n+ y n+ Det kan vises at dette ligningssystemet alltid har entydig løsning så lenge x j x k for j k, men det skal vi ikke gjøre Det følger at du alltid kan interpolere n + punkter med et polynom av orden n på en entydig måte Eksempel 6 Vi prøver å finne et annengradspolyom som går gjennom punktene 0, 0 Et annengradspolynom skrives p(x) = ax + bx + c, så likningssystemet blir c = a + b + c = 0 a + b + c = Løsningen er a =, b = c =, slik at polynomet blir p(x) = x x + = (x ) Det er lett å sjekke at polynomet tar de rette verdiene i x = 0, x = x = Dersom man prøver å gjøre den samme prosessen med et polynom som har orden m < n, vil man få det overbestemte (n + ) (m + )systemet x m x m x m n+ x n x y x n x y x n n+ x n+ y n+ Bruker man så minste kvadrats metode på dette systemet, får man et polynom som passer ganske bra til punktene uten at grafen går gjennom hvert enkelt punkt - dette kalles regresjon
Eksempel 7 Vi prøver å finne et annengradspolyom som går gjennom punktene [ [ [ [ 0,, 0] ] Likningssystemet blir nå c = a + b + c = 0 a + b + c = 9a + b + c = Dette systemet har ingen løsning, men vi kan bruke minste kvadrats metode Matrisen er: 0 0 A =, 9 mens høyresiden b er: b = 0 Den adjungerte A er: 0 9 A = 0 Vi ganger A med A b, får 0 0 0 9 A A = 0 98 6 = 6 6 9 0 9 A b = 0 0 = 8 Vi må løse systemet A A = A b, altså systemet med totalmatrise 98 6 6 8 6 Løsningen er slik at polynomet blir 07708 0855 00089 p(x) = 07708x 0855x 00089 5