Gauss-eliminasjon og matrisemultiplikasjon

DUMMY Gauss-eliminasjon og matrisemultiplikasjon Lars Sydnes 9 september 2015 Sammendrag Dette notatet handler om hvordan man løser lineære ligningssystemer, altså systemer av flere ligninger i flere ukjente, og inngår i pensum i faget RF5100 Lineær Algebra ved Westerdals Høyskole (tidl NITH) Innhold 1 Litt om matrisemultiplikasjon 1 11 Begrepet lineærkombinasjon 1 12 Matrisemultiplikasjon på søyle-form 2 13 Matrisemultiplikasjon på rad-form 2 2 Radoperasjoner uttrykt ved matrise-operasjoner 3 21 Tilfelle 1: Ombyttingsmatriser 3 22 Tilfelle (ii): Rad-kombinasjoner 5 3 Gauss-eliminasjon uttrykt ved matriser 6 31 Gjenbruk av radoperasjoner I 7 32 Gjenbruk av radoperasjoner II 8 4 Den inverse matrisen 10

1 Litt om matrisemultiplikasjon I dette kapittelet skal vi se At vi kan beskrive Gauss-eliminasjon ved hjelp av matrisemultiplikasjon At Gauss-eliminasjon kan hjelpe oss til å behandle matriser V ser på to matriser X og Y slik at matriseproduktet Y X er definert, dvs at antall søyler i Y er lik antallet rader i X Vi skriver opp X på søyle-og radform: Her er r i rad nr i X, mens x j er søyle nr j i X X er altså tydeligvis en n m-matrise, siden matrisen har n rader og m søyler 11 Begrepet lineærkombinasjon Før vi setter i gang med diskusjonen er det praktisk å etablere begrepet lineærkombinasjon Hvis x 1, x 2, x 3 er tre vektorer og k 1, k 2, k 3 er tre skalarer, så kalles kombinasjonen k 1 x 1 + k 2 x 2 + k 3 x 3 for lineærkombinasjonen av x 1, x 2 og x 3 med koeffesienter k 1, k 2 og k 3 Her må vi huske på at det ikke er alle vektorer det gir mening å kombinere på denne måten: Det gir for eksempel liten mening å legge en vektor med 3 komponenter sammen med en vektor med 2 komponenter Vektorer som vi kan legge sammen noe uformelt sies å tilhøre samme vektorrom 1 Vi kan også snakke om villkårlige lineærkombinasjoner: Hvis x 1,, x n er vektorer som tilhører samme vektorrom og k 1,, k n er skalarer, så er k 1 x 1 + + k n x n lineærkombinasjonen av x 1,, x n med koeffesienter k 1,, k n Denne lineærkombinasjonen ligger i samme vektorrom som x 1,, x n, pr definisjon av begrepet vektorrom 12 Matrisemultiplikasjon på søyle-form Her skriver vi X på søyleform: X = [ x 1 x 2 x n ] Dette lar oss fremstille matriseproduktt Y X på følgende måte: 1 Vektorromsbegrepet er vanligvis definert på en helt annen måte, men vi forbeholder oss retten til å bruke begrepet på en uformell måte her

Y X = [ Y x 1 Y x 2 Y x n ] Hvis du vil kontrollere at dette stemmer, kan du sjekke hva element i, j i denne matrisen blir, og sammenligne med den vanlige definisjonen av matriseproduktet Nøkkelobservasjon Matriseproduktet Y X fremkommer ved at vi bruker matrisen Y til å transformere hver enkelt søyle i X 13 Matrisemultiplikasjon på rad-form Her skriver vi opp Y på radform: Når vi også skriver X på rad-form, og så kan vi fremstille rad i i Y X slik: r 1 r 2 Y = r n r i = [ y i1 y i2 y in ] q 1 q 2 X =, q n r i X = y i1 q 1 + y i2 q 2 + + y in q n Denne raden er altså en lineærkombinasjon av radene q 1,, q n i X, med koeffesienter y i1,, y in Nøkkelobservasjon Radene i matrisen Y er oppskrifter på hvordan vi skal danne radene i Y X som lineærkombinasjoner av radene i X

2 Radoperasjoner uttrykt ved matrise-operasjoner La oss si at vi skal løse et ligningsystem, og at vi har dannet koeffesientmatrisen X Når vi løser ligningssystemet, tillater vi oss å gjøre tre ulike operasjoner: (i) Bytte om to rader i X (ii) Erstatte en rad q i i X med en lineærkombinasjon aq i + bq j, der a 0 (iii) Skalere en rad i X med en skalar a 0 Legg merke til at denne operasjonen faller inn under tilfelle (ii), når vi setter b = 0 Vi har, i seksjon?? sett at det er en klar sammenheng mellom radoperasjoner og matrisemultiplikasjon Nå skal vi tydeliggjøre dette i de tre tilfellene over 21 Tilfelle 1: Ombyttingsmatriser Oppgave 1: Regn ut matriseproduktene (i) [ ] [ ] 0 1 5 1 0 2 (ii) 1 0 0 a 0 0 1 b 0 1 0 c (iii) 1 0 0 0 1 2 3 0 1 0 0 2 3 4 0 0 0 1 3 4 5 0 0 1 0 4 5 6 Vi ser på dette som operasjoner på matrisen til høyre Beskriv kort hva som skjer med radene til denne matrisen 211 Teoretisk drøfting La oss si at vi ønsker å bytte om rad i med rad j i matrisen X, ved å gange med en matrise y 11 y 12 y 1k y 21 y 22 y 2k Y = y k1 y k2 y kk Hvis q k representerer rad k i X og q i representerer rad i i Y X, så har vi, som over n q i = y i1 q 1 + + y ik q n = y ik q k Når vi krever at q i = q j, må alle y i1,, y ik = 0, unntatt y ij = 1 Når vi ser på rad j q j i Y X på samme måte, ser vi at y j1,, y jk = 0, unntatt y ji = 1 På tilsvarende måte kan vi overbevise oss om at de resterende elementene i Y må k=1

være lik 0, unntatt diagonalelementene y ii som må være lik 1, siden q k = q k, når k i, j Eksempel: Hvis X har 4 rader, og vi ønsker å bytte om de to nederste radene, kan vi altså bruke matrisen 1 0 0 0 Y 1 = 0 1 0 0 0 0 0 1 0 0 1 0 Hvis X har 2 rader, som vi ønsker å bytte om, kan vi altså bruke matrisen [ ] 0 1 Y 2 = 1 0 Oppgave 2: Overbevis deg om at matrisene Y 1 og Y 2 gjør det teksten lover 212 Sidespor: Ombyttingsmatriser er reverserbare Hvis vi bytter om rad i med rad j to ganger, havner vi tilbake til utgangspunktet Hvis Y er matrisen for ombytting av rad i med rad j, og X er en hvilken som helst matrise med like mange rader som Y, så er Y (Y X) = X Hvis vi feks lar X være identitetsmatrisen I, så får vi Y (Y I) = Y Y = I Det vil si: Hvis vi ganger matrisen med seg selv, så sitter vi igjen med identitetsmatrisen Vi vil ofte uttrykke dette som at Y 2 = I Nøkkelobservasjon: Ombytting er en reversibel operasjon, og ombyttinger kan reverseres ved at de blir gjentatt Dette er kanskje ekstremt opplagt, men det er en viktig observasjon å ha med seg videre 22 Tilfelle (ii): Rad-kombinasjoner Oppgave 3: Regn ut matriseproduktene (i) [ ] [ ] 1 1 a 0 1 b (ii) 1 0 0 0 q 1 2 4 0 0 q 2 0 0 1 0 q 3 0 0 0 1 q 4 Her er a og b skalarer, mens q 1,, q 4 er rad-vektorer Beskriv så kort hva som skjer med radene i matrisene på høyre side av produktene

Hvis vi ønsker at rad i q i i Y X skal være lik aq i + bq j, så må rad i i Y se slik ut: [ 0 0 a 0 0 b 0 0 ] plass i plass j Altså: Element i er lik a, element j er lik b Resten er lik 0 Eksempel: Hvis X er en matrise med 4 rader, så vil feks matrisen 1 0 0 0 Y = 2 4 0 0 0 0 1 0 0 0 0 1 erstatte rad 2 i X med 2q 1 + 4q 2 221 Sidespor: Radkombinasjonsmatriser er reverserbare La oss si at vi erstatter raden q i med kombinasjonen q i = aq i + bq j Denne operasjonen kan vi reversere ved å erstatte q i med kombinasjonen siden 1 a q i a b q j, 1 a q i a b q j, = 1 a (aq i + bq j ) b a q j = bq i + b a q j b a q j = q i Det betyr at hvis Y er matrisen som erstatter rad i med kombinasjonen aq i +bq j og Y er natrisen som erstatter rad i med kombinasjonen 1/aq i b/aq j, og vi gjør de to operasjonene etter hverandre, så vil Y (Y X) = X Dette betyr at Y Y = I Men, legg merke til at det er en uuttalt forutsetning her: Skalaren a må være forskjellig fra 0 Nøkkelobservasjon: Radkombinasjonsoperasjonen q i aq i + bq j er reversibel, under forutsetning av at a 0

3 Gauss-eliminasjon uttrykt ved matriser Gauss-eliminasjon kan forstås som en serie radoperasjoner, der hver enkelt operasjon kan beskrives ved hjelp av matriser: Utgangspunkt: X 0 = X Steg 1: X 1 = Y 1 X 0 = Y 1 X Steg 2: X 2 = Y 2 X 1 = Y 2 (Y 1 X) Steg 3: X 3 = Y 3 X 2 = Y 3 Y 2 Y 1 X Steg n: X n = Y n X n 1 = Y n Y n 1 Y 1 X Dette skal bety: Matrise Y 1 representerer den første radoperasjonen, mens Y 2 representerer den andre, osv Resultatet etter n operasjoner kan skrives som et matriseprodukt X n = (Y n Y n 1 Y 1 )X Dette viser at vi står overfor to likeverdige muligheter: Utføre en rekke radoperasjoner Multiplisere X med matrisen (Y n Y n 1 Y 1 ) Vi kan så å si si at (Y n Y n 1 Y 1 ) er et sammendrag av en serie radoperasjoner Oppgave 4: Se på ligningsystemene og (I) 2x + 3y = 2, x y = 4 (II) 2x + 3y = 1, x y = 3 Løs I ved å gjøre radoperasjoner på koeffesientmatrisen Skriv så opp de tilhørende matrisene Y 1, Y 2, Y n, og regn ut produktet A = Y n Y n 1 Y 1 Regn ut matriseproduktene A [ ] 2 4 A [ ] 1 3 Løs (II) ved å gjøre radoperasjoner

31 Gjenbruk av radoperasjoner I La oss se på et ligningsystem a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2 a n1 x 1 + a n2 x 2 + + a nn x n = b n Dette kan skrives som en matriseligning Ax = b, der a 11 a 12 a 1n a 21 a 22 a 2n A = a n1 a n2 a nn x 1 x 2 x = x n b 1 b 2 b = b n Hvis vi nå gjør en serie radoperasjoner på A 1 A A 1 A 2 A n = I = 1, 1 så får vi en tilsvarende sekvens av matriser Y 1, Y n slik at A 1 = Y 1 A, A 2 = Y 2 A 1 osv Hvis vi definerer så vil B = Y n Y n 1 Y 2 Y 1, BA = Y n Y n 1 Y 2 Y 1 A = A n = I Matrisen B kan vi nå bruke til å løse ligningen Ax = b Vi får siden BAx = Ix = x Ax = b BAx = Bb x = Bb, Konklusjonen er at vi kan bruke matrisen B til å løse ligningssystemet

Fortolkning Matrisen B er et sammendrag av de radoperasjonene som skal til for å omforme matrisen A til trappeformen I For å bestemme x, utfører vi de samme radoperasjonene på n 1-matrisen b Siden B er et sammendrag av disse radoperasjonene, holder det å regne ut Bb 32 Gjenbruk av radoperasjoner II Vi så over hvordan vi kunne ha veldig stor praktisk nytte av matrisen B = Y n Y n 1 Y 2 Y 1 Nå er vi på jakt etter en god algoritme for å regne ut B Algoritme 1 Definisjonen av B er nærmest en algoritme i seg selv: Utfør radoperasjoner, og skriv opp matrisene Y 1, Y 2,, Y n Gang deretter sammen matrisene, og bestem B = Y n Y n 1 Y 2 Y 1 Ulempen med denne algoritmen er at vi får veldig mange matriser å holde styr på, og at de fleste matriseelementene er lik enten 0 eller 1 Algoritme 2 Det er mulig å gjøre dette på en måte som er litt mer praktisk enn algoritme 1 Siden B = BI = (Y n Y n 1 Y 2 Y 1 )I, vet vi at B fremkommer ved å gjøre radoperasjonene representert ved Y 1,, Y n på I Dette gir oss følgende fremgangsmåte for å finne B: Utfør radoperasjoner for å forme A om til trappeformen I Når du bruker de samme radoperasjonene i den samme rekkefølgen på matrisen I, blir resultatet lik B Den mest praktiske fremgangmåten er å skrive opp en matrise med to blokker: [A I] Den første blokken er lik A, mens den andre blokken er identitetsmatrisen, dvs matrisen a 11 a 12 a 1n 1 0 0 a 21 a 22 a 2n 0 1 0 [A I] = a n1 a n2 a nn 0 0 1

Når vi gjør radoperasjoner, får vi en sekvens [A I] = [A 0 B 0 ] [A 1 B 1 ] [A n B n ] = [I B] Oppsummert gir dette følgende fremgangsmåte for å bestemme matrisen B: Utfør radoperasjoner på matrisen [A I] til det venstre kvadratet kommer på trappeform Da er det matrisen B vi sitter igjen med i det høyre kvadratet Eksempel Se på matrisen A = 0 1 1 1 0 1 1 1 0 Denne matrisen dukker feks opp i forbindelse med ligningsystemet y + z = 1, x + z = 2, x + y = 2 Nå skal vi finne den tilhørende matrisen B Det kan vi gjøre ved følgende rad-operasjoner: 0 1 1 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 1 0 0 0 1 0 1 1 0 1 1 1 1 0 0 0 1 0 1 1 1 0 0 0 1 1 1 0 0 1 0 1 0 1 0 1 0 1 0 1 0 0 1 1 0 1 1 0 1 1 0 1 1 0 0 2 1 1 1 0 0 1 1/2 1/2 1/2 1 0 0 1/2 1/2 1/2 0 1 0 1/2 1/2 1/2 0 0 1 1/2 1/2 1/2 I dette tilfellet ender vi altså opp med 1/2 1/2 1/2 B = 1/2 1/2 1/2 1/2 1/2 1/2 4 Den inverse matrisen I diskusjonen over var B en matrise som fungerte som et sammendrag av radoperasjoner på en matrise a 11 a 12 a 1n a 21 a 22 a 2n A = a n1 a n2 a nn

bestående av koeffesientene på venstre side i et system av n ligninger i n ukjente Det som kjennetegner matrisen B er at a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2 a n1 x 1 + a n2 x 2 + + a nn x n = b n BA = I Det er mulig å bevise at også $B(ABA) = B(A(BA)) = (BA) Dette kan skrives som en matriseligning der Ax = b,