Matriser og matriseregning

Transkript

1 og matriseregning Halvor Aarnes, UiO, 2014 Matriser Innhold Matriser... 1 Determinant... 6 Ligningsystemer... 8 Matriseaddisjon og matrisesubtraksjon Matrisemultiplisering Egenverdier og egenvektorer Basis Prinsipalkomponenter og matriseregning Klassifikasjon og diskriminantanalyse Hadamard-produkt Cholesky dekomponering Kronecker-produkt Matriser En matrise er en firkantet tabell med tall ordnet i rader og kolonner. En mxn matrise har m rader og n kolonner. Matriser med bare en kolonne eller en rad kalles en vektor En radvektor (radmatrise) er en 1xn matrise og en kolonnevektor (kolonnematrise) er en nx1 matrise. En kolonnevektor K er en n x 1 matrise med bare en kolonne. Eller kolonnevektoren: 1 En radvektor R er en 1 xn matrise med bare en rad:

2 Eller radvektor,,, En 1x1 matrise er bare et tall, en skalar. I Albrecht Düreres Melencolia I er det et magisk kvadrat, med innslag av alkymistenes mystikk. Tallet 34 går igjen i flere av summeringene. 2

3 Fra Donald Duck nr. 10/ Alle hjørnene summeres til 34 - De fire tallene i midten summeres til 34-3 og 2 i første rad som vender mot 15 og 14 i fjerde rad summeres til 34-5 og 9 i første kolonne som vender mot 8 og 12 i fjerde kolonne summeres til 34 - De fire kvadratene i hvert hjørne adderes til 34 - Summeres kolonnene blir dette = 34 - Summen av diagonalene blir 34 En m x n matrise A har m rader og n kolonner: Hvis det er like mange rader som kolonner (m=n) så har vi en nxn kvadratmatrise. En n x n kvadratmatrise B har n rader og n kolonner 3

4 Vi kan transposere matrisen A vi startet med ved å bytte rader og kolonner og får den tranposerte matrisen A T : Transposering av en radvektor gir en kolonnevektor, og transposering av en kolonnevektor gir en radvektor. Hvis vi multipliserer en radvektor med den transposerte kolonnevektoren får vi et skalart kvadratprodukt: En matrise kalles symmetrisk hvis den er lik den transposerte matrisen: En kvadratmatrise n x n kalles en diagonalmatrise hvis alle komponentene er lik 0 bortsett fra hoveddiagonalen: En diagonalmatrise D: En diagonalmatrise hvor alle tallene på hoveddiagonalen er lik 1 og resten lik 0 (a ij = 1 når i = j og a ij =0 når i j) kalles en identitetsmatrise (enhetsmatrise) av orden n (I n ) 4

5 En matrise n xn A multiplisert med identitetsmatrisen gir den opprinnelige matrisen: Hvis A er en nxn kvadratmatrise så kalles A inverterbar eller ikkesingulær hvis det finnes en invers matrise A -1 slik at A matrisemultiplisert med A -1 er lik identitetsmatrisen. Hvis A er en invertibel 2x2 matrise dvs. det(a) 0 så vil Hvis A = (a ij ) er en n x n kvadratmatrise så er trace A lik summen av diagonalelementene: Nullmatrisen 0 har alle tall lik 0: Matrisen A multiplisert med nullmatrisen gir en nullmatrise. 5

6 I en transponert (transposert) matrise A T bytter rader og kolonner plass, men hoveddiagonalen blir lik den opprinnelige matrisen A: Transponerer en matrise med tallene 1:9 : Den transponerte metrisen A T : A Vi kan utføre matrisealgebra. A og B er to mxn matriser, og summen av dem A + B = B + A (kommutativ lov) blir lik summen av enkeltelementene. Tilsvarende for matrisesubtraksjon,men da A - B. En matrise kan bli multiplisert med en skalar k ved at alle elementene i matrisen blir multiplisert med k: Determinant Determinanten til en matrise er lik en skalar. Har vi en nxn kvadratmatrise A kan vi finne determinanten til matrisen deta. For en 2x2 matrise A blir determinanten A lik en skalar 6

7 Determinanten til matrisen M: det Det vil si lik produktet av diagonalen øverst venstre - nederst høyre minus produktet diagonalen øversthøyre nederst venstre. Determinanten til matrisen E: For en 3x3 matrise M blir determinanten detm = M : Vi kan også regne med determinanter. De kan adderes, bli multiplisert med en skalar. Hvis vi har to n xn matriser A og B så vil: 7

8 En kvadratisk n x n matrise er singulær hvis determinanten til matrisen er lik 0: ilsvarende, for en kvadratmatrise hvor determinanten er forskjellig fra 0, så er matrisen ikke-singulær. For to n xn matriser A og B hvor så er B en invers matrise til A, og A er en invers matrise til B. Det er bare mulig å invertere en matrise hvis determinanten til matrisen er forskjellig fra null. Hvis vi har en inverterbar matrise A: så vil den inverse matrisen A -1 være lik: 1 Hvis den transponerte n x n matrisen A T er lik den inverse matrisen A -1, (A T =A -1 )så kalles matrisen ortogonal. En matrise kalles ortogonal hvis produktet av matrisen med dens transposerte matrise er lik identitetsmatrisen (I). Ligningsystemer Vi kan løse lineære ligninger analytisk, dvs. vi trenger ikke bruke rekkereduksjon, og Gauss-Jordan eliminasjon. Generelt kan matriser benyttes til å løse m lineære ligninger med n ukjente: 8

9 Som betyr at: Koeffisientmatrisen A er en m x n matrise, x er en n x1 matrise (kolonnevektor) og b er en m x1 matrise. -1 I matriseform blir løsningen x = A b A er koeffisientmatrisen. Hvis b er lik en nullvektor kalles ligningssystemet homogent. Vi bruke matriseregning for å løse de to ligningene: Vi løser dette numerisk solve(a,b), Ax=b x=-1.733, y= Vi kan undersøke determinanten til A. For ligningssystemer av typen Ax = b hvor A er en n x n matrise så vil det(a) 0 tilsier en løsning og hvis det(a)=0 vil det si ingen eller mange løsninger. I eksemplet ovenfor blir determinanten =10, dvs. bare en løsning. For homogene ligninger hvor Ax=0 så vil det alltid være en løsning hvor x=0. Hvis det(a)=0 er det uendelig mange løsninger. Vi skal løse følgende ligningssystem

10 A er inverterbar, determinanten forskjellig fra 0. Vi løser numerisk og finner: x = 124, y = 75, z = 31 Med matrisealgebra har vi: Hvis A er en kvadratisk n xn matrise og determinanten til A er forskjellig fra null så får vi en entydig løsning av Ax = B lik x = A -1 B. Hvis deta = 0 og B 0 så har Ax = B ingen eller uendelig mange løsninger. Vi kan også løse et ligningssystem med komplekse tall: De numeriske løsningene (x,y) i kompleksplanet er lik ( i, i) En nxn matrise M er invertibel hvis det eksisterer en invers matrise M -1 og matrisemultiplisering (%*%) av disse blir lik identitetsmatrisen: Hvis det finnes en invertibel matrise C slik at sammenhengen med to nxn matriser K og L er slik at: så er matrisene K og L formlike. Det betyr også at matrisene K og L har like egenverdier. 10

11 For eksempel diagonalmatrisen D til K har egenverdiene langs diagonalen, og K sies å være diagonaliserbar hvis diagonalmatrisen D er formlik med K. Hvis en slik nxn matrise er diagonaliserbar har den n egenvektorer som er lineært uavhengige. Vi kan finne determinanten, egenverdier, egenvektorer og den transposerte matrisen. Matriseaddisjon og matrisesubtraksjon Matriseaddisjon av to matriser A og B er bare mulig hvis de har samme orden mxn, de må være addisjonskonforme. Matriseaddiasjon av 3x3 matriser: C+D= D+C CD Matrisesubtraksjon er en summering, men hvor den andre matrisen er multiplisert med skalaren -1. Matrisene må ha samme dimensjon mxn, dvs. være subtraksjonskonforme CD Matrisemultiplisering Matrisemultiplisering av to matriser, pxq matrise A og mxn matrise B er bare mulig hvis de er konforme for multiplisering, det vil si at det må være samme antall kolonner i den ene matrisen som rader i den andre. 11

12 Det vil si at vi får et matriseprodukt AB bare hvis q=m. Det er ikke nødvendigvis slik at AB=BA, og som nevnt må matrisene være multipliseringskonforme Multipliseringen AB skjer slik: Skal man matrisemultiplisere B%*%A er dette umulig, de er ikke multipliseringskonforme. Hvis vi har tre konformbare matriser A, B og C, så gjelder rotasjonsregelen for tracer: Selv om matriseproduktene blir forskjellige så blir summen av diagonalene, tracen, den samme Matrisemultiplisering ABC blir: Matrisemulitiplisering BCA blir: Matrisemulitiplisering CAB blir:

13 Men tracene blir like 48 Egenverdier og egenvektorer Hvis vi har en kvadratmatrise M så vil matrisen ganger egenvektorene (ν) være lik egenverdiene (skalarverdier λ ) ganger egenvektorene: Egenverdien med størst absoluttverdi kommer først. Egenvektorer og egenverdier benyttes i stabilitetsanalyse av differensialligninger via Jacobi-matrise med partiellderiverte, i prinsipalkomponentanalyse ved multivariabel statisikk, eller i generelle likevektsstudier. I dette eksemplet blir egenverdiene og egenvektorene komplekse tall Basis Alle vektorer x i det tredimensjonale vektorrommet R 3 kan skrives i form av tre lineært uavhengige enhetsvektorer som basis, en standardbasis: Vektorene u 1, u 2,,u k fra et undermengde av M vil danne en basis for M hvis alle vektorene x i M kan skrives som: Hvis man tar to basiser S = {s 1,s 2,,s n } og T = {t 1,t 2, t n } for R n, så kan vektorene i basis S skrives i form av vektorene med basis T hvor koeffisientene a nn danner en transformasjonsmatrise. 13

14 hvor transformasjonsmatrisen er: Man kan ha lineære transformasjoner fra et vektorrom til et annet, for eksempel fra R 3 til R 2, ved hjelp av en transformasjonsmatrise. For eksempel rotasjon av 2-D koordinatsystem rundt origo, så vil punktet P (a,b) får nye koordinater (x,y) i det nye koordinatsystemet, hvor (a,b) dreies vinkelen θ mot klokka. Se på en figur og finn at : eller: hvor transformasjonsmatrisen er: Eller omvendt: Vi har en matrise M med egenvektor ν og egenverdi λ: 0 0 hvor I 2 er enhetsmatrisen, og Iν=ν 14

15 Vi setter Vi skal finne egenvektoren med de ukjente α og β: Dette tilsvarer ligningene i følgende homogene ligningssystem, hvor α og β er ukjente: 0 0 Vi ønsker ikke-trivielle løsninger og derfor må følgende determinant være lik null. 0 Fra den karakteristiske ligningen bestemmes egenverdiene λ og deretter kan egenvektorene bestemmes. Prinsipalkomponenter og matriseregning Multivariable må reduseres i antall dimensjoner, hvor korrelerte variable erstattes med færre ukorrelerte variable. PCA (prinsipalkomponentanalyse), CA (korrespondensanalyse), DA (diskriminantanalyse) og NMDS (ikke-metrisk multidimensjonal skalering) er beregnet for data uten forklaringsvariable. CCA (kanonisk korrespondanseanalyse og RDA (redundensianalyse) er beregnet for både respons- og forklaringsvariable. Multivariable data kan reduseres i antall dimensjoner, hvor korrelerte variable erstattes med færre ukorrelerte variable. Prinsipalkomponent 1 (PC1) er en vektor gjennom datasettet og som forklarer det meste av den multivariable variasjonen. Prinsipalkomponent 2 (PC2) står ortogonalt på PC1, er ikke korrelert med denne og forklarer nest mest av variasjonen. 15

16 Prinsipalkomponentanalyse er å se på variasjon i variablene i et datasett X={x 1, x 2, x 3,, x n } sett i relasjon til et sett nye variable som vi lager Y={y 1, y 2, y 3,, y n }, kalt prinsipalkomponenter. Mens X er korrelert, så er Y er ukorrelert. Hver av y-verdiene er en lineær kombinasjon av x- variablene, med tilhørende koffisienter a. De første prinsipalkomponentene skal kunne forklare mest mulig av variasjonen i datasettet. Første prinsipalkompoent (y 1 )er en lineær kombinasjon av X, og som forklarer det meste av variasjonen. Den andre prinsipalkomponent (y 2 ) står normalt på den første (ortogonalt koordinatsystem) og hindrer derved at de blir korrelert. Vi har her n prinsipalkomponenter. Den andre prinsipalkomponenten skal forsøke å forklare mest mulig av den gjenværende variasjonen i datasettet, som blir igjen etter den første prinsipalkomponenten er funnet I matriseform blir løsningen hvor A er matrisen med koeffisienter. Koeffisientene må være slik at de gir maksimal varianse for y 1. Vi kan la,,,, Forutsetning for første prinsipalkomponent er at: 1 T hvor A 1 er den transformerte koeffisientmatrisen. For den andre prinsipalkompoenten y2 har vi:,,,, 16

17 Vi må sikre oss at første og andre prinsipalkomponent ikke blir korrelert og dette gjør vi ved: 1 0 Vi skal altså finne koeffisienter A 1 slik at variansen for første prinsipalkomponenten y 1 blir maksimal, samtidig som vi har T begrensningen A 1 A 1 =1 Lagranges multiplikatormetode kan hjelpe oss i å løse dette problemet, oppkalt etter den berømte franske matematikeren Joseph- Louis Lagrange ( ). Generelt er problemet å finne ekstremalverdiene for en funksjon f(x,y,z), eller i vårt tilfelle f(x,y,a). Hvis z kan uttrykkes som en funksjon av x og y, z=h(x,y) så består problemet i å finne maksimum av en ny funksjon F(x,y)=f(x,y,h(x,y). Imidlertid er det ikke sikkert at z kan uttrykkes som funksjon av x og y. Maksimumspunktet ligger på en kurve C som kan tenkes angitt som skjæring mellom to flater g 1 (x,y,z)=0 og g 2 (x,y,z)=0. Hvis vi lar t være en parameter som beveger seg langs kurven C hvor vi skal finne maksimum blir problemet nå forenklet til F(t)=f(x,y,z), og maksimumspunktet må finnes der hvor den førstederiverte er lik 0. F (t)=0. Vi har nå tre skalarligninger som må løses hvor konstantene λ1 og λ2 kalles Lagrange multiplikatorer. Uttryket som vektorfelt (partiellderiverte),, Det viser seg at løsningen av A 1 er egenvektoren til kovariansematrisen for prøven, tilsvarende den største egenverdien. Egenvektorene til en kovariansematrise er lik prinsipalkomponentene til fordelingen. Man finner deretter de andre prinsipalkomponentene y i med tilhørende egenvektorer A. i Kovariansematrisen,K, til prøven X er en matrise med variansene plassert i diagonalen. Matrisen som blir symmetrisk omkring diagonalen kalles også varianse-kovariansematrise. Kovariansene (cov()) mellom 17

18 hvert par med variable står utenfor diagonalen. Her er et eksempel med fire variable (x 1,x 2,x 3,x 4 ): x 1 x 2 x 3 x 4 x 1 var(x 1 ) cov(x 1,x 2 ) cov(x 1,x 3 ) cov(x 1,x 4 ) x 2 cov(x,x ) 2 1 var(x 2 ) cov(x 2,x 3 ) cov(x 2,x 4 ) x 3 cov(x 3,x 1 ) cov(x 3,x 2 ) var(x 3 ) cov(x 3,x 4 ) x 4 cov(x 4,x 1 ) cov(x 4,x 2 ) cov(x 4,x 3 ) var(x 4 ) Generelt hvis X og Y er tilfeldige variable så vil variansen til summen være lik: 2, Kovariansen er e t forventet (E) produk t:,, Nå r x og y er ikke-korrelert e r E(xy)=E( x)e(y) og kovariansen blir lik 0. Produktet av kovariansematrisen, K, og den inverse kovariansematrise (K -1 ) blir lik identitetsmatrisen I, en matrise med bare 1 på diagonalen og 0 for resten Generelt har vi for en kvadratmatrise A en invers matrise (A -1 ) slik at Hvor I er en identitetsmatrisen. Hvis alle variablene i en kovariansematrise er i form av enhetsvarianse så blir kovariansematrisen lik korrelasjonsmatrisen. I en korrelasjonsmatrise har man korrelasjonskoeffisientene (r) i stedet for kovarians e, og tallene i diagonalen blir lik 1. Generelt er korrelasjonskoeffisienten r er lik: 18

19 , hvor cov(x,y) er kovariansen mellom variablene x og y, s 2 x og s 2 y er variansen til henholdsvis variablene x og y. Hvis vi har 3 variable x 1 (3,5,6), x 2 (1,3,2), x 3 (2,1,1)hver med 3 observasjoner ordnet i kolonner i en matrise A: Kovarianse til matrise A ovenfor: Variansene står i diagonalen: Vi kan finne egenverdiene og egenvektoren til kovariansematrisen: De tre egenverdier til cov(a) e e e-17 Og de tilsvarende tre egenvektorer: [1] [2] [3] Vi kan sammenligne egenvektorene til kovariansematrisen med prinsipalkomponentene (PC) til matrise A og ser at de blir like: PC1 PC2 PC

20 Første prinsipalkomponent (PC1) viser retningen (vektoren) gjennom datasettet som forklarer det meste av variasjonen, prinsipalkomponent PC2 som står normalt på første prinsipalkomponent forklarer nest mest av variasjonen. Vi kan transformere datamatrisen, bytte rader og kolonner: Vi kan lage den inverse matrisen (A -1 ), numerisk løsning i R: e e e Vi har at den inverse av inversmatrisen gir den opprinnelige matrisen (A -1 ) -1 =A Vi kan matrisemultiplisere A -1 A som skal gi identitetsmatrisen I. Vi kan finne determinanten til A ( A ): 12 Trace er summen av diagonalelementene i en matrise e.g. for identitetsmatrisen I 3 blir dette lik 3. Vi finner trace til kovariansematrisen for datasettet cova (se over) som er lik summen av prinsipalkomponentene som også er lik summen av variansene var(x1)+var(x2)+var(x3)= Vi har generelt for egenverdier og egenvektorer: Hvis man har en kvadratmatrise A så har vi følgende sammenheng: hvor nu(v) er egenvektoren, og lambda (λ) er en skalar kalt egenverdi v er en egenvektor med egenverdi λ. 20

21 Egenverdiene til kovariansematrisen, K, til datasettet blir {λ1,λ 2,λ 3,,λ n }. Vi har også A it A i = 1, hvor A i er egenvektoren til kovariansematrisen. V i i ariansen til prinsipalkomponent y er lik egenverdien λ. Den totale variasjonen for prinsipalkomponentene blir lik summen av egenverdiene, og dette blir også lik den totale variansen i datasettet. Summen av prinsipalkompoentene kan angis som trace til kovariansematrisen K Prinsipalkomponent yi forklarer andelen P i av den totale variasjonen i datasettet ved: Klassifikasjon og diskriminantanalyse Generelt kan matriser benyttes til å løse m lineære ligninger med n ukjent. I faktoranalyse er det ikke vanlige kategoriske faktorvariable vi snakker om, men underliggende observasjoner som kan være vanskelig å måle. De bestemmes ved å se på korrelasjon mellom variablene. Det er mulig å utføre maksimum likelihood faktoranalyse på datamatrisen eller kovariansematrisen. Medlemskap i klasser basert på målte egenskaper. Kan brukes til alle mulige former for gruppering av objekter og til mønstergjenkjenning. Klyngemetoder lager grupper basert på kvantitative egenskaper, mål på ulikhet og likhet, og k objekter kan gi 2 k -1 grupper, øker eksponensielt med k. I hierarkisk klyngeanalyse samles klyngene fra den minste til den største klyngen (agglomerativ). Ved divisiv klyngeanalysene samles klyngene fra den største til den minste. 21

22 I ikke-hierarkisk klyngeanalyse er antall klynger k bestemt på forhånd og oppgaven er på best mulig måte å fordele prøven i k klynger. k- means clustering er den mest vanlige metoden for ikke-hierarkisk klyngeanalyse. Den er datamaskineffektiv siden den ikke er avhengig av en start med store datamatriser. Skal organisere n datapunkter i k forhåndsbestemte klynger, k<n. Start med å bestemme antall k. Fordel data tilfeldig i k klynger. Beregn sentroid (gjennomsnitt, senter) i hver klynge. La hvert datapunkt høre med til klyngen hvor sentroiden er nærmest, basert på en avstandsmatrise. Hvis det trengs reorganisering lag nye klynger, beregn sentroidkoordinatene for klynger som mister eller mottar datapunkter. Gjenta til det ikke trengs flere omorganiseringer Man må ha et mål på avstand, similaritet (likhet) eller dissimilaritet (forskjell). For dissimilaritet av kontinuerlige data kan Euklidsk avstand benyttes., Euklidsk avstand er følgsom for utliggere og ekstremverdier. Andre avstandmål er Manhattan avstand og max komponentavstand En lineær klassifiksjon kan kodes som 0/1, suksess/feil, ja/nei osv. Lineær diskriminantanalyse ble utviklet av R.A.Fisher i studiet av multivariate normalfordelte data, datasettet iris, brukt sammen med varianse-kovariansematrisen. I pakken MASS som lda(). Vi har g kjente klasser, W er innen klassen kovariansematrise og B er mellom klasser kovariansematrise (Se Venables & Ripley 2003). Multivariable må reduseres i antall dimensjoner, hvor korrelerte variable erstattes med færre ukorrelerte variable. PCA (prinsipalkomponentanalyse), CA (korrespondensanalyse), DA (diskriminantanalyse) og NMDS (ikke-metrisk multidimensjonal skalering) er beregnet for data uten forklaringsvariable. CCA (kanonisk korrespondanseanalyse og RDA (redundensianalyse) er beregnet for både respons- og forklaringsvariable. 22

23 Hadamard-produkt Matriser Vi kan finne Hadamardproduktet for to addisjonskonforme matriser hvor tilsvarende elementer i matrisen multipliseres med hverandre. Hadamardproduktet er kommutativt, assosiativt og distributivt Brukes blant annet til lossy bildekompresjon i jpeg. Vi lar matrise A være: Matrise B: B<-matrix(c(2,2,1,1),nrow=2);B [,1] [,2] [1,] 2 1 [2,] 2 1 Legg merke til at her brukes ikke matrisemultipliseringstegnet A*B [,1] [,2] [1,] 2 3 [2,] 4 4 Man kan finne Euklidsk Norm til en matrise, det er en skalar A og brukes til å finne graden av forskjell to mxn matriser med samme orden

24 Cholesky dekomponering Matriser Cholesky dekomponering (Cholesky faktorisering, André-Louis Cholesky) kan utføres på en positivt definert matrise, Hermit matrise (Charles Hermite), og som alltid har relle egenverdier større enn 0 Hvis A er en Hermit positiv definert matrise A være lik produktet av den øvre triangulære faktor R og dens transponerte konjugat: R har reelle og positive diagonalelementer, og R* er dens konkjugerte transponerte Cholesky dekomponering kan brukes til å løse ligninger av typen Ax=b hvor A er en symmetrisk matrise Den øvre triangulære faktoren til Cholesky dekomponeringen er slik at multipliseres den med den transponerte matrisen får man tilbake den opprinnelige matrisen. Kan ikke brukes på matriser med komplekse tall. Kronecker-produkt Et Kronecker-produkt av to matriser X og Y gir en blokkmatrise som har dimensjonen dim(x)*dim(y). Kronecker-produktet angis med et gangetegn omgitt av en sirkel, kalles også direkte produkt hvor hvert element i den første matrisen blir skalarmultiplisert med elementene i den andre matrisen. For eksempel en mxn 2x2 matrise Som eksempel har vi matrise X: Førs multiplisert med en skalar Y lik 2: Vi har en matrise Y 24

25 Kroneckermultiplisering Kroneckermultiplisering med en diagonalmatrise D: