6.6 Anvendelser på lineære modeller Skal først se på lineær regresjon for gitte punkter i planet: det kan formuleres og løses som et minste kvadraters problem! I mere generelle lineære modeller er man ofte interessert å finne en best mulig tilpasning av gitte punkter i planet (med andre type funksjoner) og det kan også gjøres ved hjelp av minste kvadraters metode. Vi ser også litt på multippel regresjon i høyere dimensjoner. Viser først noen Matlab-illustrasjoner av det vi skal gjøre. 1/22
10 9 8 7 6 5 4 3 2 1 0 0.5 1 1.5 2 2.5 3 3.5 4 2/22
12 10 8 6 4 2 0 2 1 0 1 2 3 4 5 3/22
5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 4/22
5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 5/22
4 3 2 1 0 1 2 1 0 1 2 3 4 6/22
3.5 3 2.5 2 1.5 1 0.5 0 0.5 1 1.5 2 1 0 1 2 3 4 5 6 7/22
Lineær regresjon: Vi er gitt en (endelig) mengde av punkter i xy-planet (ofte med en viss måleusikkerhet i y-komponenten). Problemstillingen er da: Finn den rette linjen y = β 0 + β 1 x som best approksimerer disse punktene. Som kjent fra MAT1110 går det an å formulere (og løse) dette som et optimeringsproblem, der man skal finne minimum av en funksjon i to variabler. Vi skal heller løse problemet ved hjelp av lineær algebra og begynner med et eksempel. 8/22
Eksempel. Betrakt de fire punktene (0, 1), (1, 2), (2, 1), (3, 5) i xy-planet. Dersom en rett linje med likning y = β 0 + β 1 x skal gå gjennom de fire oppgitte punktene må altså y(0) = 1, y(1) = 2, y(2) = 1, y(3) = 5, β 0 + 0 β 1 = 1 β 0 + 1 β 1 = 2 β 0 + 2 β 1 = 1 β 0 + 3 β 1 = 5 Dette systemet er opplagt inkonsistent, dvs punktene ligger ikke på en rett linje. Vi skriver nå systemet på formen X β = y der 1 0 [ ] 1 X = 1 1 1 2, β = β0, y = 2 β 1 1. 1 3 5 9/22
Poenget er at vi kan nå beregne en minste kvadraters løsning β = ( β 0, β 1 ) av systemet X β = y. Merk at siden X har lineært uavhengige kolonner, så vil det finnes nøyaktig en slik løsning. Normallikningene gir systemet X T X β = X T y ( ) Utregning gir: [ ] 1 0 [ ] X T 1 1 1 1 X = 1 1 4 6 0 1 2 3 1 2 =, 6 14 1 3 [ ] 1 [ ] X T 1 1 1 1 y = 2 9 0 1 2 3 1 =. 19 5 [ ] [ ] 4 6 9 Dermed er ( ) lik β =. 6 14 19 10/22
Dette systemet har en entydig løsning β = ( β 0, β 1 ) gitt ved [ ] [ ] 1 [ ] [ ] β0 4 6 9 0.6 = =. β 1 6 14 19 1.1 Vi har altså funnet minste kvadraters løsning av systemet X β = y er β = (0.6, 1.1), og det gir oss linjen y = 0.6 + 1.1 x. Merk: Dette er nettopp linjen vi hadde fått ved vanlig lineær regresjon! Grunnen er at minste kvadraters metode gir oss vektoren β som minimaliser uttrykket y X β (som en funksjon av β). Men utregning gir y X β 2 = ( 1 β0 ) 2 + ( 2 (β0 +β 1 ) ) 2 + ( 1 (β0 +2β 1 ) ) 2 + ( 5 (β0 +3β 1 ) ) 2 og uttrykket i β 0 og β 1 ovenfor er nettopp det som skal minimaliseres ved lineær regresjon. 11/22
Generelt kan vi derfor utføre lineær regresjon slik : Anta at (x 1, y 1 ),..., (x m, y m ) er gitte punkter i planet (der x i x j når i j). Da er linjen y = ˆβ 0 + ˆβ 1 x som approksimerer disse punktene best mulig gitt ved at β = ( β 0, β 1 ) er (den entydige) minste kvadraters løsning av systemet X β = y der 1 x 1 y 1 1 x 2 X =.. og y = y 2.. 1 x m y m Linjen y = ˆβ 0 + ˆβ 1 x kalles ofte for minste kvadraters linje. 12/22
Minste kvadraters tilpasning med andre kurver Ofte vil en rett linje ikke være en god modell for gitte datapunkter. Det kan være andre typer funksjon vi ønsker å bruke for å tilnærme datapunktene best mulig. Vi skal betrakte lineære modeller: funksjonen vi ønsker å bestemme skal være en lineær kombinasjon av utvalgte grunnfunksjoner f 0 (x), f 1 (x),..., f n (x). I lineær regresjon er grunnfunksjonene f 0 (x) = 1 og f 1 (x) = x: lineære kombinasjoner av disse gir jo funksjoner på formen β 0 + β 1 x, m.a.o. rette linjer. I andre situasjoner kan grunnfunksjonene være: potensfunksjoner, trigonometriske funksjoner, eksponentialfunksjoner, logaritmer, etc. 13/22
Anta at (x 1, y 1 ),..., (x m, y m ) er gitte punkter i planet (der x i x j når i j) og at vi har bestemt oss for en lineær modell, med grunnfunksjoner f 0 (x), f 1 (x),..., f n (x). Sett da W = Span {f 0 (x), f 1 (x),..., f n (x)} og betrakt f (x) = β 0 f 0 (x) + β 1 f 1 (x) +... + β n f n (x) W. Grafen til f (x) vil gå eksakt gjennom alle de oppgitte punktene dersom f (x 1 ) = y 1, f (x 2 ) = y 2,..., f (x m ) = y m dvs. dersom β 0 f 0 (x 1 ) + β 1 f 1 (x 1 ) +... + β n f n (x 1 ) = y 1 β 0 f 0 (x 2 ) + β 1 f 1 (x 2 ) +... + β n f n (x 2 ) = y 2... β 0 f 0 (x m ) + β 1 f 1 (x m ) +... + β n f n (x m ) = y m 14/22
Dette gir likningssystemet X β = y der f 0 (x 1 ) f 1 (x 1 )... f n (x 1 ) β 0 y 1 f 0 (x 2 ) f 1 (x 2 )... f n (x 2 ) X =......, β = β 1., y = y 2.. f 0 (x m ) f 1 (x m )... f n (x m ) β n y m X kalles gjerne for designmatrisen, β for parametervektoren og y for observasjonsvektoren. Et slikt system vil ofte være inkonsistent (spesielt når m er stor og n er liten). Vektoren ε = y X β kalles gjerne residualvektoren. Vi har da at y = X β + ε og uttrykket ε = y X β angir et mål for feilen vi gjør (som en funksjon av β). 15/22
Vi kan nå finne minste kvadraters løsning av systemet X β = y. Dette gir oss vektorer β som minimaliserer feilen ε. Som oftest vil designmatrisen X ha lineært uavhengige kolonner, og β er da entydig bestemt. Funksjonen f (x) = β 0 f 0 (x) + β 1 f 1 (x) +... + β n f n (x) vil da være funksjonen i W som best approksimerer de oppgitte punktene, i følgende forstand: Vi vet at valget β = β gjør feilen ε minst mulig; dermed blir ε 2 = y X β 2 = (y 1 f (x 1 )) 2 + + (y m f (x m )) 2 minst mulig når β = β, dvs når f (x) = f (x). 16/22
Eksempel. Betrakt igjen punktene (0, 1), (1, 2), (2, 1), (3, 5). Vi ønsker å finne polynomet i P 2 som best approksimerer disse. Vi velger da f 0 (x) = 1, f 1 (x) = x, f 2 (x) = x 2, for da er W = Span {f 0 (x), f 1 (x), f 2 (x)} = Span {1, x, x 2 } = P 2. Dette gir oss systemet X β = y der f 0 (0) f 1 (0) f 2 (0) 1 0 0 2 1 0 0 X = f 0 (1) f 1 (1) f 2 (1) f 0 (2) f 1 (2) f 2 (2) = 1 1 1 2 1 2 2 2 = 1 1 1 1 2 4, f 0 (3) f 1 (3) f 2 (3) 1 3 3 2 1 3 9 1 β 0 β = β 1 og y = 2 1. β 2 5 17/22
Utregning gir 4 6 14 9 X T X = 6 14 35 og X T y = 19. 14 35 98 51 Normallikningene X T X β = y blir derfor 4 6 14 β 0 9 6 14 36 β 1 = 19. 14 36 98 β 2 51 Løsning av dette systemet gir at minste kvadraters løsningen av X β = y er ˆβ = ( 27 20, 23 20, 3 4 ) Polynomet vi skulle bestemme er derfor ˆf (x) = 27 20 23 20 x + 3 4 x 2. (Vi illustrerer dette med Matlab). 18/22
Eksempel. Betrakt nå punktene (0, 3), (1, 3), (2, 5), (3, 2). Vi ønsker å tilpasse disse punktene med en harmonisk svingning med periode 4. Som grunnfunksjoner velger vi f 0 (x) = 1, f 1 (x) = sin( π 2 x), f 2(x) = cos( π 2 x). En funksjon i W = Span {f 0 (x), f 1 (x), f 2 (x)} er da på formen f (x) = β 0 + β 1 sin( π 2 x) + β 2 cos( π 2 x). Vi får nå systemet X β = y der f 0 (0) f 1 (0) f 2 (0) X = f 0 (1) f 1 (1) f 2 (1) f 0 (2) f 1 (2) f 2 (2) f 0 (3) f 1 (3) f 2 (3) β 0 β = β 1 og y = β 2 19/22 = 3 3 5 2 1 0 1 1 1 0 1 0 1 1 1 0.
Det er enkelt å regne ut minste kvadraters løsning av dette systemet. (Vi kan f.eks. utnytte at kolonnene til X er ortogonale på hverandre). Vi finner at β = ( 3 4, 5 2, 4). Den harmoniske svingningen vi ønsket å bestemme er derfor f (x) = 3 4 + 5 2 sin(π 2 x) 4 cos(π 2 x). (Illustreres med Matlab). 20/22
Litt om multippel regresjon Man kan ogå foreta multippel regresjon for punkter i høyere dimensjonale rom. La oss f.eks. betrakte noen gitte punkter i R 3 : (u 1, v 1, w 1 ), (u 2, v 2, w 2 ),..., (u m, v m, w m ). Vi ønsker å tilpasse disse på best mulig måte med en funksjon som skal være en lineær kombinasjon av noen utvalgte grunnfunksjoner f 0 (u, v), f 1 (u, v),..., f n (u, v). En tilsvarende argumentasjon som i planet gir at funksjonen vi er ute etter er hvor f (u, v) = β 0 f 0 (u, v) + β 1 f 1 (u, v) +... + β n f n (u, v) β = ( β0, β 1,..., β n ) er minste kvadraters løsning av systemet X β = w der X = [ f j (u i, v i ) ] og w = (w 1, w 2,..., w m ). 21/22
I det enkleste tilfellet, som kalles lineær multipel regresjon, ønsker vi å finne et plan med likning w = β 0 + β 1 u + β 2 v som tilpasser de gitte punktene best mulig. Vi velger da grunnfunksjonene f 0 (u, v) = 1, f 1 (u, v) = u, f 2 (u, v) = v. Det gir systemet X β = w der 1 u 1 v 1 w 1 1 u 2 v 2 β 0 X =... β = β 1 w 2, w = β.. 2 1 u m v m w m og β = ( β 0, β 1, β 2 ) er da minste kvadraters løsning av dette systemet. (Illustreres med et Matlab-eksempel hvis tid). 22/22