Matematisk statistik för D, I, Π och Fysiker

Transkript

1 Matematisk statistik för D, I, Π och Fysiker Föreläsning 16 Johan Lindström 11 december 2018 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 1/32 Repetition Linjär regression Modell Parameterskattningar Intervall för linjen Exponentiella samband Stokastiska vektorer Kovariansmatris Linjärkombinationer Multipel regression Skattningar Ex: Antal frostdagar Konfidensintervall Modellvalidering Polynomregression Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 2/32 Modell Skattningar Intervall μ Repetition Linjär regression Modell Parameterskattningar Intervall för linjen Exponentiella samband Stokastiska vektorer Kovariansmatris Linjärkombinationer Multipel regression Skattningar Ex: Antal frostdagar Konfidensintervall Modellvalidering Polynomregression Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 3/32

2 Linjär regression Modell Skattningar Intervall μ Modell (Kap 142; Stencil 4) Vi har n st par av mätvärden (x i, y i ), i = 1,, n där y i är observationer av Y i = α + βx i + ε i där ε i är oberoende av varandra, och ε i N (0, σ) Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 4/32 Modell Skattningar Intervall μ Parameterskattningarna (Kap 143; Stencil 41) Skattningarna av α, β β = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 α = ȳ β x = S xy ( ) σ N β, Sxx 1 N α, σ n + x2 och s 2 = (σ 2 ) är s 2 = Q 0 n 2 där Q 0 = Q 0 σ 2 χ2 (n 2) n i=1 (y i α β x i ) 2 = S yy S2 xy Skattningarna α och β är dock inte oberoende av varandra Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 5/32 Modell Skattningar Intervall μ Konfidens- & Prediktionsintervall (Kap 144; Stencil 43 44) Konfidensintervall för linjen, μ 0, vid x 0 : I μ0 = α + β x 0 ± t a/2 (n 2) s 1 n + (x 0 x) 2 Prediktionsintervall för en ny mätning, Y(x 0 ), vid x 0 : I Y(x0 ) = α + β x 0 ± t a/2 (n 2) s n + (x 0 x) 2 Kalibreringsintervall (Stencil 45) Kalibreringsintervall för x 0 = y 0 α β givet en mätning y 0, I x0 = x 0 ± t a/2(n 2) s β n + (x 0 x)2 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 6/32

3 Repetition Linjär regression Modell Parameterskattningar Intervall för linjen Exponentiella samband Stokastiska vektorer Kovariansmatris Linjärkombinationer Multipel regression Skattningar Ex: Antal frostdagar Konfidensintervall Modellvalidering Polynomregression Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 8/32 Linjärisering av exponentiella samband (Stencil 47) För att få ett linjärt samband y i = α + βx i + ε i kan vissa exponent- och potenssamband logaritmeras z i = a e βx i ε i z i = a t β i ε i ln ln ln z i }{{} y i ln z i }{{} y i = ln a }{{} α +β x i + ln ε i }{{} ε i = ln a +β ln t }{{}}{{} i α x i + ln ε i }{{} ε i Om de multiplikativa felen, ε i, är lognormalfördelade blir ln ε i N och vi kan använda linjär regression för att skatta ln α och β Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 9/32 Antal transistorer Antal transistorer hos Intelprocessorer 8086 Intel386 TM 286 Intel Itanium 2 Intel Itanium Intel Pentium 4 Intel Pentium III Intel Pentium II Intel Pentium Intel486 TM Lanseringsår Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 10/32

4 Exempel: Moores lag Figuren på föregående slide är baserad på Moores Lag 1965 framförde Gordon Moore (en av Intels grundare) tesen att antalet transistorer på ett chip fördubblas vartannat år (wwwcsutexasedu/~fussell/courses/cs352h/papers/ moorepdf) Genom att anpassa en exponential funktion till data fås följande ln z i = x i z i = exp(035 x i ) där z i är antalet transistorer och x i är lanseringsår Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 11/32 5 x 108 Skattat samband: y = e 035 x Antal transistorer Lanseringsår Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 12/32 Samband vikt och hjärnstorlek Elefant (Afr) Elefant (Ind) log(hjärnvikt) [g] Mullvad Råtta Hamster Människa Giraff Chimpans Häst Åsna GorillaKo Rhesus apa Får Gris Jaguar Varg Potar apa Get Känguru Katt Kanin Ekorrbäver Marsvin Brachiosaurus ( ) Triceratops ( ) ( ) Diplodocus Mus log(kroppsvikt) [kg] Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 13/32

5 Kovariansmatris Linjärkombinationer Repetition Linjär regression Modell Parameterskattningar Intervall för linjen Exponentiella samband Stokastiska vektorer Kovariansmatris Linjärkombinationer Multipel regression Skattningar Ex: Antal frostdagar Konfidensintervall Modellvalidering Polynomregression Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 14/32 Kovariansmatris Linjärkombinationer Stokastiska vektorer (Stencil 5) En stokastisk vektor är en kolonnvektor där elementen är stokastiska variabler X = X 1 X n Väntevärdetsvektorn för en stokastisk vektor (eller matris) bildas genom att ta elementvisa väntevärde av X, E(X 1 ) μ 1 μ = E(X) = = E(X n ) μ n Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 15/32 Kovariansmatris Linjärkombinationer Kovariansmatris (Stencil 5) Varianser och kovarianser mellan elementen i en stokastisk vektor samlas i en kovariansmatris Σ = V(X) = E [(X μ)(x μ) ] V(X 1 ) C(X 1, X 2 ) C(X 1, X n ) C(X 2, X 1 ) V(X 2 ) C(X 2, X n ) = C(X n, X 1 ) C(X n, X 2 ) V(X n ) Kovariansmatrisen är 1 Symmetrisk Σ = Σ 2 Har varianser på diagonalen Σ ii = V(X i ) 3 Har icke-negative (oftast positiva) egenvärde λ i 0 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 16/32

6 Linjär funktion av en stokastisk vektor Kovariansmatris Linjärkombinationer Stokastisk vektor Y = AX + b Y = ax + b En variabel E(Y) = E(AX + b) = AE(X) + b = E(Y) = E(aX + b) = ae(x) + b = = Aμ X + b = aμ X + b V(Y) = V(AX + b) = AV(X)A = V(Y) = V(aX + b) = a 2 V(X) = = AΣ X A = a 2 σ 2 X Om alla element i X är normalfördelade, dvs från en multivariat normalfördelning, så är även linjärkombinationer av X, tex Y, normalfördelade Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 17/32 Repetition Linjär regression Modell Parameterskattningar Intervall för linjen Exponentiella samband Stokastiska vektorer Kovariansmatris Linjärkombinationer Multipel regression Skattningar Ex: Antal frostdagar Konfidensintervall Modellvalidering Polynomregression Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 18/32 Multipel regression (Stencil 61) Modellen y i = β 0 + β 1 x i1 + + β p x ip + ε i, kan skrivas på matrisform som Y = Xβ + E ( ε i N 0, σ 2) oberoende där Y och E är n 1-vektorer, β en (p + 1) 1-vektor och X en n (p + 1)-matris y 1 1 x 11 x 1p β 0 y 2 y =, X = 1 x 21 x 2p, β = β 1,E = y n 1 x n1 x np β p ε 1 ε n Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 19/32

7 Skattning av β och σ 2 (Stencil 62) MK-skattningar av β 0,, β p (elementen i β) blir β = (X X) 1 X Y V (β ) = σ 2 (X X) 1 och skattning av σ 2 är s 2 = där residualkvadratsumman ges av Q 0 = Q 0 n (p + 1) n ( yi β0 β 1 x 1i βpx ) 2 pi i=1 = Y Y β X Y Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 20/32 enwikipediaorg/wiki/ordinary_least_squares#/media/file: OLS_geometric_interpretationsvg Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 21/32 Skattningarnas fördelning (Stencil 63) Skattningarna av β är linjära funktioner av Y och är därmed normalfördelade β i N (β i, D(β i )), D(β i )2 ges av diagonalelementen i kovariansmatrisen V(β0 ) C(β 0, β 1 ) C(β 0, β k ) V(β ) = σ 2 (X X) 1 C(β1 =, β 0 ) V(β 1 ) C(β 1, β k ) C(βk, β 0 ) C(β k, β 1 ) V(β k ) Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 22/32

8 Exempel: Antal frostdagar I West Virginia har man under ett antal år mätt antalet frostdagar på olika orter Följande data har registrerats Y: Medelantalet frostdagar per år x 1 : Ortens höjd över havet (ft) x 2 Ortens nordlig breddgrad ( ) Skatta parametrarna i modellen Y i = β 0 + β 1 x 1i + β 2 x 2i + ε i y Medelantal frostdagar x1 Höjd över havet x2 Nordlig latitud Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 23/32 Exempel: Antal frostdagar För data fås följande värden: 270 X Y = Q 0 = (X X) 1 = Bestäm: 1 Skattningar av β 2 Konfidensintervall för β 1 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 24/32 Det anpassade regressionplanet mellan antalet frostdagar och höh samt latitud Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 25/32

9 Konfidensintervall för β i (Stencil 63) Konfidensintervall för β i blir alltså Där d(β i ) är I βi = β i ± t a/2 (n p 1) d(β i ) d(β i ) = s element(ii) i (X X) 1 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 26/32 Skattning av punkt på planet (Stencil 64) Y-s väntevärde i en punkt x 0 = [ x1 0 x2 0 xp] 0 ges nu av k μ Y (x0 ) = β0 + βi x0 i i=1 V(μ Y (x 0)) = σ 2 x 0 ( X X) 1 x 0 Ett konfidensintervall för μ Y (x 0 ) blir ) 1 I μy (x 0 ) = μ Y (x0 ) ± t a/2 (n p 1) s x (X 0 X x 0 För prediktionsintervallet fås, som tidigare, genom att lägga till en etta under kvadratroten ) 1 I Y(x 0 ) = μ Y (x0 ) ± t a/2 (n p 1) s 1 + x (X 0 X x 0 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 27/32 Exempel: Antal frostdagar För data fås följande värden: 270 X Y = Q 0 = (X X) 1 = Skatta medelantalet frostdagar och ett 95%-konfidensintervall då x 1 = och x 2 = 39 Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 28/32

10 Osäkerhet in regressionplanet Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 29/32 Modellvalidering (Stencil 65) Precis som för enkel regression undersökas residualerna e = y Xβ, och förvisssa sig om att de verkar vara oberoende och N (0, σ)-fördelade Plotta residualerna 1 Som de kommer, dvs mot 1, 2,, n Ev ett histogram 2 Mot var och en av x i -dataserierna 3 I en normalfördelningsplot För var och en av β 1,, β k (obs i regel ej β 0 ) bör man kunna förkasta H 0 i testet H 0 : β i = 0 H 1 : β i 0 eftersom β i anger hur mycket y beror av variabeln x i Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 30/32 Polynomregression (Stencil 68) Om y är ett polynom av x, dvs vi har Y i = β 0 + β 1 x i + β 2 xi β k xi k + ε i och funktionen är linjär i β k Genom att samla polynomen av x i en matris 1 x 1 x1 2 x k 1 1 x 2 x2 2 x k 2 X = 1 x n xn 2 xn k kan parametrar skattas på samma sätt som tidigare Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 31/32

11 Polynomregression (Stencil 68) Om y är ett polynom av x, dvs vi har Y i = β 0 + β 1 x i + β 2 xi β k xi k + ε i och funktionen är linjär i β k Genom att samla polynomen av x i en matris 1 x 1 x1 2 x k 1 1 x 2 x2 2 x k 2 X = 1 x n xn 2 xn k kan parametrar skattas på samma sätt som tidigare Johan Lindström - johanl@mathslthse FMSF45/MASB03 F16 32/32