NORMALFORDELINGER, KOVARIANSMATRISER OG ELLIPSOIDER

Transkript

1 NORMALFORDELINGER, KOVARIANSMATRISER OG ELLIPSOIDER SIE 3080 STOKASTISKE OG ADAPTIVE SYSTEMER Oddvar Hallingstad 0. februar 00 Vi skal her utlede noen nyttige formler for arbeidet med kovariansmatriser og normalfordelinger. Stoffet er inndelt på følgende måte :. Egenskaper til symmetriske matriser.. Likelihood ellipsoider for normalfordelinger. 3. Sannsynligheten innenfor likelihood ellipsoider. 4. Projeksjon av likelihood ellipsoida. Egenskaper til symmetriske matriser. Teorem: Dersom P er en symmetrisk matrise så eksisterer det en ortonormal matrise M (M = M T ) som diagonaliserer P : Λ = M T PM (()) hvor Λ =[λ i δ ij ] er reell (reelle egenverdier). Teorem: Dersom M er den ortonormale egenvektormatrisa for P = P T så er Λ = M T P M (()) Likning (()) fås direkte ved åinvertere likning (()). Kommentarer : I Den symmetriske matrisa P = P T og dens inverse matrise P har den samme egenvektormatrisa, men inverse egenverdier. I NB : For at egenvektormatrisa skal være ortonormal må egenvektorene normaliseres. Eksempel: Teorema ovenfor kan brukes til å forenkle kvadratiske uttrykk. Vi antar : J = T P hvor P = P T ((3)) Da kan vi velge en ny tilstandsvektor q v.h.a. egenvektormatrisa M : = Mq ((4)) Det kvadratiske uttrykket i likning ((3)) kannåskrives: J = q T M T PMq = q T Λq = qi λ i ((5)) i=

2 Likelihood ellipsoider for normalfordelinger. Kovariansmatriser vil alltid være symmetriske fordi : n o P = E ( )( ) T = E n( o )( ) T T For å kunne knytte sannsynligheter til ei kovariansmatrise må sannsynlighettetthetsfunksjonen være gitt. Vi antar normalfordeling : p() = (π) n/ e ( )T P ( ) ((6)) / P Vi ser direkte av ((6)) at p() =konstant deþnerer hyperellipsoider. Siden eksponenten er et kvadratisk uttrykk kan vi velge nye variable (koordinatsystem) v.h.a. = Mq ((7)) hvor M er den ortonormale egenvektormatrisa. Likning ((6)) kan nå skrives : p() =p Mq = (π) n/ e qt Λ q ((8)) / Λ Transformasjonen ((7)) har dekomponeret i stokastisk uavhengige variable q. I det nye koordinatsystemet vil p() =konstant være en ellipsoide med halvaksene langs koordinataksene. Likninga for -σ ellipsoida er : q T Λ q i qi q = = λ i= i σ = ((9)) i= i Oppsummering :Dersom er normalfordelt med kovariansmatrise P er halvaksene i -σ ellipsoida gitt ved : p λi m i = σ i m i ((0)) hvor M =[m,m,...,m n ] km i k = er den ortonormale egenvektormatrisa for P (M = M T ) Eksempel: -dimensjonalt tilfelle q q λ m λ m Dersom n =kan vi rekne ut egenverdiene analytisk : σ, = λ, = p + p ± q (p p ) 4p (())

3 ψ =arctan λ p (()) p Ut fra Þguren ovenfor kan vi Þnne sammenheng mellom komponentene i og q i det todimensjonale tilfellet. ¾ = = q cos ψ q sin ψ ((3)) = = q sin ψ q cos ψ Elementene i kovariansmatrisa P kan uttrykkes v.h.a. halvaksene σ og σ (bruker likning ((3)): p = E ª = σ cos ψ + σ sin ψ p = E { } = σ σ sin ψ cos ψ p = E ª = σ sin ψ + σ cos ψ ((4)) 3 Sannsynligheten innenfor likelihood ellipsoider Sannsynligheten for at ligger innenfor ei hyperellipsoide Ω er gitt ved : p () d d...d n ((5)) Ω Likningene ((8)) og ((9)) indikerer at integralet kan forenkles ved å bytte koordinatsystem. Vi innfører: = Mq ((6)) Integralet ((5)) kan nå skrives : Ω p Mq M dq dq...dq n ((7)) Transformasjonen ((6)) har bare ßyttet og rotert koordinatsystemet, integrasjonsområdet er forsatt ellipsoida Ω. SidenM er en ortonormal matrise er M = og likning ((7)) kan skrives : Ω (π) n/ e qt Λ q dq / dq...dq n ((8)) Λ Ved å velge en ny tilstandsvektor (integrasjonsvariable), z, etter formelen q =[σ i δ ij ] z = Λ / z ((9)) får vi å integrere over ei kule Γ: Vi kan nå skifte over til sfæriske koordinater og integrere ut vinklene. Vi får : Γ (π) n/ e zt z dz dz...dz n ((0)) (π) n/ hvor g(r) er det sfæriske volumelementet. Sannsynligheten innenfor l σ ellipsoidene : n = : erf(l/ ) n = : e l / l n = 3 : erf(l/ ) p /πle l / 0 e r / g(r)dr (()) Tabellen nedenfor viser sannsynlighetene innenfor -σ, -σ og 3-σ ellipsoider (l=,,3) for henholdsvis -, - og 3-dimensjonale systemer (n=,,3) : 3

4 n\l 3 0,683 0,955 0,997 0,394 0,865 0, ,00 0,739 0,97 4 Projeksjon av likelihood ellipsoida. Problem: Finn projeksjonen av -σ ellipsoida ned på ei linje gjennom sentrum i ellipsoida og med retning e (kek = ). + t l e Likninga for -σ ellipsoida er gitt i likning ((9)). Denne kan også uttrykkes v.h.a. : ( ) T P ( ) = (()) Ekvipotensialßatene er altså gitt ved likninga : J () =( ) T P ( ) =konstant ((3)) Normalen til disse ßatene er gitt ved : dj () =P ( ) ((4)) d Det punkt, t, på periferien av -σ ellipsoida hvor tangenten til ellipsoida står normalt på linja deþnert av e, tilfredstiller følgende to krav. Normalen i punktet er parallell med e : P ( t ) =ke ((5)). Punktet ligger på -σ ellipsoida : ( t ) T P ( t ) = ((6)) Løsning av likningene ((5)) og ((6)) gir : t = p Pe ((7)) e T Pe Lengda av projeksjonen av ellipsoida ned på e blir : l = e T ( t ) = p e T Pe ((8)) Eksempel: 3 For e T =[δ kj ] (bare k 0 te element er forskjellig fra 0)fårvi: l = p ii ((9)) 4

5 Problem: Beregn variansen til den stokastiske variable y = e T ( ) hvor kek =. Løsning : Variansen er gitt ved : Var {y} = E n (y ȳ) o = E n e T ( ) o = e T Pe ((30)) Oppsummering :Variansen til den stokastiske variable y = e T ( ) er : Var {y} = e T Pe ((3)) Geometrisk er Var {y} lik projeksjonen av ellipsoida ned pålinja deþnert av e. Diagonalelementa for P kan beregnes v.h.a. likning (()) : P = MΛM T =[λ m, λ m,...,λ n m n ] M T ((3)) p ii = λ j m ij = j= ³p λj m ij j= ((33)) Sammen med likning ((9)) gir dette : Tolkning av diagonalen i P :Variansen er lik kvadratsummen av halvaksenes projeksjon ned på i -aksen: ³p p ii = λk m ik k= Geometrisk er p ii lik projeksjonen av ellipsoida ned på i -aksen. ((34)) 5