Normalfordelingen. Univariat normalfordeling (Gaussfordelingen): der µ er forventningsverdien og σ 2 variansen. Multivariat normalfordeling:

Transkript

1 Normalfordelingen Univariat normalfordeling (Gaussfordelingen): p(x µ,σ 2 ) = 1 µ)2 (x e 2σ 2 = N(µ,σ 2 ) 2πσ der µ er forventningsverdien og σ 2 variansen. Multivariat normalfordeling: [ 1 p(x µ,σ) = (2π) d/2 exp 1 ] Σ 1/2 2 (x µ)t Σ 1 (x µ) = N(µ,Σ) der µ er forventningsvektoren og Σ er kovariansmatrisen.

2 Univariat normalfordeling Klassebetinget normalfordeling for klasse ω i, der forventningsverdien er µ i og standardavviket er σ i.

3 Bivariat normalfordeling

4 Bivariat normalfordeling (2) µ Bivariat normalfordeling representert ved ellipser med konstant tetthet (og konstant Mahalanobisavstand fra forventningsvektoren).

5 Diskriminantfunksjoner for multivariat normalfordeling En minimum feilrate beslutningsregel kan uttrykkes ved diskriminantfunksjoner på formen: g i (x) = ln[p(x ω i )P(ω i )] = lnp(x ω i ) + lnp(ω i ). Innsetting av den multivariate normalfordelingen: gir da: p(x ω i ) = 1 (2π) d/2 Σ i 1/2 e 1 2 (x µ i ) t Σ 1 (x µ i ) = N(µ i,σ i ) g i (x) = 1 2 (x µ i ) t Σ 1 i (x µ i ) d 2 ln(2π) 1 2 ln Σ i + lnp(ω i ).

6 Diskriminantfunksjoner for multivariat normalfordeling (2) Dette er generelt en kvadratisk diskriminantfunksjon som kan skrives på formen: der Desisjonsgrenser: W i = 1 2 Σ 1 i g i (x) = x t W i x + w t x + w i0, i = 1,...,c (d d matrise) w i = Σ 1 i µ t i (d 1 vektor) w i0 = 1 2 µt i Σ 1 i µ i 1 2 ln Σ i + lnp(ω i ) (1 1 skalar) Der g i (x) = g j (x),i j, forutsatt at ingen andre funksjonsverdier er større, Gir hyperkvadratiske flater (eksempelvis sirkler, ellipser, parabler, hyperbler og rette linjer i planet).

7 Kvadratiske desisjonsgrenser for toklasseproblemet µ 1 µ 2 Kvadratiske desisjonsgrenser for toklasseproblem med ulike (men i dette tilfellet diagonale) kovariansmatriser. Desisjonsgrensene er i dette tilfellet hyperbler (blå kurver).

8 Like kovariansmatriser Dersom like kovariansmatriser for alle klasser (Σ i = Σ) kan diskriminantfunksjonene forenkles. Den kvadratiske diskriminantfunksjonen: fra det generelle tilfellet reduseres til: g i (x) = x t W i x + w t i + w i0 g i (x) = w t i + w i0 siden det kvadratiske leddet kan fjernes fordi W i = W = 1 2 Σ 1 = konstant. Resultatet er lineære diskriminantfunksjon der: w i = Σ 1 µ i w i0 = 1 2 µt i Σ 1 µ i + lnp(ω i ) (siden 1 ln Σ = konstant). 2

9 Lineære desisjonsgrenser for toklasseproblemet - like kovariansmatriser µ i x 0 µ j w To klasser med like kovariansmatriser (og her like á priori sannsynligheter).

10 Diagonale kovariansmatriser med like varianser Anta felles diagonal kovariansmatrise med like varianser, dvs: Σ i = Σ = σ 2 I. En toklasse diskriminantfunksjon mellom ω i og ω j er også her lineær: g(x) = w t x + w 0 med vektvektor forenklet til: og skalarvekt til: w = Σ 1 (µ i µ j ) = (µ i µ j ) σ 2 w (µ i µ j ) w 0 = ( µ i 2 µ j 2 ) 2σ 2 + ln P(ω i) P(ω i ).

11 Lineære desisjonsgrenser for toklasseproblemet - diagonale kovariansmatriser med like varianser µ i x 0 w µ j Desisjonsgrensen står normalt på linjen mellom forventningsvektorene. Plasseringen bestemt av á priorisannsynlighetene, mens orienteringen er gitt av vektvektoren.