Diskrete egenskaper. Egenskapsvektoren x antar kun diskrete verdier: v 1,v 2,...,v m. Endringer fra det kontinuerlige tilfellet er at:

Transkript

1 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Diskrete egeskaper Diskrete egeskaper Egeskapsvektore x atar ku diskrete verdier: v 1,v 2,...,v m. Edriger fra det kotiuerlige tilfellet er at: Z p(x w i )dx! P(v k w i ) (itegraler erstattes av summer) m og at Bayes regel skrives på forme: P(w i x)= P(x w i)p(w i ) P(x) (tettheter erstattes av sasyligheter). Utover dette ka desisjosteorie brukes som i det kotiuerlige tilfellet. Eksempler på diskrimiatfuksjoer: g(x i )=lp(x w i )+lp(w i ), i = 1,...,c.

2 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Oversikt Ihold i kurset Beslutigsteori (desisjosteori) Parametriske metoder Ikke-parametriske metoder Lieære og geeraliserte diskrimiatfuksjoer Feilrateestimerig og evaluerig av klassifikatorer Ikke-ledet lærig Klygeaalyse.

3 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Oversikt Parametriske metoder Maksimum-likelihood metode Faste me ukjete parametre Maksimaliserig av sasylighet for observerte sampler Bayesisk estimerig Stokastiske parametre med á priori fordelig Oppdaterig til á posteriori parameterfordelig ved hjelp av observerte sampler.

4 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Maksimum likelihood metode Maksimum-likelihood metode Likelihoodfuksjoe: p(x q )= p(x k q ) der x 1,x 2,...,x er treigssamplee, skal maksimaliseres med hesy til parametervektore q. Det er eklere å arbeide med logaritme til likelihoodfuksjoe, side produktet da erstattes med e sum. Log-likelihoodfuksjoe er maksimal for samme verdi av q som likelihoodfuksjoe selv, side logaritme er e mootot voksede fuksjo, og ka skrives som: L (q )= lp(x k q ). Dee fuksjoe skal maksimaliseres med hesy til q.

5 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Maksimum likelihood metode Likelihoodfuksjoe Likelihoodfuksjoe for et problem med é parameter. Målet er å fie de parameterverdie ˆq der fuksjoe er maksimum.

6 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Maksimum likelihood metode Maksimum likelihood metode (2) Maksimum fies ved å ta gradiete til log-likelihood fuksjoe: q L (q )= q lp(x k q ) og sette de lik ull. Dette gir følgede likigssystem for parametervektore: q lp(x k q )=0 som ka løses etter isettig av e tetthetsfuksjo p(x q ) med kjet form.

7 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Maksimum likelihood metode - eksempler Eksempel - Uivariat ormalfordelig Fordelige er her gitt ved: p(x µ,s 2 )= 1 p 2ps e (x µ) 2 2s 2 = N(µ,s 2 ) der de ukjete parametree er µ og s 2, dvs. parametervektore q har i dette tilfellet kompoetee q 1 = µ og q 2 = s 2. Maksimum likelihood løsigee er og ŝ 2 = 1 ˆµ = 1 x k (dvs. sampelmiddelet over X ) (x k ˆµ) 2 (dvs. sampelvariase over X ).

8 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Maksimum likelihood metode - eksempler Eksempel - Multivariat ormalfordelig De multivariate ormalfordelige er gitt ved apple 1 p(x µ, )= (2p) d/2 exp 1/2 1 2 (x µ)t 1 (x µ) Maksimum likelihood løsigee for de ukjete parametree µ og er og ˆ = 1 ˆµ = 1 x k (x k ˆµ)(x k ˆµ) t.