Likningssystem for maksimum likelihood løsning

Transkript

1 Maksimum likelihood metode Likigssystem for maksimum likelihood løsig Treig av klassifikator ute merket treigssett. Atakelser (i første omgag): Atall klasser c er kjet, ÁpriorisasyligheteeP(w i ), i = 1,...,c er kjete, Tetthetsfuksjoee p(x w i, q i ), i = 1,...,c har kjet form (fuksjoer av q i ). E ødvedig betigelse for maksimum av L er gitt ved likigssystemet: P(w i x k, q) q i lp(x k w i, q i )=0, i = 1,...,c. k=1

2 Eksempel Eksempel - multivariate ormalfordeliger med ukjet forvetig Atar at fordeligee er gitt ved N(µ i, i ),i = 1,...,c der forvetigsvektore er ukjet. Løsige blir her: ˆµ i = k=1 µ =(µ t 1,...,µ t c )t P(w i x k, ˆµ)x k, i = 1,...,c. P(w i x k, ˆµ) k=1 Dette er et tilfredsstillede resultat, der samplee veies med áposteriorisasylighetee for hver klasse, dvs. de mest sasylige klasse gis størst vekt. Dette er imidlertid e implisitt løsig for forvetigsvektore (ige eksplisitt løsige).

3 Eksempel Løsig ved iterasjo Det implisitte likigssystemet ka løses iterativt ut fra startverdier ˆµ i (0) for forvetigsestimatee: ˆµ i (j + 1)= k=1 der estimatee av áposteriorisasylighetee er: P(w i x k, ˆµ(j))x k, i = 1,...,c, P(w i x k, ˆµ(j)) k=1 P(w i x k, ˆµ(j)) = p(x k w i, ˆµ i (j))p(w i ) c p(x k w l, ˆµ l (j))p(w l ) l=1 Her oppdateres estimatee rekursivt for j = 0,1,2,....

4 Eksempel Eksempel med to klasser To uivariat ormalfordelte klasser med ukjete forvetigsverdier, ehetlige variaser og ápriorisasylighetee P(w 1 )=1/3 ogp(w 2 )=2/3. Bladigstetthete er da gitt ved: p(x µ 1, µ 2 )= 1 apple 1 3 p 2p exp 2 (x µ 1) apple 3 p 2p exp 1 2 (x µ 2) 2 som fuksjo av de ukjete parametree µ 1 og µ 2. Trekker treigssett med = 60 sampler fra bladigstetthete med sae parameterverdiee µ 1 = 2ogµ 2 = 2. Ka da berege log-likelihood fuksjoe som fuksjo av de to (ukjete) parametree, dvs.: L (µ 1, µ 2 )= k=1 lp(x k µ 1, µ 2 ).

5 Eksempel Koturplott av log-likelihood fuksjoe Primært maksimum = -123,84 µ 2 Sekudært maksimum = -124,08 µ 1 Primært maksimum i [µ 1 = 2.7, µ 2 = 1.8] der L = Sekudært maksimum i [µ 1 = 1.7, µ 2 = 2.7] der L =

6 Eksempel Iterasjosprosesse med forskjellige startpukt µ 2 µ 1 Illustrasjo av iterasjosprosesse med forskjellige startpukt.

7 Eksempel Overflateplott av log-likelihood fuksjoe L (µ 1, µ 2 ) µ 2 µ 1

8 Eksempel Primær og sekudær løsig Estimerte tetthetsfuksjoer for hver løsig; primærløsige (blå kurve) og sekudærløsige (grøstiplet kurve). Samplee i datasettet er plottet ederst.

9 Geeraliserig Geeraliserig - ukjete á priori sasyligheter P(w i ), i = 1,...,c ka ikluderes blat de ukjete. Det ka vises at ˆP(w i ) og ˆq i må tilfredsstille likigssystemet der ˆP(w i )= 1 ˆP(w i x k, ˆq), i = 1,...,c k=1 ˆP(w i x k, ˆq) q i lp(x k w i, ˆq i )=0, k=1 ˆP(w i x k, ˆq )= p(x k w i, ˆq i ) ˆP(w i ) c p(x k w j, ˆq j ) ˆP(w j ) j=1 i = 1,...,c, i = 1,...,c. Dette forutsetter at L er deriverbar mhp. ˆP(w i ) og at ˆP(w i ) 6= 0forallei.

10 Geeraliserig - eksempel Eksempel - multivariate ormalfordeliger For p(x w i, q i )=N(µ i, i ) for alle klasser blir likigssystemet (ka vises): ˆP(w i )= 1 9 ˆP(w i x k, ˆq) k=1 ˆµ i = k=1 k=1 ˆP(w i x k, ˆq)x k ˆP(w i x k, ˆq) ˆP(w i x k, ˆq)(x k ˆµ i )(x k ˆµ i ) t k=1 ˆ i = ˆP(w i x k, ˆq) >; k=1 Dette likigssystemet ka også løses ved iterasjo. >= i = 1,...,c

11 Geeraliserig - eksempel Datasett med tette klyger omkrig samplemidlee m 1 m 3 m 2

12 Geeraliserig - eksempel Tilærmet resultat - tette klyger Ata her at samplee daer tette, adskilte klyger, slik at: ( ˆP(w i x k, ˆq) 1 x k 2 w i 0 ellers. Likigssystemet reduseres da til: ˆP(w i ) i ˆµ i 1 i x k 2X i x k = m i ˆ i 1 i x k 2X i (x k m i )(x k m i ) t der i være atall sampler i klasse w i. Dette er et tilfredsstillede (ituitivt riktig) resultat.

13 Foreklig Isodata-algoritme (K-Meas-Clusterig) For multivariate ormalfordeliger er ˆP(w i x k, ˆq) stor år Mahalaobisavstade ri 2 =(x k µ i ) t ˆ i 1 (x k µ i ) er lite. Dersom r 2 i erstattes med Euclidsk avstad x k ˆµ i 2 fra hvert klassemiddel, vil resultatet atyde følgede ekle iterasjosprosess: Iitialisér ˆµ 1,...,ˆµ c Gjeta itil ferdig: Klassifisér x k,k = 1,..., til ærmeste middel Oppdatér ˆµ 1,...,ˆµ c Hvis ige edrig > ferdig. Dette er de gruleggede Isodata-algoritme - et eksempel på e klygeaalysemetode.

14 Foreklig Eksempel - Isodata-algoritme (1) Umerket datasett Iitialiserig ˆµ 1 (rød), ˆµ 2 (blå) og ˆµ 3 (grø)

15 Foreklig Eksempel - Isodata-algoritme (2) Klassifiserig til ærmeste middel Oppdaterig av ˆµ 1, ˆµ 2 og ˆµ 3 Iterasjo 1

16 Foreklig Eksempel - Isodata-algoritme (3) Reklassifiserig til ærmeste middel Oppdaterig av ˆµ 1, ˆµ 2 og ˆµ 3 Iterasjo 2

17 Foreklig Eksempel - Isodata-algoritme (4) Reklassifiserig til ærmeste middel Sluttresultat Edelig klassetilordig (klygeidelig)

18 Oversikt Ihold i kurset Beslutigsteori (desisjosteori) Parametriske metoder Ikke-parametriske metoder Lieære og geeraliserte diskrimiatfuksjoer Feilrateestimerig og evaluerig av klassifikatorer Ikke-ledet lærig Klygeaalyse.

19 Oversikt Klygeaalyse Direkte metoder for å kartlegge strukture i et datasett: Fie atall klasser i ukjet datasettet, Fie atall subklasser eller moder ie klasser. Skal se gaske kort på to hovedtyper av metoder: Optimaliserig av kriteriefuksjo, Hierarkiske metoder. Strukture bestemt av likhet (similaritet) eller avstad mellom sampler.

20 Oversikt Avstadsmål Et eksempel på avstadsmål er metrikke: d(x 1,x 2 )= x 1 x 2 (Euclidsk avstad). E klyge ka defieres som utvalg av sampler der ibyrdes avstad er lite sammeliket med avstade til sampler i adre klyger. Ata f.eks. at samplee x 1 og x 2 tilhører samme klyge dersom Her er d 0 e gitt terskelverdi. d(x 1,x 2 ) < d 0.

21 Optimaliserig av kriteriefuksjo Optimaliserig av kriteriefuksjo Datasettet: skal deles i i c klyger: X = {x 1,...,x } X 1,X 2,...,X c. E mulig kriteriefuksjo for å oppå dette er: J e = c x m i 2 der m i = 1 i=1 x2x i i x2x i x. Dee fuksjoe har lav verdi år samplee daer tette klyger omkrig hvert klygemiddel. For datasett med f.eks. lagstrakte klyger, bør adre kriteriefuksjoer beyttes.

22 Optimaliserig av kriteriefuksjo Iterativ optimaliserig Miimaliserig av kriteriefuksjoe: Det velges e rimelig starttilstad, dvs. e iitiell oppdelig av samplee i c klyger. Deretter flyttes samplee, ett for ett til hver av de øvrige klygee, kriteriefuksjoe bereges for de ye kofigurasjoe og samplet flyttes tilbake til de opprielige klyge dersom ige reduksjo ble oppådd. Søket fortsetter til ige mulige flyttiger gir ytterligere reduksjo av kriteriefuksjoe. Ma er ikke garatert et globalt miimum, slik at flere forsøk med ulike starttilstader bør utføres.

23 Hierarkiske metoder Hierarkiske metoder Agglomerativ (samlede) metode: 1 Start med klyger, dvs. X i = {x i },i = 1,...,c;ĉ = 2 Fi ærmeste par av klyger, f.eks. X i,x j 3 Slå samme disse; ĉ! ĉ 1 4 Gjeta tri 2 og 3 itil øsket atall klyger ĉ = c er fuet. Mulige avstadsmål mellom klyger i hierarkisk klygedaelse: d mi (X i,x j )=mi x2xi,x 0 2X j x x 0 d max (X i,x j )=max x2xi,x 0 2X j x x 0.

24 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Hierarkiske metoder Avstadsmål mellom klyger X2 dmax (X1, X2 ) X1 dmi (X1, X2 )

25 Hierarkiske metoder Dedrogram ĉ =6 ĉ =5 ĉ =4 ĉ =3 ĉ =2 Avstadsmål ĉ =1 Eksempel på dedrogram som illustrerer hierarkisk klygedaelse på datasett med 6 sampler.

26 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Hierarkiske metoder Hierarkisk (agglomerativ) klygedaelse - kompakte klyger Datasett dmi dmax Datasett med kompakte klyger og resultater av klygeaalyse med avstadsmålee dmi og dmax. Avstadsmålee gir her samme resultat.

27 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Hierarkiske metoder Hierarkisk (agglomerativ) klygedaelse - kompakte klyger med bru Datasett dmi dmax Datasett med kompakte, svakt sammehegede klyger, og resultater av klygeaalyse med avstadsmålee dmi og dmax. Avstadsmålet dmi gir i dette tilfellet splittig av de ee klyge (kaskje ugustig?) og preferase for lagstrakte klyger, mes dmax favoriserer kompakte klyger.

28 Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Hierarkiske metoder Hierarkisk (agglomerativ) klygedaelse - lagstrakte klyger Datasett dmi dmax Datasett med lagstrakte klyger og resultater av klygeaalyse med avstadsmålee dmi og dmax. Avstadsmålet dmi tar vare på lagstrakte klyger mes dmax har e tedes til å bryte dem opp.