Innledning Beslutningsteori Parametriske metoder Ikke-parametriske metoder Diskriminantfunksjoner Evaluering Ikke-ledet læring Klyngeanalyse Oversikt

Transkript

1 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

2 Klassifiseringsproblemet Eksempel - objekter fra to klasser Todimensjonalt egenskapsrom med sampler fra to klasser (syntetiske data).

3 Klassifiseringsproblemet Eksempel - objekter fra to klasser (2) Det samme egenskapsrommet delt i to desisjonsregioner ved hjelp av en ikke-lineær desisjonsgrense.

4 Mønstergjenkjenningsmetoder

5 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

6 Grunnleggende begreper Beslutningsteori - grunnleggende begreper Objekter skal tilordnes klasser/tilstander: w 1,w 2,...,w c der c er antall klasser i problemet. Til hver klasse hører en ápriorisannsynlighet: P(w 1 ),P(w 2 ),...,P(w c ) som er sannsynligheten for at hver klasse skal opptre (før målinger er foretatt). Til hver klasse hører også klassebetingede sannsynlighetstetthetsfunksjoner: p(x w i ), i = 1,...,c. Her er vektoren: x =[x 1,x 2,...,x d ] t en målt egenskapsvektor for det aktuelle objektet.

7 Grunnleggende begreper Sannsynlighetstetthetsfunksjoner (klassebetingede) Klassebetingede tetthetsfunksjoner for to klasser. Det grønne arealet tilsvarer sannsynligheten for at et vilkårlig sample fra (i dette tilfellet) w 2 skal opptre med egenskapsverdi x i intervallet mellom a og b.

8 Grunnleggende begreper Bayes regel Bayes regel for áposteriorisannsynlighet: P(w i x)= p(x w i)p(w i ) c p(x w j )P(w j ) Â j=1, i = 1,...,c knytter sammen á priori sannsynligheter og klassebetingede tetthetsfunksjoner. P(w i x) er sannsynligheten for at klasse w i skal opptre, gitt den målte egenskapsvektoren x.

9 Handlinger, kostnader og risiko Handlinger Handlinger (events): a 1,a 2,...,a a er noe som utføres på bakgrunn av den målte egenskapsvektoren. Hvor mange handlinger? Vanligvis er a = c, dvs. én-til-én sammenheng mellom klasser og handlinger (handlingen a i består i å klassifisere til klasse w i ), Generelt er a 6= c, f.eks. a = c + 1derhandlinga c+1 tilsvarer forkasting (ingen klassifisering). Desisjonsfunksjonen: a(x)! a 1,a 2,...,a a er en funksjon av egenskapsvektoren x, som har én av de mulige handlingene som utfall.

10 Handlinger, kostnader og risiko Kostnader knyttet til handlinger Kostfunksjonen: l(a i w j ), der i = 1,...,a og j = 1,...,c, angir kostnaden (tapet) ved å velge handlingen a i når w j er sann klasse. Det kan f.eks. være et større tap forbundet ved å klassifisere bjørk som ask enn omvendt, slik at kostnadene for disse tilfellene kan være: l(velg bjørk ask)=1 l(velg ask bjørk)=10 mens kostnadene for riktig valg av handling som oftest vil settes til null, dvs. l(velg bjørk bjørk)=l(velg ask ask)=0.

11 Handlinger, kostnader og risiko Risiko knyttet til handlinger Betinget risk (forventet tap) er kostnaden forbundet ved en gitt handling, gitt en måling (dvs. egenskapsvektoren for et ukjent objekt): Total risk er gitt ved: R(a i x)= c  j=1 l(a i w j )P(w j x), i=1,...,a. Z R = R(a(x) x)p(x)dx R d for en gitt desisjonsfunksjon a(x) med utfallene a 1,a 2,...,a a. Den totale risken skal minimaliseres ved å velge a i slik at den betingede risken R(a(x) x) er minimum for enhver x.

12 Desisjonsregler Bayes desisjonsregel Minimalisering av total risk R leder til Bayes desisjonsregel, som kan skrives som: Velg a m hvis R(a m x) apple R(a j x), j = 1,...,a. Utfallet av desisjonsfunksjonen er da a m, dvs.: a(x)=a m. Dette er det valg av handling som gir minimum betinget risk og sikrer minimum total risk, dvs. minimum-risk klassifisering.

13 Desisjonsregler Minimum feilrate og maksimum tiltro Ved å velge en null-én kostfunksjon (og sette a=c): ( 0 i = j (ingen kost for riktig klassifisering) l(a i w j )=l ij = 1 i 6= j (lik kost for alle typer feilklassifiseringer) reduseres den betingede risken til: R(a i x)=1 P(w i x) som gir minimum feilrate desisjonsregelen: Velg w i hvis P(w i x) P(w j x), j = 1,...,c. Dersom P(w i )=1/c (like á priori sannsynligheter) forenkles denne ytterligere til maksimum tiltro regelen: Velg w i hvis p(x w i ) p(x w j ), j = 1,...,c.

14 Desisjonsregioner Feilrate og desisjonsregioner Feilsannsynligheten (feilraten) kan skrives som: P(feil)=1 P(rett)= c  j=1 P(rett), der sannsynligheten for riktig valg er Z p(x w j )P(w j )dx R j P(rett) maksimaliseres (og feilraten P(feil) minimaliseres) ved å velge R i, i = 1,...,c slik at: p(x w i )P(w i ) p(x w j )P(w j ), j = 1,...,c for alle x 2 R i. De optimale desisjonsgrensene går da gjennom punkter x der p(x w i )P(w i )=p(x w j )P(w j ) for i 6= j forutsatt at p(x w i )P(w i ) er maksimum over alle w 1,...,w c. For to klasser kan feilraten skrives som: Z Z P(feil)= p(x w 1 )P(w 1 )dx + p(x w 2 )P(w 2 )dx. R 2 R 1

15 Desisjonsregioner Inndeling i desisjonsregioner - univariat problem Veiede tetthetsfunksjoner for problem med tre klasser. Desisjonsgrensene deler det éndimensjonale egenskapsrommet inn i tre desisjonsregioner, men er ikke optimale.

16 Desisjonsregioner Optimale desisjonsgrenser - minimum feilrate Veiede tetthetsfunksjoner for problem med tre klasser. Desisjonsgrensene gir en optimal inndeling av egenskapsrommet i tre desisjonsregioner.

17 Diskriminantfunksjoner Diskriminantfunksjoner Diskriminantfunksjoner er et sett av funksjoner av egenskapsvektoren x: g i (x), i = 1,...,c (én funksjon for hver klasse) slik at beslutningsregeler kan skrives på generell (kanonisk) form: Velg w i hvis g i (x)=max{g j (x)} j Eksempler: g i (x)=p(w i x)= p(x w i)p(w i ) Â c j=1 p(x w j)p(w j ) g i (x)=p(x w i )P(w i ) g i (x)=ln[p(x w i )P(w i )] = lnp(x w i )+lnp(w i ) g i (x)= R(a i x) x g 1(x) g 2(x) g c(x) Klassifiseringsmaskin.

18 Normalfordelingen - eksempler på diskriminantfunksjoner Normalfordelingen Univariat normalfordeling (Gaussfordelingen): p(x µ,s 2 )= 1 p 2ps e (x µ) 2 2s 2 = N(µ,s 2 ) der µ er forventningsverdien og s 2 variansen. Multivariat normalfordeling: apple 1 p(x µ, )= (2p) d/2 exp 1/2 1 2 (x µ)t 1 (x µ) = N(µ, ) der µ er forventningsvektoren og er kovariansmatrisen.