Innledning Beslutningsteori Parametriske metoder Ikke-parametriske metoder Diskriminantfunksjoner Evaluering Ikke-ledet læring Klyngeanalyse Oversikt

Transkript

1 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

2 Oversikt Lineære og generaliserte diskriminantfunksjoner Lineære diskriminantfunksjoner for c klasser: Parametre (vekter): g i (x)=w t i x + w i0, i = 1,...,c w i - vektvektor (d komponenter) for klasse w i w i0 - tersklingsvekt (skalar) for klasse w i. Lineære diskriminantfunksjoner kan i noen tilfeller gi den optimale løsningen. Beslutningsregel: Velg w m hvis g m (x)=max{g i (x)} i

3 Toklasseproblemet To klasser Lineær toklasse diskriminantfunksjon: g(x)=g 1 (x) g 2 (x) =(w1x t + w 10 ) (w2x t + w 20 ) =(w 1 w 2 ) t +(w 10 w 20 ) =w t x + w 0 Her er: w t = w 1 w 0 = w 10 w 2 vektvektoren og w 20 tersklingsvekten. Desisjonsregelen blir da: Velg w 1 hvis g(x) > 0, w 2 ellers

4 Toklasseproblemet Desisjonsgrensen er et hyperplan w x p x Avstanden fra et punkt x til hyperplanet er: r = g(x) kwk. dvs. proporsjonal med verdien til diskriminantfunksjonen i x. Avstanden mellom origo og hyperplanet blir derved: 8 d = g(0) kwk = w >< w 0 > 0 : origo på positiv side av hyperplanet 0 kwk ) w 0 = 0 : hyperplanet gjennom origo >: w 0 < 0 : origo på negativ side av hyperplanet

5 Toklasseproblemet Hyperplan med w 0 > 0 w Origo ligger på den positive siden av hyperplanet (d > 0).

6 Toklasseproblemet Hyperplan med w 0 = 0 w Hyperplanet går gjennom origo (d = 0).

7 Toklasseproblemet Hyperplan med w 0 < 0 w Origo ligger på den negative siden av hyperplanet (d < 0).

8 Mange klasser Lineær maskin Diskriminantfunksjoner på formen: g 1 (x) g i (x)=w t i x + w i0, i = 1,...,c x g 2 (x) med beslutningsregelen: Velg w i hvis g i (x)=max{g j (x)} j g c (x) Lineær maskin. Alternativer: Dele inn problemet i c toklasseproblemer (hver klasse mot alle de andre), Behandle alle c(c 1)/2 par av klasser hver for seg. Begge alternativer leder til udefinerte eller tvetydige regioner i egenskapsrommet.

9 Mange klasser Eksempel - Minste avstand klassifisering Klassifisering til klassen med nærmeste forventningsverdi (mht. Euclidsk avstand) gir diskriminantfunksjonene: g i (x)= kx µ i k 2 = x t x + 2x t µ i µ t i µ i Første leddet er felles for alle klasser og kan sløyfes, slik at diskriminantfunksjonene kan skrives som: apple 1 = ai t y. x Her er: g i (x)=2x t µ i kµ i k 2 =[ kµ i k 2,2µ t i {z } ] ai t a i utvidet vektvektor for klasse w i og y utvidet egenskapsvektor. {z} y

10 Mange klasser Stykkevis lineære desisjonsgrenser - tre klasser Todimensjonale desisjonsregioner for minimum avstand klassifisering.

11 Mange klasser Stykkevis lineære desisjonsgrenser - fem klasser Todimensjonale desisjonsregioner for minimum avstand klassifisering.

12 Generalisering Generaliserte lineære diskriminantfunksjoner Lineær diskriminantfunksjon: g(x)=w t x + w 0 = w 0 + Generalisering til høyere orden: g(x)=w 0 + = ˆd  i=1 d  i=1 w i x i + a i y i (x)=a t y d  i=1 d d   i=1 j=1 w i x i w ij x i x j + (klasseangivelse utelatt) d d d    i=1 j=1 k=1 (rekkeutvikling til orden ˆd). w ijk x i x j x k +... Dette er en lineær diskriminantfunksjon i y med utvidede vektorer: a 1 y 1 (x) a 2 y 2 (x) a = 6 7 (vektvektor) og y = (egenskapsvektor). a ˆd y ˆd(x)

13 Generalisering Lineære diskriminantfunksjoner Skal bruke lineære diskriminantfunksjoner transformert til y-rommet: g i (x)=wi t d x 1 x + w i0 = w i0 + Â w ij x ij =[w i0,w i1,...,w id ] = a i t y. j=1 Avbildning fra d! d + 1dimensjonererder: a = utvidet vektvektor y = utvidet egenskapsvektor Sampler fra x-rommet ligger i d-dimensjonalt underrom i y-rommet. Desisjonsregelen velger klassen med størst skalarprodukt av utvidet vektvektor med utvidet egenskapsvektor. x d

14 Generalisering Toklasseproblemet Den felles diskriminantfunksjonen for toklasseproblemet kan skrives på formen: g(x)=g 1 (x) g 2 (x)=a1y t a2y t =(a1 t a2)y t = a t y, der a = a 1 a 2 normalvektor til desisjonsflaten (generelt et hyperplan), Hyperplanet går gjennom origo i y-rommet. Desisjonsregel: Velg w 1 hvis a t y > 0ogw 2 hvis a t y apple 0

15 Utvidet egenskapsrom Transformasjon fra x-rom til y-rom Separerende hyperplan a Éndimensjonalt datasett i x-rom og y-rom (grønne sirkler fra w 1 og røde kvadrater fra w 2 ). I y-rommet kan klassene her separeres vha. et hyperplan gjennom origo, med a som normalvektor.

16 Utvidet egenskapsrom Separerende hyperplan, løsningsvektor og løsningsregion Separerende hyperplan Løsningsregion a

17 Utvidet egenskapsrom Representasjon i y-rom med fortegnskonvensjon Separerende hyperplan Løsningsregion a

18 Trening av vektvektor - gradientsøk Minimalisering av kriteriefunksjon - gradientsøk En kriteriefunksjon J(a) skal minimaliseres for å finne en optimal vektvektor. Gradientsøk: a 1 = vilkårlig startverdi a k+1 = a k r k J(a k ), k = 1,2,... der r k er en positiv skrittlengde (inkrementet). Forhåpentligvis oppnås konvergens mot et globalt minimum, men løsningen vil avhenge av J(a),a 1 og r k. For stort inkrement kan gi divergens, mens for liten verdi kan føre til langsom konvergens.