Minimalisering av kriteriefunksjon - gradientsøk

Transkript

1 Trening av vektvektor - gradientsøk Minimalisering av kriteriefunksjon - gradientsøk En kriteriefunksjon J(a) skal minimaliseres for å finne en otimal vektvektor. Gradientsøk: a 1 = vilkårlig startverdi a k+1 = a k r k J(a k ), k = 1,2,... der r k er en ositiv skrittlengde (inkrementet). Forhåentligvis onås konvergens mot et globalt minimum, men løsningen vil avhenge av J(a),a 1 og r k. For stort inkrement kan gi divergens, mens for liten verdi kan føre til langsom konvergens.

2 Percetron-metoden Percetron-kriteriet Her velges kriteriefunksjonen: J (a)= Â a t y der Y = {y : a t y ale 0}. y2y Her er Y mengden av feilklassifiserte samler fra treningssettet. Egenskaer ved Percetron-kriteriet: J (a) er kontinuerlig i a og skal minimaliseres mh. a, J (a) def = 0 når Y = /0 dvs. ingen feilklassifiseringer, J (a)=0 kun når a er en løsningsvektor eller a = 0, og J (a) > 0 dersom minst ett samle er feilklassifisert mht. a, dvs. a t y ale 0dery er feilklassifisert. Minimalisering gir et hyerlan med flest mulig samler å ositiv side og/eller nær o til hyerlanet å negativ side.

3 Percetron-metoden Percetron-algoritmen Gradienten til kriteriefunksjonen er: J (a)=  y y2y Gradientsøket skissert i foregående avsnitt gir da følgende algoritme: 9 a 1 = vilkårlig startvektor = a k+1 = a k + r k  y, k = 1,2,... ; Percetron-algoritmen y2y k der: Y k = {y : a t k y ale 0} = mengden av feilklassifiserte samler mht. a k. Her odateres vektvektoren etter et helt gjennomsøk av treningssettet (sammensatt odatering).

4 Percetron-metoden Enkeltsamle odatering Forenklet algoritme der vektvektoren odateres for hvert feilklassifiserte samel: ) a 1 = vilkårlig startvektor a k+1 = a k + r k y k Variabelt inkrement regelen, k = 1,2,... der y k, k = 1,2,... er feilklassifisert med hensyn til a k. Det er vanlig å betrakte samler der a t k y k ale b (med marginen b > 0) som feilklassifiserte. Dette gir en sannsynligvis mer robust løsningsvektor inne i løsningsregionen. Indeksen k er en fortløende nummerering av feilklassifiserte samler i en syklisk gjennomløing av treningssettet y 1,y 2,...,y n. Eksemel med n = 4: y 1 # y 2 # y 3 # y 4 # y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4,... y 5 #

5 Percetron-metoden Fast inkrement regelen. Et sesialtilfelle av variabelt inkrement regelen med inkrementet satt til en fast verdi, f.eks. r k = r = 1. Enkeltsamle algoritmen redusert derved til: ) a 1 = vilkårlig startvektor a k+1 = a k + y k, k = 1,2,... Fast inkrement regelen Samlet reresentert ved y k er her feilklassifisert med hensyn til vektvektoren a k.

6 Percetron-metoden Odateringen i fast inkrement regelen a k+1 y k a t y k =0 y k a k Vektvektoren a k odateres ved å legge til det feilklassifiserte samlet y k (flyttes direkte mot hyerlanet gitt ved a t y k = 0). y k blir i dette tilfellet riktig klassifisert av den nye vektvektoren a k+1.

7 Percetron-metoden Konvergens av Percetron-algoritmene Percetron algoritmen med sammensatt odatering, variabelt inkrement regelen og fast inkrement regelen kan alle vises å konvergere mot en løsningsvektor dersom datasettet er lineært searabelt. Mange valg av r k gir konvergens, f.eks.: r k = r > 0 r k = r 0 /k r k = r 0 k (konstant inkrement) (langsomt avtagende inkrement) og til og med (voksende inkrement). Dersom man ønsker å finne en god vektvektor også for et ikke-searabelt sett, er det mest fornuftig å benytte et lite, konstant inkrement eller et langsomt avtagende inkrement.

8 Relaksasjonsmetoden Relaksasjonskriteriet Relaksasjonskriteriet er gitt ved: J r (a)= 1 2 Â y2y (a t y b) 2 y 2 der Y = {y : a t y ale b}. Marginen b > 0ernødvendigforåunngåkonvergensmotrandenavløsningsregionen. Egenskaer for J r (a): J r (a) 0dvs.detskalsøkesetteretminimum, J r (a)=0hvisogbarehvisa t y > b 8y, J r (a) def = 0hvisY = /0. Gradienten til J r med hensyn å a blir: a J r (a)= Â y2y a t y b y 2 y.

9 Relaksasjonsmetoden Relaksasjonsmetodene Gradientsøkalgoritmen (Relaksasjonsalgoritmen): a 1 = vilkårlig startvektor a k+1 = a k + r k b  y2y k 9 >= a t k y y 2 y, Y k = {y : ak t y ale b} >; Relaksasjonsalgoritmen Enkeltsamlealgoritmen (Relaksasjonsregelen): 9 a 1 = vilkårlig startvektor >= a k+1 = a k + r b a k ty k y k 2 y k, der r k = r = konstant og ak t y k ale b>; Relaksasjonsregelen

10 Relaksasjonsmetoden Odateringen i relaksasjonsregelen a t y k = b y k a k a Odateringen i relaksasjonsregelen. Vektvektoren a k odateres til a k+1 ved å gi et tillegg r r k iretningmothyerlanet.

11 Feilrettingsmetoder Feilrettingsmetoder Vi har sett å trening av lineære diskriminantfunksjoner ved hjel av: Percetron-metodene Percetron-algoritmen Variabelt inkrement regelen Fast inkrement regelen Relaksasjonsmetodene Relaksasjonsalgoritmen Relaksasjonsregelen Her ønskes å tilfredsstille et sett av ulikheter der a t y > 0forallesamleritreningssettet ved å rette feilklassifiseringer som åtreffes; derav betegnelsen feilrettingsmetoder.