TEK5020/TEK Mønstergjenkjenning

Transkript

1 Sammendrag og eksempler Lineære diskriminantfunksjoner (Gradientsøk, perceptronmetoden) UiO : Institutt for teknologisystemer Høsten 2018 (22. oktober 2018)

2 Diskriminantfunksjoner Utvidet egenskapsrom Separerende hyperplan, løsningsvektor og løsningsregion y2 ω1 Separerende hyperplan Løsningsregion a ω2 y1 1

3 Diskriminantfunksjoner Utvidet egenskapsrom Representasjon i y-rom med fortegnskonvensjon y2 y1 = 1 ω1 Separerende hyperplan Løsningsregion a ω2 1 y1

4 Trening av vektvektor - gradientsøk Minimalisering av kriteriefunksjon - gradientsøk En kriteriefunksjon J(a) skal minimaliseres for å finne en optimal vektvektor. Gradientsøk: a 1 = vilkårlig startverdi a k+1 = a k ρ k J(a k ), k = 1,2,... der ρ k er en positiv skrittlengde (inkrementet). Forhåpentligvis oppnås konvergens mot et globalt minimum, men løsningen vil avhenge av J(a),a 1 og ρ k. For stort inkrement kan gi divergens, mens for liten verdi kan føre til langsom konvergens.

5 Perceptron-kriteriet Her velges kriteriefunksjonen: J p (a) = a t y der Y = {y : a t y 0}. y Y Her er Y mengden av feilklassifiserte sampler fra treningssettet. Egenskaper ved Perceptron-kriteriet: J p (a) er kontinuerlig i a og skal minimaliseres mhp. a, J p (a) def = 0 når Y = /0 dvs. ingen feilklassifiseringer, J p (a) = 0 kun når a er en løsningsvektor eller a = 0, og J p (a) > 0 dersom minst ett sample er feilklassifisert mht. a, dvs. a t y 0 der y er feilklassifisert. Minimalisering gir et hyperplan med flest mulig sampler på positiv side og/eller nær opp til hyperplanet på negativ side.

6 Perceptron-algoritmen Gradienten til kriteriefunksjonen er: J p (a) = y y Y Gradientsøket skissert i foregående avsnitt gir da følgende algoritme: a 1 = vilkårlig startvektor a k+1 = a k + ρ k y, k = 1,2,... Perceptron-algoritmen y Y k der: Y k = {y : a t k y 0} = mengden av feilklassifiserte sampler mht. a k. Her oppdateres vektvektoren etter et helt gjennomsøk av treningssettet (sammensatt oppdatering).

7 Enkeltsample oppdatering Forenklet algoritme der vektvektoren oppdateres for hvert feilklassifiserte sampel: } a 1 = vilkårlig startvektor a k+1 = a k + ρ k y k Variabelt-inkrement regelen, k = 1,2,... der y k, k = 1,2,... er feilklassifisert med hensyn til a k. Det er vanlig å betrakte sampler der a t k y k b (med marginen b > 0) som feilklassifiserte. Dette gir en sannsynligvis mer robust løsningsvektor inne i løsningsregionen. Indeksen k er en fortløpende nummerering av feilklassifiserte sampler i en syklisk gjennomløping av treningssettet y 1,y 2,...,y n. Eksempel med n = 4: y 1 y 2 y 3 y 4 y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4,... y 5

8 Fast-inkrement regelen. Et spesialtilfelle av variabelt-inkrement regelen med inkrementet satt til en fast verdi, f.eks. ρ k = ρ = 1. Enkeltsample-algoritmen redusert derved til: } a 1 = vilkårlig startvektor a k+1 = a k + y k, k = 1,2,... Fast-inkrement regelen Sampelet representert ved y k er her feilklassifisert med hensyn til vektvektoren a k.

9 <latexit sha1_base64="fegr7deequuhhrwfzwyl6ehdt/u=">aaacdhicbzdlssnafizp6r3eqoibn8eiujcsdknl0y3lfq0ksait6wkdojmjm5nkcxkexeqlubo3vombn8ihchpzepth4om/53do/hhkmtae9+6uzmbn5hcwl8rlk6tr65wnzuudzipiiyy8udcx0cizxjzhhun1qpcimonv3d8d1a8gqdrl5iuzphgj0posyygx1jon7xq7uvvq3ljux/cnud3ebn7caecjxfkmownnbepdode68l3urdlrhlgortnmnkae9kkpa4uscnrrpj61cpes03g7ibjpgnfsfp/iidb6kglbkyi51b9ri/mgfv+vg8x0j6kcytqzkolkvzfjrknc0dfddlnidr9aifqxe65lb4ki1niayqfcixc0eylith4okbabh+vhlpkqxxq2jv93kh/hsl7zltdtxicw0slswc7sgw+hcaxn0iawuojbptzck/pgpdsvzuuktermz7bgh5y3l+o8nxg=</latexit> <latexit sha1_base64="gurrfc1gjqm4o8pnk4pqge8gmaq=">aaacdhicbzc7sgnbfizn4y3gw1swsvkmgowe3trahthyjmgukf3c7oqkgtizu8zmrskyj6clpowdndij72dju/gati6fjv4w8pgfczhn/ibivgnh+bqyk6tr6xvzzdzw9s7uxn7/okhcwbkok5cfshvgbywkqguqgbqiczghdjrb8gpsb45akhqkwz2owoe4l2ipeqyndym7pu6+4bsdqexlcodqkb/vvuhz5b3ayx973zdehiqmdcvvdp1i+wmwmhigac6lfusydhef2gyf5qd8zhpqap8ap2v3qmme0pbu/t2ryk7umaemk2m9uiu1ixke8p/k7vj3lv2eiijwimhsvy9mtg7tydftlpvanbsbwersc65nblhiok1aou+cgdssco5fn/fgqnk26ydewjocm6ymjncxlgvoliqu4zrjq4jmyqjjdilokisuubldoyqqi4l66b49oifrwxqxxq23wwvgms8coj+ypn4adosfna==</latexit> <latexit sha1_base64="gurrfc1gjqm4o8pnk4pqge8gmaq=">aaacdhicbzc7sgnbfizn4y3gw1swsvkmgowe3trahthyjmgukf3c7oqkgtizu8zmrskyj6clpowdndij72dju/gati6fjv4w8pgfczhn/ibivgnh+bqyk6tr6xvzzdzw9s7uxn7/okhcwbkok5cfshvgbywkqguqgbqiczghdjrb8gpsb45akhqkwz2owoe4l2ipeqyndym7pu6+4bsdqexlcodqkb/vvuhz5b3ayx973zdehiqmdcvvdp1i+wmwmhigac6lfusydhef2gyf5qd8zhpqap8ap2v3qmme0pbu/t2ryk7umaemk2m9uiu1ixke8p/k7vj3lv2eiijwimhsvy9mtg7tydftlpvanbsbwersc65nblhiok1aou+cgdssco5fn/fgqnk26ydewjocm6ymjncxlgvoliqu4zrjq4jmyqjjdilokisuubldoyqqi4l66b49oifrwxqxxq23wwvgms8coj+ypn4adosfna==</latexit> <latexit sha1_base64="yg96b/uchmyaxymw5lwhm8ivn04=">aaacdhicbzbltsmweiad8irlvwdjjijcyogqpbtyvrbhwqr9se1uoc60two7ke0uvvgoaeu4cdveljtwdw6a22yblb9k6dm/m5rxhyamku26x1zpbx1jc6u8xdnz3ds/qb4etvwcsgiternydkosgfeblu01g24iafoqqscc38zqnqlirwpxokcjbbwpbr1qgrwx7ng/3q86bs2dy14frwahfwr2q99+fjoug9ceyav6npvoimnsu8igr/ipggstmr5cz6dahfsqzu/n7tpjrpygluyjbc/d3xmz5kpnewg6odyjtvybmrch/6/cs/xgksiosfingix2dvjm69iefd2oqasi2dqajpkac20ywhitbqkq+biepjkycyyizj8ayxtekpkhzxwvz01m3nioq9cu1zzdd67tuc4ck6mtdirokycuuqpdoizqiykg6am9offr2xqz3q2prwvjkmao0r9znz8boput</latexit> <latexit sha1_base64="wkdbzxqhwk0ph5txgfg1rbjcapq=">aaacdhicbzblsgnbeizrfmb4igpu3awgwyxijbtdbt24tna8idpenk4lnnb3dn09ktdmexspf3enbr2dg0/haewkljtxh4apv6qo6j9konpg8z6cufmfxaxlwkpxdw19y7o0td3qcaoo1mnmy9wkiebojnynmxxbiuiiio7n6o5ivg8ougkwy2sztdaupc9zj1firhvfon6nvpaovbhcwfb/ofzzrx3eaec1u/okujfnbupdodg67xujctoidkmc82kqakwivsn9bfuurkaos/gpuxtgna7bi5v90rhj9/derotwqxhztkhmrz6ujcyjspxxbqemdxzmtcapquknu3opd03sjr7udplcavjqaqgk2xndeksuocygvawusrynsrbedrnggdrv+2ewrcir+3luy/knq5mfxsmxb7lm8zqhiqqwb/twcd6cqguuoqp1onchb3icz+frexfenbdj65zzm7mdf+s8fwpolp13</latexit> <latexit sha1_base64="lzzugzbw7s3wwpfolzvsluumfxo=">aaacdhicbzc7sgnbfiznvcz4iwo2notbsjcwa6nlii1lguycu0uynzwkq2zml5nzsfj2ebtup7czezvxhwx8ch/ayaxqxb8gpv5zdufmh8amku04n9bs8srq2npui7+5tb2zw9jbb6gokqtqjgkrbivyaamc6ppqbq1yauyhg2y4ubrxm0oqikbivo9icdjucdqlbgtj3ec22y4unzizkb0i7gyk5cpaf32uvffbhw+/e5geg9ceyau814l1kgkpkwgq5f1eqyzjapfamygwbxwkk1mz+8q4hbsbsfoetifu74kuc6vgpdsdhou+mq+nzboq/1f2et29dfiq4ksdinnd3ytzorlhx7c7valrbgqae0nnutbpy4mjnghlfqkc7kjeorad1b8cytw3sp2qp0u3y0xm7nwoi9a4l7mgayavcpoqh47qmtpflrpazxsnqqiocoqhe/sinqwh68v6td6mruvwboya/zh18qn03p8z</latexit> <latexit sha1_base64="lzzugzbw7s3wwpfolzvsluumfxo=">aaacdhicbzc7sgnbfiznvcz4iwo2notbsjcwa6nlii1lguycu0uynzwkq2zml5nzsfj2ebtup7czezvxhwx8ch/ayaxqxb8gpv5zdufmh8amku04n9bs8srq2npui7+5tb2zw9jbb6gokqtqjgkrbivyaamc6ppqbq1yauyhg2y4ubrxm0oqikbivo9icdjucdqlbgtj3ec22y4unzizkb0i7gyk5cpaf32uvffbhw+/e5geg9ceyau814l1kgkpkwgq5f1eqyzjapfamygwbxwkk1mz+8q4hbsbsfoetifu74kuc6vgpdsdhou+mq+nzboq/1f2et29dfiq4ksdinnd3ytzorlhx7c7valrbgqae0nnutbpy4mjnghlfqkc7kjeorad1b8cytw3sp2qp0u3y0xm7nwoi9a4l7mgayavcpoqh47qmtpflrpazxsnqqiocoqhe/sinqwh68v6td6mruvwboya/zh18qn03p8z</latexit> <latexit sha1_base64="ylvol5ndc9pewgxztexonq2avd0=">aaacdhicbzbltsmweiydnqw8cizzrerilfcvsiflbruwrdch1esv40xaq7yt2u5rfeuisislsensuqp34ac4brbq8kuwpv0zoxn/ycqo0q77za2srq1vbfa2qts7u3v7typdtkoysabfepbibogvmcqgpalm0e0lyb4y6isjm2m9mwapacie9csfgoobodelwbvrhve9fs1x6+5m9jj4jtiovlnf+/ajhgqchcymk9xz3fqhozaaegzf1c8upjim8ab6bgxmoij8dmphnxonsunemie0pxn/t+sykzxhoenkwa/vym1qnof8v3iv0/fvkforzhoeme+km2brxj5+3y6obklzxaamkppzbtleehntaqr6egq8korzlklchwmpel6q+yhpha8otezeyijl0l6oe4bvxkdxxqzwqcfobj0hd12ibrpftdrcba3qe3pbr9az9wa9wx/z1hwrndlcf2r9/gazljus</latexit> Diskriminantfunksjoner Oppdateringen i fast-inkrement regelen a 2 a k+1 y k a t y k =0 y k a k a 1 Vektvektoren a k oppdateres ved å legge til det feilklassifiserte samplet y k (flyttes direkte mot hyperplanet gitt ved a t y k = 0). y k blir i dette tilfellet riktig klassifisert av den nye vektvektoren a k+1.

10 Konvergens av Perceptron-algoritmene Perceptron algoritmen med sammensatt oppdatering, variabelt inkrement regelen og fast inkrement regelen kan alle vises å konvergere mot en løsningsvektor dersom datasettet er lineært separabelt. Mange valg av ρ k gir konvergens, f.eks.: ρ k = ρ > 0 ρ k = ρ 0 /k ρ k = ρ 0 k (konstant inkrement) (langsomt avtagende inkrement) og til og med (voksende inkrement). Dersom man ønsker å finne en god vektvektor også for et ikke-separabelt sett, er det mest fornuftig å benytte et lite, konstant inkrement eller et langsomt avtagende inkrement.