Unik4590/Unik9590/TTK Mønstergjenkjenning

Transkript

1 Sammendrag og eksempler Universitetssenteret på Kjeller Høsten 2016 (15. oktober 2016)

2 Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning Gjenkjenne objekter - tilordne objekter til én av flere mulige klasser eller kategorier (klassifisering) Beskrive sammensatte objekter eller hele scener består av mange objekter/delobjekter.

3 Hva er mønstergjenkjenning? Eksempler på anvendelser Fjernanalyse (vegetasjonstyper, overvåking) Automatisk inspeksjon (f.eks. flaskeautomater) Medisin (EEG, EKG, blodlegemer, kromosomer) Seismisk analyse (oljeleting, kjernefysiske prøver) Talegjenkjenning Karaktergjenkjenning (f.eks. lesing av håndskrift) Maskinsyn (robotsyn) Overvåkingssensorer Økonomi, Psykologi (gjenkjenning av tilstander) Arkeologi...

4 Hva er mønstergjenkjenning? Inngangsdata Digitale bilder Tidsrekker (éndimensjonale signaler) Enkle (manuelle) målinger.

5 Hva er mønstergjenkjenning? Metoder Beslutningsteoretiske (statistiske) metoder: Bayesisk beslutningsteori (desisjonsteori) Klassifisering (tilordning av objekter til én av flere mulige klasser) Numerisk informasjon. Strukturelle (syntaktiske) metoder: Syntaktisk angrepsmåte Beskrivelse og klassifisering Symbolsk informasjon, hierarkisk beskrivelse, grammatikk.

6 Metoder Statistiske metoder - eksempel Tallmessig representasjon av objekter basert på f.eks.: Kamera lysstyrke farge form Samlebånd Tilordning av objekter til et endelig antall mulige klasser. Eksempel på bruk av bildeanalyse og mønstergjenkjenning til å skille mellom to typer produkter i en produksjonsprosess, dvs. diskriminering mellom to klasser.

7 Metoder Strukturelle metoder - eksempel Syntaktisk beskrivelse av skipskontur i form av en streng av primitiver (til venstre), hierarkisk beskrivelse (øverst til høyre) og regelverket (grammatikken) som angir hvilke sammenhenger som er tillatt mellom de ulike elementene (nederst til høyre).

8 Klassifiseringsproblemet Klassifisering - eksempel på klassifiseringssystem Eksempel på klassifiseringssystem for å skille mellom trestykker fra de to klassene bjørk og ask.

9 Klassifiseringsproblemet Egenskapsvektor, egenskapsrom og desisjonsgrenser Egenskapsrom: Egenskapsvektor: x 1 x 2 x =. x d R 1 R 3 R 2 Egenskapsvektor med d komponenten (t.v.) og todimensjonalt egenskapsrom (t.h.) inndelt i desisjonsregioner R 1,R 2 og R 3 for et problem med tre klasser. Det ukjente objektet (svart kvadrat) blir her klassifisert til klasse 2.

10 Klassifiseringsproblemet Eksempel - objekter fra to klasser Todimensjonalt egenskapsrom med sampler fra to klasser (syntetiske data).

11 Klassifiseringsproblemet Eksempel - objekter fra to klasser (2) Det samme egenskapsrommet delt i to desisjonsregioner ved hjelp av en ikke-lineær desisjonsgrense.

12 Klassifiseringsproblemet Metodikk - Ledet læring Treningssett X Trening Beslutningsregel Treningsfasen Bruksfasen Ukjent objekt x Klassifisering Klasse Illustrasjon av prinsippet for ledet læring. I treningsfasen (analysefasen) brukes et sett av sampler med kjent klassetilhørighet (treningssettet) som input til en av mange mulige treningsmetoder for å generere en beslutningsregel. Denne regelen inngår i klassifikatoren som i bruksfasen (gjenkjenningsfasen) foretar klassifisering av ukjente sampler til (forhåpentligvis) riktig klasse.

13 Klassifiseringsproblemet Klassifiseringssystem Sensor Egenskapsuttrekker Klassifikator! i Typisk klassifiseringssystem. En sensor henter inn rådata fra objekter i omverdenen. Egenskapsuttrekkeren bearbeider rådataene og henter ut informasjon om de ukjente objektene i form av et sett av egenskaper for hvert objekt. Egenskapsvektorene sendes deretter til klassifikatoren, som tilordner objektene til én av flere mulig klasser. Systemet foretar en stor grad av datareduksjon på veien fra rådata til klasse.

14 Mønstergjenkjenningsmetoder

15 Hjelpemidler Programvare Matlab: Statistics and Machine Learning Toolbox Neural Network Toolbox Computer Vision System Toolbox Image Processing Toolbox PRtools ( - gratis toolbox til Matlab perclass ( OpenCV ( -gratis (C++, Python, Matlab) Octave ( - gratis alternativ til Matlab...

16 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

17 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

18 Grunnleggende begreper Beslutningsteori - grunnleggende begreper Objekter skal tilordnes klasser/tilstander: ω 1,ω 2,...,ω c der c er antall klasser i problemet. Til hver klasse hører en á priori sannsynlighet: P(ω 1 ),P(ω 2 ),...,P(ω c ) som er sannsynligheten for at hver klasse skal opptre (før målinger er foretatt). Til hver klasse hører også klassebetingede sannsynlighetstetthetsfunksjoner: p(x ω i ), i = 1,...,c. Her er vektoren: x = [x 1,x 2,...,x d ] t en målt egenskapsvektor for det aktuelle objektet.

19 Grunnleggende begreper Sannsynlighetstetthetsfunksjoner (klassebetingede) Klassebetingede tetthetsfunksjoner for to klasser. Det grønne arealet tilsvarer sannsynligheten for at et vilkårlig sample fra (i dette tilfellet) ω 2 skal opptre med egenskapsverdi x i intervallet mellom a og b.

20 Grunnleggende begreper Bayes regel Bayes regel for á posteriori sannsynlighet: P(ω i x) = p(x ω i)p(ω i ) c p(x ω j )P(ω j ) j=1, i = 1,...,c knytter sammen á priori sannsynligheter og klassebetingede tetthetsfunksjoner. P(ω i x) er sannsynligheten for at klasse ω i skal opptre, gitt den målte egenskapsvektoren x.

21 Handlinger, kostnader og risiko Handlinger Handlinger (events): α 1,α 2,...,α a er noe som utføres på bakgrunn av den målte egenskapsvektoren. Hvor mange handlinger? Vanligvis er a = c, dvs. én-til-én sammenheng mellom klasser og handlinger (handlingen α i består i å klassifisere til klasse ω i ), Generelt er a c, f.eks. a = c + 1 der handling α c+1 tilsvarer forkasting (ingen klassifisering). Desisjonsfunksjonen: α(x) α 1,α 2,...,α a er en funksjon av egenskapsvektoren x, som har én av de mulige handlingene som utfall.

22 Handlinger, kostnader og risiko Kostnader knyttet til handlinger Kostfunksjonen: λ(α i ω j ), der i = 1,...,a og j = 1,...,c, angir kostnaden (tapet) ved å velge handlingen α i når ω j er sann klasse. Det kan f.eks. være et større tap forbundet ved å klassifisere bjørk som ask enn omvendt, slik at kostnadene for disse tilfellene kan være: λ(velg bjørk ask) = 1 λ(velg ask bjørk) = 10 mens kostnadene for riktig valg av handling som oftest vil settes til null, dvs. λ(velg bjørk bjørk) = λ(velg ask ask) = 0.

23 Handlinger, kostnader og risiko Risiko knyttet til handlinger Betinget risk (forventet tap) er kostnaden forbundet ved en gitt handling, gitt en måling (dvs. egenskapsvektoren for et ukjent objekt): Total risk er gitt ved: R(α i x) = c j=1 λ(α i ω j )P(ω j x), i=1,...,a. R = R(α(x) x)p(x)dx R d for en gitt desisjonsfunksjon α(x) med utfallene α 1,α 2,...,α a. Den totale risken skal minimaliseres ved å velge α i slik at den betingede risken R(α(x) x) er minimum for enhver x.

24 Desisjonsregler Bayes desisjonsregel Minimalisering av total risk R leder til Bayes desisjonsregel, som kan skrives som: Velg α m hvis R(α m x) R(α j x), j = 1,...,a. Utfallet av desisjonsfunksjonen er da α m, dvs.: α(x) = α m. Dette er det valg av handling som gir minimum betinget risk og sikrer minimum total risk, dvs. minimum-risk klassifisering.

25 Desisjonsregler Minimum feilrate og maksimum tiltro Ved å velge en null-én kostfunksjon (og sette a=c): { 0 i = j (ingen kost for riktig klassifisering) λ(α i ω j ) = λ ij = 1 i j (lik kost for alle typer feilklassifiseringer) reduseres den betingede risken til: som gir minimum feilrate desisjonsregelen: R(α i x) = 1 P(ω i x) Velg ω i hvis P(ω i x) P(ω j x), j = 1,...,c. Dersom P(ω i ) = 1/c (like á priori sannsynligheter) forenkles denne ytterligere til maksimum tiltro regelen: Velg ω i hvis p(x ω i ) p(x ω j ), j = 1,...,c.

26 Desisjonsregler Á posteriori sannsynlighet - minimum feilrate klassifisering 0.5 Optimal desisjonsgrense (x 0 ) der de á posteriori sannsynlighetene for klassene er like (P(ω 1 x) = P(ω 2 x) = 0,5).

27 Desisjonsregioner Feilrate og desisjonsregioner Feilsannsynligheten (feilraten) kan skrives som: P(feil) =1 P(rett), der sannsynligheten for riktig valg er c P(rett) = p(x ω j )P(ω j )dx R j j=1 P(rett) maksimaliseres (og feilraten P(feil) minimaliseres) ved å velge R i, i = 1,...,c slik at: p(x ω i )P(ω i ) p(x ω j )P(ω j ), j = 1,...,c for alle x R i. De optimale desisjonsgrensene går da gjennom punkter x der p(x ω i )P(ω i ) = p(x ω j )P(ω j ) for i j forutsatt at p(x ω i )P(ω i ) er maksimum over alle ω 1,...,ω c. For to klasser kan feilraten skrives som: P(feil) = p(x ω 1 )P(ω 1 )dx + p(x ω 2 )P(ω 2 )dx. R 2 R 1

28 Desisjonsregioner Univariat toklasseproblem - optimale desisjonsregioner Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Den stiplede linjen markerer terskelen der de veiede tetthetene er like.

29 Desisjonsregioner Univariat toklasseproblem - minimum feilrate Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Det grønne arealet viser feilraten med den optimale desisjonsgrensen (stiplet linje).

30 Desisjonsregioner Feilrate med suboptimal desisjonsgrense Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Det røde arealet tilsvarer den ekstra feilraten ved et suboptimalt valg av desisjonsgrense.

31 Desisjonsregioner Inndeling i desisjonsregioner - univariat problem Veiede tetthetsfunksjoner for problem med tre klasser. Desisjonsgrensene deler det éndimensjonale egenskapsrommet inn i tre desisjonsregioner, men er ikke optimale.

32 Desisjonsregioner Optimale desisjonsgrenser - minimum feilrate Veiede tetthetsfunksjoner for problem med tre klasser. Desisjonsgrensene gir en optimal inndeling av egenskapsrommet i tre desisjonsregioner.

33 Diskriminantfunksjoner Diskriminantfunksjoner Diskriminantfunksjoner er et sett av funksjoner av egenskapsvektoren x: g i (x), i = 1,...,c (én funksjon for hver klasse) slik at beslutningsregeler kan skrives på generell (kanonisk) form: Velg ω i hvis g i (x) = max{g j (x)} j Eksempler: g i (x) =P(ω i x) = p(x ω i)p(ω i ) c j=1 p(x ω j)p(ω j ) g i (x) =p(x ω i )P(ω i ) g i (x) =ln[p(x ω i )P(ω i )] = lnp(x ω i ) + lnp(ω i ) g i (x) = R(α i x) x g 1(x) g 2(x) g c(x) Klassifiseringsmaskin.

34 Normalfordelingen - eksempler på diskriminantfunksjoner Normalfordelingen Univariat normalfordeling (Gaussfordelingen): p(x µ,σ 2 ) = 1 µ)2 (x e 2σ 2 = N(µ,σ 2 ) 2πσ der µ er forventningsverdien og σ 2 variansen. Multivariat normalfordeling: [ 1 p(x µ,σ) = (2π) d/2 exp 1 ] Σ 1/2 2 (x µ)t Σ 1 (x µ) = N(µ,Σ) der µ er forventningsvektoren og Σ er kovariansmatrisen.

35 Normalfordelingen - eksempler på diskriminantfunksjoner Univariat normalfordeling Klassebetinget normalfordeling for klasse ω i, der forventningsverdien er µ i og standardavviket er σ i.

36 Normalfordelingen - eksempler på diskriminantfunksjoner Bivariat normalfordeling

37 Normalfordelingen - eksempler på diskriminantfunksjoner Bivariat normalfordeling (2) µ Bivariat normalfordeling representert ved ellipser med konstant tetthet (og konstant Mahalanobisavstand fra forventningsvektoren).

38 Normalfordelingen - eksempler på diskriminantfunksjoner Diskriminantfunksjoner for multivariat normalfordeling En minimum feilrate beslutningsregel kan uttrykkes ved diskriminantfunksjoner på formen: g i (x) = ln[p(x ω i )P(ω i )] = lnp(x ω i ) + lnp(ω i ). Innsetting av den multivariate normalfordelingen: gir da: p(x ω i ) = 1 (2π) d/2 Σ i 1/2 e 1 2 (x µ i ) t Σ 1 (x µ i ) = N(µ i,σ i ) g i (x) = 1 2 (x µ i ) t Σ 1 i (x µ i ) d 2 ln(2π) 1 2 ln Σ i + lnp(ω i ).

39 Normalfordelingen - eksempler på diskriminantfunksjoner Diskriminantfunksjoner for multivariat normalfordeling (2) Dette er generelt en kvadratisk diskriminantfunksjon som kan skrives på formen: der Desisjonsgrenser: W i = 1 2 Σ 1 i g i (x) = x t W i x + w t x + w i0, i = 1,...,c (d d matrise) w i = Σ 1 i µ t i (d 1 vektor) w i0 = 1 2 µt i Σ 1 i µ i 1 2 ln Σ i + lnp(ω i ) (1 1 skalar) Der g i (x) = g j (x),i j, forutsatt at ingen andre funksjonsverdier er større, Gir hyperkvadratiske flater (eksempelvis sirkler, ellipser, parabler, hyperbler og rette linjer i planet).

40 Normalfordelingen - eksempler på diskriminantfunksjoner Kvadratiske desisjonsgrenser for toklasseproblemet µ 1 µ 2 Kvadratiske desisjonsgrenser for toklasseproblem med ulike (men i dette tilfellet diagonale) kovariansmatriser. Desisjonsgrensene er i dette tilfellet hyperbler (blå kurver).

41 Normalfordelingen - eksempler på diskriminantfunksjoner Like kovariansmatriser Dersom like kovariansmatriser for alle klasser (Σ i = Σ) kan diskriminantfunksjonene forenkles. Den kvadratiske diskriminantfunksjonen: fra det generelle tilfellet reduseres til: g i (x) = x t W i x + w t i x + w i0 g i (x) = w t i x + w i0 siden det kvadratiske leddet kan fjernes fordi W i = W = 1 2 Σ 1 = konstant. Resultatet er lineære diskriminantfunksjon der: w i = Σ 1 µ i w i0 = 1 2 µt i Σ 1 µ i + lnp(ω i ) (siden 1 ln Σ = konstant). 2

42 Normalfordelingen - eksempler på diskriminantfunksjoner Lineære desisjonsgrenser for toklasseproblemet - like kovariansmatriser µ i x 0 µ j w To klasser med like kovariansmatriser (og her like á priori sannsynligheter).

43 Normalfordelingen - eksempler på diskriminantfunksjoner Diagonale kovariansmatriser med like varianser Anta felles diagonal kovariansmatrise med like varianser, dvs: Σ i = Σ = σ 2 I. En toklasse diskriminantfunksjon mellom ω i og ω j er også her lineær: g(x) = w t x + w 0 med vektvektor forenklet til: og skalarvekt til: w = Σ 1 (µ i µ j ) = (µ i µ j ) σ 2 w (µ i µ j ) w 0 = ( µ i 2 µ j 2 ) 2σ 2 + ln P(ω i) P(ω j ).

44 Normalfordelingen - eksempler på diskriminantfunksjoner Lineære desisjonsgrenser for toklasseproblemet - diagonale kovariansmatriser med like varianser µ i x 0 w µ j Desisjonsgrensen står normalt på linjen mellom forventningsvektorene. Plasseringen bestemt av á priorisannsynlighetene, mens orienteringen er gitt av vektvektoren.

45 Diskrete egenskaper Diskrete egenskaper Egenskapsvektoren x antar kun diskrete verdier: v 1,v 2,...,v m. Endringer fra det kontinuerlige tilfellet er at: p(x ω i )dx P(v k ω i ) (integraler erstattes av summer) m k=1 og at Bayes regel skrives på formen: P(ω i x) = P(x ω i)p(ω i ) P(x) (tettheter erstattes av sannsynligheter). Utover dette kan desisjonsteorien brukes som i det kontinuerlige tilfellet. Eksempler på diskriminantfunksjoner: g(x i ) = lnp(x ω i ) + lnp(ω i ), i = 1,...,c.

46 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

47 Oversikt Parametriske metoder Maksimum-likelihood metoden Faste men ukjente parametre Maksimalisering av sannsynlighet for observerte sampler Bayesisk estimering Stokastiske parametre med á priori fordeling Oppdatering til á posteriori parameterfordeling ved hjelp av observerte sampler.

48 Maksimum likelihood metoden Maksimum-likelihood metoden Likelihoodfunksjonen: p(x θ ) = n k=1 p(x k θ ) der x 1,x 2,...,x n er treningssamplene, skal maksimaliseres med hensyn til parametervektoren θ. Det er enklere å arbeide med logaritmen til likelihoodfunksjonen, siden produktet da erstattes med en sum. Log-likelihoodfunksjonen er maksimal for samme verdi av θ som likelihoodfunksjonen selv, siden logaritmen er en monotont voksende funksjon, og kan skrives som: L (θ ) = n k=1 lnp(x k θ ). Denne funksjonen skal maksimaliseres med hensyn til θ.

49 Maksimum likelihood metoden Likelihoodfunksjonen Likelihoodfunksjonen for et problem med én parameter. Målet er å finne den parameterverdien ˆθ der funksjonen er maksimum.

50 Maksimum likelihood metoden Maksimum likelihood metoden (2) Maksimum finnes ved å ta gradienten til log-likelihood funksjonen: θ L (θ ) = n k=1 θ lnp(x k θ ) og sette den lik null. Dette gir følgende likningssystem for parametervektoren: n θ lnp(x k θ ) = 0 k=1 som kan løses etter innsetting av en tetthetsfunksjon p(x θ ) med kjent form.

51 Maksimum likelihood metoden - eksempler Eksempel - Univariat normalfordeling Fordelingen er her gitt ved: p(x µ,σ 2 ) = 1 µ)2 (x e 2σ 2 = N(µ,σ 2 ) 2πσ der de ukjente parametrene er µ og σ 2, dvs. parametervektoren θ har i dette tilfellet komponentene θ 1 = µ og θ 2 = σ 2. Maksimum likelihood løsningene er og ˆσ 2 = 1 n ˆµ = 1 n n k=1 n x k (dvs. sampelmiddelet over X ) k=1 (x k ˆµ) 2 (dvs. sampelvariansen over X ).

52 Maksimum likelihood metoden - eksempler Eksempel - Multivariat normalfordeling Den multivariate normalfordelingen er gitt ved [ 1 p(x µ,σ) = (2π) d/2 exp 1 ] Σ 1/2 2 (x µ)t Σ 1 (x µ) Maksimum likelihood løsningene for de ukjente parametrene µ og Σ er og ˆΣ = 1 n ˆµ = 1 n n k=1 n x k k=1 (x k ˆµ)(x k ˆµ) t.

53 Maksimum likelihood metoden - eksempler Eksempel - Estimering av á priori sannsynligheter Skal estimere parameteren θ i = P(ω i ) vha. treningssampler {x 1,x 2,...,x n } med klassetilhørighet (indekser) {z i1,z i2,...,z in } der { 1 hvis xk ω i z ik = 0 ellers. Likelihoodfunksjonen blir her P(X θ i ) = P(z i1,z i2,...,z in θ i ) = og log-likelihoodfunksjonen L (θ i ) = n k=1 n k=1 P(z ik θ i ) = n k=1 {z ik lnθ i + (1 z ik )ln(1 θ i )}. θ z ik i (1 θ i ) 1 z ik

54 Maksimum likelihood metoden - eksempler Eksempel - Estimering av á priori sannsynligheter (2) Maksimum-likelihoodløsningen er gitt ved som gir og estimatet n k=1 L (θ i ) = θ i n k=1 { zik θ i 1 z ik 1 θ i {z ik (1 θ i ) (1 z ik )θ i } = 0 ˆθ i = ˆP(ω i ) = 1 n } = 0, n k=1 n z ik = n i k=1 n, der n i er antall sampler fra klasse ω i i treningssettet. {z ik θ i } = 0

55 Maksimum likelihood metoden - eksempler Kvadratiske diskriminantfunksjoner Har funnet estimatene ˆµ i, ˆΣ i og ˆP(ω i ) for hver klasse i = 1,...,c for et problem med multivariat normalfordelte klasser. Kan da beregne størrelsene: W i = 1 1 ˆΣ i 2 1 w i = ˆΣ i ˆµ i w i0 = 1 2 ˆµ t i ˆΣ 1 i ˆµ i 1 2 ln ˆΣ i + ln ˆP(ω i ) som inngår i de kvadratiske diskriminantfunksjonene: g i (x) = x t W i x + w t i x + w i0, i = 1,...,c Beslutningsregelen blir: Velg ω i hvis g i (x) g j (x), j i.

56 Maksimum likelihood metoden - eksempler Eksempel - klassifisering av seismiske data Diskriminering mellom naturlige jordskjelv og underjordiske kjernefysiske detonasjoner; toklasseproblem med to egenskaper beregnet fra målte seismiske signaler. Kvadratisk diskriminantfunksjon gir to hyperbelgreiner som desisjonsgrenser. Den ene greinen er vist i figuren; den andre ligger utenfor figuren.

57 Maksimum likelihood metoden - eksempler Eksempel - Maksimum likelihood (ML) estimering (1) Eksempel: Univariat datasett med 200 sampler, Antar normalfordeling med ukjent µ og kjent σ = 1, Skal estimere forventningen µ n som funksjon av antall sampler n i estimatet. Histogram over datasettet.

58 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (2) Likelihoodfunksjonen med ett sample - maksimalverdi ˆµ 1 = 0,9053.

59 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (3) Likelihoodfunksjonen med 10 sampler - maksimalverdi ˆµ 10 = 0,8617.

60 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (4) Likelihoodfunksjonen med 50 sampler - maksimalverdi ˆµ 50 = 0,8327.

61 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (5) Likelihoodfunksjonen med 100 sampler - maksimalverdi ˆµ 100 = 0,7093.

62 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (6) Likelihoodfunksjonen med 200 sampler - maksimalverdi ˆµ 200 = 0,8957.

63 Maksimum likelihood metoden - eksempler Eksempel - ML-estimering (7) Forventningsestimatet som funksjon av antall sampler, sluttresultat ˆµ 200 = 0,8957.

64 Bayesisk estimering Bayesisk estimering Tettheten i punkt x er her gitt ved: p(x X ) = p(x θ)p(θ X )dθ der p(θ X ) er á posteriori parameterfordeling gitt ved: p(θ X ) = p(x θ)p(θ) p(x θ)p(θ)dθ og p(x θ) er likelihoodfunksjonen som kan beregnes fra treningssettet ved: p(x θ) = n k=1 p(x k θ). Her er p(θ) (á priori parameterfordeling) og p(x θ) kjente funksjoner av θ.

65 Bayesisk estimering Rekursiv Bayesisk estimering Bayesisk estimering kan beskrives rekursivt ved p(θ X n ) = p(x n θ)p(θ X n 1 ) p(xn θ)p(θ X n 1 )dθ, der x n er sample nummer n i treningssettet X n = {x 1,x 2,...,x n }. Ved å definere p(θ X 0 ) = p(θ) der X 0 er et tomt treningssett, gir dette en følge av fordelinger som funksjon av antall sampler i treningssettet: p(θ),p(θ x 1 ),p(θ x 1,x 2 ),...,p(θ X n ),... Typisk vil á posteriorifordelingen bli skarpere og skarpere når antall sampler øker, dvs. Bayesisk læring, der p(θ X n ) δ(θ θ 0 ) når n (konvergens mot Diracs deltafunksjon om parametervektor θ 0 ).

66 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (1) Á priori parameterfordeling (for samme datasett som i foregående eksempel). Her er det valgt en fordeling N(µ 0,σ 2 0 ) med µ 0 = 2,0 og σ 0 = 5,0.

67 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (2) Á posteriori parameterfordeling p(θ X 1 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 9470.

68 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (3) Á posteriori parameterfordeling p(θ X 10 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8660.

69 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (4) Á posteriori parameterfordeling p(θ X 50 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8340.

70 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (5) Á posteriori parameterfordeling p(θ X 100 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 7100.

71 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering (6) Á posteriori parameterfordeling p(θ X 200 ) (blå kurve) og á priori fordeling (svart kurve), maksimalpunkt 0, 8960.

72 Bayesisk estimering - eksempler Eksempel - Bayesisk estimering av forventning til univariat normalfordeling I dette eksempelet er: p(x µ) = N(µ,σ 2 ) der σ antas kjent og µ er ukjent, og p(µ) = N(µ 0,σ 2 0 ) der µ 0 og σ 0 er kjente. Det kan vises at á posteriori parameterfordeling blir: p(µ X ) = N(µ n,σ 2 n ), dvs. en normalfordeling med forventning og varians: µ n = nσ 0 2 nσ0 2 + σ 2 m σ 2 n + nσ0 2 + σ 2 µ 0 og σn 2 = σ 2 σ0 2 nσ0 2 + σ 2, der µ 0, σ 0 og σ er kjente, og m n = 1 n n k=1 x k er sampelmiddelet over X. Tettheten i punktet x blir derved (kan vises): p(x X ) = p(x µ)p(µ X )dµ = N(µ n,σ 2 + σn 2 ).

73 Bayesisk estimering - eksempler Eksempel - læring av forventning til univariat normalfordeling (1)

74 Bayesisk estimering - eksempler Eksempel - læring av forventning til univariat normalfordeling (2)

75 Bayesisk estimering - eksempler Eksempel - læring av forventning til univariat normalfordeling (3)

76 Bayesisk estimering - eksempler Eksempel - læring av forventning til univariat normalfordeling (4)

77 Bayesisk estimering - eksempler Eksempel - læring av forventning til univariat normalfordeling (5)

78 Bayesisk estimering - eksempler Eksempel - estimering av forventning i multivariat normalfordeling Antar følgende: p(x µ) = N(µ,Σ), p(µ) = N(µ 0,Σ 0 ), X = {x 1,x 2,...,x n }, µ = ukjent,σ = kjent, µ 0 = kjent,σ 0 = kjent, treningssett med n sampler fra én og samme klasse. Likelihoodfunksjonen blir da p(x µ) = n k=1 p(x k µ) = og á posteriori parameterfordeling kan vises å bli p(µ X ) = n [ 1 (2π) nd/2 Σ n/2 exp 1 ] k=1 2 (x k µ) t Σ 1 (x k µ) p(x µ)p(µ) = N(µ p(x µ)p(µ)dµ n,σ n ).

79 Bayesisk estimering - eksempler Eksempel - estimering av forventning i multivariat normalfordeling (2) Her er parameterestimatene µ n = Σ 0 ( 1 n Σ + Σ 0) 1 m n + 1 n Σ( 1 n Σ + Σ 0) 1 µ 0 (veiet middel av m n og µ 0 ) og Σ n = 1 n Σ( 1 n Σ + Σ 0) 1 Σ 0 eller Σ n = 1 n Σ 0( 1 n Σ + Σ 0) 1 Σ. Tettheten i punktet x kan nå beregnes: p(x X ) = p(x µ)p(µ X )dµ = N(µ n,σ + Σ n ) (kan vises). I grensen n (det asymptotiske tilfellet) får man µ n m n og Σ n 0 slik at p(x X ) N(m n,σ) når n (maksimum likelihood løsningen).

80 Suffisiente observatorer Suffisient observator Statistisk størrelse s som inneholder tilstrekkelig informasjon fra treningssettet X for estimering av parametervektoren θ. Det kan vises at s er suffisient p(θ s,x ) = p(θ s), slik at s inneholder all nødvendig informasjon fra X. Eksempel: s = m n = 1 n n x k k=1 for den multivariate normalfordelingen N(µ, Σ). Faktoriseringsteoremet sier at s er suffisient for θ hvis og bare hvis p(x θ) = g(s, θ)h(x ). Suffisiente observatorer er nyttige dersom s og g(s, θ) er enkle og mest mulig av likelihoodfunksjonen kan skilles ut i faktoren h(x ).

81 Suffisiente observatorer Bruk av suffisiente observatorer Maksimum likelihood estimering: Skal maksimalisere likelihoodfunksjonen p(x θ) = g(s, θ)h(x ) mht. θ, dvs. tilstrekkelig å maksimalisere g(s, θ) mht. θ og glemme h(x ). Bayesisk estimering: Må først finne á posteriori parameterfordeling p(θ X ) = p(x θ)p(θ) = p(x θ)p(θ)dθ g(s, θ)h(x )p(θ) = g(s, θ)h(x )p(θ)dθ g(s, θ)p(θ). g(s, θ)p(θ)dθ Dersom p(θ) er uniform (eller n = ) kan denne fordelingen uttrykkes ved p(θ X ) = g(s, θ) g(s, θ)dθ = g(s, θ) (kjernetettheten til g), Dersom n >> 1 vil p(θ X ) g(s, θ) selv om p(θ) ikke er uniform, slik at p(x X ) = p(x θ)p(θ X )dθ p(x θ) g(s, θ)dθ der p(x θ) er en kjent funksjon av x og θ, og g kan finnes i lærebøker.

82 Eksponensialfamilien Eksponensialfamilien Familie av fordelinger som kan skrives på formen Likelihoodfunksjonen blir da p(x θ) = p(x θ) = α(x)exp[a(θ) + b(θ) t c(x)]. n k=1 = exp α(x k )exp[a(θ) + b(θ) t c(x k )] [ { n }] n a(θ) + b(θ) t 1 c(x k ) n k=1 }{{} g(s,θ) = g(s, θ)h(x ), der den suffisiente observatoren er gitt ved s = 1 n n c(x k ). k=1 n k=1 α(x k ). } {{ } h(x )

83 Eksponensialfamilien Eksempel - Univariat normalfordeling Her er θ = som gir [ ] µ σ 2, α(x) = 1, a(θ) = µ2 2π 2σ 2 lnσ, b(θ) = { p(x θ) = 1 [ µ exp µ2 2π 2σ 2 lnσ + σ 2 1 = 1 2πσ exp = 1 exp { 2πσ 2σ 2 { x 2 2µx + µ 2 } 2σ 2 (x µ)2 2σ 2 [ µ ] [ ] σ x 2 1 og c(x) = x 2, 2σ 2 ] t [ ] } x x 2 } = N(µ,σ 2 ).

84 Eksponensialfamilien Eksempel - Multivariat normalfordeling Her er [ ] µ θ =, α(x) = 1, a(θ) = 1 Σ (2π) d 2 2 µt Σ 1 µ 1 [ Σ ln Σ, b(θ) = 1 ] µ Σ 1 som gir { p(x θ) = 1 exp (2π) d 2 1 = exp (2π) d 2 Σ = (2π) d 2 Σ = (2π) d 2 Σ µt Σ 1 µ 1 [ Σ 2 ln Σ + 1 ] t [ ] } µ x 1 2 Σ 1 xx t 1 2 µt Σ 1 µ + µ t Σ 1 x 1 2 (Σ 1 : xx t ) }{{} Frobeniusprodukt { exp 1 2 µt Σ 1 µ + µ t Σ 1 x 1 2 x t Σ 1 x { exp 1 } 2 (x µ)t Σ 1 (x µ) = N(µ,Σ). [ ] x og c(x) = xx t, } (siden Σ 1 : xx t = x t Σ 1 x)

85 Eksponensialfamilien Eksponensialfamilien (noen eksempler) Navn Fordeling Parametre Suffisient observator g(s,θ) Univariat θ2 θ1 = µ normal p(x θ) = 2π e 1 2 θ2(x θ1)2 θ2 = σ 2 > 0 s1 = 1 n s2 = 1 n n xk k=1 n xk 2 k=1 θ n/2 2 e n 2 θ2(s2 2θ1s1+θ 2 1 ) Multivariat normal p(x θ) = Θ2 1 2 (2π) d/2 e 1 2 (x θ 1)t Θ2(x θ 1) θ 1 = µ Θ2 = Σ 1, Θ2 > 0 s1 = 1 n S2 = 1 n n xk k=1 n xkxk t k=1 Θ2 n/2 e n 2 [Tr(Θ2)s2 2θ t 1 Θ2s1+θ t 1 Θ2θ1] { θe θx x 0 Eksponensial p(x θ) = 0 ellers θ > 0 s = 1 n n xk k=1 θ n e nθs Gamma p(x θ) = θ θ1+1 2 Γ(θ1 + 1) x θ1 e θ2x x 0 0 ellers θ1 > 1 θ2 > 0 s1 = s2 = 1 n ( n k=1 xk n xk k=1 ) 1/n [ ] θ θ1+1 n 2 Γ(θ1 + 1) sθ1 1 e θ2s2 Poisson P(x θ) = θ x x! e θ, der x = 0,1,2,... θ > 0 s = 1 n n xk k=1 θ ns e nθ d Multinomial P(x θ) = m! i=1 θ xi i xi!, der xi = 0,1,...,m d xi = m i=1 θi,i=1,...,d der 0 < θi < 1 d θi = 1 i=1 s = 1 n n xk k=1 d θ nsi i i=1 Andre eksempler er Rayleigh-, Maxwell-, beta-, Bernoulli- og binomialfordelingene.

86 Begrensninger Begrensninger ved parametriske metoder Unimodal fordeling Parametriske metoder har visse begrensninger: Tetthetsfunksjonene har som oftest ukjent form slik at gal eller dårlig antakelse om formen gir suboptimalt resultat. De fleste kjente (enkle) fordelinger har bare én mode, slik at de passer dårlig til mange virkelige fordelinger med flere moder (multimodale fordelinger). Tetthetsfunksjonene kan være kjente, men beregningsmessig kompliserte; de kan f.eks. bestå av en blanding av unimodale komponenter. Multimodal fordeling

87 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

88 Oversikt Ikke-parametriske metoder I ikke-parametriske metoder gjøres det ingen antakelser om formen på tetthetsfunksjonene. I stedet brukes treningssettet direkte til å estimere tettheten eller á posteriori sannsynligheten i ethvert punkt x av interesse (dvs. egenskapsvektorene til ukjent sampler). Vi skal se på følgende metoder: Tetthetsestimering (punktestimering): Vindumetoder, Nærmeste-nabo metoder. Estimering av á posteriori sannsynlighet: Nærmeste-nabo (NN) regelen, K-nærmeste-nabo (knn) regelen.

89 Metoder Tetthetsestimering x 2 Tettheten i x estimeres ved p n (x) = k n/n V n for et treningssett X med n sampler. x k n V n x 1 Her er R n - vilkårlig region omkring punktet x, k n - antall sampler (observasjoner) fra X innenfor regionen, V n - volumet av regionen.

90 Vindumetoden Vindumetoden Tetthetsestimatet uttrykkes her som en sum av vindufunksjoner sentrert omkring treningssamplene: j x xi j h n p n (x) = k n/n = 1 n V n n i=1 ( 1 x xi ϕ V n h n ). Vindufunksjonene kan være rektangulære (generelt hyperkubiske), men kan generaliseres, f.eks. ved Rektangulære vindufunksjoner. x xi j h n p1 2p e 1 x xi 2 2 hn ϕ(u) = 1 (2π) 1/2 e 1 2 u 2. Gaussisk vindufunksjon.

91 Vindumetoden Vindumetoden (2) Krever ingen antagelse om form på fordelingen. Tetthetsestimatet konvergerer til vilkårlig fordeling når n. I praksis avveining mellom lav oppløsning og mye støy i estimatet (valg av h n ). Krever typisk større treningssett enn parametriske metoder for å oppnå samme nøyaktighet i estimatet (n exp(d)). Må lagre og gjennomsøke hele treningssettet for hvert tetthetsestimat (hvert punkt x). V n velges fast og er ikke tilpasset lokale forhold i egenskapsrommet. Støyfylt estimat: Estimat med lav romlig oppløsning:

92 Vindumetoden - eksempler Eksempel - estimering av univariat fordeling Éndimensjonalt datasett med 200 sampler (grønne sirkler) og tilhørende maksimum likelihood estimat av antatt normalfordeling.

93 Vindumetoden - eksempler Parzen-estimat - rektangulær vindufunksjon (1)

94 Vindumetoden - eksempler Parzen-estimat - rektangulær vindufunksjon (2)

95 Vindumetoden - eksempler Parzen-estimat - rektangulær vindufunksjon (3)

96 Vindumetoden - eksempler Sammenlikning med parametrisk estimat

97 Vindumetoden - eksempler Parzen-estimat - Gaussisk vindufunksjon (1)

98 Vindumetoden - eksempler Parzen-estimat - Gaussisk vindufunksjon (2)

99 Vindumetoden - eksempler Parzen-estimat - Gaussisk vindufunksjon (3)

100 Vindumetoden - eksempler Eksempel - todimensjonalt datasett

101 Vindumetoden - eksempler Datasett og konturer med konstant tetthet

102 Vindumetoden - eksempler Maksimum likelihood estimat - antatt bivariat normalfordeling

103 Vindumetoden - eksempler Parzen-estimat (2D) med Gaussisk vindufunksjon (1)

104 Vindumetoden - eksempler Parzen-estimat (2D) med Gaussisk vindufunksjon (2)

105 Vindumetoden - eksempler Parzen-estimat (2D) med Gaussisk vindufunksjon (3)

106 Nærmeste-nabo metoder Nærmeste nabo estimering Tetthetsestimatet er som tidligere gitt ved p n (x) = k n/n V n, der k n i dette tilfellet velges fast, mens V n tilpasses slik at regionen R n omslutter akkurat k n sampler: x V n k n k n kan velges som funksjon av n, f.eks. k n = n, Regionen R n velges normalt som en hyperkule, Volumet V n varierer med tettheten av treningssampler omkring punktet x.

107 Nærmeste-nabo metoder K-nærmeste-nabo estimat - éndimensjonalt datasett (1)

108 Nærmeste-nabo metoder K-nærmeste-nabo estimat - éndimensjonalt datasett (2)

109 Nærmeste-nabo metoder K-nærmeste-nabo estimat - éndimensjonalt datasett (3)

110 Nærmeste-nabo metoder K-nærmeste-nabo estimat - todimensjonalt datasett (1)

111 Nærmeste-nabo metoder K-nærmeste-nabo estimat - todimensjonalt datasett (2)

112 Nærmeste-nabo metoder K-nærmeste-nabo estimat - todimensjonalt datasett (3)

113 Nærmeste-nabo metoder K-nærmeste-nabo estimat - todimensjonalt datasett (4)

114 Nærmeste-nabo metoder Estimering av á posteriori sannsynlighet Estimatet er der P n (ω i x) = k i k, i = 1,...,c, k i = antall sampler fra ω i og k = c i=1 k i er totalt antall sampler innen volumet V. x Den vanligste er å fastsette k og tilpasse V slik at akkurat så mange sampler faller innenfor. Minimum feilrateprinsippet leder direkte til K-nærmeste-nabo regelen og Nærmeste-nabo regelen (beslutningsregler).

115 Nærmeste-nabo metoder K-nærmeste-nabo regelen (k-nnr) og nærmeste-nabo regelen (NNR) K-nærmeste-nabo regelen: Velg ω m hvis k m = max{k j }. j Her velges klassen som har flest representanter blant de k nærmeste naboene i treningssettet. Nærmeste-nabo regelen: Velg ω m hvis θ n = ω m. Her velges samme klasse som klassen θ n til den nærmeste naboen i treningssettet.

116 Nærmeste-nabo metoder Asymptotisk feilrate for nærmeste-nabo regelen Asymptotisk feilrate P som funksjon av optimal feilrate P. For enhver verdi av P vil den asymptotiske feilraten ligge i intervallet mellom den øvre heltrukne kurven og den stiplede linjen gitt ved P = P (det skraverte arealet).

117 Nærmeste-nabo metoder Asymptotisk feilrate for k-nærmeste-nabo regelen Øvre grense for asymptotisk feilrate som funksjon av optimal feilrate. Den øvre grensen (heltrukne kurver for ulike verdier av k) konvergerer mot den nedre grensen (stiplet linje gitt ved P = P ) når k.

118 Forenklinger Mulige forenklinger for NNR og k-nnr Hierarkisk organisering av treningssettet for å redusere regnetiden ved klassifisering (tiden det tar å finne nærmeste nabo eller de k nærmeste naboene til det ukjente samplet). Kondensering av treningssettet ved å fjerne sampler som ikke har betydning for utfallet av klassifiseringen; sampler som ligger langt fra desisjonsgrensene og er beskyttet av sampler nærmere grensene (se neste figur). Editering av treningssettet som består i å fjerne outliere. Slike sampler kan være feilregistreringer og ligger typisk langt vekk fra de fleste andre sampler fra samme klasse (f.eks. som enkeltsampler omgitt av treningssampler fra andre klasser). Outliere kan gi mindre effektiv kondensering (flere sampler nær outlieren må beholdes for å motvirke feilklassifiseringer). Editering bør derfor gjøres før kondensering.

119 Forenklinger Kondensering - fjerning av unødvendige treningssampler x 2 x 1 Treningssamplene innenfor regionene markert i grønt kan fjernes uten at dette vil påvirke klassifiseringen av nye sampler innenfor de samme regionene.

120 Forenklinger Mulig forenkling for vindumetoden Rekkeutvikling av vindufunksjonen ϕ: ( ) x xi ϕ = h n m j=1 a j ψ j (x)χ j (x i ), der ψ j og χ j er sett av basisfunksjoner. Fra dette får man da p n (x) = 1 n = n i=1 m j=1 ( ) 1 x xi ϕ = V n b j ψ j (x), h n m j=1 a j ( n χ j (x i ) i=1 ) nv n } {{ } b j ψ j (x) der koeffisientene b j,j = 1,...,m kan bestemmes én gang for alle fra X (og lett oppdateres med nye data). Dette gir redusert datamengde dersom m < n d. Spørsmålet er hvor stor ordenen m må være for å gi en rekkeutvikling med tilstrekkelig nøyaktighet.

121 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

122 Oversikt Lineære og generaliserte diskriminantfunksjoner Lineære diskriminantfunksjoner for c klasser: Parametre (vekter): g i (x) = w t i x + w i0, i = 1,...,c. w i - vektvektor (d komponenter) for klasse ω i w i0 - tersklingsvekt (skalar) for klasse ω i. Lineære diskriminantfunksjoner kan i noen tilfeller gi den optimale løsningen. Beslutningsregel: Velg ω m hvis g m (x) = max{g i (x)} i

123 Toklasseproblemet To klasser Lineær toklasse diskriminantfunksjon: g(x) =g 1 (x) g 2 (x) =(w1x t + w 10 ) (w2x t + w 20 ) =(w 1 w 2 ) t + (w 10 w 20 ) =w t x + w 0. Her er w t = w 1 w 2 vektvektoren og w 0 = w 10 w 20 tersklingsvekten. Desisjonsregelen blir da Velg ω 1 hvis g(x) > 0, ω 2 ellers.

124 Toklasseproblemet Desisjonsgrensen er et hyperplan w x Avstanden fra et punkt x til hyperplanet er r = g(x) w. x p dvs. proporsjonal med verdien til diskriminantfunksjonen i x. Avstanden mellom origo og hyperplanet blir derved d = g(0) w = w w 0 > 0 : origo på positiv side av hyperplanet, 0 w w 0 = 0 : hyperplanet gjennom origo, w 0 < 0 : origo på negativ side av hyperplanet.

125 Toklasseproblemet Hyperplan med w 0 > 0 w Origo ligger på den positive siden av hyperplanet (d > 0).

126 Toklasseproblemet Hyperplan med w 0 = 0 w Hyperplanet går gjennom origo (d = 0).

127 Toklasseproblemet Hyperplan med w 0 < 0 w Origo ligger på den negative siden av hyperplanet (d < 0).

128 Mange klasser Lineær maskin Diskriminantfunksjoner på formen: g 1 (x) g i (x) = w t i x + w i0, i = 1,...,c x g 2 (x) med beslutningsregelen: Velg ω i hvis g i (x) = max{g j (x)} j g c (x) Lineær maskin. Alternativer: Dele inn problemet i c toklasseproblemer (hver klasse mot alle de andre), Behandle alle c(c 1)/2 par av klasser hver for seg. Begge alternativer leder til udefinerte eller tvetydige regioner i egenskapsrommet.

129 Mange klasser Eksempel - Minste avstand klassifisering Klassifisering til klassen med nærmeste forventningsverdi (mht. Euclidsk avstand) gir diskriminantfunksjonene: g i (x) = x µ i 2 = x t x + 2x t µ i µ t i µ i Første leddet er felles for alle klasser og kan sløyfes, slik at diskriminantfunksjonene kan skrives som: [ ] g i (x) = 2x t µ i µ i 2 = [ µ i 2,2µ t 1 i }{{} ] = ai t y. x ai t }{{} y Her er: a i utvidet vektvektor for klasse ω i og y utvidet egenskapsvektor.

130 Mange klasser Stykkevis lineære desisjonsgrenser - tre klasser Todimensjonale desisjonsregioner for minimum avstand klassifisering.

131 Mange klasser Stykkevis lineære desisjonsgrenser - fem klasser Todimensjonale desisjonsregioner for minimum avstand klassifisering.

132 Generalisering Generaliserte lineære diskriminantfunksjoner Lineær diskriminantfunksjon: g(x) = w t x + w 0 = w 0 + Generalisering til høyere orden: g(x) = w 0 + = ˆd i=1 d i=1 w i x i + a i y i (x) = a t y d i=1 d d i=1 j=1 w i x i w ij x i x j + (klasseangivelse utelatt) d d d i=1 j=1 k=1 (rekkeutvikling til orden ˆd). w ijk x i x j x k +... Dette er en lineær diskriminantfunksjon i y med utvidede vektorer: a 1 y 1 (x) a 2 y 2 (x) a = (vektvektor) og y =.. (egenskapsvektor). a ˆd y ˆd(x)

133 Generalisering Lineære diskriminantfunksjoner Skal bruke lineære diskriminantfunksjoner transformert til y-rommet: 1 g i (x) = wi t d x 1 x + w i0 = w i0 + w ij x ij = [w i0,w i1,...,w id ]. = a i t y. j=1 Avbildning fra d d + 1 dimensjonerer der: a = utvidet vektvektor y = utvidet egenskapsvektor Sampler fra x-rommet ligger i d-dimensjonalt underrom i y-rommet. Desisjonsregelen velger klassen med størst skalarprodukt av utvidet vektvektor med utvidet egenskapsvektor. x d

134 Generalisering Toklasseproblemet Den felles diskriminantfunksjonen for toklasseproblemet kan skrives på formen: g(x) = g 1 (x) g 2 (x) = a1y t a2y t = (a1 t a2)y t = a t y, der a = a 1 a 2 normalvektor til desisjonsflaten (generelt et hyperplan), Hyperplanet går gjennom origo i y-rommet. Desisjonsregel: Velg ω 1 hvis a t y > 0 og ω 2 hvis a t y 0

135 Utvidet egenskapsrom Transformasjon fra x-rom til y-rom Separerende hyperplan a Éndimensjonalt datasett i x-rom og y-rom (grønne sirkler fra ω 1 og røde kvadrater fra ω 2 ). I y-rommet kan klassene her separeres vha. et hyperplan gjennom origo, med a som normalvektor.

136 Utvidet egenskapsrom Separerende hyperplan, løsningsvektor og løsningsregion Separerende hyperplan Løsningsregion a

137 Utvidet egenskapsrom Representasjon i y-rom med fortegnskonvensjon Separerende hyperplan Løsningsregion a

138 Trening av vektvektor - gradientsøk Minimalisering av kriteriefunksjon - gradientsøk En kriteriefunksjon J(a) skal minimaliseres for å finne en optimal vektvektor. Gradientsøk: a 1 = vilkårlig startverdi a k+1 = a k ρ k J(a k ), k = 1,2,... der ρ k er en positiv skrittlengde (inkrementet). Forhåpentligvis oppnås konvergens mot et globalt minimum, men løsningen vil avhenge av J(a),a 1 og ρ k. For stort inkrement kan gi divergens, mens for liten verdi kan føre til langsom konvergens.

139 Perceptron-metoden Perceptron-kriteriet Her velges kriteriefunksjonen: J p (a) = a t y der Y = {y : a t y 0}. y Y Her er Y mengden av feilklassifiserte sampler fra treningssettet. Egenskaper ved Perceptron-kriteriet: J p (a) er kontinuerlig i a og skal minimaliseres mhp. a, J p (a) def = 0 når Y = /0 dvs. ingen feilklassifiseringer, J p (a) = 0 kun når a er en løsningsvektor eller a = 0, og J p (a) > 0 dersom minst ett sample er feilklassifisert mht. a, dvs. a t y 0 der y er feilklassifisert. Minimalisering gir et hyperplan med flest mulig sampler på positiv side og/eller nær opp til hyperplanet på negativ side.

140 Perceptron-metoden Perceptron-algoritmen Gradienten til kriteriefunksjonen er: J p (a) = y y Y Gradientsøket skissert i foregående avsnitt gir da følgende algoritme: a 1 = vilkårlig startvektor a k+1 = a k + ρ k y, k = 1,2,... Perceptron-algoritmen y Y k der: Y k = {y : a t k y 0} = mengden av feilklassifiserte sampler mht. a k. Her oppdateres vektvektoren etter et helt gjennomsøk av treningssettet (sammensatt oppdatering).

141 Perceptron-metoden Enkeltsample oppdatering Forenklet algoritme der vektvektoren oppdateres for hvert feilklassifiserte sampel: } a 1 = vilkårlig startvektor a k+1 = a k + ρ k y k Variabelt inkrement regelen, k = 1,2,... der y k, k = 1,2,... er feilklassifisert med hensyn til a k. Det er vanlig å betrakte sampler der a t k y k b (med marginen b > 0) som feilklassifiserte. Dette gir en sannsynligvis mer robust løsningsvektor inne i løsningsregionen. Indeksen k er en fortløpende nummerering av feilklassifiserte sampler i en syklisk gjennomløping av treningssettet y 1,y 2,...,y n. Eksempel med n = 4: y 1 y 2 y 3 y 4 y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4, y 1, y 2, y 3, y 4,... y 5

142 Perceptron-metoden Fast inkrement regelen. Et spesialtilfelle av variabelt inkrement regelen med inkrementet satt til en fast verdi, f.eks. ρ k = ρ = 1. Enkeltsample algoritmen redusert derved til: } a 1 = vilkårlig startvektor a k+1 = a k + y k, k = 1,2,... Fast inkrement regelen Samplet representert ved y k er her feilklassifisert med hensyn til vektvektoren a k.

143 Perceptron-metoden Oppdateringen i fast inkrement regelen a k+1 y k a t y k =0 y k a k Vektvektoren a k oppdateres ved å legge til det feilklassifiserte samplet y k (flyttes direkte mot hyperplanet gitt ved a t y k = 0). y k blir i dette tilfellet riktig klassifisert av den nye vektvektoren a k+1.

144 Perceptron-metoden Konvergens av Perceptron-algoritmene Perceptron algoritmen med sammensatt oppdatering, variabelt inkrement regelen og fast inkrement regelen kan alle vises å konvergere mot en løsningsvektor dersom datasettet er lineært separabelt. Mange valg av ρ k gir konvergens, f.eks.: ρ k = ρ > 0 ρ k = ρ 0 /k ρ k = ρ 0 k (konstant inkrement) (langsomt avtagende inkrement) og til og med (voksende inkrement). Dersom man ønsker å finne en god vektvektor også for et ikke-separabelt sett, er det mest fornuftig å benytte et lite, konstant inkrement eller et langsomt avtagende inkrement.

145 Relaksasjonsmetoden Relaksasjonskriteriet Relaksasjonskriteriet er gitt ved: J r (a) = 1 2 y Y (a t y b) 2 y 2 der Y = {y : a t y b}. Marginen b > 0 er nødvendig for å unngå konvergens mot randen av løsningsregionen. Egenskaper for J r (a): J r (a) 0 dvs. det skal søkes etter et minimum, J r (a) = 0 hvis og bare hvis a t y > b y, J r (a) def = 0 hvis Y = /0. Gradienten til J r med hensyn på a blir: a J r (a) = y Y a t y b y 2 y.

146 Relaksasjonsmetoden Relaksasjonsmetodene Gradientsøkalgoritmen (Relaksasjonsalgoritmen): a 1 = vilkårlig startvektor b a t a k+1 = a k + ρ k k y y Y k y 2 y, Y k = {y : ak t y b} Relaksasjonsalgoritmen Enkeltsamplealgoritmen (Relaksasjonsregelen): a 1 = vilkårlig startvektor a k+1 = a k + ρ b a k ty k y k 2 y k, der ρ k = ρ = konstant og ak t y k b Relaksasjonsregelen

147 Relaksasjonsmetoden Oppdateringen i relaksasjonsregelen a t y k = b y k a k a Oppdateringen i relaksasjonsregelen. Vektvektoren a k oppdateres til a k+1 ved å gi et tillegg ρ r k i retning mot hyperplanet.

148 Feilrettingsmetoder Feilrettingsmetoder Vi har sett på trening av lineære diskriminantfunksjoner ved hjelp av: Perceptron-metodene Perceptron-algoritmen Variabelt inkrement regelen Fast inkrement regelen Relaksasjonsmetodene Relaksasjonsalgoritmen Relaksasjonsregelen Her ønskes å tilfredsstille et sett av ulikheter der a t y > 0 for alle sampler i treningssettet ved å rette feilklassifiseringer som påtreffes; derav betegnelsen feilrettingsmetoder.

149 Feilrettingsmetoder Ikke-separable problemer Feilrettingsmetodene konvergerer under gitte betingelser til løsningsvektorer for lineært separable problemer, men kan også gi gode resultater på ikke-separable problemer. Muligheter å prøve ut: Stopp etter et maksimalt antall iterasjoner, Stopp etter et gitt antall iterasjoner uten noen forbedring av resultatet, Bruke middelet av de siste vektvektorene før algoritmen stopper som endelig vektvektor (med håp om mer robust løsning), Pocket-algoritmen (ta vare på beste vektvektor så langt i iterasjonsprosessen), Forskjellige valg av inkrement ρ k og startvektor a 1 (kjøre algoritmen flere ganger med forskjellig utgangspunkt i håp om å finne et globalt minimum av kriteriefunksjonen).

150 Feilrettingsmetoder Perceptron-algoritmen på ikke-separabelt datasett med to klasser Desisjonsgrenser etter 10 og 30 iterasjoner (sammensatt oppdatering).

151 Minste kvadraters metode Minste kvadraters metode Ønsker vektvektor a som tilfredsstiller likningssystemet: a t y i = b i der b i > 0, i =,1,...,n slik at samplene y i er riktig klassifisert av a. Definerer: y1 t Y =. (n ˆd) og b = [b 1,...,b n ] t y t n slik at likningssystemet Y a = b skal løses med hensyn på a. Søker minste kvadraters løsning der kriteriefunksjonen: J s (a) = Y a b 2 = n i=1 Løsningsmetoder: Direkte løsning Pseudoinvers metode, Gradientsøk (f.eks. Widrow-Hoff algoritmen). (a t y i b i ) 2 skal minimaliseres.

152 Minste kvadraters metode Pseudoinvers løsningsmetode En nødvendig betingelse for minimum av kriteriefunksjonen J s (a) er at gradienten er null: J s (a) = 2 n i=1 (a t y i b i )y i = 2Y t (Y a b) = 0 slik at: Y t Y a = Y t b der Y t Y er kvadratisk ( ˆd ˆd). Antar nå Y t Y = 0 (som oftest tilfelle). Dette gir løsningen: a = (Y t Y ) 1 Y t b = Y b der er den pseudoinverse til Y. Y = (Y t Y ) 1 Y t

153 Minste kvadraters metode Løsning ved gradientsøk Gradienten til kriteriefunksjonen er: J s (a) = 2Y t (Y a b). Dette gir algoritmen: } a 1 = vilkårlig startvektor a k+1 = a k ρ k Y t (Y a k b), k = 1,2,... (oppdatering for hele treningssettet). Algoritmen kan vises å konvergere til en vektor a som tilfredsstiller Y t (Y a b) = 0 dersom: ρ k = ρ 1 /k med ρ 1 > 0. Dette gir en minste kvadraters løsning selv om matrisen Y t Y er singulær.

154 Minste kvadraters metode Enkeltsample oppdatering En tilsvarende enkeltsampleregel (Widrow-Hoff algoritmen) er gitt ved: } a 1 = vilkårlig startvektor a k+1 = a k + ρ k (b k ak t y k )y k (oppdatering for hvert sample), k = 1,2,... der samplene i treningssettet behandles syklisk, som i de tilsvarende feilrettingsalgoritmene. Her fører alle sampler til en justering av vektvektoren så lenge a t k y k b k. Avtagende ρ k gir generelt konvergens til en vektvektor der gradienten til J s er null, f.eks. ρ k = ρ 1 /k.

155 Minste kvadraters metode Minste kvadraters metode - generelt En minste kvadraters løsning eksistere alltid, selv om Y t Y er singulær. Løsningen avhenger av b (mulig valg b = [1,...,1] t ). Ikke garantert separerende vektor på lineært separabelt datasett. Håp om god løsning både på separable og ikke-separable sett. Kan generaliseres til mange klasser.

156 Minste kvadraters metode Minste kvadraters metode på ikke-separabelt datasett med to klasser Desisjonsgrense med Pseudoinvers metode.

157 Mange klasser Generalisering til mange klasser - feilrettingsmetodene Kesslers konstruksjon - omskriving av c-klasseproblemet til et toklasseproblem. Her innføres en sammensatt vektvektor α og et sett av c 1 samplevektorer η ij, alle av dimensjon c ˆd: a 1 y i α =. og η ij =.. a c y j.. 0 c j = 1,...,c, j i der samplevektoren y står i posisjon i, mens y står i posisjon j. Problemet består i å finne en vektvektor α som tilfredsstiller ulikhetene: α t η ij > 0 i,j, j i.

158 Mange klasser Generalisert fast inkrement regel Mangeklasseproblemet er omformulert til et toklasseproblem der dimensjonen på vektrommet er multiplisert med c og antall sampler med c 1. Fast inkrement regelen for mange klasser blir da: a 1 (1),...,a c (1) = vilkårlige startvektorer a i (k + 1) = a i (k) + y k (sann klasse) a j (k + 1) = a j (k) y k (feil klasse) k = 1,2,... a l (k + 1) = a l (k), l i,j Her endres kun vektvektoren til klassen det feilklassifiserte samplet faktisk tilhører og den klassen det er blitt feilaktig klassifisert til. Vektvektorene for de andre klassene endres ikke. De øvrige feilrettingsmetodene kan generaliseres på tilsvarende måte.

159 Mange klasser Perceptron-algoritmen på datasett med fem klasser Stykkevis lineære desisjonsgrenser på ikke-separabelt datasett.

160 Mange klasser Generalisering til mange klasser - Minste kvadraters metode Innfører datamatrise Y og vektmatrise A for mangeklasseproblemet: Y 1 Y 2 y t 1 Y =. =. (n ˆd) og A = [a 1,a 2,...,a c ] ( ˆd c). Y c y t n I tillegg defineres en matrise B der søylene inneholder marginene for hver klasse: B B 2 B =. (n c) der B i = B c i (n i c), dvs. en matrise med enere i søyle nr. i og nuller ellers.

161 Mange klasser Generalisering av minste kvadraters metode Her skal likningssystemet: YA = B løses med hensyn til vektmatrisen A. Normalt er dette overbestemt (ingen eksakt løsning). En minste kvadraters løsning finnes ved å minimalisere: Tr{(YA B) t (YA B)} = c i=1 Y a i b i 2 (kan vises). Dette svarer til å minimalisere hvert ledd i summen, som for toklasseproblemet, dvs: a i = Y b i, i = 1,...,c eller A = Y B. Her er Y = (Y t Y ) 1 Y t den pseudoinverse til Y, som tidligere.