Dimensjonalitetsproblemer (3)

Transkript

1 Dimensjonalitetsproblemer Dimensjonalitetsproblemer (3) Ved å inkludere flere uavhengige egenskaper der µ i1 6= µ i2 i egenskapsvektoren vil r 2 øke og P(e) avta, slik at: P d+1 (e) apple P d (e). Dette forutsetter imidlertid kjent statistikk (uendelig stort treningssett)! I praksis er statistikken ukjent og må estimeres vha. et endelig treningssett. Estimert feilrate som funksjon av d vil da typisk avta opp til en gitt dimensjon, og deretter øke. Dette er tegn på overtrening, der klassifikatoren blir stadig mer spesialisert til gjenkjenning av treningssamplene, og mister evnen til å generalisere til nye data. Feilraten estimert ved hjelp av treningssettet vil derimot som regel gå mot null. Dette beskrives nærmere under Problemmidlet feilrate i lærebøkene.

2 Dimensjonalitetsproblemer Estimert feilrate som funksjon av antall egenskaper Feilrate Testsett Treningssett d Estimert feilrate for treningssett og testsett som funksjon av dimensjonen d på egenskapsrommet. Feilraten for testsettet vil ofte begynne å øke med voksende d. Dette er et tegn på overtrening.

3 Dimensjonalitetsproblemer Sampler i generell posisjon Datasett med sampler i generell posisjon (ingen delmengde av d + 1samplerskalliggei et d 1dimensjonaltunderrom).

4 Dimensjonalitetsproblemer Lineær separabilitet Anta et toklasseproblem med n sampler i treningssettet. Det er 2 n mulige måter å fordele samplene på de to klassene. La funksjonen f (n,d) være den andelen (fraksjonen) av oppdelingene som danner lineært separable sett, slik at klassene kan skilles med et hyperplan. Det kan vises at: 8 >< 1 n apple d + 1 f (n,d)= d 2 n 1 >: 2 n n > d + 1 i  i=0

5 Dimensjonalitetsproblemer Lineær separabilitet (2) Andelen lineært separable oppdelinger som funksjon av n og d.

6 Aktuelle løsninger Skal her se på noen metoder for å omgå eller redusere problemer med overtrening: Utvelging av de beste kandidatene fra et stort sett av mulige egenskaper, Redesign av egenskapsuttrekkeren, Transformasjon av egenskapsrommet til lavere dimensjon. Kort om hver av disse mulighetene i det følgende.

7 Egenskapsutvelging Egenskapenes diskrimineringsevne kan vurderes manuelt, f.eks. vha. éndimensjonale histogrammer. Ulike separasjonsmål kan også benyttes for å automatisere utvelgingen. Det finnes mange slike mål for både to og flere klasser. Eksempler for toklasseproblemer: Z J 1 (w 1,w 2 )= [p(x w 1 ) p(x w 2 )]ln p(x w 1) p(x w 2 ) dx (Divergens) J 2 (w 1,w 2 )= lnz p p(x w1 )p(x w 2 )dx (Bhattacharyya distansen). Estimater av tetthetsfunksjonene inngår i slike separasjonsmål, som her har høy verdi for god separasjon og verdien null ved fullstendig overlapp mellom klassene. Den enkleste løsningen består i å beregne separasjonen for én og én egenskap om gangen, med tetthetsfunksjonene representert ved éndimensjonale histogrammer. Deretter rangeres egenskapene ut fra verdien og et antall av de beste velges ut. Ulempen er at gode kombinasjoner kan gå tapt.

8 Kombinasjon av egenskaper Sampler fra to klasser med stor overlapp for hver av egenskapene x 1 og x 2, når de brukes enkeltvis. I kombinasjon blir klassene lineært separable. Den stiplede linjen er en mulig separerende desisjonsgrense.

9 Redesign av egenskapsuttrekkeren Figuren til venstre viser et datasett der klassene kan separeres med en kvadratisk diskriminantfunksjon (f.eks. en sirkulær desisjonsgrense). Ved å kombinere de to egenskapene x 1 og x 2 kan problemet reduseres til et éndimensjonalt lineært separabelt tilfelle, der klassene kan skilles ved terskling av den kombinerte egenskapen x 3.

10 Lineære transformasjoner De opprinnelige egenskapsvektorene x kan transformeres til lavere dimensjon vha. projeksjonen: 2 3 a t 1 6 y = Ax der A = 4. a t d og d 0 < d Her er y den nye egenskapsvektoren i det d 0 -dimensjonale y-rommet, funnet ved å projisere x ned på aksene gitt ved vektvektorene a 1,a 2,...,a d 0. Transformasjonsmatrisen A finnes fra treningssettet, og bør være slik at den diskriminerende informasjonen i størst mulig grad blir bevart, mens redundant informasjon fjernes. To muligheter beskrives her.

11 Prinsipalkomponentanalyse (PCA) Her finnes vektvektorene ved å løse egenverdiproblemet: der estimatet av kovariansen er: ˆ = 1 n ˆ a i = l i a i,i = 1,...,d n  k=1 (x k ˆµ)(x k ˆµ) t. Legg merke til at denne matrisen er estimert for hele treningssettet (alle klasser under ett). Forøvrig er egenvektorene innbyrdes ortogonale og egenverdiene er større eller lik null: a t i a j = 0, i 6= j l i 0

12 Prinsipalkomponentanalyse (2) Egenverdiene sorteres slik at l 1 l 2,..., l d 0, mens de respektive egenvektorene normaliseres slik at ka i k = 1. De første d 0 egenvektorene i den sorterte listen utgjør linjene i transformasjonsmatrisen A. Egenvektorene representerer hovedaksene i hyperellipsoidene med: dvs. konstant Mahalanobisavstand. r 2 =(x ˆµ) t ˆ 1 (x ˆµ)=konstant Ved å velge aksene med største egenverdier oppnås en projeksjon ned i et underrom med mest mulig spredning i datasettet. Håpet er at størst mulig separasjon mellom klassene er å finne i det samme underrommet. Svakheten med PCA er at den kjente klassetilhørigheten til samplene ikke utnyttes.

13 Prinsipalkomponentanalyse (3) a 1 a 2 Datasett, ellipse med konstant Mahalanobisavstand og egenvektorene a 1 og a 2 til kovariansmatrisen. Egenvektorene er ortogonale.

14 Fishers lineære diskriminant Lineær transformasjon fra et generelt d-dimensjonalt rom til et én-dimensjonalt underrom gitt ved w: w = gs 1 W (m 1 m 2 ) der m i, i = 1,2 er samplemidlene for hver klasse og S W = er spredningsmatrisen innen klasser. 2 Â i=1 Â x2x i (x m i )(x m i ) t Her utnyttes klasseinformasjonen til å finne retningen w slik at spredningen mellom klassene er maksimalisert. Metoden kan generaliseres til flere dimensjoner der dimensjonen på underrommet er > 1. Klassifikatorer som er trenet opp i et slikt laveredimensjonalt rom kan ofte vise seg å være mer robuste (mindre fare for overtrening, bedre generalisering til nye data) enn klassifikatorer som er trent opp i et høydimensjonalt rom.

15 Fishers lineære diskriminant (2) w Fishers lineære diskriminant for datasett med to klasser. Samplene projiseres ned i et éndimensjonalt underrom gitt ved vektoren w, der separasjonen mellom klassene er maksimalisert mens redundant informasjon er fjernet.

16 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.

17 Maksimum likelihood metoden Likningssystem for maksimum likelihood løsning Trening av klassifikator uten merket treningssett. Antakelser (i første omgang): Antall klasser c er kjent, ÁpriorisannsynligheteneP(w i ), i = 1,...,c er kjente, Tetthetsfunksjonene p(x w i, q i ), i = 1,...,c har kjent form (funksjoner av q i ). En nødvendig betingelse for maksimum av L er gitt ved likningssystemet: n  P(w i x k, q) q i lnp(x k w i, q i )=0, i = 1,...,c. k=1

18 Eksempel Eksempel - multivariate normalfordelinger med ukjent forventning Antar at fordelingene er gitt ved N(µ i, i ),i = 1,...,c der forventningsvektoren er ukjent. Løsningen blir her: ˆµ i = n  k=1 µ =(µ t 1,...,µ t c )t P(w i x k, ˆµ)x k n, i = 1,...,c.  P(w i x k, ˆµ) k=1 Dette er et tilfredsstillende resultat, der samplene veies med áposteriorisannsynlighetene for hver klasse, dvs. den mest sannsynlige klassen gis størst vekt. Dette er imidlertid en implisitt løsning for forventningsvektoren (ingen eksplisitt løsningen).