Unik4590/Unik9590/TTK Mønstergjenkjenning

Transkript

1 Sammendrag og eksempler Universitetssenteret på Kjeller Høsten 2016 (17. august 2016)

2 Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning Gjenkjenne objekter - tilordne objekter til én av flere mulige klasser eller kategorier (klassifisering) Beskrive sammensatte objekter eller hele scener består av mange objekter/delobjekter.

3 Hva er mønstergjenkjenning? Eksempler på anvendelser Fjernanalyse (vegetasjonstyper, overvåking) Automatisk inspeksjon (f.eks. flaskeautomater) Medisin (EEG, EKG, blodlegemer, kromosomer) Seismisk analyse (oljeleting, kjernefysiske prøver) Talegjenkjenning Karaktergjenkjenning (f.eks. lesing av håndskrift) Maskinsyn (robotsyn) Overvåkingssensorer Økonomi, Psykologi (gjenkjenning av tilstander) Arkeologi...

4 Hva er mønstergjenkjenning? Inngangsdata Digitale bilder Tidsrekker (éndimensjonale signaler) Enkle (manuelle) målinger.

5 Hva er mønstergjenkjenning? Metoder Beslutningsteoretiske (statistiske) metoder: Bayesisk beslutningsteori (desisjonsteori) Klassifisering (tilordning av objekter til én av flere mulige klasser) Numerisk informasjon. Strukturelle (syntaktiske) metoder: Syntaktisk angrepsmåte Beskrivelse og klassifisering Symbolsk informasjon, hierarkisk beskrivelse, grammatikk.

6 Metoder Statistiske metoder - eksempel Tallmessig representasjon av objekter basert på f.eks.: Kamera lysstyrke farge form Samlebånd Tilordning av objekter til et endelig antall mulige klasser. Eksempel på bruk av bildeanalyse og mønstergjenkjenning til å skille mellom to typer produkter i en produksjonsprosess, dvs. diskriminering mellom to klasser.

7 Metoder Strukturelle metoder - eksempel Syntaktisk beskrivelse av skipskontur i form av en streng av primitiver (til venstre), hierarkisk beskrivelse (øverst til høyre) og regelverket (grammatikken) som angir hvilke sammenhenger som er tillatt mellom de ulike elementene (nederst til høyre).

8 Klassifiseringsproblemet Klassifisering - eksempel på klassifiseringssystem Eksempel på klassifiseringssystem for å skille mellom trestykker fra de to klassene bjørk og ask.

9 Klassifiseringsproblemet Egenskapsvektor, egenskapsrom og desisjonsgrenser Egenskapsrom: Egenskapsvektor: 2 x 1 x 2 x = x d 3 R 1 R 3 R 2 Egenskapsvektor med d komponenten (t.v.) og todimensjonalt egenskapsrom (t.h.) inndelt i desisjonsregioner R 1,R 2 og R 3 for et problem med tre klasser. Det ukjente objektet (svart kvadrat) blir her klassifisert til klasse 2.

10 Klassifiseringsproblemet Metodikk - Ledet læring Treningssett X Trening Beslutningsregel Treningsfasen Bruksfasen Ukjent objekt x Klassifisering Klasse Illustrasjon av prinsippet for ledet læring. I treningsfasen (analysefasen) brukes et sett av sampler med kjent klassetilhørighet (treningssettet) som input til en av mange mulige treningsmetoder for å generere en beslutningsregel. Denne regelen inngår i klassifikatoren som i bruksfasen (gjenkjenningsfasen) foretar klassifisering av ukjente sampler til (forhåpentligvis) riktig klasse.

11 Klassifiseringsproblemet Klassifiseringssystem Sensor Egenskapsuttrekker Klassifikator i Typisk klassifiseringssystem. En sensor henter inn rådata fra objekter i omverdenen. Egenskapsuttrekkeren bearbeider rådataene og henter ut informasjon om de ukjente objektene i form av et sett av egenskaper for hvert objekt. Egenskapsvektorene sendes deretter til klassifikatoren, som tilordner objektene til én av flere mulig klasser. Systemet foretar en stor grad av datareduksjon på veien fra rådata til klasse.

12 Grunnleggende begreper Beslutningsteori - grunnleggende begreper Objekter skal tilordnes klasser/tilstander: w 1,w 2,...,w c der c er antall klasser i problemet. Til hver klasse hører en ápriorisannsynlighet: P(w 1 ),P(w 2 ),...,P(w c ) som er sannsynligheten for at hver klasse skal opptre (før målinger er foretatt). Til hver klasse hører også klassebetingede sannsynlighetstetthetsfunksjoner: p(x w i ), i = 1,...,c. Her er vektoren: x =[x 1,x 2,...,x d ] t en målt egenskapsvektor for det aktuelle objektet.

13 Grunnleggende begreper Sannsynlighetstetthetsfunksjoner (klassebetingede) Klassebetingede tetthetsfunksjoner for to klasser. Det grønne arealet tilsvarer sannsynligheten for at et vilkårlig sample fra (i dette tilfellet) w 2 skal opptre med egenskapsverdi x i intervallet mellom a og b.

14 Grunnleggende begreper Bayes regel Bayes regel for áposteriorisannsynlighet: P(w i x)= p(x w i)p(w i ) c p(x w j )P(w j ) Â j=1, i = 1,...,c knytter sammen á priori sannsynligheter og klassebetingede tetthetsfunksjoner. P(w i x) er sannsynligheten for at klasse w i skal opptre, gitt den målte egenskapsvektoren x.

15 Desisjonsregler Áposteriorisannsynlighet-minimumfeilrateklassifisering 0.5 Optimal desisjonsgrense (x 0 ) der de á posteriori sannsynlighetene for klassene er like (P(w 1 x)=p(w 2 x)=0,5).

16 Desisjonsregioner Univariat toklasseproblem - optimale desisjonsregioner Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Den stiplede linjen markerer terskelen der de veiede tetthetene er like.

17 Desisjonsregioner Univariat toklasseproblem - minimum feilrate Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Det grønne arealet viser feilraten med den optimale desisjonsgrensen (stiplet linje).

18 Desisjonsregioner Feilrate med suboptimal desisjonsgrense Tetthetsfunksjoner for to klasser, veiet med á priori sannsynlighet. Det røde arealet tilsvarer den ekstra feilraten ved et suboptimalt valg av desisjonsgrense.

19 Normalfordelingen - eksempler på diskriminantfunksjoner Univariat normalfordeling Klassebetinget normalfordeling for klasse w i, der forventningsverdien er µ i og standardavviket er s i.

20 Handlinger, kostnader og risiko Handlinger Handlinger (events): a 1,a 2,...,a a er noe som utføres på bakgrunn av den målte egenskapsvektoren. Hvor mange handlinger? Vanligvis er a = c, dvs. én-til-én sammenheng mellom klasser og handlinger (handlingen a i består i å klassifisere til klasse w i ), Generelt er a 6= c, f.eks. a = c + 1derhandlinga c+1 tilsvarer forkasting (ingen klassifisering). Desisjonsfunksjonen: a(x)! a 1,a 2,...,a a er en funksjon av egenskapsvektoren x, som har én av de mulige handlingene som utfall.

21 Handlinger, kostnader og risiko Kostnader knyttet til handlinger Kostfunksjonen: l(a i w j ), der i = 1,...,a og j = 1,...,c, angir kostnaden (tapet) ved å velge handlingen a i når w j er sann klasse. Det kan f.eks. være et større tap forbundet ved å klassifisere bjørk som ask enn omvendt, slik at kostnadene for disse tilfellene kan være: l(velg bjørk ask)=1 l(velg ask bjørk)=10 mens kostnadene for riktig valg av handling som oftest vil settes til null, dvs. l(velg bjørk bjørk)=l(velg ask ask)=0.

22 Handlinger, kostnader og risiko Risiko knyttet til handlinger Betinget risk (forventet tap) er kostnaden forbundet ved en gitt handling, gitt en måling (dvs. egenskapsvektoren for et ukjent objekt): Total risk er gitt ved: R(a i x)= c  j=1 l(a i w j )P(w j x), i=1,...,a. Z R = R(a(x) x)p(x)dx R d for en gitt desisjonsfunksjon a(x) med utfallene a 1,a 2,...,a a. Den totale risken skal minimaliseres ved å velge a i slik at den betingede risken R(a(x) x) er minimum for enhver x.