Kunstig intelligens (MNFIT-272) - høst 1999.

Transkript

1 Kunstig intelligens (MNFIT-272) - høst Forelesning 9 Emner: Tolkning av naturlig språk - Kontekst-frie gramatikker - Chomsky hierarkiet - Kontekst-sensitive gramatikker Maskinlæring - induktiv symbol-prosessering - similaritetsbasert - forklaringsbasert Tolkning av naturlig språk (NL) Fonologi Morfologi Syntaks Semantikk Pragmatikk studie av lydene (fonemene) som bygger ord studie av komponentene (morfemene) som bygger opp ord studie av kombinasjon av ord i gramatikalsk lovlige setninger studie av ords og setningers mening studie av språks bruk og effekter i praksis

2 Trinn i (datamaskin-basert) språktolkning Setningstruktur analyse (parsing) - syntaktisk struktur, genererer et parse-tree Semantisk tolkning - ords og kombinerte ords mening, representert i en eller annen KR-formalisme Kontekstuell tolkning - utvidet semantisk tolkning, resonnering ved bruk av en kunnskapsbase av verdens/domene-kunnskap Basis-begreper Gramatikk-regler S = NP VP NP = N NP = A N N = man N = dog A = a A = the Ikke-terminaler er lingvistiske termer (setning, verb, ) - f. eks. 3 øverste linjer over Terminaler er ord i språket - f. eks. 4 nederste linjer over

3 Parsing i transisjons-nett (Transition Networks) Gramatikk representeres som et sett av sammenkoblede tilstandsmaskiner Noder er tilstander, lenker er overganger (transisjoner) mellom tilstander Hvert nett (hver tilstandsmaskin) representerer en ikke-terminal Å tolke en setning eller del av en setning svarer til å erstatte en ikke-terminal med høyre-siden av den tilhørende gramatikkregel (høyre-siden er mer spesifikk en venstre-siden) Chomsky-hierarkiet Rekursivt tellbare språk - frie produksjons-regler Kontekst-sensitive språk - flere ikke-terminaler på venstre side (men færre enn på høyre siden) av gram.regel Kontekst-frie språk - transisjonsnett, sammenkoblede tilstandsmaskiner, kun én ikke-terminal på venstresiden av gram.regel Regulære språk - en enkelt tilstandsmaskin, ikke flere sammenkoblet

4 Kontekst-sensitive språk Ønskelig, men komplekse parsere Augmented Transitions Networks (ATNs) gir kontekstsensitive egenskaper ved en utvidelse av kontekst-frie gramatikk-regler Kombinerer syntaktisk og semantisk parsing Tillater procedural attachments på lenkene i trans.nettet Prosedyrene kan utføre tester, tilordne verdier, konstruere deler av parse-tre, etc. Similaritetsbaserte: Forklaringsbaserte: Analogibaserte: Sub-symbolske: Versjonsrom ID3 Meta-Dendral EBL CBR Nevrale nett Genetiske algoritmer Både analogibaserte og sub-symbolske er kombinerte problemløsnings- og maskinlærings-metoder!

5 Hva er læring? Any process by which a system improves performance (H. Simon) Making useful changes in our minds (M. Minsky) The organisation of experience (M. Scott) Constructing or modifying representations of what is being experienced (R. Michalski) Hva er maskinlæring? Metoder og teknikker som gjør datasystemer istand til selv å oppdatere sin kunnskap og problemløsnings-evne

6 Hvorfor maskinlæring? Modellere menneskers læring Studere læring og intelligens som fenomen Automatisere utvikling av kunnskapsbaserte systemer det siste er mest vektlagt i dette kurset Maskinlæringmetoder kan klassifiseres utifra flere perspektiver Grad av selvlæring - pugging (rote learning) - læring ved analogi - læring ved eksempler Type anvendelse - begrepslæring - problemløsning - produsere forklaringer - beslutningstrær - regler - semantiske nett, rammer - kunnskapsrike metoder - lærlingteknikker - inkrementell læring - læring gjennom problemløsning

7 Maskinlæring - kort historikk Nevrale modeller, Rosenblatt s PERCEPTRON, Selvorganiserende systemer, Adaptive systemer, Læring som mønstergjenkjenning, Parameterjustering Samuel s Checkers Player Kunnskapsbaserte metoder, Winston s Analgy system, Symbolske teknikker for eksempelbasert læring, Michalski s AQ system, Mitchell s Version Space metode, Quinland s ID3 system, Discovery systemer, Langley s BACON, Lenat s AM. Kunnskapsrike metoder, Buchanan s Meta-Dendral, læring ved instruksjon, Davis Teresias, Ny giv for nevrale modeller, Forklaringsbasert læring, læring under problemløsning, case-basert læring, integrerte læremetoder Kunstig liv, Statistiske metoder, Data mining, Induktiv logikk-programmering, Genetiske algoritmer, Reinforcement læring, Bayesianske nett Eksempelbasert læring instansrommet: begrepsrommet: Induktiv læring: eksempler hypoteser kandidater begrep Instansbasert læring: (case-basert, memory-basert) eksempler eksempler

8 Induktive systemer i MNFIT 272: Similaritetsbaserte: Læring i Versjonsrom (VS metoden) - Inkrementell læring - Lærer kun konjunktive begreper - Lærer klassifikasjonsregel Læring av beslutningstrær (ID3 metoden) - Alle eksempler på en gang - Lærer konjunktive og disjunktive begreper - Lærer beslutningstre Forklaringsbaserte: EBL Meta-Dendral Version Space The version space is the set of all generalizations which are consistent with all of the examples It is described by the S and G sets: S is a generalization which is consistent with the examples and no other consistent generalization is more specific than it G is a generalization which is consistent with the examples and no other consistent generalization is more general than it

9 Version Space G more general consistent generalizations S more specific + examples move S up - examples move G down Generality Lattice - Example (??) (? circle) (red?) (blue?) (? square) (red circle) (blue circle) (red square) (blue square)

10 Versjonsrom-algoritmen S summerer info fra de positive exempler G summerer info fra de negative exempler Når S=G er begrepet lært - dvs. flere eksempler tilfører ikke noe nytt Ikke nødvendig å ta vare på enkelteksemplene Versjonsrom-algoritmen er en prinsipielt sterk læringsalgoritme - garanterer konsistens - er inkrementell men har store begrensninger i representasjonens uttrykkskraft - dvs. i hva som kan læres - kun konjunktive uttrykk - over-ivrig generalisering (mister muligheter)

11 ? (version-space example1) Example: (+ (BIG RED CIRCLE)) S= ((BIG RED CIRCLE)) G= ((???)) Example: (- (SMALL RED SQUARE)) S= ((BIG RED CIRCLE)) G= ((?? CIRCLE) (BIG??)) Example: (+ (SMALL RED CIRCLE)) S= ((? RED CIRCLE)) G= ((?? CIRCLE)) Example: (- (BIG BLUE CIRCLE)) S= ((? RED CIRCLE)) G= ((? RED CIRCLE)) Convergence. Concept must be: (? RED CIRCLE)? (version-space example2) Example: (+ (BIG RED CIRCLE)) S= ((BIG RED CIRCLE)) G= ((???)) Example: (- (SMALL BLUE TRIANGLE)) S= ((BIG RED CIRCLE)) G= ((?? CIRCLE) (? RED?) (BIG??)) Example: (+ (SMALL RED CIRCLE)) S= ((? RED CIRCLE)) G= ((?? CIRCLE) (? RED?)) Example: (- (MEDIUM GREEN SQUARE)) S= ((? RED CIRCLE)) G= ((?? CIRCLE) (? RED?)) Did not converge S= ((? RED CIRCLE)) G= ((?? CIRCLE) (? RED?))

12 ? (version-space example5) Example: (+ (BIG RED CIRCLE)) S= ((BIG RED CIRCLE)) G= ((???)) Example: (- (BIG BLUE CIRCLE)) S= ((BIG RED CIRCLE)) G= ((? RED?)) Example: (+ (SMALL BLUE SQUARE)) S= NIL G= NIL Langauage is insufficient to describe the concept Decision Trees Data structure for clasifying objects Restricted to featural descriptions Allows for disjunction color red blue green size - shape

13 EXAMPLE Feature-names: (size color shape) (+ (big red circle)) (+ (small red square)) (- (medium red circle)) size small medium big ID3 s information theoretic measure Picking the right feature for the root is crucial to building simple trees Choose feature which gives the most information regarding the class of an instance: I(C): Information content of tree for set of instances C P: Feature selected as splitting node E(P): Expected information needed to complete tree given splitting on P gain(p):information gain from feature P, gain(p) = I(C) - E(P)

14 ? *domains* ((BIG MEDIUM SMALL) (BLUE RED GREEN) (SQUARE TRIANGLE CIRCLE))? *feature-names* (SIZE COLOR SHAPE)? *categories* (+ -)? example1 ((+ (BIG RED CIRCLE)) (- (SMALL RED SQUARE)) (+ (SMALL RED CIRCLE)) (- (BIG BLUE CIRCLE)))? (id3 example1) Considering splitting on SIZE Gain = Chi square stat = (NOGOOD) Considering splitting on COLOR Gain = Chi square stat = (NOGOOD) Considering splitting on SHAPE Gain = Chi square stat = (NOGOOD) Gain Tie- Randomly choosing Splitting on COLOR Looking at COLOR = BLUE All examples in class - Looking at COLOR = RED Considering splitting on SIZE Gain = Chi square stat = (NOGOOD) Considering splitting on SHAPE Gain = Chi square stat = (NOGOOD) Splitting on SHAPE Looking at SHAPE = SQUARE All examples in class - Looking at SHAPE = TRIANGLE No examples. Using most common class of parent node + Looking at SHAPE = CIRCLE All examples in class + Looking at COLOR = GREEN No examples. Using most common class of parent node + Feature: COLOR BLUE (0.250) Class is: - RED (0.750) Feature: SHAPE SQUARE (0.333) Class is: - TRIANGLE (0.000) Class is: + CIRCLE (0.667) Class is: + GREEN (0.000) Class is: +

15 ? example2 ((+ (BIG RED CIRCLE)) (- (SMALL BLUE TRIANGLE)) (+ (SMALL RED CIRCLE)) (- (MEDIUM GREEN SQUARE)))? (id3 example2) Considering splitting on SIZE Gain = Chi square stat = (NOGOOD) Considering splitting on COLOR Gain = Chi square stat = (NOGOOD) Considering splitting on SHAPE Gain = Chi square stat = (NOGOOD) Gain Tie- Randomly choosing Splitting on COLOR Looking at COLOR = BLUE All examples in class - Looking at COLOR = RED All examples in class + Looking at COLOR = GREEN All examples in class - Feature: COLOR BLUE (0.250) Class is: - RED (0.500) Class is: + GREEN (0.250) Class is: -? example5 ((+ (BIG RED CIRCLE)) (- (BIG BLUE CIRCLE)) (+ (SMALL BLUE SQUARE)))? (id3 example5) Considering splitting on SIZE Gain = Chi square stat = (NOGOOD) Considering splitting on COLOR Gain = Chi square stat = (NOGOOD) Considering splitting on SHAPE Gain = Chi square stat = (NOGOOD) Gain Tie- Randomly choosing Splitting on SHAPE Looking at SHAPE = SQUARE All examples in class + Looking at SHAPE = TRIANGLE No examples. Using most common class of parent node + Looking at SHAPE = CIRCLE Considering splitting on SIZE Gain = Chi square stat = (NOGOOD) Considering splitting on COLOR Gain = Chi square stat = (NOGOOD)

16 Splitting on COLOR Looking at COLOR = BLUE All examples in class - Looking at COLOR = RED All examples in class + Looking at COLOR = GREEN No examples. Using most common class of parent node + Feature: SHAPE SQUARE (0.333) Class is: + TRIANGLE (0.000) Class is: + CIRCLE (0.667) Feature: COLOR BLUE (0.500) Class is: - RED (0.500) Class is: + GREEN (0.000) Class is: + Summary: Similarity-based Learning Empirical, data-intensive Requires many examples and counter-examples Knowledge poor Generates unjustified concept definitions

17 Summary: Explanation-based Learning Analytical Learns from 1 example Knowledge rich Generates justified concept definitions Explanation-based Learning: Use exisiting domain knowledge to explain why an example is a member of a concept or why a plan works. Explanations determines relevant features Generalise the explanation made, to obtain a justified (explained) operational definition of the concept

18 Explanation-based Generalisation Problem Given Goal concept Training example Domain theory Operationality criterion Determine A generalisation of the training example which is an operational sufficient concept definition EBL method: 1. Explain Use the domain theory to explain why the example is an example of the goal concept 2. Generalise Determine the most general condictions under whch the explanation holds, and generalise the explanation

19 Meta-Dendral Lærer kløvningsregler for molekyler under massespektrometri Gitt: - et representasjonsspråk for å beskrive molekylstrukturer - et trenings-sett bestående av et sett molekyler fra en molekylfamilie, samt deres molekylstruktur og massespektrogram - en viss generell kunnskap om molekylkløving unde massespektrometri Finn: - et sett kløvningsregler for den aktuelle molekylfamilien