Heuristisk søking (kap. 4) Emner: Kunstig intelligens (MNFIT-272) Forelesning 4

Transkript

1 Kunstig intelligens (MNFIT-272) Forelesning 4 Emner: Problemløsning som søking (forts.) - Heuristisk søk, generelt - Søking i spill AI språk - Generelt -Prolog -Lisp Heuristisk søking (kap. 4) Kunnskap og søking Bakkeklatring Best-først søk Evalueringsfunksjoner Søking i spill

2 Heuristisk søking Søkemetode som begrenser mulige valg ved å benytte kunnskap om problemet som skal løses Nødvendig når - problemet har en eksakt løsning, men løsningsrommet er for stort - problemet har ingen eksakt løsning - kun en mer eller mindre god løsning Poenget er å bruke kunnkap om problemet til å lede søkingen langs den mest 'lovende' søkeveien Heuristisk søking er 'informert gjetting' Kan gi suboptimal - og til og med mindre god - løsning Heuristiske metoder To deler: 1. Søkestrategien (søkealgoritmen) 2. Selve heuristikken(e) Enkelt eksempel: Tic-tac-toe - basis søkestrategi er bredde først med symmetri-reduksjon - heuristikk: plasser X der hvor det gir flest åpne linjer

3 Søkestrategier Enkel søkestrategi: Bakkeklatring (hill climbing) Uttømmende søk søk gir for interessante problemer altfor store søkerom, og for tidkrevende søk. Den motsatte ytterlighet: Velg den veien som ser best ut sett fra der du nå står, og ikke tenk på 'totalbildet'. Effektivt hvis søkerommmet har en enkel struktur og heuristikken er god (tic-tac-toe), men fører ellers til at andre og bedre løsninger overses (8-puzzle). Problemet er at metoden kun finner lokale maksima, ikke de mer globale. Best-først søking Skiller seg fra bredde- og dybde-først ved at nodene på open listen sorteres før neste node velges. Sorteringen bestemmes av en evalueringsfunskjon der heuristikk(er) utgjør en sentral del. Den sorterte listen kalles often en prioritets-kø. Informasjon om løsningsveien tas normalt vare på, og hele løsningsveien returneres ved suksessfylt søk. Hvis alternative veier til en node finnes, velges den korteste.

4 Stråle-søking (beam search) Søker innefor en begrenset del av søkerommet. En mellomting mellom bakke-klatring og best-først. Lagrer kun de N beste noder på open, etter at sorteringen er gjort (N er strålebredden) Heuristikker Å finne gode heuristikker innvolverer - analyse av problemet - design av en problemløsningsstrategi - oppbygging av heuristikkene - som kan innbære alt fra å definere en enkel metrikk eller funksjon til å bygge opp en omfattende kunnskapsbase Enkelt eksempel: 8-puzzle. Alternative heuristikker: a) minimer antall brikker på feil plass b) minimer total distanse fra mål-tilstanden for feiplasserte brikker c) ta hensyn til plassbytte for nabobrikker i b)

5 Evalueringsfunksjoner Funksjoner for sortering av noder på open listen under heuristisk søking Bør ta hensyn til - aktuelle noders avstand til slutt-tilstanden - aktuelle noders avstand fra start-tilstanden Generell form: f(n) = g(n) + h(n) - g(n) er reell avstand fra start-noden - h(n) er estimert avstand til slutt-noden f(n) estimerer total kostnad av veien fra starttilstanden gjennom n til slutt-tilstanden Kunnskapsbaserte systemer Fra forenklede 'leke'-problemer til anvendelser av heuristisk søk på reelle, komplekse problemer. Søkerommet er tilstander i problemløsningsprosessen, der en node er beskrevet av et sett med fakta. Heuristikken som bestemmer videre veivalg ligger i en kunnskapsbase. Kunnskapbasen inneholder i prinsippet alle heuristikker for alle noder, og for én enkelt node vil kun en del av kunnskapen være relevant. Admissibility En søkealgoritm er admissible hvis den garantert finner Korteste vei, der hvor en slik vei fins.

6 A* algoritmen Gitt evalueringsfunksjonen for estimering av løsningsveiens kostnad: f(n) = g(n) + h(n) Algoritmen som benytter f(n) som evalueringsfunksjon i best-først søk, kalles Algoritme A. For å vurdere i hvilken grad en optimal løsningsvei kan finnes, defineres: f*(n) = g*(n) + h*(n) der g*(n) er kostnad av korteste vei fra start til n, og h*(n) er reell kostand for korteste vei fra n til løsningstilstanden. Aloritme A* er algoritmen som fås når algoritme A benytter en estimert h(n) som for enhver node er mindre eller lik kostnad h*(n). A* - egenskaper Algoritme A* vil alltid finne den optimale veien, såsant en slik fins. Mao.: Algortime A* er admissible A* forutsetter ikke at g(n) = g*(n), dvs. at optimal vei er funnet så langt. For to heuristikker, hvis h 1(n) < h 2(n) for alle noder n, er h 2 mer informert enn h 1. Jo mer informert en heuristikk er, dessto mindre kan søkerommet gjøres. Men prosesseringskostnadene kan øke betydelig.

7 Søking i to-persons spill Spesiell situasjon: - det fins en motstander med uforutsigbare tilstandsoverganger (trekk i spillet). Søkerommet har typisk en tre-struktur. Noder i søkerommet representerer situasjoner i spillet hvor en av spillerne er i trekket. Lenker mellom nodene er trekk i spillet Søking går ut på å finne det beste neste trekket, gitt motstanderens mulige neste trekk, samt mulige etterfølgende trekk fra begge spillerne. Noder der systemet er i trekket kalles MAX-noder Noder der motstanderen er i trekket kalles MIN-noder. MINIMAX Søkestrategi for maksimere egen posisjon ved å minimere motsanderens. Det antas at motstanderen velger sitt beste trekk, utifra en felles evaluaringsfunksjon. Det trekket velges som minimerer verdien av motsanderens beste neste trekk. Verdien av posisjoner bestemmes for en tilstand et visst antall trekk framover, og forplantes så tilbake til nåværende tilstand. Kan benyttes både i uttømmende søk - bredde først - og med en eller annen form form avgrensing: - vurdering av et fast antall trekk framover (horisont effekt) - heuristisk avgrensing, vurder bare de beste n trekk videre - evalueringsfunksjon: - posisjons-styrke - brikke-antall - brikke-styrke -...

8 Alfa-beta søk Dybde-først søking med kutting av greiner i søketreet som ikke har mulighet til å forbedre resultatet. Prinsipp: Alfa-verdier tilknyttes MAX noder, og kan ikke avta. Beta-verdier tilknyttes MIN noder, og kan ikke øke. For MAX tilstander kan en se bort fra noder med lavere verdier enn den største til nå. Omvendt for MIN noder Kompleksitet 120 Eksempel: Sjakk har tilnærmet 10 mulige tilstander i et spill av normal lengde. Forgreningsfaktoren fra nivå til nivå er kritisk faktor. Gjelder i alle søkestrategier, når det gjelder tidsforbruk. Gode heuristikker - kunnskapsbasert, velinformert søk - er eneste veien ut, for komplekse, reelle problemer.

9 Heuristisk søking (oppsummert) Søkemetode som begrenser mulige valg ved å benytte kunnskap om problemet som skal løses Nødvendig når - problemet har en eksakt løsning, men løsningsrommet er for stort - problemet har ingen eksakt løsning - kun en mer eller mindre god løsning Poenget er å bruke kunnkap om problemet til å lede søkingen langs den mest 'lovende' søkeveien Heuristisk søking er 'informert gjetting' Kan gi suboptimal - og til og med mindre god - løsning AI språk Spesielt utviklet for å kunne behandle symbolstrukturer. Et AI språk er utviklet for ett bestemt beskrivelsesnivå. - Kunnskapsnivå-språk støtter analyse og modellering på et konseptuelt - og intensjonelt - nivå. Ofte endel av et system eller en metodologi for kunnskapsakkvisisjon i generell forstand. Eksempler spenner fra grafiske editorer, der visualisering er sentralt, til formelle språk der sjekking av konsistens etc. er sentralt.

10 AI språk (forts.) - Symbolnivå-språk støtter programmering og implementasjon. En kan skille mellom to typer språk: - Generelle programmeringsspråk (Lisp, Prolog, Smalltalk, Java, C++, C, Pascal, Fortran,...) - Spesielle høynivå-språk og KBS-skall (KEE, ART, Nexpert Object, CLIPS, KappaPC,...) Krav til AI språk: Behandler her kun symbolnivå-språk. 1. Støtte til symbolbehandling 2. Fleksibilitet 3. Støtte til eksplorativ programmering 4. Sen binding av variable 5. Veldefinert semantikk

11 1. Støtte til symbolbehandling Symbolbehandling innebærer evne til å representere, generere, og operere på symbolske uttrykk og strukturer av slike. Mønster-gjenkjenning (pattern matching) er sentralt - matching av beskrivelser og tilstander i søkerommet, hel eller delvis match. Liste-behandling er sentralt - lister er egnet til lagring av symbolstrukturer, uansett kompleksitet 2. Fleksibilitet Lett modifiserbare symbol-representasjoner Data-drevet kontroll av eksekveringen Bruker-spesifisert programkontroll

12 3. Støtte til eksplorativ programmering Gradvis definering av problemet - AI programmer angriper komplekse problemer. Gradvis definering av problemløsningen - heuristiske metoder, i motsetning til algoritmiske, er empiriske. Gradvis utforming av AI-metodene - valg og tilpasning av representasjon og resonneringsmetoder krever ofte prøving og feiling. Et språk for eksplorativ programmering bør: - være modulært - være utvidbart - ha gode abstraksjonsmekanismer - støtte rask prototyping - ha lett lesbare programmer - være interpreterbart - støttes av en effektiv programmeringsomgivelse 4. Sen binding av variable Manipulering av variable uten å ha angitt verdi eller verdi-type. Gradvis tilordning av typer og verdier til variable. Verdier eller typer angis til å begynne med som beskrankninger (constraints), som så influerer på verdiene til relaterte variable, osv. (constraint propagation).

13 5. Veldefinert språk-semantikk Enkel, klart forståelig språk-semantikk er en fordel. Eksempler er 'Horn clause' logikk (Prolog), og rekursiv funksjonsteori (Lisp). Pascal og Fortran, f.eks. har mer kompleks og uoversiktig semantikk. Siden AI programmer ofte utfører en kompleks behandling, er det dessto viktigere at programmeringsspråket er enkelt bydg opp, og benyttes på en mest mulig klar og oversiktlig måte. PROLOG Basis: Matematisk logikk, 1. ordens predikatlogikk Et Prolog program er et sett av fakta-uttrykk og implikasjoner: father(haakon,olav). male(olav). son(x,y) :- father(y,x), male(x). En eksekvering av et Prolog program er en logisk deduksjon utifra et startbegrep (goal): son(olav,x).

14 PROLOG (forts.) Deduksjon i et Prolog-program er basert på 'resolusjons'-algoritmen for teorembevis. Det fins også andre deduktive bevis-algoritmer. Mange som arbeider med logikk-programmering utfra andre bevis-algortimer enn 'resolusjon', benytter Lisp som programmeringsspråk. Prolog er et deklarativt språk Satt på spissen: "make declarations, not programs" LISP Basis: Matematisk teori for rekursive funksjoner, lambda-kalkyle. Et Lisp program er et sett av funksjonsdefinisjoner og funksjonskall. En funksjonsdefinisjon består av et sett funksjonskall til andre definerte funksjoner, rekursivt: (push '(haakon olav) fathers) (push 'olav males) (defun is-father-of? (person-1 person-2) (equal person-2 (second (assoc person-1 fathers)))) (defun is-son-of? (person-1 person-2) (and (member person-1 males) (is-father-of? person-2 person-1))) (defun son-of (person) (second (assoc person fathers)))

15 LISP (forts.) En eksekvering av et Lisp program er kall av en funksjon, hvis argumenter kan være kall til andre funksjoner, etc., rekursivt: (is-son-of? (son-of 'haakon) (father-of (son-of 'haakon))) Lisp er et funksjonelt språk Satt på spissen: "make functions, not assignments" LISP - basiselementer: s-expression atom list number symbol En liste er en sekvens av atomer og/eller andre lister adskilt av blanke tegn og innesluttet i parentes. Lister kan være nøstet i et uspesifisert antall nivåer

16 Basiselementer (forts.) Funksjonsdefinisjoner, dvs. programmer, såvel som datastrukturer er lister. - Programmer og data er av samme type, dvs. programmer kan tolkes som data og omvendt. Datatyper tilordnes verdier, ikke variable Den tomme listen, dvs. () eller NIL har en spesiell rolle. Benytter dynamisk plass-allokering. "Garbarge collection" frigjør tidligere okkupert plass. LISP - basismekanismer Read - Eval - Print løkken er grunnmekanismen for eksekvering av Lisp programmer: Read - et uttrykk (s-expression) leses inn Eval - uttrykket evalueres Print - returnert resultat skrives ut Eval er selve Lisp interpretatoren. Evaluering innebærer alltid at en verdi returneres. Dette gjelder for alle Lisp-uttrykk: et tall evalueres til seg selv - tallverdien returneres et symbol evalueres til verdien det er bundet til en liste evalueres ved at første element tolkes som et funksjonsnavn resterende elementer tolkes som argumenter I tillegg har mange funksjoner sideeffekter, som medfører større eller mindre endringer i den globale lisp-omgivelsen ('working memory' om du vil).

17 LISP - basisfunksjoner Listebehandling: cons car cdr Evalueringskontroll: eval quote Inn/Ut: read print + ofte brukt list, append, remove cadr, caaddr, cdadr,.. first, second,.., last, nth funcall, apply, ', #' format Funksjonsdefinisjoner: defun lambda Prosedyrekontroll: do return Testing: cond equal atom listp Verditilordning: let set dolist, dotimes if, while, unless >, <=, = numberp, symbolp,... progn Side-effekter, Bindinger (funk-1 (funk-2 (funk-3 (funk-4...)...)...)...) En funksjon som utføres returnerer en verdi. Verdien gis tilbake til den kallende funksjonen, som igjen returnerer en verdi som gis tilbake til denne funksjonens kallende funksjon, osv. opp til topp-nivået i funksjonskall-kjeden. Mange Lisp funksjoner har i tillegg side-effekter, dvs. at det skjer ting når en funksjon utføres som ikke fanges opp av retur-verdien. Eksempler: (setq a 'b) ; returnerer: b ; side-effekt: symbolet a bindes til ; symbolet b

18 Side-effekter (forts.) (defun a (n) (+ n 1)) ; returnerer symbolet a ; side-effekt: binder funksjons- ; definisjonen til a Funksjonene over benyttes kun pga. sine side-effekter. (let ((a 'b) (c 2)) (list a c)) ; returnerer listen (b 2) ; side-effekt: ingen let benyttes for å definere lokale variable inni en funksjon, og å gi dem initielle verdier setq benyttes for å definere globale variable, og for å endre verdien til variable innen en let blokk Rekursjon og Lisp Et rekursivt program er et program som kaller seg selv. En rekursiv funksjon er en funksjon som er definert ved seg selv. Rekursive definisjoner er problemfrie såsant det fins et 'uthopp' fra rekursjonen, dvs. et test-kriterium som fører til at rekursjonsprosessen terminerer. Lisp's listebehandlings-egenskaper gjør rekursjon til en relativt enkel og naturlig programmeringsmekanisme for symbolbehandling.

19 Rekursjon og Lisp (forts.) Prinsippet for rekursiv listebehandling er: Funksjonen kalles med den aktuelle listen som ett av argumentene. Det sjekkes om terminerings-kriteriet er oppfylt. Funksjonen utføres ved å kombinere en operasjon på første element i argument-listen med et kall til funksjonen (seg selv) utført på de resterende elementer i listen. Rekursjon - eksempler Eksempel 1 For å utføre en operasjon på hvert element i en liste: 1. Hvis listen er tom, stopp. 2. Utfør operasjonen på første element i listen, og kall funksjonen med resten av listen som argument. ;;; Funksjon for å finne antall elementer i en liste (defun count-elements (liste) (cond ((null liste) 0) (t (+ 1 (count-elements (cdr liste)))))) Eksempel 2 For å utføre en operasjon på hvert element inntil en test slår til: 1. Hvis listen er tom, stopp og returner at test mislyktes. 2. Hvis testen slår til, stopp og returner aktuelt resultat, hvis ikke, kall funksjonen med resten av listen som argument. ;;; Funksjon for å sjekke om et gitt element er medlem av en liste: (defun my-member (element liste) (cond ((null liste) nil) ((equal element (car liste)) t) (t (my-member element (cdr liste)))))

20 Rekursjon - eksempler (forts.) En funksjon kan kalle seg selv rekursivt flere steder i funksjonskroppen. Eksempel 3 ;;; Funksjon for å fjerne negative tall i en liste. Det rekursive ;;; kallet utføres både hvis testen slår til, og hvis den ikke gjør ;;; det: (defun filter-negatives (liste) (cond ((null liste) nil) ((plusp (car liste)) (cons (car liste) (filter-negatives (cdr liste)))) (t (filter-negatives (cdr liste))))) Numeriske funksjoner Det er ikke bare for listebehandling at rekursive definisjoner er velegnet: ;;; Funksjon for å beregne fakultet av et tall, ;;; n! = 1*2*3*4*5*...*(n-1)*n (defun fac (n) (cond ((= n 0) 1) (t (* n (fac (- n 1)))))) Kombinert car / cdr rekursjon Hvis elementer i en liste kan være lister, og underliggende liste-nivåer også skal behandles, er kombinert car- og cdrrekursjon en metode som utnytter rekursivitet maksimalt. ;;; Funksjon for å telle opp antall atomære elementer i en ;;; liste, uansett på hvilket under-nivå de befinner seg (defun count-atoms (liste) (cond ((null liste) 0) ((atom liste) 1) (t (+ (count-atoms (car liste)) (count-atoms (cdr liste)))))) ;;; Funksjon for å 'flate ut' en liste, dvs. fjerne alle ;;; under-nivåer (defun flatten (liste) (cond ((null liste) nil) ((atom liste) (list liste)) (t (append (flatten (car liste)) (flatten (cdr liste))))))

21 Iterasjon: Rekursjon er ikke eneste metoden for å utføre repeterende programtrinn i Lisp. - Men ofte den enkleste - såsant en har trening i å tenke rekursivt! Vanligste iterasjons -funksjoner: - do dolist dotimes - mapcar (dolist (<var> <list> <result>) (<body>)) (defun count-elements (liste) (let ((len 0)) (dolist (element liste len) (setq len (+ len 1))))) (do ((<var 1> <init 1> <update 1>) (<var 2> <init 2> <update 2>)... (<var n> <init n> <update n>)) (<termination test> <returned result>) (<body>)) (defun count-elements (liste) (do ((len 0 (+ len 1)) (l liste (cdr l))) ((null l) len))) En enkel do-løkke - uten kropp (<body>)!! Høyere ordens Lisp-funksjoner Tar andre Lisp-funksjoner som argument Eksempel 1 ;;; Generell filter-funksjon [ikke standard Lisp funksjon] (defun filter (liste test-funksjon) (cond ((null liste) nil) ((funcall test-funksjon (car liste)) (cons (car liste) (filter (cdr liste) test-funksjon))) (t (filter (cdr liste) test-funksjon)))) Eksempel 2 Mapping-funksjonen mapcar Iterativ funksjon for repeterende anvendelse av en funksjon på hvert element i en liste. > (mapcar #'count-atoms '((a b) (c (((d) e)) f ((g))) h)) (2 5 1) (defun square-root-elements (liste) (mapcar #'sqrt liste)) > (square-root-elements '( )) ( )