INF-MAT Lokalsøk og meta-heuristikker i kombinatorisk optimering

Transkript

1 INF-MAT-5380 Lokalsøk og meta-heuristikker i kombinatorisk optimering Leksjon 1

2 Mål med kurset Studenten skal etter kurset ha en grunnleggende forståelse av hvordan moderne heuristiske metoder basert på lokalsøk og metaheuristikker kan brukes for å finne approksimerte løsninger for beregningsmessig harde kombinatoriske optimeringsproblemer. INF-MAT Geir Hasle - Leksjon 1 2

3 Innhold Leksjoner motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk meta-heuristikker Eksempelproblem TSP, TSPTW, CVRP Ryggsekkproblemet INF-MAT Geir Hasle - Leksjon 1 3

4 Plan (1) Leksjon 1 (22.11) motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk Leksjon 2 (23.11) eksempler på DOP mer om lokalsøk begrepsdefinisjoner hovedproblem i lokalsøk Leksjon 3 (24.11) tilfeldig søk simulert størkning terskelakseptanseteknikker Leksjon 4 (25.11) tabusøk Leksjon 5 (26.11) styrt lokalsøk (Guided Local Search) INF-MAT Geir Hasle - Leksjon 1 4

5 Plan (2) Leksjon 6 (29.11) genetiske algoritmer evolusjonsmetoder øvrige populasjonsorienterte metoder Leksjon 7 (30.11) kategorisering av metaheuristikker konstruktive heuristikker multi-start baserte metaheuristikker GUT (Grand Unifying Theory)? hyperheuristikker Leksjon 8 (1.12) Repetisjon Leksjon 9 (2.12) Åpent Muntlig eksamen (14.12) INF-MAT Geir Hasle - Leksjon 1 5

6 Litteraturliste (1) C. R. Reeves (editor): Modern Heuristic Techniques for Combinatorial Problems. ISBN Blackwell I.H. Osman, J.P. Kelly (editors): Meta-Heuristics: Theory & Applications. Kluwer E. Aarts, J.K. Lenstra: Local Search in Combinatorial Optimization. ISBN Wiley S. Voss, S. Martello, I.H: Osman, C. Roucairol (editors): Meta-Heuristics: Advances and Trends in Local Search Paradigms for Optimization. Kluwer D. Corne, M. Dorigo, F. Glover (editors): New Ideas in Optimization. ISBN McGraw-Hill F. Glover, G.A. Kochenberger: Handbook of Metaheuristics, ISBN , Kluwer 2003 INF-MAT Geir Hasle - Leksjon 1 6

7 Litteraturliste (2) H. H. Hoos, T. Stützle: Stochastic Local Search Foundations and Applications ISBN: Elsevier S. Voss, D. Woodruff (eds): Optimization Software Class libraries. ISBN Kluwer G. Polya: How to solve it. A New Aspect of Mathematical Method. Princeton Science Library 1957 Z. Michalewicz, D. B. Fogel: How to Solve It: Modern Heuristics. Springer. M. R. Garey, D. S. Johnson: Computers and Intractability. A Guide to the Theory of NP- Completeness INF-MAT Geir Hasle - Leksjon 1 7

8 Litteraturliste (3) M. Pirlot: General local search methods. EJOR 92 (1996) J. Hurink: Introduction to Local Search. Technical Note, University of Twente. M. Gendreau, J-Y. Potvin: Metaheuristics in Combinatorial Optimization. Working Paper CRT, Univ. of Montreal M. Gendreau: An Introduction to Tabu Search. CRT, July 2002 INF-MAT Geir Hasle - Leksjon 1 8

9 Pensum høst 2004 Forelesningene Dokumentert ved kopi av slides INF-MAT Geir Hasle - Leksjon 1 9

10 Leksjon 1 - Oversikt Om emnet INF-MAT 5380 Motivasjon: problemer i Operasjonsanalyse og AI Optimeringsproblemer Definisjon Diskret optimeringsproblem Eksempler Kompleksitetsteori Løsningsmetoder eksakte approksimative, heuristiske Skisse av lokalsøk INF-MAT Geir Hasle - Leksjon 1 10

11 Motivasjon: Operasjonsanalyse WW-II Britiske militære Vitenskapsmenn og ingeniører fra flere fagfelt Analyse og beslutningsstøtte Utplassering av radarstasjoner Styring av konvoier Bombetokter Anti-ubåt kampanjer Minelegging Operational Analysis/Operations Research INF-MAT Geir Hasle - Leksjon 1 11

12 I dag: OR/Management Science Vitenskapelig tilnærming til beslutninger som gjelder bestemmelse om hvordan et system skal designes og opereres, vanligvis under betingelser som krever allokering av knappe ressurser [Winston: Operations Research Applications and Algorithms] INF-MAT Geir Hasle - Leksjon 1 12

13 Operasjonsanalyse Kvantitative metoder for beslutningsstøtte Flere disipliner matematisk modellering optimering sannsynlighetsregning spillteori køteori simulering Diskrete optimeringsproblemer er sentrale INF-MAT Geir Hasle - Leksjon 1 13

14 Operasjonsanalyse - metode problemformulering systemobservasjon matematisk modellering verifisering prediksjon valg organisering implementering evaluering INF-MAT Geir Hasle - Leksjon 1 14

15 Eksempel: Valg av prosjekter Du leder en stor bedrift Medarbeiderne har foreslått et antall prosjekter, hvert med kjent: gevinst kostnad Du har et fast budsjett Hvilke prosjekter skal du satse på for å få størst mulig gevinst? Strategisk/taktisk beslutning Optimeringsproblem Ryggsekk-problemet INF-MAT Geir Hasle - Leksjon 1 15

16 Eksempel: - Ruteplanlegging Du driver budfirma med egen bil Du har fått inn hente- og bringeoppdrag spredt rundt i byen for utførelse i morgen Hvilken rekkefølge av stopp skal du velge for å bli ferdig med runden så tidlig som mulig? Operativ beslutning Optimeringsproblem Handelsreisende-problemet INF-MAT Geir Hasle - Leksjon 1 16

17 Kunstig intelligens (Artificial Intelligence AI) Studiet av hvordan man får datamaskiner til å gjøre ting som mennesker for tiden er bedre til å gjøre [Elaine Rich: Artificial Intelligence] INF-MAT Geir Hasle - Leksjon 1 17

18 Kunstig intelligens - problemstillinger spill teorembevis ekspertsystemer medisin design ingeniør generell problemløsning persepsjon (kunstig syn) naturlig språkforståelse robotikk INF-MAT Geir Hasle - Leksjon 1 18

19 Kunstig intelligens Intelligens kan simuleres ved symbolmanipulerings-systemer Intelligens krever kunnskap Viktige AI-teknikker søk representasjon og bruk av kunnskap abstraksjon Diskret optimering er ofte en mulig formulering for delproblemer INF-MAT Geir Hasle - Leksjon 1 19

20 Kunstig intelligens alternativ definisjon AI er studiet av teknikker for å løse eksponensielt harde problemer i polynomiell tid ved å utnytte kunnskap om problemdomenet [Elaine Rich] INF-MAT Geir Hasle - Leksjon 1 20

21 Eksempel: Sjakk Du spiller sjakk med en venn Du har en god måte å vurdere stillinger på Du ønsker å se noen trekk framover for å velge et godt trekk i nåværende stilling Optimeringsproblem Diskrete valg Kombinatorisk eksplosjon Tilnærminger INF-MAT Geir Hasle - Leksjon 1 21

22 Optimeringsproblem - Matematisk formulering Beslutningsvariable med domener Målfunksjon Føringer (beskrankninger) f ( x1 K xn ) ( 1 K n) ( K ) min,, f x,, x = 0 j = 1, K, k j g x,, x 0 j = 1, K, l j 1 x R i = 1, K, n Matematisk program min f ( x) i x S n INF-MAT Geir Hasle - Leksjon 1 22

23 Viktig spesialtilfelle: Lineærprogrammeringsproblem - LP Programmering planlegging Kontinuerlige beslutningsvariable x j j= 1, K,n Målfunksjon Objektfunksjon, objektiv Kostnadsfunksjon Maksimering eller minimering I LP: lineær funksjon ζ= cx + L+ c x = cx 1 1 n n j j j1 = n INF-MAT Geir Hasle - Leksjon 1 23

24 LP (forts.) Føringer (beskrankninger) I LP: Lineære likheter, ulikheter n ax 1 1+ L+ anxn = b ax j j = b j= 1 INF-MAT Geir Hasle - Leksjon 1 24

25 LP på standardform n j1 = j n max ζ= c x slik at j1 = j ij j i j ax b i= 1, K,m x 0 j= 1, K,n n antall beslutningsvariable m antall føringer INF-MAT Geir Hasle - Leksjon 1 25

26 Løsning av LP Simpleksmetoden Meget effektiv i praksis Verste fall: eksponensiell tidskompleksitet Alternative metoder garanterer polynomiell vekst LP er et effektivt løsbart problem Verktøy Anvendelser Nytte INF-MAT Geir Hasle - Leksjon 1 26

27 Lineær heltallsprogrammering n j1 = j n max ζ= c x slik at j1 = j ij j i j ax b i= 1, K,m x 0 j= 1, K,n n j1 = j i n max ζ= c x slik at x j1 = j ij j i j ax b i= 1, K,m 0 j = 1, K,n { K n} + x N i I 1,, Blandete heltallsprogrammer (Mixed Integer Programs MIP) Rene heltallsprogrammer (Pure Integer Programs IP, PIP) 0-1 programmer { K } i I 1,,n { K } i I= 1,,n i { } x 0,1 INF-MAT Geir Hasle - Leksjon 1 27

28 (Lineær) Heltallsprogrammering Mange oppgaver i den virkelige verden kan modelleres som LP med heltallighetsføringer Diskrete valg, sekvensering, kombinatorikk, logikk Tids- og ressursplanlegging, operasjonsanalyse LP med heltallsføringer kalles Heltallsprogrammer Heltallsprogrammer er generelt langt vanskeligere å løse beregningsmessig enn ordinære LP Ofte øker regnetiden til eksakte metoder eksponensielt med størrelsen av problemet Men ikke alltid... INF-MAT Geir Hasle - Leksjon 1 28

29 Eksempel optimeringsproblem: Handelsreisende-problemet (TSP) Tillatt løsning: verdi: 184 INF-MAT Geir Hasle - Leksjon 1 29

30 Problemer (problemtyper) og instanser Eksempel: TSP En type av konkrete problemer (instanser) En instans er gitt ved: n: antall byer A: nxn-matrise av reisekostnader INF-MAT Geir Hasle - Leksjon 1 30

31 Definisjon Diskret Optimeringsproblem Et Diskret (kombinatorisk) OptimeringsProblem (DOP) er enten et minimerings- eller maksimeringsproblem spesifiseres av et sett probleminstanser INF-MAT Geir Hasle - Leksjon 1 31

32 Definisjon DOP-instans En DOP-instans er et par ( S, f ) der S= { s} er mengden av tillatte (interessante) løsninger og f:s R er kostnadsfunksjonen. Målet er å finne en globalt optimal * * løsning: s S: f (s ) f (s), s S * f * = f(s ) (globalt) optimal kostnad * S { * = s S:f(s) = f } (globalt) optimale løsninger INF-MAT Geir Hasle - Leksjon 1 32

33 Eksempel 1: En TSP-instans 3 byer: 1, 2, ( S, f ) min f ( s) s S { } { } S = (1, 2, 3), (1, 3, 2), (2,1, 3), (2, 3,1), (3,1, 2), (3, 2,1) s, K, s f (s ) = = 20 M 1 f (s ) = = INF-MAT Geir Hasle - Leksjon 1 33

34 Eksempel 2: Ryggsekkproblem-instans Ryggsekk med kapasitet artikler (prosjekter,...) 1,...,10 ( S, f ) max f ( s) s S Verdi Størrelse { K } { K } S = ,, s,,s f(s ) M 1 f(s ) = 117 M f(s 530 = ) = * f = f(s 530) = 117 { } * S = INF-MAT Geir Hasle - Leksjon 1 34

35 Kommentarer DOP-definisjon S er sjelden gitt eksplisitt S ofte delmengde av brukbare løsninger i større rom av mulige løsninger (s,f(s)) sjelden gitt eksplisitt ofte fins kompakt representasjon av instans (kandidat)løsning ofte gitt ved verdier på beslutningsvariable r r (x 1,v 1 ),..., (x n,v n ) (valuering x v) ofte polynomielle algoritmer for å sjekke brukbarhet (medlemskap i S) og kostnad/verdi for kandidatløsninger INF-MAT Geir Hasle - Leksjon 1 35

36 Anvendelser DOP Beslutninger der man har diskrete alternativer Synteseproblemer planlegging design Operasjonsanalyse, Kunstig intelligens Logistikk, design, planlegging, robotikk INF-MAT Geir Hasle - Leksjon 1 36

37 Løsningsmetoder for DOP Eksakte metoder generer og test, eksplisitt enumrering matematisk programmering implisitt enumrering Approksimasjonsmetoder med garantier heuristikker INF-MAT Geir Hasle - Leksjon 1 37

38 Kompleksitetsteori Regnetid for en type problemer beste algoritme uansett instans utvikling ift problemstørrelse Eksponensiell vekst er grusom Parallellitet og utvikling i regnekraft hjelper lite Effektiv løsbarhet knyttes til polynomielle algoritmer Verste fall, pessimistisk teori En instans er nok til å dømme et problem som ikkeeffektivt løsbar INF-MAT Geir Hasle - Leksjon 1 38

39 Kombinatorisk eksplosjon - antall rekkefølger ! ! ! ! INF-MAT Geir Hasle - Leksjon 1 39

40 Klasser av problemtyper Kompleksitetsklasser P NP NP-komplett NPC P NP NP P Cook s formodning: \ LP P SAT NPC TSP NPC Knapsack NPC Kachian (1979) Cook (1971) Karp (1972) INF-MAT Geir Hasle - Leksjon 1 40 P NP

41 Motivasjon for heuristiske løsningsmetoder for DOP Kompleksitetsteori, NP-komplette problemer Kompleksitetsteori ser på beslutningsproblemer Nær sammenheng mellom beslutningsproblem og optimeringsproblem Optimering minst like hardt som beslutning NP-komplett beslutningsproblem -> NP-hardt optimeringsproblem For NP-harde DOP fins antakelig ikke eksakt metode der regnetiden er begrenset av polynom Ulike valg eksakt metode (enumerativ) approksimasjonsmetode (polynomisk tid) heuristisk metode (ingen a priori garanti) NB! Ikke alle DOP er NP-harde! INF-MAT Geir Hasle - Leksjon 1 41

42 Videre motivasjon - heuristikker I den virkelige verden: er det som oftest krav til respons er optimering kun ett aspekt utelukker ofte problemstørrelse og responskrav eksakt optimeringsmetode p.g.a. beregningskompleksitet Heuristiske metoder robust valg I den virkelige verden trengs ofte ikke den optimale løsning Mennesker er ikke optimerere men tilfredsstillere (satisficers) Herb Simon Eksakte metoder kan være bedre valg Kulturer matematikere vs. pragmatikere/ingeniører OR vs. AI INF-MAT Geir Hasle - Leksjon 1 42

43 Eksakte metoder for DOP DOP har ofte et endelig antall løsninger Eksakte metoder garanterer å finne optimal løsning Responstid? Eksakte metoder er gode for begrenset problemstørrelse kanskje gode for de instanser som er aktuelle ofte grunnlag for approksimasjonsmetoder ofte gode for forenklete problemer INF-MAT Geir Hasle - Leksjon 1 43

44 Heuristikk En teknikk som forbedrer effektiviteten til en søkeprosess, oftest ved å ofre kompletthet Garantier for løsningskvalitet vs. tid kan sjelden gis Generelle heuristikker (f. eks. i Branch & Bound for IP) Spesielle heuristikker utnytter kunnskap om problemet Begrep innført i How to solve it [Polya 1957]. Guide for løsning av matematiske problemer INF-MAT Geir Hasle - Leksjon 1 44

45 Lokalsøk for DOP Heuristisk metode Iterativ metode Små endringer av gitt løsning Ingredienser: Nabolag Søkestrategi Initiell løsning Stoppkriterium INF-MAT Geir Hasle - Leksjon 1 45

46 Leksjon 1: Oppsummering Kursinformasjon Motivasjon Operasjonsanalyse Kunstig intelligens Optimeringsproblemer (diskrete) Matematisk program Constrained Optimization Problem Definisjon Diskret OptimeringsProblem (DOP) Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk INF-MAT Geir Hasle - Leksjon 1 46

47 Neste gang: Leksjon 2 Litt repetisjon Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk INF-MAT Geir Hasle - Leksjon 1 47