!!!" " # $ Leksjon 1

Transkript

1 !!!"" # $ Leksjon 1

2 %# Studenten skal etter seminaret ha en grunnleggende forståelse av hvordan moderne heuristiske metoder basert på lokalsøk og metaheuristikker kan brukes for å finne approksimerte løsninger for beregningsmessig harde kombinatoriske optimeringsproblemer. Medvirkning! Diskusjon! På sikt: kurs INF-MAT Geir Hasle - Leksjon 1 2

3 # Leksjoner motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk meta-heuristikker Eksempelproblem TSP, TSPTW, CVRP Ryggsekkproblemet INF-MAT Geir Hasle - Leksjon 1 3

4 &'() Leksjon 1 (24.11) motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk Leksjon 2 (25.11) mer om lokalsøk initiell løsning strategier tilfeldig søk Leksjon 3 (26.11) Simulert størkning m/ varianter Leksjon 4 (27.11) Tabusøk Leksjon 5 (28.11) Styrt lokalsøk (Guided Local Search) Genetiske algoritmer INF-MAT Geir Hasle - Leksjon 1 4

5 &'*) Leksjon 6 (1.12) Genetiske algoritmer Evolusjonsmetoder Øvrige populasjonsorienterte metoder Leksjon 7 (2.12) Variabelt nabolagssøk Iterert lokalsøk Store nabolag Leksjon 8 (3.12) Åpent Leksjon 9 (4.12) Repetisjon Muntlig eksamen ( ) INF-MAT Geir Hasle - Leksjon 1 5

6 '() C. R. Reeves (editor): Modern Heuristic Techniques for Combinatorial Problems. ISBN Blackwell I.H. Osman, J.P. Kelly (editors): Meta-Heuristics: Theory & Applications. Kluwer E. Aarts, J.K. Lenstra: Local Search in Combinatorial Optimization. ISBN Wiley S. Voss, S. Martello, I.H: Osman, C. Roucairol (editors): Meta-Heuristics: Advances and Trends in Local Search Paradigms for Optimization. Kluwer D. Corne, M. Dorigo, F. Glover (editors): New Ideas in Optimization. ISBN McGraw-Hill F. Glover, G.A. Kochenberger: Handbook of Metaheuristics, ISBN , Kluwer 2003 INF-MAT Geir Hasle - Leksjon 1 6

7 '*) S. Voss, D. Woodruff (eds): Optimization Software Class libraries. ISBN Kluwer G. Polya: How to solve it. A New Aspect of Mathematical Method. Princeton Science Library 1957 Z. Michalewicz, D. B. Fogel: How to Solve It: Modern Heuristics. Springer. M. R. Garey, D. S. Johnson: Computers and Intractability. A Guide to the Theory of NP-Completeness INF-MAT Geir Hasle - Leksjon 1 7

8 ' ) M. Pirlot: General local search methods. EJOR 92 (1996) J. Hurink: Introduction to Local Search. Technical Note, University of Twente. M. Gendreau, J-Y. Potvin: Metaheuristics in Combinatorial Optimization. Working Paper CRT, Univ. of Montreal M. Gendreau: An Introduction to Tabu Search. CRT, July 2002 INF-MAT Geir Hasle - Leksjon 1 8

9 +* Statarisk Forelesningene Dokumentert ved kopi av slides Kursorisk støttelitteratur: Kapittel 1 i Reeves Pirlot: General local search methods INF-MAT Geir Hasle - Leksjon 1 9

10 ,( -& Om emnet INF-MAT 5380 Motivasjon: problemer i Operasjonsanalyse og AI Optimeringsproblemer Definisjon Diskret optimeringsproblem Eksempler Kompleksitetsteori Løsningsmetoder eksakte approksimative, heuristiske Skisse av lokalsøk INF-MAT Geir Hasle - Leksjon 1 10

11 &, -,. WW-II Britiske militære Vitenskapsmenn og ingeniører fra flere fagfelt Analyse og beslutningsstøtte Utplassering av radarstasjoner Styring av konvoier Bombetokter Anti-ubåt kampanjer Minelegging Operational Analysis/Operations Research INF-MAT Geir Hasle - Leksjon 1 11

12 # -/ 011 Vitenskapelig tilnærming til beslutninger som gjelder bestemmelse om hvordan et system skal designes og opereres, vanligvis under betingelser som krever allokering av knappe ressurser [Winston: Operations Research Applications and Algorithms] INF-MAT Geir Hasle - Leksjon 1 12

13 -,. Kvantitative metoder for beslutningsstøtte Flere disipliner matematisk modellering optimering sannsynlighetsregning spillteori køteori simulering Diskrete optimeringsproblemer er sentrale INF-MAT Geir Hasle - Leksjon 1 13

14 -,. # problemformulering systemobservasjon matematisk modellering verifisering prediksjon valg organisering implementering evaluering INF-MAT Geir Hasle - Leksjon 1 14

15 2 3 4&, Du leder en stor bedrift Medarbeiderne har foreslått et antall prosjekter, hvert med kjent: gevinst kostnad Du har et fast budsjett Hvilke prosjekter skal du satse på for å få størst mulig gevinst? Strategisk/taktisk beslutning Optimeringsproblem Ryggsekk-problemet INF-MAT Geir Hasle - Leksjon 1 15

16 2 / Du driver budfirma med egen bil Du har fått inn hente- og bringeoppdrag spredt rundt i byen for utførelse i morgen Hvilken rekkefølge av stopp skal du velge for å bli ferdig med runden så tidlig som mulig? Operativ beslutning Optimeringsproblem Handelsreisende-problemet INF-MAT Geir Hasle - Leksjon 1 16

17 5 '$113 ) Studiet av hvordan man får datamaskiner til å gjøre ting som mennesker for tiden er bedre til å gjøre [Elaine Rich: Artificial Intelligence] INF-MAT Geir Hasle - Leksjon 1 17

18 5 spill teorembevis ekspertsystemer medisin design ingeniør generell problemløsning persepsjon (kunstig syn) naturlig språkforståelse robotikk INF-MAT Geir Hasle - Leksjon 1 18

19 5 Intelligens kan simuleres ved symbolmanipulerings-systemer Intelligens krever kunnskap Viktige AI-teknikker søk representasjon og bruk av kunnskap abstraksjon Diskret optimering er ofte en mulig formulering for delproblemer INF-MAT Geir Hasle - Leksjon 1 19

20 53 &#$, AI er studiet av teknikker for å løse eksponensielt harde problemer i polynomiell tid ved å utnytte kunnskap om problemdomenet [Elaine Rich] INF-MAT Geir Hasle - Leksjon 1 20

21 20, Du spiller sjakk med en venn Du har en god måte å vurdere stillinger på Du ønsker å se noen trekk framover for å velge et godt trekk i nåværende stilling Optimeringsproblem Diskrete valg Kombinatorisk eksplosjon Tilnærminger INF-MAT Geir Hasle - Leksjon 1 21

22 - $ Beslutningsvariable med domener Målfunksjon Føringer (beskrankninger) Matematisk program f ( x1 xn ) ( 1 n ) ( ) min,, f x,, x = 0 j = 1,, k j g x,, x 0 j = 1,, l j 1 x R i = 1,, n i min x S f n ( x) INF-MAT Geir Hasle - Leksjon 1 22

23 4$ 6 + Programmering planlegging Kontinuerlige beslutningsvariable x j j = 1,, n Målfunksjon Objektfunksjon, objektiv Kostnadsfunksjon Maksimering eller minimering I LP: lineær funksjon ζ = c x + + c x =c x 1 1 n n j j j= 1 n INF-MAT Geir Hasle - Leksjon 1 23

24 +'$") Føringer (beskrankninger) I LP: Lineære likheter, ulikheter n a1x1 + + a nxn= b a jx j= b j= 1 INF-MAT Geir Hasle - Leksjon 1 24

25 +%##$ n j= 1 j n max ζ = c x slik at j= 1 j ij j i j a x b i = 1,,m x 0 j = 1,,n n antall beslutningsvariable m antall føringer INF-MAT Geir Hasle - Leksjon 1 25

26 &+ Simpleksmetoden Meget effektiv i praksis Verste fall: eksponensiell tidskompleksitet Alternative metoder garanterer polynomiell vekst LP er et effektivt løsbart problem Verktøy Anvendelser Nytte INF-MAT Geir Hasle - Leksjon 1 26

27 6 n j= 1 j n max ζ = c x slik at j= 1 j ij j i j a x b i = 1,,m x 0 j = 1,, n n j= 1 j i n max ζ = c x slik at x j= 1 j ij j i j a x b i = 1,,m 0 j = 1,, n { n} + x i I 1,, Blandete heltallsprogrammer (Mixed Integer Programs MIP) Rene heltallsprogrammer (Pure Integer Programs IP, PIP) 0-1 programmer { } i I 1,,n { } i I = 1,,n i { } x 0,1 INF-MAT Geir Hasle - Leksjon 1 27

28 '6)7 Mange oppgaver i den virkelige verden kan modelleres som LP med heltallighetsføringer Diskrete valg, sekvensering, kombinatorikk, logikk Tids- og ressursplanlegging, operasjonsanalyse LP med heltallsføringer kalles Heltallsprogrammer Heltallsprogrammer er generelt langt vanskeligere å løse beregningsmessig enn ordinære LP Ofte øker regnetiden til eksakte metoder eksponensielt med størrelsen av problemet Men ikke alltid... INF-MAT Geir Hasle - Leksjon 1 28

29 2 7##'0+) Tillatt løsning: verdi: 184 INF-MAT Geir Hasle - Leksjon 1 29

30 +'.) Eksempel: TSP En type av konkrete problemer (instanser) En instans er gitt ved: n: antall byer A: nxn-matrise av reisekostnader INF-MAT Geir Hasle - Leksjon 1 30

31 8$,3 8- Et Diskret (kombinatorisk) OptimeringsProblem (DOP) er enten et minimerings- eller maksimeringsproblem spesifiseres av et sett probleminstanser INF-MAT Geir Hasle - Leksjon 1 31

32 8$,38-+ En DOP-instans er et par ( S,f ) der S = { s} er mengden av tillatte (interessante) løsninger og f :S R er kostnadsfunksjonen. Målet er å finne en globalt optimal * * løsning: s S: f (s ) f (s), s S * f * = f (s ) (globalt) optimal kostnad * S { * = s S: f (s) = f } (globalt) optimale løsninger INF-MAT Geir Hasle - Leksjon 1 32

33 2(20+ 3 byer: 1, 2,3 ( S, f ) 17 { } { } S = (1,2,3),(1,3,2),(2,1,3),(2,3,1),(3,1,2),(3,2,1) s,,s f (s ) = = 20 min f ( s) s S 1 f (s ) = = INF-MAT Geir Hasle - Leksjon

34 2*/. Ryggsekk med kapasitet artikler (prosjekter,...) 1,...,10 ( S, f ) max f ( s) s S { } { } S = ,, s,,s f (s ) 1 f (s ) = 117 f (s = 0 ) = 464 Verdi Størrelse INF-MAT Geir Hasle - Leksjon * f = f (s 530) = { } * S =

35 58-+#$, S er sjelden gitt eksplisitt S ofte delmengde av brukbare løsninger i større rom av mulige løsninger (s,f(s)) sjelden gitt eksplisitt ofte kompakt representasjon av instans (kandidat)løsning ofte gitt ved verdier på beslutningsvariable (x 1,v 1 ),..., (x n,v n ) (valuering x v) ofte polynomielle algoritmer for å sjekke brukbarhet (medlemskap i S) og kostnad/verdi for kandidatløsninger INF-MAT Geir Hasle - Leksjon 1 35

36 &#8-+ Beslutninger der man har diskrete alternativer Synteseproblemer planlegging design Operasjonsanalyse, Kunstig intelligens Logistikk, design, planlegging, robotikk INF-MAT Geir Hasle - Leksjon 1 36

37 #$8-+ Eksakte metoder generer og test, eksplisitt enumrering matematisk programmering implisitt enumrering Approksimasjonsmetoder med garantier heuristikker INF-MAT Geir Hasle - Leksjon 1 37

38 5 Regnetid for en type problemer beste algoritme uansett instans utvikling ift problemstørrelse Eksponensiell vekst er grusom Parallellitet og utvikling i regnekraft hjelper lite Effektiv løsbarhet knyttes til polynomielle algoritmer Verste fall, pessimistisk teori En instans er nok til å dømme et problem som ikkeeffektivt løsbar INF-MAT Geir Hasle - Leksjon 1 38

39 5, $ ! ! ! ! INF-MAT Geir Hasle - Leksjon 1 39

40 5&. Kompleksitetsklasser P NP NP-komplett NPC P NP P NP NP P Cook s formodning: \ LP P Kachian (1979) SAT NPC Cook (1971) TSP NPC Karp (1972) Knapsack NPC INF-MAT Geir Hasle - Leksjon 1 40

41 &,$ #$8-+ Kompleksitetsteori, NP-komplette problemer Kompleksitetsteori ser på beslutningsproblemer Nær sammenheng mellom beslutningsproblem og optimeringsproblem Optimering minst like hardt som beslutning NP-komplett beslutningsproblem -> NP-hardt optimeringsproblem For NP-harde DOP fins antakelig ikke eksakt metode der regnetiden er begrenset av polynom Ulike valg eksakt metode (enumerativ) approksimasjonsmetode (polynomisk tid) heuristisk metode (ingen a priori garanti) NB! Ikke alle DOP er NP-harde! INF-MAT Geir Hasle - Leksjon 1 41

42 4#&, I den virkelige verden: som oftest krav til respons er optimering kun ett aspekt utelukker ofte problemstørrelse og responskrav eksakt optimeringsmetode p.g.a. beregningskompleksitet Heuristiske metoder robust valg I den virkelige verden trengs ofte ikke den optimale løsning Mennesker er ikke optimerere men tilfredsstillere (satisficers) Herb Simon Eksakte metoder kan være bedre valg Kulturer matematikere vs. pragmatikere/ingeniører OR vs. AI INF-MAT Geir Hasle - Leksjon 1 42

43 2#$8-+ DOP har ofte et endelig antall løsninger Eksakte metoder garanterer å finne optimal løsning Responstid? Eksakte metoder er gode for begrenset problemstørrelse kanskje gode for de instanser som er aktuelle ofte grunnlag for approksimasjonsmetoder ofte gode for forenklete problemer INF-MAT Geir Hasle - Leksjon 1 43

44 7 En teknikk som forbedrer effektiviteten til en søkeprosess, oftest ved å ofre kompletthet Garantier for løsningskvalitet vs. tid kan sjelden gis Generelle heuristikker (f. eks. i Branch & Bound for IP) Spesielle heuristikker utnytter kunnskap om problemet Begrep innført i How to solve it [Polya 1957]. Guide for løsning av matematiske problemer INF-MAT Geir Hasle - Leksjon 1 44

45 $8-+ Heuristisk metode Iterativ metode Små endringer av gitt løsning Ingredienser: Nabolag Søkestrategi Initiell løsning Stoppkriterium INF-MAT Geir Hasle - Leksjon 1 45

46 ,(- Kursinformasjon Motivasjon Operasjonsanalyse Kunstig intelligens Optimeringsproblemer (diskrete) Matematisk program Constrained Optimization Problem Definisjon Diskret OptimeringsProblem (DOP) Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk INF-MAT Geir Hasle - Leksjon 1 46

47 ,* Litt repetisjon Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk INF-MAT Geir Hasle - Leksjon 1 47