!!!"" # $ Leksjon 1
%# Studenten skal etter seminaret ha en grunnleggende forståelse av hvordan moderne heuristiske metoder basert på lokalsøk og metaheuristikker kan brukes for å finne approksimerte løsninger for beregningsmessig harde kombinatoriske optimeringsproblemer. Medvirkning! Diskusjon! På sikt: kurs INF-MAT 5380 - Geir Hasle - Leksjon 1 2
# Leksjoner motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk meta-heuristikker Eksempelproblem TSP, TSPTW, CVRP Ryggsekkproblemet INF-MAT 5380 - Geir Hasle - Leksjon 1 3
&'() Leksjon 1 (24.11) motivasjon diskrete optimeringsproblemer begrepsapparat lokalsøk Leksjon 2 (25.11) mer om lokalsøk initiell løsning strategier tilfeldig søk Leksjon 3 (26.11) Simulert størkning m/ varianter Leksjon 4 (27.11) Tabusøk Leksjon 5 (28.11) Styrt lokalsøk (Guided Local Search) Genetiske algoritmer INF-MAT 5380 - Geir Hasle - Leksjon 1 4
&'*) Leksjon 6 (1.12) Genetiske algoritmer Evolusjonsmetoder Øvrige populasjonsorienterte metoder Leksjon 7 (2.12) Variabelt nabolagssøk Iterert lokalsøk Store nabolag Leksjon 8 (3.12) Åpent Leksjon 9 (4.12) Repetisjon Muntlig eksamen (15.12-16.12) INF-MAT 5380 - Geir Hasle - Leksjon 1 5
'() C. R. Reeves (editor): Modern Heuristic Techniques for Combinatorial Problems. ISBN 0-470-22079-1. Blackwell 1993. I.H. Osman, J.P. Kelly (editors): Meta-Heuristics: Theory & Applications. Kluwer 1996. E. Aarts, J.K. Lenstra: Local Search in Combinatorial Optimization. ISBN 0-471-94822-5. Wiley 1997. S. Voss, S. Martello, I.H: Osman, C. Roucairol (editors): Meta-Heuristics: Advances and Trends in Local Search Paradigms for Optimization. Kluwer 1999. D. Corne, M. Dorigo, F. Glover (editors): New Ideas in Optimization. ISBN 007 709506 5. McGraw-Hill 1999. F. Glover, G.A. Kochenberger: Handbook of Metaheuristics, ISBN 0-4020-7263-5, Kluwer 2003 INF-MAT 5380 - Geir Hasle - Leksjon 1 6
'*) S. Voss, D. Woodruff (eds): Optimization Software Class libraries. ISBN 1-4020-7002-0. Kluwer 2002. G. Polya: How to solve it. A New Aspect of Mathematical Method. Princeton Science Library 1957 Z. Michalewicz, D. B. Fogel: How to Solve It: Modern Heuristics. Springer. M. R. Garey, D. S. Johnson: Computers and Intractability. A Guide to the Theory of NP-Completeness INF-MAT 5380 - Geir Hasle - Leksjon 1 7
' ) M. Pirlot: General local search methods. EJOR 92 (1996) 493-511 J. Hurink: Introduction to Local Search. Technical Note, University of Twente. M. Gendreau, J-Y. Potvin: Metaheuristics in Combinatorial Optimization. Working Paper CRT, Univ. of Montreal M. Gendreau: An Introduction to Tabu Search. CRT, July 2002 INF-MAT 5380 - Geir Hasle - Leksjon 1 8
+* Statarisk Forelesningene Dokumentert ved kopi av slides Kursorisk støttelitteratur: Kapittel 1 i Reeves Pirlot: General local search methods INF-MAT 5380 - Geir Hasle - Leksjon 1 9
,( -& Om emnet INF-MAT 5380 Motivasjon: problemer i Operasjonsanalyse og AI Optimeringsproblemer Definisjon Diskret optimeringsproblem Eksempler Kompleksitetsteori Løsningsmetoder eksakte approksimative, heuristiske Skisse av lokalsøk INF-MAT 5380 - Geir Hasle - Leksjon 1 10
&, -,. WW-II Britiske militære Vitenskapsmenn og ingeniører fra flere fagfelt Analyse og beslutningsstøtte Utplassering av radarstasjoner Styring av konvoier Bombetokter Anti-ubåt kampanjer Minelegging Operational Analysis/Operations Research INF-MAT 5380 - Geir Hasle - Leksjon 1 11
# -/ 011 Vitenskapelig tilnærming til beslutninger som gjelder bestemmelse om hvordan et system skal designes og opereres, vanligvis under betingelser som krever allokering av knappe ressurser [Winston: Operations Research Applications and Algorithms] INF-MAT 5380 - Geir Hasle - Leksjon 1 12
-,. Kvantitative metoder for beslutningsstøtte Flere disipliner matematisk modellering optimering sannsynlighetsregning spillteori køteori simulering Diskrete optimeringsproblemer er sentrale INF-MAT 5380 - Geir Hasle - Leksjon 1 13
-,. # problemformulering systemobservasjon matematisk modellering verifisering prediksjon valg organisering implementering evaluering INF-MAT 5380 - Geir Hasle - Leksjon 1 14
2 3 4&, Du leder en stor bedrift Medarbeiderne har foreslått et antall prosjekter, hvert med kjent: gevinst kostnad Du har et fast budsjett Hvilke prosjekter skal du satse på for å få størst mulig gevinst? Strategisk/taktisk beslutning Optimeringsproblem Ryggsekk-problemet INF-MAT 5380 - Geir Hasle - Leksjon 1 15
2 / Du driver budfirma med egen bil Du har fått inn hente- og bringeoppdrag spredt rundt i byen for utførelse i morgen Hvilken rekkefølge av stopp skal du velge for å bli ferdig med runden så tidlig som mulig? Operativ beslutning Optimeringsproblem Handelsreisende-problemet INF-MAT 5380 - Geir Hasle - Leksjon 1 16
5 '$113 ) Studiet av hvordan man får datamaskiner til å gjøre ting som mennesker for tiden er bedre til å gjøre [Elaine Rich: Artificial Intelligence] INF-MAT 5380 - Geir Hasle - Leksjon 1 17
5 spill teorembevis ekspertsystemer medisin design ingeniør generell problemløsning persepsjon (kunstig syn) naturlig språkforståelse robotikk INF-MAT 5380 - Geir Hasle - Leksjon 1 18
5 Intelligens kan simuleres ved symbolmanipulerings-systemer Intelligens krever kunnskap Viktige AI-teknikker søk representasjon og bruk av kunnskap abstraksjon Diskret optimering er ofte en mulig formulering for delproblemer INF-MAT 5380 - Geir Hasle - Leksjon 1 19
53 &#$, AI er studiet av teknikker for å løse eksponensielt harde problemer i polynomiell tid ved å utnytte kunnskap om problemdomenet [Elaine Rich] INF-MAT 5380 - Geir Hasle - Leksjon 1 20
20, Du spiller sjakk med en venn Du har en god måte å vurdere stillinger på Du ønsker å se noen trekk framover for å velge et godt trekk i nåværende stilling Optimeringsproblem Diskrete valg Kombinatorisk eksplosjon Tilnærminger INF-MAT 5380 - Geir Hasle - Leksjon 1 21
- $ Beslutningsvariable med domener Målfunksjon Føringer (beskrankninger) Matematisk program f ( x1 xn ) ( 1 n ) ( ) min,, f x,, x = 0 j = 1,, k j g x,, x 0 j = 1,, l j 1 x R i = 1,, n i min x S f n ( x) INF-MAT 5380 - Geir Hasle - Leksjon 1 22
4$ 6 + Programmering planlegging Kontinuerlige beslutningsvariable x j j = 1,, n Målfunksjon Objektfunksjon, objektiv Kostnadsfunksjon Maksimering eller minimering I LP: lineær funksjon ζ = c x + + c x =c x 1 1 n n j j j= 1 n INF-MAT 5380 - Geir Hasle - Leksjon 1 23
+'$") Føringer (beskrankninger) I LP: Lineære likheter, ulikheter n a1x1 + + a nxn= b a jx j= b j= 1 INF-MAT 5380 - Geir Hasle - Leksjon 1 24
+%##$ n j= 1 j n max ζ = c x slik at j= 1 j ij j i j a x b i = 1,,m x 0 j = 1,,n n antall beslutningsvariable m antall føringer INF-MAT 5380 - Geir Hasle - Leksjon 1 25
&+ Simpleksmetoden Meget effektiv i praksis Verste fall: eksponensiell tidskompleksitet Alternative metoder garanterer polynomiell vekst LP er et effektivt løsbart problem Verktøy Anvendelser Nytte INF-MAT 5380 - Geir Hasle - Leksjon 1 26
6 n j= 1 j n max ζ = c x slik at j= 1 j ij j i j a x b i = 1,,m x 0 j = 1,, n n j= 1 j i n max ζ = c x slik at x j= 1 j ij j i j a x b i = 1,,m 0 j = 1,, n { n} + x i I 1,, Blandete heltallsprogrammer (Mixed Integer Programs MIP) Rene heltallsprogrammer (Pure Integer Programs IP, PIP) 0-1 programmer { } i I 1,,n { } i I = 1,,n i { } x 0,1 INF-MAT 5380 - Geir Hasle - Leksjon 1 27
'6)7 Mange oppgaver i den virkelige verden kan modelleres som LP med heltallighetsføringer Diskrete valg, sekvensering, kombinatorikk, logikk Tids- og ressursplanlegging, operasjonsanalyse LP med heltallsføringer kalles Heltallsprogrammer Heltallsprogrammer er generelt langt vanskeligere å løse beregningsmessig enn ordinære LP Ofte øker regnetiden til eksakte metoder eksponensielt med størrelsen av problemet Men ikke alltid... INF-MAT 5380 - Geir Hasle - Leksjon 1 28
2 7##'0+) 1 2 3 4 5 6 7 1 0 18 17 23 23 23 23 2 3 2 3 2 17 0 33 88 0 23 23 8 7 17 43 32 23 1 7 4 6 5 4 5 6 7 33 9 25 83 73 65 99 40 4 6 2 23 0 65 15 43 9 0 23 77 23 54 0 23 19 23 13 0 Tillatt løsning: 1 2 7 3 4 5 6 1 verdi: 184 INF-MAT 5380 - Geir Hasle - Leksjon 1 29
+'.) Eksempel: TSP En type av konkrete problemer (instanser) En instans er gitt ved: n: antall byer A: nxn-matrise av reisekostnader INF-MAT 5380 - Geir Hasle - Leksjon 1 30
8$,3 8- Et Diskret (kombinatorisk) OptimeringsProblem (DOP) er enten et minimerings- eller maksimeringsproblem spesifiseres av et sett probleminstanser INF-MAT 5380 - Geir Hasle - Leksjon 1 31
8$,38-+ En DOP-instans er et par ( S,f ) der S = { s} er mengden av tillatte (interessante) løsninger og f :S R er kostnadsfunksjonen. Målet er å finne en globalt optimal * * løsning: s S: f (s ) f (s), s S * f * = f (s ) (globalt) optimal kostnad * S { * = s S: f (s) = f } (globalt) optimale løsninger INF-MAT 5380 - Geir Hasle - Leksjon 1 32
2(20+ 3 byer: 1, 2,3 ( S, f ) 17 { } { } S = (1,2,3),(1,3,2),(2,1,3),(2,3,1),(3,1,2),(3,2,1) s,,s f (s ) = 15 + 3+ 2 = 20 min f ( s) s S 1 f (s ) = 17 + 13 + 32 = 62 6 1 2 3 1 0 13 2 15 1 6 INF-MAT 5380 - Geir Hasle - Leksjon 1 33 2 0 3 32 3 0
2*/. Ryggsekk med kapasitet 101 10 artikler (prosjekter,...) 1,...,10 ( S, f ) max f ( s) s S { } { } S = 0000000000,,1111111111 s,,s f (s ) 1 f (s ) = 117 f (s 530 1024 = 0 ) = 464 Verdi Størrelse 1 79 85 2 32 26 3 47 48 4 18 21 1 1024 26 22 85 95 33 43 40 45 45 55 INF-MAT 5380 - Geir Hasle - Leksjon 1 34 5 6 7 * f = f (s 530) = 117 8 { } * S = 0100100001 9 10 59 52
58-+#$, S er sjelden gitt eksplisitt S ofte delmengde av brukbare løsninger i større rom av mulige løsninger (s,f(s)) sjelden gitt eksplisitt ofte kompakt representasjon av instans (kandidat)løsning ofte gitt ved verdier på beslutningsvariable (x 1,v 1 ),..., (x n,v n ) (valuering x v) ofte polynomielle algoritmer for å sjekke brukbarhet (medlemskap i S) og kostnad/verdi for kandidatløsninger INF-MAT 5380 - Geir Hasle - Leksjon 1 35
-+ Beslutninger der man har diskrete alternativer Synteseproblemer planlegging design Operasjonsanalyse, Kunstig intelligens Logistikk, design, planlegging, robotikk INF-MAT 5380 - Geir Hasle - Leksjon 1 36
#$8-+ Eksakte metoder generer og test, eksplisitt enumrering matematisk programmering implisitt enumrering Approksimasjonsmetoder med garantier heuristikker INF-MAT 5380 - Geir Hasle - Leksjon 1 37
5 Regnetid for en type problemer beste algoritme uansett instans utvikling ift problemstørrelse Eksponensiell vekst er grusom Parallellitet og utvikling i regnekraft hjelper lite Effektiv løsbarhet knyttes til polynomielle algoritmer Verste fall, pessimistisk teori En instans er nok til å dømme et problem som ikkeeffektivt løsbar INF-MAT 5380 - Geir Hasle - Leksjon 1 38
5, $ 3628800 10! 10 6 2432902008176640000 20! 10 19 304140932017133780436126081660647688443776415689660512000000000000 50! 10 65 100! 10 159 933262154439441526816992388856266700490715968264381621468592963895217599993229915608941463976156518286253697920827223758251185210916864000000000000000000000000 INF-MAT 5380 - Geir Hasle - Leksjon 1 39
5&. Kompleksitetsklasser P NP NP-komplett NPC P NP P NP NP P Cook s formodning: \ LP P Kachian (1979) SAT NPC Cook (1971) TSP NPC Karp (1972) Knapsack NPC INF-MAT 5380 - Geir Hasle - Leksjon 1 40
&,$ #$8-+ Kompleksitetsteori, NP-komplette problemer Kompleksitetsteori ser på beslutningsproblemer Nær sammenheng mellom beslutningsproblem og optimeringsproblem Optimering minst like hardt som beslutning NP-komplett beslutningsproblem -> NP-hardt optimeringsproblem For NP-harde DOP fins antakelig ikke eksakt metode der regnetiden er begrenset av polynom Ulike valg eksakt metode (enumerativ) approksimasjonsmetode (polynomisk tid) heuristisk metode (ingen a priori garanti) NB! Ikke alle DOP er NP-harde! INF-MAT 5380 - Geir Hasle - Leksjon 1 41
4#&, I den virkelige verden: som oftest krav til respons er optimering kun ett aspekt utelukker ofte problemstørrelse og responskrav eksakt optimeringsmetode p.g.a. beregningskompleksitet Heuristiske metoder robust valg I den virkelige verden trengs ofte ikke den optimale løsning Mennesker er ikke optimerere men tilfredsstillere (satisficers) Herb Simon Eksakte metoder kan være bedre valg Kulturer matematikere vs. pragmatikere/ingeniører OR vs. AI INF-MAT 5380 - Geir Hasle - Leksjon 1 42
2#$8-+ DOP har ofte et endelig antall løsninger Eksakte metoder garanterer å finne optimal løsning Responstid? Eksakte metoder er gode for begrenset problemstørrelse kanskje gode for de instanser som er aktuelle ofte grunnlag for approksimasjonsmetoder ofte gode for forenklete problemer INF-MAT 5380 - Geir Hasle - Leksjon 1 43
7 En teknikk som forbedrer effektiviteten til en søkeprosess, oftest ved å ofre kompletthet Garantier for løsningskvalitet vs. tid kan sjelden gis Generelle heuristikker (f. eks. i Branch & Bound for IP) Spesielle heuristikker utnytter kunnskap om problemet Begrep innført i How to solve it [Polya 1957]. Guide for løsning av matematiske problemer INF-MAT 5380 - Geir Hasle - Leksjon 1 44
$8-+ Heuristisk metode Iterativ metode Små endringer av gitt løsning Ingredienser: Nabolag Søkestrategi Initiell løsning Stoppkriterium INF-MAT 5380 - Geir Hasle - Leksjon 1 45
,(- Kursinformasjon Motivasjon Operasjonsanalyse Kunstig intelligens Optimeringsproblemer (diskrete) Matematisk program Constrained Optimization Problem Definisjon Diskret OptimeringsProblem (DOP) Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk INF-MAT 5380 - Geir Hasle - Leksjon 1 46
,* Litt repetisjon Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk INF-MAT 5380 - Geir Hasle - Leksjon 1 47