!"!#$ INF-MAT Geir Hasle - Leksjon 2 2

Transkript

1 Leksjon 2

2 !"!#$ Kursinformasjon Motivasjon Operasjonsanalyse Kunstig intelligens Optimeringsproblemer (diskrete) Matematisk program COP Definisjon DOP Anvendelser Kompleksitetsteori Eksakte metoder, approksimasjonsmetoder Heuristikker Skisse av lokalsøk INF-MAT Geir Hasle - Leksjon 2 2

3 !% Eksempler på DOP Mer om lokalsøk Begrepsdefinisjoner Hovedproblem i lokalsøk INF-MAT Geir Hasle - Leksjon 2 3

4 &'!(!)#*!+*, Handelsreisende-problemet med tidsvinduer (TSPTW) Komplett graf med n noder (byer) {,, n} Kjent reisekostnad mellom byer c ij Hver by har åpningstid og betjeningstid [ e,l ] i i s i Handelsreisende skal foreta rundtur Løsning kan representeres ved permutasjon S er mengden av alle (lovlige) permutasjoner f er summen av reisekostnader ( ) n f π = c + c i= π(i), π (i+ ) π(n), π() π INF-MAT Geir Hasle - Leksjon 2 4

5 '-!)#*!!$ min f (x) slik at g (x) = 0, i =,, m i h (x) 0, j =,,n j x vektor av diskrete beslutningsvariable INF-MAT Geir Hasle - Leksjon 2 5

6 '-!)#*.#/*0'!.#*2 Gitt x = x,, x ( ) n ( ) ( ) { } { } n = k n nk D = D,,D v, v,, v, v f : D D R n { } i = = (k) (k) (k) C c,,c, k, n c D ( k ) D ( k ) j πj min f (x v) slik at v c, j =, i, k (k) j π () (k) (k) j k k n INF-MAT Geir Hasle - Leksjon 2 6

7 )#*!&'! '$0' n personer n oppgaver c i, j det koster å la person i utføre oppgave j finn minimal kost tilordning: x i, j hvis person i utfører oppgave j = 0 ellers hvordan gis en probleminstans? hvordan kan løsning representeres? hva er mengden S? dårlig case for lokalsøk... INF-MAT Geir Hasle - Leksjon 2 7 n j= n i= n n min c x s.a. i= j= i,j i,j i,j i,j x = i =,,n x = j =,,n

8 )#*!&'!+*,! x i, j ai hvis by j følger rett etter by i = 0 ellers ankomsttid node i n j= n i= n n min c x s.a. i= j= i,j i,j i i i i,j i,j x = i =,,n x = j =,,n e a l i =,,n ( ) a x a + s + c j i,j i i i,j Hvordan gis en probleminstans? Hvordan kan løsning representeres? Hva er mengden S? Er modellen riktig? INF-MAT Geir Hasle - Leksjon 2 8

9 )#*!&'!34$$0' n artikler {,...,n} tilgjengelig, vekt c i verdi v i et utvalg skal pakkes i ryggsekk med kapasitet C bestem utvalg av artikler som maksimerer verdi x i n j= hvis artikkel i er med i ryggsekken = 0 ellers i n max v x s.a. c x i= i i i C hvordan gis en probleminstans? hvordan kan løsning representeres? hva er mengden S? INF-MAT Geir Hasle - Leksjon 2 9

10 5-!!'6$7 Eksakte metoder Systematisk generering (Eksplisitt enumrering, generer og test) Implisitt enumrering dele opp i enklere problemer løse enklere problem eksakt Triviell løsning Inspeksjon av probleminstansen Konstruktiv, metode gradvis oppbygging ved grådig heuristikk Løse enklere problem fjerne/modifisere føringer modifisere objektfunksjon INF-MAT Geir Hasle - Leksjon 2 0

11 &'!+* Tidligere løsning: (84) Triviell løsning: (288) Grådig konstruksjon: (60) INF-MAT Geir Hasle - Leksjon 2

12 &'!34$$0' Verdi Størrelse Ryggsekk med kapasitet 0 0 artikler (prosjekter,...),...,0 Triviell løsning: tom ryggsekk, verdi 0 Grådig løsning, prøv artiklene etter verdi: ( ), verdi 85 bedre forslag? INF-MAT Geir Hasle - Leksjon 2 2

13 8!!'6$9!-!!0!'6$7 Modifikasjon av gitt løsning gir naboløsning En viss type operasjon på løsningen gir et sett med naboer, et nabolag Evaluering av naboer objektfunksjon tillatt? INF-MAT Geir Hasle - Leksjon 2 3

14 &'!+* Operator: 2-opt Hvor mange naboer? INF-MAT Geir Hasle - Leksjon 2 4

15 &'!34$$ Verdi Størrelse Anta vi ser på løsning verdi 73 Naturlig operator: Flip en bit, dvs. hvis artikkelen er i ryggsekken, ta den ut hvis artikkelen ikke er i ryggsekken, ta den med Noen naboer: verdi verdi 52, ikke tillatt verdi 47 INF-MAT Geir Hasle - Leksjon 2 5

16 )!0'$ La (S,f) være en DOP-instans. En nabolagsfunksjon er en avbildning N : S 2 S som for gitt løsning s S definerer et nabolag av løsninger N( s) som på et vis er i nærheten av t N( s) sies å være nabo til s S s INF-MAT Geir Hasle - Leksjon 2 6

17 0'$ Oftest defineres nabolagene ved en gitt type operasjon på løsningen Oftest enkle operasjoner fjerning av element tillegg av element bytte av to eller flere elementer i løsning Flere nabolag - kvalifiseres med operator N σ ( s), σ Σ INF-MAT Geir Hasle - Leksjon 2 7

18 '60'$62 Utgangspunkt i initiell løsning Iterativt søk i nabolag etter bedre løsning Sekvens av løsninger sk + Nσ( sk ), k = 0, Strategi for hvilken løsning i nabolaget som aksepteres som neste løsning Stoppkriterier Hva skjer når nabolaget ikke inneholder bedre løsning? INF-MAT Geir Hasle - Leksjon 2 8

19 )!'! La (S,f) være en DOP-instans og la N være en nabolagsfunksjon. En løsning er lokalt optimal (minimal) med hensyn på N dersom: f ( sˆ ) f ( t), t N( sˆ ) ŝ Vi betegner mengden av lokalt optimale løsninger med Ŝ NB! Lokal optimalitet er relativt til nabolag INF-MAT Geir Hasle - Leksjon 2 9

20 &'!+* Operator/Nabolag: 2-opt Lokalt optimal (2-optimal) løsning INF-MAT Geir Hasle - Leksjon 2 20

21 )!&!0'$ La (S,f) være en DOP-instans og la N være en nabolagsfunksjon. N er eksakt dersom: Ŝ S * Med flere ord: N er eksakt dersom lokale optima for nabolaget N også er globale optima. INF-MAT Geir Hasle - Leksjon 2 2

22 '60'$62 Alternative søkestrategier Aksepter første forbedrende løsning ( First Accept ) Søk hele nabolag gå til beste forbedrende løsning ( Steepest Descent, Hill Climbing Iterative Improvement ) alltid gå til beste løsning i nabolag ( Best Neighbor ) Andre strategier? INF-MAT Geir Hasle - Leksjon 2 22

23 :';+:+999$42 */ strategy is First Accept or Best Accept current=init_solution(s) incumbent:=current local_optimum:=false while not local_optimum do od */ best solution until now (current,incumbent,local_optimum):= Search_the_Neighborhood (current,n(s),f,strategy,incumbent) if local_optimum return incumbent INF-MAT Geir Hasle - Leksjon 2 23

24 +:;;$0 :9$099$49:02 best_neighbor:=current for t in Neighbors do if f(t) < f(best_neighbor) then best_neighbor:=t if f(t) < f(incumbent) then if strategy= First Accept then return (t,t,false) else incumbent:=t */ strategy is Best Accept fi fi od return (best_neighbor,incumbent,best_neighbor=current) INF-MAT Geir Hasle - Leksjon 2 24

25 #0- First Accept og Steepest Descent stopper i lokale optima Dersom nabolaget N er eksakt, er lokalsøk med disse strategiene (eksakte) optimeringsalgoritmer Lokalsøk kan betraktes som traversering i en rettet graf ( nabolagsgrafen ), der nodene er medlemmene i S og N definerer topologien (nodene merket med kostnad) og f definerer topografien INF-MAT Geir Hasle - Leksjon 2 25

26 '6!-$!-! 0'$$! sk + Nσ( sk ), k = 0, N σ ( s ) 0 N σ ( s ) s s s 0 s 0 s s 2 Et flytt er prosessen å velge en gitt løsning i nabolaget til nåværende løsning som nåværende løsning for neste iterasjon INF-MAT Geir Hasle - Leksjon 2 26

27 '6!'!! Nσ( s k ) s k + s k s k INF-MAT Geir Hasle - Leksjon 2 27

28 '!$!$'0'! Kostnad Løsningsrom INF-MAT Geir Hasle - Leksjon 2 28

29 &'!(!''6 Simpleksalgoritmen for Lineærprogrammering (LP) Simpleks Fase I gir initiell (brukbar) løsning Fase II gir iterativ forbedring mot optimal løsning (hvis slik finnes) Nabolaget defineres av simpleks-polytopen Strategien er Iterative Improvement Flyttene bestemmes av pivoteringsregler Nabolaget er eksakt, dvs. Simpleks er en optimeringsalgoritme (for visse pivoteringsregler) INF-MAT Geir Hasle - Leksjon 2 29

30 '6 Gammel idé, utvikling siste par tiår Populær metode for praktisk problemløsning av harde problemer Generell metode, tilpasningsvennlig Anytime -metode, kan avbrytes når som helst etter at initiell løsning er funnet Ofte effektive Effektivitet avhengig av initiell løsning og nabolag Nabolag bør velges ut fra problemstruktur Eksakte metoder er å foretrekke dersom de er effektive nok INF-MAT Geir Hasle - Leksjon 2 30

31 '6 Hovedutfordring: finne gode nabolag størrelse vs. kvalitet Andre utfordringer initiell(e) løsning(er) effektiv evaluering av flytt (inkrementell evaluering) håndtering av føringer søkestrategi stoppkriterier ytelse Ytelse ofte bedre enn enkle, grådige heuristikker og heuristikker med ytelsesgaranti Hvordan evaluerer vi ytelsen? INF-MAT Geir Hasle - Leksjon 2 3

32 '6<' Lokalt optimum kan være langt fra globalt optimum Grådig metode (Iterative improvement) Blind metode, ingen bruk av informasjon under søk Ofte sterkt avhengig av initiell løsning og nabolag Manglende ytelsesgaranti INF-MAT Geir Hasle - Leksjon 2 32

33 &-'$!-! 6-!$!!$!-!$2 Øvre grenser Heuristikker Optimal verdi Nedre grenser Relaksasjoner LP Lagrange INF-MAT Geir Hasle - Leksjon 2 33

34 5-$!!''6 Hva skal vi gjøre for å unngå at lokalsøk stopper i lokalt optimum? INF-MAT Geir Hasle - Leksjon 2 34

35 %!#$ Eksempler på DOP Alternative representasjoner Definisjon nabolag, -operator Lokalsøk Definisjon lokalt optimum Eksakt nabolag Prosedyre for lokalsøk Traversering av nabolagsgraf Kommentarer, ulemper, hovedutfordring INF-MAT Geir Hasle - Leksjon 2 35

36 !!#- Tilfeldig søk Simulert størkning Terskelakseptanseteknikker INF-MAT Geir Hasle - Leksjon 2 36

37 Leksjon 2