LP Leksjon 5 Kapittel 5: dualitetsteori motivasjon det duale problemet svak og sterk dualitet det duale til LP problemer på andre former LP Leksjon 5: #1 of 17
Motivasjon Til ethvert LP problem (P) er det knyttet et annet speilvendt LP problem (D) Her kalles (D) det duale problemet til (P), og (P) kalles det primale problemet Det viser seg at det duale problemet til (D) er (P)! (To ganger speilvending!) LP problemer opptrer altså i par: et primalt og et dualt problem Dualitetsteori er nyttig fordi: det duale problemet kan brukes til å raskt gi skranker på optimal verdi i et LP problem istedet for å løse et LP problem (P) kan man løse det duale (D) Man får da en løsning av (P) på kjøpet! Dette kan være mer effektivt LP Leksjon 5: #2 of 17
Det duale problemet Betrakt LP problemet (P), det primale problemet, gitt ved n (P) maksimer j=1 c j x j forutsatt at n j=1 a i,jx j b i for i = 1,,m x j 0 for j = 1,,n Vi definerer det duale problemet (D) slik: (D) minimer m i=1 b i y i forutsatt at m i=1 y i a i,j c j for j = 1,,n y i 0 for i = 1,,m Huskeregel: x 1 x n y 1 a 1,1 a 1,n b 1 y m a m,1 a m,n b m c 1 c n La nå A = [a i,j ] være koeffisientmatrisen LP Leksjon 5: #3 of 17
Det duale problemet Observer: (D): variablene er knyttet til radene i A, mens begrensningene er knyttet til kolonnene i A (P): omvendt! Altså: variablene er knyttet til kolonnene i A, mens begrensningene er knyttet til radene i A b i -ene utgjør høyresiden i (P), men inngår i objektivfunksjonen i (D) c j -ene inngår i objektivfunksjonen i (P), men utgjør høyresiden i (D) begrensningene i (D) er (D) er også et LP problem Vi skal snart skrive det om på den vanlige formen Vi gir først et viktig resultat som nettopp er motivasjonen for dualitet: enhver tillatte løsning i et LP problem gir opphav til en skranke på den optimale verdien i det duale LP Leksjon 5: #4 of 17
Svak dualitet TEOREM 51: (Svak dualitet) Hvis (x 1,,x n ) er tillatt i (P) og (y 1,,y m ) er tillatt i (D) har vi n m c j x j b i y i j=1 i=1 Bevis: Fra begrensningene i (P) og (D) får vi n n m m n c j x j ( y i a i,j )x j = a i,j x j y i j=1 j=1 i=1 i=1 j=1 m y i b i i=1 (P) maksimer 5x 1 + 6x 2 + 8x 3 forutsatt at x 1 + 2x 2 + 3x 3 5 4x 1 + 5x 2 + 6x 3 11 x 1,x 2,x 3 0 (D) minimer 5y 1 + 11y 2 forutsatt at y 1 + 4y 2 5 2y 1 + 5y 2 6 3y 1 + 6y 2 8 y 1,y 2 0 LP Leksjon 5: #5 of 17
Svak dualitet Ser nå atfeks(y 1,y 2 )=(1,1) er en tillatt løsning i (D), og tilhørende verdi på objektivfunksjonen i (D) er 5 + 11 = 16 Altså kan optimal verdi i (P) høyst være 16 På den annen side er (x 1,x 2,x 3 )=(0,0,5/3) tillatt i (P) med tilhørende verdi η = 40/3 1333 Så, optimal verdi η i(p) må ligge mellom 1333 og 16 Hva med x = (x 1,x 2,x 3 )=(1/2,0,3/2) og y = (y 1,y 2 )=(1/3,7/6)? Har at 3 j=1 c jx j = 29/2 og 2 i=1 b i yi = 29/2 Men da følger det av svak dualitet at x er optimal i (P) og at y er optimal i (D)! Svak dualitet gir et prinsipp for å vise optimalitet, eller evt nesten-optimalitet Tolkning av (D): enhver tillatt x i (P) oppfyller n j=1 a i,j x j b i og derfor også en ikkenegativ lineærkombinasjon av disse: m ( ) i=1 y i( n j=1 a i,jx j ) m i=1 y ib i Her er y i en ikkenegativ multiplikator for ulikhet nr i Hvis vi dessuten velger y i -ene slik at m i=1 y i a i,j c j vil venstre side i ( ) være n j=1 c jx j Sådaharvi fått en øvre skranke den optimale verdien η is (P), nemlig m i=1 y i b i Vi vil gjerne ha en best mulig skranke, dvs lavest mulig, som gir problemet min{ m i=1 y ib i : m i=1 y ia i,j c j for alle j, y i 0 for alle i} LP Leksjon 5: #6 of 17
Sterk dualitet Naturlig spørsmål: Svak dualitet medfører at optimal verdi i (P) optimal verdi i (D) Kanviher ha ekte ulikhet? Svaret er bla viktig for optimalitetstesting Svaret er: NEI, unntatt i svært spesielle situasjoner Vi har nemlig TEOREM 52: (Sterk dualitet) Hvis (P) har en optimal løsning x = (x 1,,x n),såhar(d)en optimal løsning y = (y1,,ym) slik at n m c j x j = b i yi j=1 i=1 Konsekvens: (P) og (D) har samme optimale verdi når (P) har optimal løsning Skal senere drøfte situasjonen der (P) evt (D) er ubegrenset, eller hvis hverken (P) eller (D) er tillatt (dette kan skje, men ikke for interessante problemer ) Sterk dualitet kan bevises kort via simpleksalgoritmen, spesielt i matrisenotasjon Men for å øke forståelsen skal vi holde oss til komponentnotasjon og studere nærmere hva som skjer i (P) og (D) under en simpleks pivotering LP Leksjon 5: #7 of 17
Pivotering, primal og dual Eksempel: m = 2, n = 3 Innfører slakkvariable z j i (D) og skriver også (D) som maksimeringsproblem På basislisteform: η = 0 + 4x 1 + x 2 + 3x 3 (P) w 1 = 1 x 1 4x 2 w 2 = 3 3x 1 + x 2 x 3 ξ = 0 y 1 3y 2 (D) z 1 = 4 + y 1 + 3y 2 z 2 = 1 + 4y 1 y 2 z 3 = 3 + y 2 Legg merke til negativ-transponert egenskapen på høyre side: 0 4 1 3 1 1 4 0 3 3 1 1 0 1 3 4 1 3 1 4 1 3 0 1 LP Leksjon 5: #8 of 17
Pivotering, primal og dual Pivoterer nå i (P): x 3 inn i basis og w 2 ut av basis Gjør tilsvarende pivotering i (D): x 3 svarer til z 3 og w 2 svarer til y 2 Så, i (D) går y 2 inn i basis og z 3 ut av basis Merk: pivoteringen gjennomføres på vanlig måte (bytte rolle + radoperasjoner) selv om vi tilfeldigvis ikke har en tillatt basisløsning i (D) Resultat: η = 9 5x 1 + 4x 2 3w 2 (P) w 1 = 1 x 1 4x 2 x 3 = 3 3x 1 + x 2 w 2 ξ = 9 y 1 3z 3 (D) z 1 = 5 + y 1 + 3z 3 z 2 = 4 + 4y 1 z 3 y 2 = 3 + z 3 Ser igjen at negativ-transponert egenskapen holder Spesielt ser vi at verdien til den primale løsningen er lik verdien til den duale løsningen Men den duale løsningen er ikke tillatt Ny pivotering: i (P): x 1 inn og w 1 ut Tilsvarende pivoterig i (D): y 1 inn og z 2 ut Resultat: LP Leksjon 5: #9 of 17
Pivotering, primal og dual η = 10 6x 1 w 1 3w 2 (P) x 2 = 025 025x 1 025w 1 x 3 = 325 325x 1 025w 1 w 2 ξ = 10 025z 2 325z 3 (D) z 1 = 6 + 025z 2 + 325z 3 y 1 = 1 + 025z 2 + 025z 3 y 2 = 3 + z 3 Ser nå at: negativ transponert egenskap holder stadig optimal løsning i (P), og derfor for første gang er den duale basisløsningen tillatt LEMMA PIV: (Pivotering i (P) og (D)) Anta at hver pivotering utføres i både (P) og (D) slik at hvis x j erstatter w i iprimalbasis,så vil y i erstatte z j i dual basis Da vil negativ-transponert egenskapen holde i hver iterasjon Oppgave: vis Lemma PIV ved å sjekke følgende: LP Leksjon 5: #10 of 17
Sterk dualitet: bevis (P) b a pivot b/a 1/a d c d bc/a c/a b d b/a d+bc/a (D) a c pivot 1/a c/a Bevis for sterk dualitet: Fra Lemma PIV følger at i hver iterasjon k har vi en primal basisløsning x k og en dual basisløsning y k med samme verdi på de resp objektivfunksjoner, dvs n j=1 c j x k j = m i=1 b i yi k Den primale simpleksalgoritmen terminerer med en tillatt basisvariabel x og dette skjer når alle koeffisientene foran ikkebasisvariablene i (P) er ikkepositive Men ved Lemma PIV betyr dette at den tilhørende duale basisløsning y er tillatt (basisvariablene er ikkenegative) Som ønsket er da n j=1 c jx j = m i=1 b iyi LP Leksjon 5: #11 of 17
Komplementær slakk Skal studere optimalitetsegenskapen i LP; den kalles komplementær slakk Anta at x=(x 1,,x n ) er en tillatt løsning i (P) og at y = (y 1,,y m ) er en tillatt løsning i (D) (Om de er basisløsninger spiller ingen rolle nå) Spørsmål: hva må til for at x skal være optimal i(p) og y optimal i(d)? Analyse: Siden (P) og (D) har samme optimale verdi (konsekvens av sterk dualitet) ser vi at: x og y er begge optimale (i hhv (P) og (D)) hvis og bare hvis n m ( ) c j x j = b i y i j=1 Men, fra begrensningene får vi (som i beviset for svak dualitet) n n m m n m c j x j ( y i a i,j )x j = a i,j x j y i b i j=1 j=1 i=1 Så ( ) holder hvis og bare hvis i=1 y i i=1 j=1 m i=1 y i a i,j = c j hvis x j > 0, og n j=1 a i,j x j = b i hvis y i > 0 Disse to kravene kalles komplementær slakk i=1 LP Leksjon 5: #12 of 17
Komplementær slakk Vi har derfor vist følgende resultat TEOREM 53: (Komplementær slakk) Anta at x = (x 1,,x n ) er en tillatt løsning i (P) og at y = (y 1,,y m ) er en tillatt løsning i (D) La (w 1,,w m ) være tilhørende primale slakkvariable, og (z 1,,w n ) tilhørende duale slakkvariable Da er x optimal i (P) og y optimal i (D) hvis og bare hvis x j z j = 0 for j = 1,,n, w i y i =0 for i = 1,,m Komplementær slakk sier derfor: hvis det er slakk i en ulikhet (slakkvariabelen er positiv) i et av problemene, så må den tilhørende duale variabelen være null LP Leksjon 5: #13 of 17
Skjema for LP algoritmer Om algoritmer for LP Fra TEOREM 53 ser vi at å løse et LP problem består i å oppfylle tre egenskaper samtidig 1 primal tillathet, 2 dual tillathet, og 3 komplementær slakk Man får ulike algoritmer ved å sørge for at to av disse egenskapene holder i hver iterasjon, mens man tilstreber at den tredje også holder; daer problemet løst Algoritmen vi har studert oppfyller 1 og 3 og tilstreber 2; den kalles gjerne den primale simpleksalgoritmen En annen mulighet er å oppfylle 1 og 2 og tilstrebe 2; dette gir såkalte primal-duale algoritmer (Både simpleks og ikke-simpleks algoritmer) LP Leksjon 5: #14 of 17
Den duale simpleksalgoritmen Den duale simpleksalgoritmen: oppfyller 2 og 3, og tilstreber 1 brukes gjerne hvis det er lett å finne en dualt tillatt startløsning, for da slipper man Fase I problemet (i primal simpleks) brukes også ofte hvis et problem har flere begrensninger enn variable; dette reduserer antall pivoteringer og går raskere svarer til å bruke primal simpleksalgoritme på det duale problemet kan utføres direkte på den primale basislisten, og bygger på at startløsningen er dualt tillatt (dvs koeffisienter foran ikkebasisvariable er ikkepositive) Brukes ved reoptimering : har løst et problem og vil løse et nytt problem der vi har føyd til feks en ny begrensning se seksjon 66 og 67 for eksempel og nærmere detaljer LP Leksjon 5: #15 of 17
Dualitet, andre former Vår standard form på (P) og (D) er: (P) maksimer n j=1 c jx j forutsatt at n j=1 a i,j x j b i for i = 1,,m x j 0 for j = 1,,n (D) minimer m i=1 b i y i forutsatt at m i=1 y ia i,j c j for j = 1,,m y i 0 for i = 1,,m Ofte møter man LP problemer på en annen form Men: ethvert LP problemer kan skrives om til formen (P) Til dette trengs noen teknikker: hver likning skrives som to ulikheter min f = max( f) en fri variabel x erstattes av x + x der x +,x 0 Man kan så (hvis ønskelig) finne det duale problemet (siden det primale nå har riktig form) og skrive dette på enklest mulig form LP Leksjon 5: #16 of 17
Dualitet, andre former Eksempel: hvis problemet (P ) er som (P) bortsett fra at vi har likninger n j=1 a i,jx j = b i for i m, så kan man vise vha teknikk 1 og noe forenkling at det duale problemet (D ) blir som (D) bortsett fra at alle de duale variablene blir frie Regler om sammenheng mellom det primale og det duale problemet: en likning i det ene problemet svarer til en fri variabel i det andre problemet, en ulikhet i det ene problemet svarer til en ikkenegativ variabel i det andre problemet Det er viktig å øve seg i teknikkene for å skrive ethvert LP problem på formen (P), og finne det duale til ethvert LP problem LP Leksjon 5: #17 of 17