Det er lett å gjøre problemet A Enklere B Vanskeligere

Transkript

1 None of us truly understands the P versus NP problem, we have only begun to peel the layers around this increasingly complex question. Perhaps we will see a resolution of the P versus NP problem in the near future but I almost hope not. The P versus NP problem continues to inspire and boggle the mind and continued exploration of this problem will lead us to yet even new complexities in that truly mysterious process we call computation. Lance Fortnow

2 Det er lett å gjøre problemet A Enklere B Vanskeligere

3 I dag skal vi se litt på hvor vanskelig livet kan være (i vår lille algoritmeverden) Life s a Tolvte forelesning Jeg finner ingen algoritme Men først, et par kryptiske foiler :-)

4 klarer du minesveiper, klarer du alt Hva i all verden kan jeg mene med dette?

5 Og hvordan kan *dette* være nøkkelen til å forstå utsagnet? Hvis du bare husker én ting fra forelesningen, husk dette. (Forklaring følger )

6 Men, altså

7 To typer «verstinger»: A. 1. Ikke beregnbare problemer («undecidable») 2. Problemer som uansett krever superpolynomisk tid («intractable») Første mulighet: Det er beviselig umulig å finne en god algoritme! B.? For mange (noen vil kanskje si de *fleste* praktiske) problemer klarer vi verken finne en løsning eller et bevis for at det er umulig. Hva gjør vi da?

8 1. Tile-game. Vi har et sett med flistyper (kan ikke roteres). Problem: Kan ethvert rektangulært gulv dekkes med flis-typene (så halvsirkler med samme farge ligger inntil hverandre)?

9

10

11 2. Tower(s) of Hanoi. Flytt én og én ring. Aldri legg en større på en mindre. Få alle fra første til tredje pinne.

12 3. Ikke lenger flis-typer med uendelig tilgang til fliser, men et (endelig) sett med brikker. Sett dem sammen i et kvadrat, så man får aper (eller hva det nå er) med hode og bein i samme farge.

13

14 Reduksjon. Reduser ukjent problem til et enkelt, kjent et. Kan også snus på hodet: Reduser kjent, vanskelig problem til ukjent problem (for å vise at det er vanskelig).

15 Vi er usikre på om det er vanskelig å komme seg til toppen, men vet at det er vanskelig (uansett hva vi gjør) å komme oss til en liten topp på veien opp. Men Hvis vi drar opp til toppen kan vi jo bare stå på ski ned til den mindre toppen (som jo er enkelt). Så: Hvis det hadde vært enkelt å komme til toppen så ville det også være enkelt å komme til den litt mindre toppen og det er det jo ikke. Altså: Det kan umulig være enkelt å komme til toppen. (Lett å se i dette tilfelle ikke alltid like opplagt.) Vi har her (i følge den litt forvirrende terminologien) redusert problemet med å komme til den *lille* toppen til problemet med å komme til den *store*. Ved å redusere A til B sier vi egentlig: Hvis B hadde vært lett så ville A også være lett, fordi vi kan bruke B til å løse A. Eller, for å snu på flisa: Hvis A er vanskelig så må B også være vanskelig. Reduksjoner Og: Vi vet jo at A er vanskelig. Derfor kan vi slutte at B også må være vanskelig. Og så gjelder det bare å holde tunga rett i munnen, og redusere riktig vei

16 Hvis vi lett kunne redusere til et enklere problem så kunne vi ha jukset, og lett ha løst vanskelige problemer. Det er lett å gjøre problemet A Enklere B Vanskeligere Polynomiske reduksjoner er «lette» så vi kan bare gjøre ting «vanskeligere».

17 Du ønsker å vise at den ene er stor. Du kan sette den andre til en stor verdi. Hvilken er den kjente og hvilken den ukjente? Du ønsker å vise at den ene er liten. Du kan sette den andre til en liten verdi. Hvilken er den kjente og hvilken den ukjente? x y Dette er en parallell til det å vise at problemer er vanskelige eller enkle. Men hvordan får vi på plass «ulikhetstegnet» for problemer?

18 Situasjon: Vi har to problemer, A og B. Vi vet at det ene er vanskelig, og vil vise at det andre er vanskelig. (Anta at transformboksen er enkel/effektiv.) Hvilket av A og B må være kjent og hvilket må være ukjent for at vi skal få noe informasjon ut av dette? +-56(4"? O + :?/,576?0"? 8-56(4"? O 8 P 8 P +

19 Det at reduksjonen er enkel (dvs. at den kan utføres effektivt) er viktig. hvis vi gjør «heavy lifting» der så mister vi informasjon om forholdet mellom A og B. A enkelt Kan reduseres til Kan løses v.h.a. Her gjelder det å holde tunga rett i munnen, og huske hva reduksjonen betyr. Implikasjonen (hvis vi løser B løser vi A) går motsatt vei av reduksjonen. Og vi reduserer til et problem som er *minst like vanskelig*, *ikke* et som er *lettere*. Dermed er ordet «reduksjon» litt for virrende. B Hvis vi kan løse B, så kan vi løse A Eller, ekvivalent: Hvis vi ikke kan løse A så kan vi heller ikke løse B. så B er minst like vanskelig som A Siden reduksjonen er enkel vil en enkel løsning på B gi deg en «gratis» enkel løsning på A. Så hvis B er enkel så er A enkel. Hvis B er vanskelig så vet vi ikke om A er vanskelig.

20 og her var denne igjen: «Det er jo bare å» «Peker» motsatt vei av reduksjonen. Vi reduserer fra noe lett til noe vanskelig; noe annet ville være en selvmotsigelse. Det vi transformerer til er *minst* like uttrykkskraftig *minst* like vanskelig å løse.

21 A kan reduseres til B A kan løses vha B per def. Utsagnene er ekvivalente. Merk at det er snakk om effektive (polynomiske) reduksjoner og løsninger. Selv om det kan være vanskelig å huske «innholdet» er logikken ganske enkel. Hvis vi kan løse B kan vi løse A B er minst like vanskelig som A Hvis vi ikke kan løse A kan vi ikke løse B A er minst like lett som B ellers ble A enklere Denne er kanskje den minst intuitive. Og husk at «Hvis vi kan løse A» så er det fortsatt ikke sikkert vi kan løse B. kontrapositiv

22 ukjent Minst like lett. kjent (lett) Vil vise: Ukjent problem er lett Hvis en løsning på vårt problem kan brukes til å knekke en hard nøtt så må løsningen være heftig og problemet vårt må altså være vanskelig.

23 kjent (vanskelig) ukjent Minst like vanskelig. Vil vise: Ukjent problem er vanskelig Hvis en løsning på vårt problem kan brukes til å knekke en hard nøtt så må løsningen være heftig og problemet vårt må altså være vanskelig.

24 Hvordan «knekke koden»?

25 ! knekk!

26 reduser fra litt til mer

27 Ω(n lg n)? Euklidske spenntrær: Kan vi finne dem mer effektivt?

28 Hva med Hvis vi kunne ha funnet et MST for dette med lavere kjøretid så hadde vi brutt vår egen nedre grense for sortering (treet vil gi oss en «sortert liste») og det er jo umulig. Ω(n lg n)!

29 effektivt Kan reduseres til SORT EMST Kan løses v.h.a. Transformen må ikke kunne dominere den totale kjøretiden, for da vet vi ingenting om kjøretiden til problemet vårt.

30 Kravet her er altså at transformen må være lavere enn den totale kjøretiden («liten o»), slik at problemet vi ser på (her EMTS) *må* bli det dominerende leddet som ikke kan bli enklere enn originalproblemet (her SORT). SORT = + EMST Ω(n lg n) O(n) Ω(n lg n)

31 Altså: Vi kan bygge en A-løsnings-maskin ved hjelp av B og en enkel transform. +-56(4"? O + :?/,576?0"? 8-56(4"? O 8 P 8 P + Hvis vi *vet* at det *uansett* er vanskelig å løse A, så kan ikke B være lett å løse (for da ville ved implikasjon A være enkel).

32 Hvis vi vil skremme/overtale A trenger vi bare skremme/ overtale B, som så kan gjøre jobben for oss. redd for ninja?

33 Hvis vi vil skremme/overtale A trenger vi bare skremme/ overtale B, som så kan gjøre jobben for oss. redd for ninja? ninja!

34 A for det er umulig!

35 Dette er egentlig nok et eksempel på reduksjoner, og ikke sentralt i pensum. Undecidable Det finnes også problemer som er «Highly undecidable»

36 Mulig? HALT(A, X) hvis A(X) stopper return True ellers return False

37 Hva med TROUBLE(A): while HALT(A, A) pass Hvis A(A) stopper så stopper ikke TROUBLE(A) (og vice versa). Men TROUBLE(TROUBLE) Øh Her har vi en selvmotsigelse. Og den eneste antagelsen vår var at HALT eksisterte. Altså kan den ikke eksistere.

38 Vi vil ved hjelp av vår kunnskap om HALT vise at flisespillet er uløselig (ikke beregnbart). Hvordan går vi frem? Reduksjonen må her også være «effektiv». I dette tilfelle holder det at den er beregnbar (vi bryr oss ikke om kjøretiden). Hvis den ikke var det, ville vi ikke få noe info ut av den. Kan reduseres til HALT Kan løses v.h.a. Vi må redusere HALT til flisespill. Logikken er da: Vi kan løse HALT vha. flisespillet. Hvis vi kan løse flisespillet kan vi løse HALT. Vi vet allerede at vi *ikke* kan løse HALT, og dermed kan vi heller ikke løse flisespillet. (En reduksjon den andre veien ville ikke si oss noe som helst.)

39 Problemer som ikke kan løses i polynomisk tid. Intractable

40 Lett å bevise at dette har et eksponensielt antall trekk, og vi må innom alle.

41 Hva om vi kommer over et nytt, merkelig spill og vi vil bruke Towers of Hanoi til å vise at det er intractable hvordan går vi frem?

42 Igjen en reduksjon den andre veien ville bare si oss at det nye spillet ikke var *vanskeligere* enn Towers of Hanoi, som jo ikke er en spesielt interessant nyhet.

43 A. B.? Dessverre er det svært mange problemer der vi ikke vet helt hva som er situasjonen. Hva gjør vi der?

44 B og det gjør ikke disse heller! Vi kan igjen bruke reduksjoner men fra(!) problemer som *mange andre* har slitt med. Vi vet ikke kjøretiden, men vi vet i hvert fall at vårt er minst like vanskelig.

45 Kjente, uløste problemer La oss si vi har en samling med problemer som folk har slitt lenge med, men som ingen har noen løsning på (eller noe intractabilitybevis for). Hvordan kan vi bruke den? Ukjent problem Obs: Transformen må (som før) ikke være vanskelig i seg selv. Vi må altså kunne redusere i polynomisk tid! ukjent kjøretid Som før: Vi viser at vi kan redusere et av dem til vårt problem og vips, så har vi vist at vårt er minst like vanskelig. Og vårt problem kan da legges til i lista! legg til!

46 Dette er altså problemer vi ikke har noen polynomisk løsning på men vi *vet* ikke om de kan løses i polynomisk tid. (Ja, de er NP-komplette vi kommer til det.) (Forresten: Faktorisering og graf-isomorfisme er også slike ukjente problemer men vi vet *ikke* om de er NPkomplette ) Noen skumle problemer

47 SUBSET-SUM

48 Gitt et sett med heltall, finnes det en delmengde som summerer til 0? Kan ses som et spesialtilfelle av ryggsekkproblemet, KNAPSACK = 0 Pop quiz: Hvis SUBSET-SUM er vanskelig, beviser det (ut fra det vi vet så langt) at KNAPSACK er vanskelig? Eller blir det omvendt? (Når vi sier at SUBSET-SUM er et spesialtilfelle av KNAPSACK hvilken vei går reduksjonen?) Det er selvfølgelig SUBSET- SUM som reduseres til KNAPSACK. Så KNAPSACK er minst like vanskelig som SUBSET-SUM. (De er faktisk like vanskelige )

49 VERTEX-COVER

50 Problem: Finnes det et dekke med maks k noder? Et «dekke» bestående av noder. Disse skal «dekke» kantene i grafen (ved å ligge inntil dem). Dvs.: Hver kant må ligge inntil minst én node i dekket k = 5 En liten glipp: Her skulle 8 eller 9 også ha vært grå ;-)

51 Egentlig «Hamilton cycle» HAM-CYCLE

52 Problem: Finn en sti som besøker alle noder én (og bare én) gang.

53 TSP

54 TSP: Minimal HAM- CYCLE i komplett, vektet graf Minimal Hamilton-tur (altså en TSP-løsning) gjennom Sverige (24,978 byer), funnet i 2004 en rekort (på det tidspunktet). (Merk at dette er en graf med visse beskrankninger, som gjør det lettere.) Kjøretid: Mars 2003 til januar 2004 på 96 dual processor Intel Xeon 2.8 GHz workstations med *mengder* av lure tricks og knep for å «gjette lurt» og unngå ren «brute force».

55 0/1 Ryggsekkproblemet

56 «Vi har alt sett en polynomisk løsning» O(nW), m=lg W, O(n2 m )

57 Men hva betyr dette, egentlig?? klarer du minesveiper, klarer du alt Det betyr vel i hvert fall at minesveiper finner sin plass i lista over vanskelige, uløste problemer men kan det bety noe mer?

58 «Alt»

59 Vi fokuserer kun på beslutningsproblemer i første omgang

60 Dvs. hvis vi i alle valgsituasjoner kan «gjette riktig» eller evt. prøve alle muligheter i parallell så får vi polynomisk kjøretid. NP Nondeterministically Polynomial Polynomisk hvis vi har «flaks» gjelder kun for ja-svar!

61 Ekvivalent Hvis «ja» så kan beviset sjekkes i polynomisk tid Ekvivalensen den ene veien er ganske grei: Hvilke valg som ble gjort (ved å kaste «mynt og kron») kan rapporteres og sjekkes. Den andre veien: La oss si vi prøver å gjette oss frem til et bevis/ sertifikat: Vi kan da bruke den magiske mynten til å finne det i polynomisk tid.

62 Problem SUBSET-SUM VERTEX-COVER HAM-CYCLE TSP Sertifikat Delmengde Noder Sykel Ikke «ja/nei» TSP er ikke i NP, men er en «versting» likevel. (Som vi ser senere er den NP-hard, ikke NP-komplett.) (TSP kan også formuleres i en ja/nei-variant, da. «Finnes det en tour som er kortere enn X?»)

63 NP Dette er altså en opplagt stor klasse P som inkluderer alle (beslutnings)problemer som kan *løses* i polynomisk tid. Merk at sortering og korteste vei etc. ikke er beslutningsproblemer litt uformelt omtaler jeg dem som medlemmer av P her. (Egentlig er dette en parallell til diskusjonen rundt NP-hard; se senere.)

64 Nå har vi en brukbar (om enn ikke helt intuitiv) definisjon av «alt» og nå ønsker vi å lage oss en liste med de problemene som er «verst av alle». Men hva betyr det? If I can make it there I ll make it anywhere

65 Vi *definerer* verstingene slik: Alt i Kan reduseres til Verstinger i NP Dvs.: Kan du løse *ett* versting-problem i polynomisk tid kan du løse *alle i NP*! Det virker jo for godt til å være sant. (Mange har prøvd, alle har feilet ) Kan løses v.h.a. «kompletthet» NP Denne (definerende) egenskapen kalles altså kompletthet. Vi døper dermed denne verstingmengden

66 NPC, mengden av NP-komplette problemer. Alt i NP Kan reduseres til Kan løses v.h.a. Alt i NPC Dette er *definisjonen* av NPC. Merk at vi *ikke* i utgangspunktet vet noe om hvorvidt problemer i NPC kan løses i polynomisk tid! Merk at siden alle NPCproblemer ligger i NP så kan de også reduseres til hverandre. Det holder altså å løse *ett* av dem for å ha løst alle. Våre verstinger (SUBSET- SUM, HAM-CYCLE, VERTEX-COVER, TSP) er i NPC (surprise, surprise). Siden ingen har løst disse kan vi altså slutte at ingen har løst noen i NPC.

67 Og så var det optimaliseringsproblemer, da Alt i NP Kan reduseres til Kan løses v.h.a. Verstinger i/utenfor NP Optimaliseringsproblemer som SHORTEST-PATH har også beslutnings-ekvivalenter som PATH. (Optimaliseringsvariantene er «minst like vanskelige», men med litt binærsøking etter beslutningsparameteren kan man ofte redusere optimaliseringsvarianten til beslutningsvarianten også. «hardness»

68 Alt i NP Kan reduseres til Kan løses v.h.a. Alt i NP-hard Så: Hvis du kan redusere et NP-hardt problem (som TSP) til problemet ditt så sliter du uansett.

69 Her er noen velkjente NPkomplette (og NP-harde ) problemer (pensum), og noen naturlige reduksjons-retninger (men alle kan selvfølgelig reduseres til alle). CIRCUIT-SAT SAT 3-CNF-SAT CLIQUE SUBSET-SUM VERTEX-COVER HAM-CYCLE TSP

70 NP Slik *tror* vi det er. Vi *vet* ikke om det finnes noe i NP som ligger utenfor P/ NPC, men tror at kanskje faktorisering og/eller graf-isomorfisme ligger der. (De er ikke vist å ligge i P eller NPC, i hvert fall.) P NPC

71 (Merk at det her er en animasjon der P etter hvert overlapper med NPC uten at P = NP. Det er det som er umulig.) NP Umulig! P NPC Dette er umulig for hvis bare *ett* NPCproblem også ligger i P, så vil *alle* gjøre det og det gjelder faktisk alle problemer i NP! Det vil si P=NP i så fall.

72 P = NP = NPC Dette er altså «den andre» mulige verden der NPkomplette problemer kan løses i polynomisk tid. De fleste tror ikke dette er tilfelle. Det vil i så fall ha drastiske konsekvenser.

73 klarer du minesveiper, klarer du alt i NP Men NP er en *svær* mengde.

74 CIRCUIT- SAT Og En litt spesiell variant av minesveiper («infinite minesweeper») er vist å være Turingkomplett og så snubler vi borti The Halting Problem igjen U u u s a 1 a 2 a 3 t 3 t t t 2 2 u s T 2 3 u u s t t t 1 t t 1 t t 1 t 2 t 1 t t v v r t v r t 2 1 v r b 1 b 2 b 3 t 3 t t 3 2 V 1 v Figure 9: An and gate. For mer:

75 Hvis vi reduserer et NPkomplett problem til vårt problem så er vårt også NP-komplett. Greit nok. Men hvor begynte man i sin tid? Men, men

76 Cook og Levin satt på hver sin side av jernteppet under den kalde krigen og begge viste (ved helt *andre* metoder) at (CIRCUIT-)SAT var NP-komplett. CIRCUIT SAT Vi ser ikke på deres bevis her, men antar bare at enkelte problemer (spesifikt CIRCUIT-SAT) er bevist NP-komplette. Erkeproblemet

77 Eksempel på NPC-bevis

78 Kan reduseres til SAT CLIQUE Kan løses v.h.a. Eller, i vårt tilfelle, 3-CNF-SAT (litt lettere å ha med å gjøre). Vi får en logisk formel på 3-CNF-form (konjunktiv normalform der alle leddene har 3 variable) og skal avgjøre om vi kan gi variablene en tilordning slik at formelen blir sann. Vi antar altså at vi vet at dette er i NPC. Her gjelder det å finne en komplett subgraf av en viss størrelse (dvs. et sett med k noder som alle er koblet til hverandre). MAX-CLIQUE er optimaliseringsvarianten

79 Vi lager en «SAT-løse-maskin» med «CLIQUE-byggeklosser». For å få til en klikk av størrelse 3 må minst én variabel være sann i hver del av formelen og dermed også hele formelen. X Y Z Så: Hvis vi klarer å løse CLIQUE i polynomisk tid kan vi bruke denne teknikken for også å løse SAT. Ergo, siden SAT er i NPC må også CLIQUE være det. X X Y Y Z Z (X or not Y or not Z) and (not X or Y or Z) and (X or Y or Z)

80 To grafer er isomorfe hvis vi kan mappe nodene fra den ene til nodene i den andre og bevare kant-relasjonene. Med andre ord, de er «like» så lenge nodene ikke har noen identitet/merkelapp. Vi ser bare på strukturen. Pop Quiz Subgrafisomorfisme: Har grafen G en delgraf som er lik (dvs som har samme struktur som) grafen H? Vis at problemet er NP-komplett. Mulig bevis: Reduser fra CLIQUE

81 Til slutt Hva er galt? «NP-komplette problemer har eksponensiell kjøretid» Det er NPC-problemer som er definert slik. (Det kan jo være at P=NP=NPC, dog ) Kanskje vi kan ha flaks eller at de instansene vi må løse har spesielle egenskaper som gjør det løsbart i praksis? Vi vet ikke noe om hvor effektivt de kan løses. «Har du løst ett NPproblem så har du løst alle» «Hvis vi støter på et NPkomplett problem er det bare å gi opp» «Hvis vi antar at P NP så vil ikke NP-komplette problemer kunne verifiseres i polynomisk tid» Vi vet at PATH er i P, men vi vet jo ikke om P NPC Alle problemer i NP (og dermed NPC) kan uansett verifiseres i polynomisk «Hvis P = NP vil alle problemer kunne løses i polynomisk tid» «PATH er ikke NPkomplett» Ikke *alle problemer*, men *alle problemer i NP*.

82 NP P NPC P NPC P = NPC P NPC P = NPC EXP NPC Noen mulige (og umulige) verdener. Det at det er flere muligheter skyldes vår manglende kunnskap det er selvfølgelig bare én av variantene som stemmer.