Minimum-weight vertex-cover vha. lineær programmering + avrunding.

Transkript

1 Randomisering Forelesning 4 Magnus Lie Hetland, 3. mars 2009 Stoffet i dette dokumentet er bl.a. hentet fra kapittel 13 i Algorithim Design av Kleinberg og Tardos (Addison Wesley, 2005) og kapittel fem i Introduction to Algorithms av Cormen et al. (MIT Press, 2001). Fortsettelse fra forrige gang (approksimering) Minimum-weight vertex-cover vha. lineær programmering + avrunding. Innledning/motivasjon Veldig kort introduksjon til randomiserte algoritmer Motivasjon: Unngå systematisk (input-avhengig) worst-case Få atskillig enklere algoritmer Eksempel (repetisjon): MAX 3-SAT v/å kaste mynt/kron Ratio bound på forventningsverdi: 8/7 Kjente anvendelser: Select, Quicksort, Hashing Hvilken rolle spiller (pseudo)tilfeldigheter her? Probabilistisk analyse egentlig separat emne, men dekkes også delvis her. To typer randomiserte algoritmer: Monte Carlo-algoritmer: Kjøretiden er deterministisk, men man får bare korrekt svar med en viss sannsynlighet. Las Vegas-algoritmer: Man er garantert korrekt svar, men kjøretiden er en tilfeldig variabel med probabilistiske grenser. Kjent stoff (forhåpentligvis) En indikatorvariabel I{A} er knyttet til en probabilistisk hendelse, og er definert slik: I{A} = 1 hvis A inntreffer, og 0 ellers E[I{A}] = 1 Pr{A} + 0 Pr{ A} = Pr{A} Eks: Forventede antall «mynt» hvis man kaster mynt/kron n ganger: La X i være indikator for at kast nr i blir «mynt» X = sum(x i ) E[X] = E[sum(X i )] = sum(e[x i ]) = sum(1/2) = n/2 Relativt trivielt men nyttig verktøy Eksempel: Ansettelsesproblemet TDT4125 Algoritmekonstruksjon, videregående kurs 1/6

2 (Tilsvarende: Hva er høyden på venstre løvnode i et tilfeldig binærtre? Hvor mange køer har du på en tilfeldig landevei?) Intervju n kandidater i rekkefølge Hvis den du intervjuer er bedre enn alle tidligere, ansett den nye X = Hvor mange må vi ansette? Worst-case: O(n) Probabilistisk, med indikatorvariable: X i = I{kandidat i ansatt} X = X 1 + X X n E{X i } = Pr{kandidat i ansatt} Sannsynlighet for at i er bedre enn de forrige = 1/i E[X] = E[sum(X i )] = sum(e[x i ]) = sum(1/i) = ln n + O(1) Noen forenklende grenser Ofte vanskelig å finne eksakte sannsynligheter, men ofte trenger vi bare en grense Mest opplagt: Union bound Pr{A eller B eller eller Z} Pr{A} + Pr{B} + + Pr{Z}, med likhet ved uavhengighet Litt mindre opplagt: Markov bound (Markovs ulikhet) For a > 0, Pr{X a} E[X]/a Bevis: a I{X a} X Opplagt, ved å prøve begge muligheter E[a I{X a}] E[X] E[a I{X a}] = a E[I{X a}] = a Pr{X a} Dermed har vi a Pr{X a} E[X], og siden a > 0 kan vi dele på a Enda mindre opplagt (gjengis uten bevis): Chernoff bounds La X = X 1 Xn være en sum av uavhengige 1-0-variable, der X i har verdien 1 med sannsynlighet p i. La μ E[X] = sum(p i ) Vi har da: Pr{X > (1 + δ)μ} < [e δ / (1+δ) (1+δ) )] μ Pr{X < (1 δ)μ} < e^( μδ 2 /2) dvs. sannsynligheten er «eksponentielt liten» for at X ligger langt fra E[X] TDT4125 Algoritmekonstruksjon, videregående kurs 2/6

3 Eksempel på indikatorvariable: Balls and bins Situasjon: Du kaster baller tilfeldig i b «bins» (båser), nummerert 1 b. Alle kastene er uniformt tilfeldige. Interessante spørsmål: Hvor mange baller hanver i en gitt bås? Binomialfordelt med sannsynlighet 1/b; etter n baller er forventet antall n 1/b = n/b Hvor mange baller må man kaste før en gitt bås inneholder en ball? Geometrisk fordeling med sannsynlighet 1/b; forventning = 1/(1/b) = b «Coupon collector s problem»: Du vil samle én hver av b ulike kuponger. Hvor mange kuponger må du skaffe deg? Eller: Hvor mange baller må man kaste før alle inneholder en ball? Del inn i stadier: Stadium i, fra «nydekt» bås i 1 til nummer i n i er antall kast i stadium i; nødvendig antall totalt, n = sum 1 b (n i ) n i er geometrisk fordelt med sannsynlighet (b i+1)/b E[n i ] = b/(b i+1) E[n] = E[sum(n i ) = sum(e[n i ]) = sum(b/(b i+1)) = b sum(1/i) = b(ln b + O(1)) Man må altså samle ca b ln b kuponger Konflikthåndtering Vi har n prosesser P i som konkurrerer om adgang til en delt database Kun én kan få tilgang i hver «runde»; hvis to+ prøver seg så får ingen Prosessene har ingen kontakt med hverandre Løsning: Randomisert algoritme symmetry breaking Hver prosess prøver å få tilgang med sannsynlighet p > 0 Hva er optimal p, som minimerer tiden det tar før alle har fått tilgang? p = 0 og p = 1 gir uakseptable svar A[i, t]: P i prøver å få tilgang i runde t S[i, t]: P i lykkes i runde t S[i, t] = A[1, t] A[2, t] A[i, t] A[n, t] Pr{S[i, t]} = Pr{A[i, t]} prod j i ( A[j, t]) = p(1 p) n 1 = f(p) f (p) = (1 p) n 1 (n 1)p(1 p) n 2 f (p) = 0, p = 1/n optimalt Pr{S[i, t]} = (1/n) (1 1/n) n 1 Med litt algebra: Pr{S[i, t]} er Θ(1/n) ligger mellom 1/(en) og 1/(2n) Hvor lang tid tar det da før én prosess lykkes? TDT4125 Algoritmekonstruksjon, videregående kurs 3/6

4 F[i, t]: P i lykkes ikke i runde 1 t Pr{F[i, t]} = Pr{snitt r=1 t ( S[i, t])} = prod r=1 t (Pr{ S[i, t]}) = [1 (1/n)(1 1/n) n 1 ] t (1 1/(en)) t fra forrige trinn Pr{F[i, ceil(en)]} (1 1/(en)) ceil(en) (1 1/(en)) en 1/e mer algebra La oss øke t litt: Pr{F[i, ceil(en) (c ln n)]} (1 1/en) t = ((1 1/en) ceil(en) ) c ln n e c ln n = n c Så: Etter Θ(n) runder er sannsynligheten for at P i ikke ennå har lyktes begrenset av en konstant; mellom der og Θ(n ln n) synker sannsynligheten raskt til en svært liten verdi, begrenset av et inverst polynom av n Hvor lang tid tar det før alle er ferdge? F t : Protokollen feiler etter t runder F t = union i=1 n (F[i, t]) Ikke uavhengige men vi kan bruke the union bound: Pr{F t } sum(pr{f[i, t]}) Sum av n termer med samme verdi; for å få sannsynligheten lav må hver av dem være atskillig lavere enn 1/n Mao: t = Θ(n) er ikke godt nok Hvis vi velger t = ceil(en) (c ln n) kommer vi under n c Vi velger t = 2 ceil(en) ln n Pr{Ft} sum i (Pr{F[i, t]}) n n 2 = n 1 Altså: Med sannsynlighet på minst 1 n 1 vil alle prosessene ha hatt tilgang til databasen minst én gang innen t = 2 ceil(en) ln n runder Merk: Den «magiske algebraen» over er rett og slett bruk av følgende to fakta (1 1/n) n konvergerer monotont fra 1/4 opp til 1/e når n øker fra 2 (1 1/n) n 1 konvergerer monotont fra 1/2 ned til 1/e når n øker fra 2 Nærmeste par Repetisjon: Hvordan kan du finne de to nærmeste punktene i planet i O(n lg n) tid, vha splitt-og-hersk? Ved å bruke randomisering og en ordlistestruktur kan vi få en forventet kjøretid på O(n) + O(n) stk ordlisteoppslag. (Effektiviteten til ordlisteoppslagene kommer an på implementasjonen, selvfølgelig.) Enkel grunnidé: TDT4125 Algoritmekonstruksjon, videregående kurs 4/6

5 Vurder punktene i tilfeldig rekkefølge, og vedlikehold avstand δ for de (hittil) nærmeste to punktene For hvert nye punkt, se «i nærheten» for å se om noen nye punkter ligger innen en avstand δ fra det nye Hvordan finner vi ut om det ligger punkter innen en avstand δ? Vi bruker en spesialisert «ordliste» (mer om dette siden). Sidespor: Dette er et generelt nyttig problem, med spesial-strukturer både for det euklidske planet (som her), for mangedimensjonale euklidske og ikke-euklidske rom, og for generelle metriske (og for så vidt ikke-metriske) rom. For en intro til denne typen søk i metriske rom generelt, se Vi tenker oss at algoritmen utføres i stadier: Hvert stadium går frem til δ oppdateres fordi vi har funnet et bedre par med punkter Antall stadier avhenger av rekkefølgen på punktene (alt fra 1 til n 2) Vil vise: Forventet kjøretid er en konstant faktor unna det heldigste tilfellet, der det første paret er løsningen Idé når vi legger til et nytt punkt: Del området vårt, f.eks. enhetskvadratet, i delruter med sidelengder δ/2 La N = ceil(1/2δ); vi har da N 2 kvadrater Vi har følgende egenskaper: Hvis to punkter ligger i samme rute så har de en avstand på mindre enn δ Opplagt, siden diagonalen er kortere enn dette Hvis to punkter har avstand på mindre enn δ så må de ligge i samme rute, eller i nærliggende ruter maks 2 ruter unna i x- og y-retning. Hvis de ligger mer enn 2 ruter unna i en retning vil avstanden være mer enn 2 (δ/2). Altså er det et konstant antall ruter som må undersøkes Hvordan holder vi styr på hvilke punkter som er i hvilken rute, når rutestørrelsen stadig krymper? Vi bruker i utgangspunktet en hashtabell e.l. fra rutenummer til punktliste Hvis δ krymper bygger vi oss rett og slett en helt ny hashtabell Dette er selvfølgelig litt dyrt Algoritmen så langt løser problemet, og den utfører O(n) avstandsberegninger, O(n) oppslag i datastrukturen vår, og O(n) totale ombygginger av datastrukturen Vi ønsker å finne en grense for forventet antall innsettinger i strukturen Det kan virke som om dette blir høyt; i verste tilfelle blir det jo kvadratisk TDT4125 Algoritmekonstruksjon, videregående kurs 5/6

6 Men: Selv om ombyggingene blir dyrere (mhp. antall innsettinger) etter hvert som antall punkter i strukturen vokser, så blir de også mindre sannsynlige etter hvert som δ synker! X: Tilfeldig variabel; antall innsettinger; avgjøres av rekkefølgen på punktene Vi vil finne en grense for E[X] Vi bryter ned X i komponenter: X i er 1 hvis det i-ende punktet får δ til å krympe, og 0 ellers X = n + sum i (ix i ) Hvert punkt settes inn minst én gang, og i punkter på settes inn hvis strukturen må bygges om i iterasjon i Pr{X i = 1} 2/i La p og q være de to nærmeste punktene blant de i første For at avstanden skal reduseres i iterasjon i må en av disse være sist Alle har like stor sannsynlighet for å være sist; sannsynligheten for at enten p eller q er sist blir 2/i Dette er bare en øvre grense, siden vi kan ha flere par med samme avstand! E[X] = n + sum i (i E[X i ]) n + 2n = 3n Med andre ord: Algoritmen krever lineær forventet tid + et lineært antall oppslag i strukturen Formelt sett kreves det en del mer å vise at kjøretiden blir lineær (dvs. at antall punkter vi må inspisere totalt sett blir lineært), siden vi må si noe om sammenhengen mellom tilfeldighetskilden brukt til å velge punktrekkefølgen og kilden brukt til å velge hashfunksjon ved universell hashing. men vi går ikke inn på detaljene rundt det her. TDT4125 Algoritmekonstruksjon, videregående kurs 6/6