Detekce uv aznut v DS

Transkript

1 Wait-for-Graph Detekce uv aznut v DS PA 150 Principy operacnch syst em u Jan Staudek Ð Û Å«Æ ±²³ µ ¹º»¼½¾ Ý Verze : podzim 2018 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 1 Prklad uv aznut v DS Pozn amky k v ykladu uv aznut Procesy v DS mohou z adat o zdroje v libovoln em porad Porad nen zn am e a priori Procesy mohou z adat o zdroje i kdyz jiz maj pridelen e jin e zdroje Predpoklady Wait-for-Graph uv aznut zp usoben eho exkluzivnm pridelov anm zdroj u ( uct u) proces um U, V a W v distribuovan em syst emu. Ucty A a B spravuj servery X a Y, ucty C a D server Z Vyresen uv aznut spocv a v n asiln em ukoncen uv azl ych proces u. Potrebujeme proto zn at efektivn techniky detekce uv aznut. zdroje jsou opakovane prstupn e procesy pozaduj exkluzivn prstup ke zdroji zdroje jsou v jedin ych exempl arch Stavy proces u aktivn { m a pridelen e zdroje, kter e pozadoval a je bud' bezc nebo pripraven y k behu blokovan y { cek a na pridelen zdroje Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 2 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 3

2 Principy resen uv aznut Razenm pouzitelnosti zdroj u { prevence uv aznut denuje se glob aln uspor ad an vsech syst emov ych zdroj u kazd y zdroj obdrz jedinecn e poradov e cslo proces sm pozadovat zdroj s cslem i pouze kdyz nevlastn zdroj s cslem vetsm nez i snadn a implementovatelnost, mozn a neefektivita pouzv an zdroj u Bank er uv algoritmus { obch azen uv aznut jeden z proces u mus hr at roli bank ere { spr avce prostredk u v distribuovan em prostred nesnadno implementovateln y, vets rezie Detekce uv aznut zkoum an stavu interakc mezi procesy a zdroji, vyhled av an cyklick eho cek an efektivn prstup ke zvl ad an uv aznut v distribuovan em prostred Modely uv aznut Jednoduch y model Proces m uze pozadovat pridelen pouze jednoho zdroje Proces b yt pouze v jednom cyklu Cyklus ve WFG je postacujc podmnkou pro detekci uv aznut AND model Proces m uze pozadovat soucasn e pridelen vce zdroj u Pozadavek pridelen je splnen y pridelenm vsech zdroj u soucasne Z uzlu WFG m uze vystupovat vce hran Cyklus ve WFG je postacujc podmnkou pro detekci uv aznut AND model je obecnejs model nez jednoduch y model Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 4 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 5 AND model Modely uv aznut OR Model Proces m uze najednou pozadovat vce zdroj u Proces z ust av a blokov an dokud neobdrz alespo n jeden z pozadovan ych zdroj u Cyklus ve WFG je nutnou podmnkou pro uv aznut Uzel (knot) v grafu je postacujc podmnkou pro detekci uv aznut Knot (uzel): podmnozina orientovan eho grafu takov a, ze pocnajc z libovoln eho uzlu podmnoziny nelze opustit knot po hran ach grafu. Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 6 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 7

3 OR model Cyklus vs. uzel Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 8 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 9 AND{OR model Modely uv aznut Kombinace pozadavk u na AND model a OR model u Napr. přiděl (y and (x or z) Existence uv aznut se testuje opakovan ym testem uv aznut v OR modelu P-out-of-Q model, generalizovan y model Zsk an P z Q zdroj u Napr. prstup k replik am (stac prstup k P replik am z Q replik) Speci aln prpady { P = 1... OR model { P = Q... AND model Uzel (knot) v grafu je postacujc podmnkou pro detekci uv aznut Spr ava uv aznut pomoc detekce Sprav a prevenc a obch azenm je v DS neefektivn / nepraktick e resen Spr ava detekc je vhodn a pro DS Uv aznut se mus a) odhalit (detekovat) a b) pot e vyresit Pro odhalen uv aznut musme umet a) udrzovat WFG a b) hledat ve WFG cykly (uzly) pro vyresen se mus denovat aplikacne orientovan a politika Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 10 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 11

4 Detekce uv aznut, krit eria spr avnosti detekcnho algoritmu Zivost, progress, nez ustne z adn e nedetekovan e uv aznut vsechna existujc uv aznut mus algoritmus detekovat v konecn em case jakmile se uv aznut vyskytne, spusten y algoritmus nesm cekat na z adnou dals ud alost aby uv aznut detekoval Bezpecnost, safety, nedetekuj se falesn a uv aznut algoritmus nesm oznamovat neexistujc, falesn a uv aznut tj. uv aznut detekovan e na z aklade konstrukce nekonzistentnho WFG vytvoren eho dky asynchronn komunikaci a neexist. spolecn e pameti Resen detekovan eho uv aznut jeden nebo vce z uv azl ych proces u se zrus (vr at na poc atek) a jejich zdroje se pridel blokovan ym proces u, kter e pak mohou d ale bezet Metody detekce uv aznut Centralizovan e rzen rdic uzel v DS vytv ar WFG a hled a v nem orientovan e cykly WFG lze udrzovat pr ubezne nebo budovat na z adost rdic uzel v DS res detekovan e uv aznut negativa: moznost v ypadku centra, zahlcen centra, detekce falesn ych uv aznut Distribuovan e rzen WFG je rozprostren po c astech v r uzn ych uzlech DS Kter ykoliv uzel DS m uze iniciovat proces detekce uv aznut Hierarchick e rzen uzly DS jsou uspor ad any do hierarchie (strom) uzly DS kontroluje cykly pouze u podrzen ych uzl u DS Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 12 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 13 Falesn e cykly Falesn e cykly Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 14 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 15

5 Centralizovan y Ho-Ramamoorthy 2-f azov y algoritmus pro AND i OR model kazd y uzel DS si udrzuje stavovou tabulku o lok alnch procesech (kter y proces na koho cek a, tj. de facto lok aln WFG) rdic uzel DS se periodicky dotazuje na obsah t echto tabulek ve vsech uzlech rdic uzel DS vytv ar glob aln WFG, analyzuje jej, hled a v nem cykly a pokud je najde, pak hled a resen uv aznut Centralizovan y Ho-Ramamoorthy 2-f azov y algoritmus nutnou podmnkou pro detekci uv aznut je nalezen cyklu, pokud rdic uzel DS najde cyklus v glob alnm WFG, poz ad a znovu o zasl an tabulek z participujcch uzl u DS pokud je opet detekov an cyklus, m uze se jednat o uv aznut m uze se ale jednat i o falesn y cyklus, zd anliv e (phantom) uv aznut Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 16 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 17 Detekce uv aznut pomoc,,wait-for"graf u, WFG Predpoklad a d usledek kazd y alokovateln y zdroj ex. v jedin em exempl ari cyklus ve,,wait-for"grafu reprezentuje uv aznut Lok aln,,wait-for"graf, platn y pro odpovdajc uzel st e uzly v lok. WFG odpovdaj jako lok alnm tak i nelok alnm proces um, pokud tyto procesy drz nebo pozaduj zdroje lok aln v dan em uzlu ste Glob aln,,wait-for"graf, platn y pro celou st' sjednocen lok alnch lok alnch,,wait-for"graf u Cyklus v lok alnm,,wait-for"grafu existuje uv aznut Acyklicnost lok alnho,,wait-for"grafu jest e neznamen a neexistenci uv aznut existenci uv aznut indikuje az glob aln,,wait-for"graf Detekce uv aznut pomoc,,wait-for"graf u, WFG Lok aln wait-for grafy neobsahuj cyklus Jestlize P i bezc v S 2 z ad a zdroj drzen y P j bezcm v S 1, posle P i zpr avu do S 1 a v lok. grafu v S 1 se zapse hrana P i P j Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 18 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 19

6 Detekce uvaznut pomoc,,wait-for"grafu, WFG Detekce uvaznut pomoc,,wait-for"grafu, WFG Lokaln wait-for grafy neobsahuj cyklus Jestli ze Pi b ez c v S2 z ad a zdroj dr zeny Pj b ez c m v S1, po sle Pi zpravu do S1 a v lok. grafu v S1 se zap s e hrana Pi Pj Jan Staudek, FI MU Brno PA150 { Detekce uvaznut v DS Lokaln wait-for grafy neobsahuj cyklus Jestli ze Pi b ez c v S2 z ad a zdroj dr zeny Pj b ez c m v S1, po sle Pi zpravu do S1 a v lok. grafu v S1 se zap s e hrana Pi Pj 20 Jan Staudek, FI MU Brno Centraln uzel si vy zad a stav jednotlivych uzlu: 2 PA150 { Detekce uvaznut v DS 21 Ka zdy uzel ma stejne mo znosti detekovat uvaznut X WFG je abstrakc, kde ka zdy uzel obsahuje svou c ast WFG X Obecn e je detekce vyvolana stranou, Globaln wait-for graf obsahuje cyklus, system je v uvaznut : P2 c eka na P3, P3 c eka na P4, P4 c eka na P2 Jan Staudek, FI MU Brno PA150 { Detekce uvaznut v DS Distribuovane algoritmy Detekce uvaznut pomoc,,wait-for"grafu, WFG 2 kde n ejake vlakno c eka p r li s dlouho ve front e na zdroj 2 4 modely X Path-pushing: informace o cest e v grafu (vztah c ekaj c ho procesu a p rid eleneho zdroje) je pos lana z c ekaj c ho uzlu do blokuj c ho uzlu (Obermarck), pro AND model X Edge-chasing: hranami WFG jsou pos lany specialn zpravy (probe { sondy). Jestli ze je sondovac zprava p rijata iniciatorem, je detekovano uvaznut (Chandy-Misra-Haas), pro AND model X Global state detection: z skav a se sn mek (snapshot) o distribuovanem systemu, konstruuje se a redukuje se WFG X Di usion computation: WFG jsou pos lany echo zpravy, obsahuj c dotaz na stav jednotlivych uzlu 22 Jan Staudek, FI MU Brno PA150 { Detekce uvaznut v DS 23

7 Za detekci uv aznut sdlej odpov ednost vsechny uzly DS. V kazd em uzlu SA se konstruuje lok aln wait-for graf, kter y reprezentuje c ast glob alnho wait-for grafu Do kazd eho lok alnho wait-for grafu se prid av a dodatecn y uzel P ex Hrana P i P ex reprezentuje stav, ve kter em P i cek a na zdroj drzen y procesem ve kter emkoliv jin em uzlu ste Hrana P ex P i reprezentuje stav, ve kter em proces ve kter emkoliv jin em uzlu ste cek a na zdroj drzen y procesem P i v lok alnm uzlu Jestlize lok aln wait-for grafu obsahuje cyklus, kter y neobsahuje uzel P ex, pak procesy v tomto uzlu jsou ve stavu uv aznut Cyklus obsahujc uzel P ex implikuje moznost uv aznut. Pro zjisten, zda procesy v DS uv azly ci ne, se mus spustit distribuovan y algoritmus detekce uv aznut algoritmus m uze detekovat i falesn a uv aznut protoze snmek zjist'uje asynchronn e Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 24 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 25 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 26 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 27

8 Necht' S1 odhal cyklus P 3 -P ex -P 2 -P 3 Protoze P 3 z ad a zdroj z S 2, posle S 1 do S 2 zpr avu popisujc cyklus v S 1 S 2 koriguje sv uj lok aln graf a odhal existenci uv aznut { cyklus, kter y neobsahuje P ex : Edge chasing, Chandy-Misra-Haas Blokovan y proces vysl a testovac zpr avu (probe) procesu, kter y drz jm pozadovan y zdroj Proces m uze cekat na vce zdroj u najednou (AND model) Testovac zpr ava obsahuje ID blokovan eho procesu ID procesu vyslajcho testovac zpr avu ID clov eho procesu testovac zpr avy Kdyz testovac zpr avu prijme blokovan y proces, preposle ji procesu( um) drzcm zdroj, kter y pozaduje ID blokovan eho procesu se nemen, zb yvajc dva parametry se men Jestlize blokovan y proces zsk a svoji testovac zpr avu, detekovalo se uv aznut Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 28 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 29 Edge chasing, Chandy-Misra-Haas Difusn algoritmus, Chandy at al, OR model V ypocet detekce uv aznut difunduje skrz de facto syst emov y WFG, po hran ach cek an mezi procesy Z uzlu vyhled avajcho detekci uv aznut jist eho procesu se vyslaj testovac zpr avy (probes) a ty difunduj hranami WFG do ostatnch uzl u jestlize testovac zpr ava dos ahne aktivn neblokovan y proces, je zahozena jestlize testovac zpr ava dos ahne blokovan y proces, posl a se echo zpet inici atorovi, kazd y uzel na ceste vzdy jakmile dostane echo od vsech proces u, kter ym poslal testovac zpr avu pokud vsichni poslou zp et echo inici atorovi, nastalo uv aznut Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 30 Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 31

9 Difusn algoritmus, Chandy at al Jan Staudek, FI MU Brno PA150 { Detekce uv aznut v DS 32