INF2440 Effektiv Parallellprogrammering Uke 2 våren tidtaking. Eric Jul PSE Inst. for informatikk

Transkript

1 INF2440 Effektiv Parallellprogrammerig Uke 2 våre tidtakig Eric Jul PSE Ist. for iformatikk 1

2 Oppsummerig Uke1 Vi har gjeomgått hvorfor vi får flere-kjere CPUer Tråder er måte som et Javaprogram bruker for å skape flere uavhegige parallelle programflyter i tillegg til mai-tråde Tråder deler felles adresserom (data og kode) Vi ka gjøre mage typer feil, me det er alltid e løsig. É stygg feil vi ka gjøre: Samtidig oppdaterig (skrivig) på delte data, på samme variabel (eks: i++) Samtidig skrivig på e variabel må sykroiseres: Alle objekter ka yttes som e sykroiserigsvariabel, og da ka vi bruke ete e sychroized metode (treigt)for å gjøre det, eller objekter av spesielle klasser som: CyclicBarrier Semaphore (udervises Uke2) Lock De har metoder som await() eller lock(), som gjør at tråder evt. må vete. 2

3 Tråder i Java (lett revidert og kompilerbar ) E tråd er é programflyt, dvs. e serie med istruksjoer som oppfører seg som ett program og kjører på e kjere Det ka godt være (lagt) flere tråder e det er kjerer. E tråd er ofte implemetert i form av e idre klasse i de klasse som løser problemet vårt (da får de greit felles data): import java.util.cocurret.*; class Problem { it [] fellesdata ; // dette er felles, delte data for alle trådee public static void mai(strig [] args) { Problem p = ew Problem(); // MÅ alltid lage ett objekt av de ytre klasse p.utfoer(); // før det lages objekter av idre klasser } void utfoer () { Thread t = ew Thread(ew Arbeider()); t.start(); } class Arbeider implemets Ruable { it i, lokaldata; // dette er lokale data for hver tråd public void ru() { // dee kalles år tråde er startet } } // ed idre klasse Arbeider } // ed class Problem 3

4 Flere tråder samtidig oppdaterig av e variabel : i Alle trådee (1,2 20, 200 og 2000) prøver samtidig å utføre i gager Vi skal se på programmet som produserte dette: Atall tråder Riktig svar: Svar 1.gag 2. gag Tap 1.gag 2. gag 0 % 0% 0% 20,4% 35,5% 14,6% 15,3% 17,7% 14,9% 17,5% 4

5 Programmet som laget tabelle import java.util.*;l kode for mai-tråde import easyio.*; kode for trådee import java.util.cocurret.*; /** Viser at maglede sykroiserig på ett felles objekt gir feil bare loesig 1) er riktig'*/ public class Parallell { it tall; // Sum av at 'attraader' traader teller opp dee CyclicBarrier b ; // sikrer at alle er ferdige aar vi tar tid og sum it attraader, atgager,svar; // Etter summerig: riktig svar er:attraader*atgager //sychroized void ikrtall(){ tall++;} void ikrtall() { tall++;} // 1) OK fordi sykroiserer på samme objekt p // 2) - feil public static void mai (Strig [] args) { if (args.legth < 2) { System.out.pritl("bruk >java Parallell <attraader> <= atgager>"); }else{ it atkjerer = Rutime.getRutime().availableProcessors(); System.out.pritl("Maskie har "+ atkjerer + " prosessorkjerer."); Parallell p = ew Parallell(); p.attraader = Iteger.parseIt(args[0]); p.atgager = Iteger.parseIt(args[1]); p.utfor(); } } // ed mai 5

6 void utskrift (double tid) { svar = atgager*attraader; System.out.pritl("Tid "+atgager+" kall * "+ attraader+" Traader ="+ Format.alig(tid,9,1)+ " ms,"); System.out.pritl(" sum:"+ tall +", tap:"+ (svar -tall)+" = "+ Format.alig( ((svar - tall)*100.0 /svar),12,6)+"%"); } // ed utskrift void utfor () { // Dee kjøres bare av mai-tråde b = ew CyclicBarrier(atTraader+1); log t = System.aoTime(); //+1, ogsaa mai // start klokke } // utfor for (it j = 0; j< attraader; j++) { ew Thread( ew Para(j) ).start(); } try{ // mai thread veter på at alle trådee er ferdige b.await(); } catch (Exceptio e) {retur;} double tid = (System.aoTime()-t)/ ; utskrift(tid); 6

7 class Para implemets Ruable{ it id; Para(it iid) { this.id =id;} public void ru() { // Kjøres av hver tråd for (it j = 0; j< atgager; j++) { ikrtall(); } try { // wait o all other threads + mai b.await(); } catch (Exceptio e) {retur;} } // ed ru // void ikrtall() { tall++;} // 3) Feil - usykroisert // sychroized void ikrtall(){ tall++;} // 4) Feil kallee sykroiserer på // hvert sitt objekt } // ed class Para } // END class Parallell 7

8 Hvilke typer problem eger seg for parallelle løsiger? Lad os kjøre programmet! (Iteraktive demo av programmet med og ute sykroiserig). 8

9 Hvilke typer problem eger seg for parallelle løsiger? 1. Kompleksitetsklasse: O(1), O(log), O(), O(*log), O( 1,5 ), O( 2 ),, P,..., NP 2. Størrelse på data: Sorterer vi 100 eller 100 millio tall? Multipliserer vi to 4x4 matriser eller to 2000x2000 matriser? 3. Må vi sykroisere på delte data, må atall sykroiseriger være (mist) e orde lavere e algoritme pga. mye overhead ved sykroiserig. 4. Å starte flere tråder tar ca. 3-5 millisekuder de første tråde tar legst tid. Dette skal vi se på utover i kurset, med utak av O(1) (kostat eksekverigstid uavhegig av datamegde som klart ikke eger seg for parallelliserig) ka det meste gis e mer effektiv parallell implemetasjo hvis er stor ok (eller sagt på e ae måte: hvis kjøretide er > 10 millisekuder). 9

10 Pla for reste av Uke2 JVM I) Om å avslutte parallelle tråder La dem bli ferdige med ru-metode, Hvorda teste at alle er ferdige? Sykroisert avslutig (Semaphore, CyclicBarrier) ew Thread joi() avslutig II) Ulike sykroiserigsprimitiver Vi skal bare lærte oss oe få - ett tilstrekkelig sett III) Hvor mye tid bruker parallelle programmer JIT-kompilerig Overhead ved start Sykroiserig uderveis i beregigee Operativsystem og søppeltømmig IV) Lover om kjøretid Amdahl lov Gustafsos lov 10

11 1) Avslutig med e CyclicBarrier E CyclicBarrier (cb= ew CyclicBarrier (+1)) Er tekt som et vetested, e bom/grid for et atall (i dette tilfellet for +1) tråder - de ye trådee + mai. Alle må vete år de sier sier cb.await() til sistema akommer køe, og da ka alle fortsette. Trådee ka da være ferdige med e beregig ka selv avslutte med å bli ferdige med si ru() -kode. Mai-tråde forsetter, og vet at de adre trådee er ferdige. Mai-tråde ka da bruke resultatee fra trådee. De sykliske barriere cb er da strakt klar til å køe ye tråder som sier cb.await(),.. osv cb.await() sies ie i e try-catch blokk

12 2) Avslutig med e Semaphore E Semaphore (sf = ew Semaphore(-+1)) Admiistrerer (i dette tilfellet) +1 stk. tillatelser. To setrale primitiver: sf.acquire() ber om e tillatelse. Atall tillatelser i sf blir da 1 midre hvis atallet er >0. Hvis det ikke er oe ledig tillatelse, må tråde vete i e kø (ie i e try-catch blokk) sf.release() gir é tillatelse tilbake til semafore sf. Ikke try-catch blokk (De tillatelse som gis tilbake behøver ikke vært fått ved hjelp av aquire() ; de er bare et tall). Avlutig med Semaphore sf: Maitråde sier sf.acquire() og må vete på at det er mist e tillatelse i sf. Alle de ye trådee sier sf.release() år de termierer, og år de siste sier sf.release() blir det 1 tillatelse ledig og mai fortsetter. Ikke syklisk.

13 3) Avslutig med joi() - eklest Logikke er her at i de rutie hvor alle trådee lages, legges de også i i e array. Mai-tråde legger seg til å vete på de tråde som de har peker til skal termiere selv. Veter på alle trådee etter tur at de termierer: // mai tråde i kostruktøre Thread [] t = ew Thread[]; for (it i = 0; i < ; i++) { t[i] = ew Thread (ew Arbeider(..)); t[i].start(); } // mai vil vete her til trådee er ferdige for(it i = 0; i < ; i++) { try{ t[i].joi(); }catch (Exceptio e){retur;}; }.. 13

14 II) Mage ulike sykroiserigs primitiver Vi skal bare lære oe få! java.util.cocurret Classes AbstractExecutorService Semaphore ArrayBlockigQueue SychroousQueue CocurretHashMap ThreadLocalRadom CocurretLikedDeque ThrExecutors CocurretLikedQueue ForkJoiPool CocurretSkipListMap ForkJoiTask CocurretSkipListSet ForkJoiWorkerThread CopyOWriteArrayList CopyOWriteArraySet FutureTask CoutDowLatch LikedBlockigDeque CyclicBarrier LikedBlockigQueue DelayQueue LikedTrasferQueue Exchager Phaser ExecutorCompletioService PriorityBlockigQueue ecutor RecursiveActio eadpoolexecutor RecursiveTask ThreadPoolExecutor.AbortPolicy ScheduledThreadPoolEx ThreadPoolExecutor.CallerRusPolicy ThreadPoolExecutor.DiscardOldestPolicy ThreadPoolExecutor.DiscardPolicy Iterfaces BlockigDeque BlockigQueue Callable CompletioService CocurretMap CocurretNavigableMap Delayed Executor ExecutorService ForkJoiPool.ForkJoiWorkerThreadFacto ry ForkJoiPool.MaagedBlocker Future RejectedExecutioHadler RuableFuture RuableScheduledFuture ScheduledExecutorService ScheduledFuture ThreadFactory TrasferQueue 14

15 java.util.cocurret.atomic De har samme virkig (sematikk) som volatile variable (forklares seere), me ka gjøre mer sammesatte operasjoer. Mye raskere e sychroized methods. Eksempel på operasjoer i AtomicItegerArray: it it it void Classes AtomicBoolea AtomicIteger AtomicItegerArray AtomicItegerFieldUpdater AtomicLog AtomicLogArray AtomicLogFieldUpdater AtomicMarkableReferece AtomicReferece AtomicRefereceArray AtomicRefereceFieldUpdater AtomicStampedReferece get(it i) Gets the curret value at positio i. getadadd(it i, it delta) Atomically adds the give value to the elemet at idex i. getaddecremet(it i) Atomically decremets by oe the elemet at idex set(it i, it ewvalue) Sets the elemet at positio i to the give value. 15

16 Vi skal bare lære ett fåtall av dette Her er de vi skal kosetrere oss om: ew Thread joi() sychroized method Semaphore aquire() og release() CyclicBarrier await() ExecutorService pool = Executors.ewFixedThreadPool(k); med Futures - forklares seere AtomicItegerArray get(), set(), getadadd(),.. ReetratLock ( i pakke: java.util.cocurret.locks) volatile variable - forklares seere Alle de sykroiseriger vi treger, ka gjøres med disse! De fleste adre har sie måter å gjøre det på, me ma har eppe tid til å lære seg alle. Bedre å bli flik i et lite og tilstrekkelig sett av sykroiserigsprimitiver, e halvgod i de fleste. 16

17 II) Tidtagig JIT kompilerig Hvor mye betyr det egetlig Operativsystemet (Widows eller Liux) Er de like raske? Søppeltømmig i Java Skjer uder kjørig (med i tidee) 17

18 Tidsmåliger og JIT (Just I Time) -kompilerig Tilbake til kompilerige av et Java-program: javac kompilerer først vårt java-program til e.class fil. som består av byte-kode java (JVM) starter vår program i mai(), me følger med. 1.Kalles e metode flere gager, kompileres de over fra bytekode til maskikode. 2. Kalles de eda mage gager ka dee kode igje optimaliseres (flere gager) mai( ). Vårt program kjører først iterpretert (byte-kode tolkes). Blir JIT-kompilert (mes kode kjører) e eller flere gager. Går mye raskere 18

19 Optimaliserg ett eksempel Origial kode class A { B b; public void ewmethod() { y = b.get();...do stuff... z = b.get(); sum = y + z; } } class B { it value; fial it get() { retur value; } } 1) Ilie get public void ewmethod() { y = b.value;...do stuff... z = b.value; sum = y + z; } 3) Fjer overflødige variable public void ewmethod() { y = b.value;...do stuff... y = y; sum = y + y; } 2) Fjer overflødige les public void ewmethod() { y = b.value;...do stuff... z = y; sum = y + z; } 4) Fjer død kode public void ewmethod() { y = b.value;...do stuff... sum = y + y; } 19

20 Mediatider for fimax fra ukeoppgavee: = Vi ser at kjøretidee (para) syker dramatisk fra 1.ste til este kjørig. Pga JIToptimaliserig M:\INF2440Para\FiMax>java FiMaxMulti Kjørig:0, at kjerer:8, attråder:8 Max para = a:9853, paa: msek., aosek/: Max sekv = a:9853, paa: 0.13 msek., aosek/: Kjørig:1, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.20 msek., aosek/: Max sekv = a:9853, paa: 0.11 msek., aosek/: Kjørig:2, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.26 msek., aosek/: Max sekv = a:9853, paa: 0.11 msek., aosek/: Kjørig:3, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.21 msek., aosek/: Max sekv = a:9853, paa: 0.24 msek., aosek/: Kjørig:4, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.22 msek., aosek/: Max sekv = a:9853, paa: 0.20 msek., aosek/: Kjørig:5, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.25 msek., aosek/: Max sekv = a:9853, paa: 0.23 msek., aosek/: Kjørig:6, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.20 msek., aosek/: Max sekv = a:9853, paa: 0.21 msek., aosek/: Media seq time: 0.205, media para time: 0.250, Speedup: 0.82, =

21 M:\INF2440Para\FiMax>java FiMaxMulti Kjørig:0, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 2.19 Max sekv = a: , paa: 7.65 msek., aosek/: 0.76 = 10 mill Kjørig:1, at kjerer:8, attråder:8 Max para = a: , paa: 3.04 msek., aosek/: 0.30 Max sekv = a: , paa: 5.95 msek., aosek/: 0.59 Kjørig:2, at kjerer:8, attråder:8 Max para = a: , paa: 3.20 msek., aosek/: 0.32 Max sekv = a: , paa: 7.33 msek., aosek/: 0.73 Kjørig:3, at kjerer:8, attråder:8 Max para = a: , paa: 2.67 msek., aosek/: 0.27 Max sekv = a: , paa: 5.10 msek., aosek/: 0.51 Kjørig:4, at kjerer:8, attråder:8 Max para = a: , paa: 2.88 msek., aosek/: 0.29 Max sekv = a: , paa: 5.57 msek., aosek/: 0.56 Media seq time: 5.945, media para time: 3.042, Speedup: 1.95, =

22 M:\INF2440Para\FiMax>java -Xit FiMaxMulti Kjørig:0, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 5.31 Max sekv = a: , paa: msek., aosek/: Kjørig:1, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 4.49 Max sekv = a: , paa: msek., aosek/: JITkompilerig avslått : > java Xit.. = 10 mill Kjørig:2, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 3.38 Max sekv = a: , paa: msek., aosek/: Kjørig:3, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 5.36 Max sekv = a: , paa: msek., aosek/: Kjørig:4, at kjerer:8, attråder:8 Max para = a: , paa: msek., aosek/: 5.01 Max sekv = a: , paa: msek., aosek/: Media seq time: , media para time: , Speedup: 2.75, =

23 M:\INF2440Para\FiMax>java FiM Kjoerig:0, at kjerer:8, attraader:8 Max verdi parallell i a: , paa: ms. Max verdi sekvesiell i a: , paa: ms. = 100 mill Kjoerig:1, at kjerer:8, attraader:8 JIT-kompilerig +optimaliserig Max verdi parallell i a: , paa: ms. Max verdi sekvesiell i a: , paa: ms. Kjoerig:2, at kjerer:8, attraader:8 Max verdi parallell i a: , paa: ms. Max verdi sekvesiell i a: , paa: ms. Søppel-tømmig Kjoerig:3, at kjerer:8, attraader:8 Max verdi parallell i a: , paa: ms. Max verdi sekvesiell i a: , paa: ms. Kjoerig:4, at kjerer:8, attraader:8 Max verdi parallell i a: , paa: ms. Max verdi sekvesiell i a: , paa: ms. Media sequetial time: , media parallel time: , = , Speedup:

24 Hva betyr dette for tidsmåligee Første gage vi gjører er tide vi måler e sum av: Først litt iterpreterig av bytekode Så oversettig(kompilerig) av hyppig brukte metoder til maskikode kjørig av reste av programmet dels i maskikode. Adre gag vi kjører, ka følgede skje: JVM fier at oe av maskikompilerte metodee våre må optimaliseres ytterligere Kjøretide syker ytterligere Tredje gag er som oftest optimaliseriga ferdig, me ytterligere optimaliserig ka bli gjort Tidtakige vår må edres! Vi kjører det sekvesielle og parallelle programmet f.eks 9 gager i e løkke, oterer alle kjøretider i to arrayer som så sorteres og vi velger mediaverdie = a[a.legth/2] Du får aldri samme svaret to gager mye variasjo!! 24

25 FiMax, 3 ulike kjøriger (samme parametre, varierer atall tråder: 8, 16, 4 ) Uke2>java FiM Kjørig:0, at kjerer:8, attråder:8 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:1, at kjerer:8, attråder:8 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:8, at kjerer:8, attråder:8 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Media sequetial time: , media parallel time: , Speedup: 1.26, = Uke2>java FiM Kjørig:0, at kjerer:8, attråder:16 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Uke2>java FiM Kjørig:0, at kjerer:8, attråder:4 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:1, at kjerer:8, attråder:4 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:2, at kjerer:8, attråder:4 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:8, at kjerer:8, attråder:4 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Media sequetial time: , media parallel time: , Speedup: 0.88, = Kjørig:1, at kjerer:8, attråder:16 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Kjørig:8, at kjerer:8, attråder:16 Max verdi parallell i a:999216, paa: ms. Max verdi sekvesiell i a:999216, paa: ms. Media sequetial time: , media parallel time: , Speedup: 0.90, =

26 «Aldri» samme resultatet to gager Uke2>java FiM at kjerer:8, attråder:8, = 1mill Med atall kjøriger for media = 9 1) Speedup: 0.68, = ) Speedup: 0.96, = ) Speedup: 0.84, = ) Speedup: 0.71, = ) Speedup: 1.06, = ) Speedup: 1.26, = Med atall kjøriger for media = 21 7) Speedup: 1.00, = ) Speedup: 0.84, = ) Speedup: 0.88, = ) Speedup: 1.75, = ) Speedup: 0.87, = ) Speedup: 1.11, = ) Speedup: 1.03, =

27 Koklusjo på JIT-kompilerig JIT-kompilerig ka skrues av med >java Xit MittProg.. Brukes bare for debuggig JIT kompilerig ka gi 10 til 30 gager så rask eksekverig for lite (e god del mer for stor ) Første, adre (og tredje) kjørig er tidsmessig sterkt misvisede Vi må: Kjøre programmet i e løkke f.eks 9 (eller 7 eller 11) gager Legge tidee i hver si array (sekvesielt og parallell tid) Sortere arrayee Ta ut mediae (elemet a.legth/2), som blir vår tidsmålig 27

28 Dette måler tidee for 9 tråder kjørt etter hveradre import java.util.cocurret.*; import java.util.*; class Problem2 { it [] fellesdata ; // dette er felles, delte data for alle trådee double [] tidee ; it at, svar; public static void mai(strig [] args) { ( ew Problem()).utfoer(args); } void utfoer (Strig [] args) { at = ew Iteger(args[0]); fellesdata = ew it [at]; tidee = ew double[9]; for (it m = 0; m <9; m++) { log tid = System.aoTime(); Thread t = ew Thread(ew Arbeider()); t.start(); try{t.joi();}catch (Exceptio e) {retur;} tidee[m] = (System.aoTime() -tid)/ ; System.out.pritl("Tid for "+m + ", tråd:"+tidee[m]+«ms"); } Arrays.sort(tidee); System.out.pritl("Media med svar:"+svar+", for trådee:"+tidee[(tidee.legth)/2]+" ms"); } // ed utfoer class Arbeider implemets Ruable { it i,lokaldata; // dette er lokale data for hver tråd public void ru() { it sum =0; for (it i = 0; i < at; i++) sum +=fellesdata[i]; svar =sum; } } // ed idre klasse Arbeider } // ed class Problem 28

29 M:\INF2440Para\Powerpoit\Uke2>java Problem Tid for 0, tråd:22.26 ms Tid for 1, tråd: 1.12ms Tid for 2, tråd: 3.19ms Tid for 3, tråd: 0.58ms Tid for 4, tråd: 0.65ms Tid for 5, tråd: 0.49ms Tid for 6, tråd: 0.48ms Tid for 7, tråd: 0.53ms Tid for 8, tråd: 0.85ms Media med svar:0, for trådee:0.65 ms 29

30 Hva med operativsystemet: Liux og Widows har om lag like rask implemetasjo av Java og trådprogrammerig, Dag Lagmyhr testet to helt like maskier med hhv. Liux og Widows, og resultatee tidsmessig (mediaer) var este helt like, me Ulike maskier som Ifis store servere (diamat, safir,..) har e ae Liux og e oe lagsommere ytelse for korte, trådbaserte programmer. 30

31 Hva med søppeltømmig garbage collectio: Søppeltømmig (=oppryddig i lageret og fjerig av objekter vi ikke leger ka bruke) ka slå til år som helst uder kjørig: Kjørig:2, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.35 msek., aosek/: Max sekv = a:9853, paa: 0.01 msek., aosek/: 1.36 Kjørig:3, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.57 msek., aosek/: Max sekv = a:9853, paa: 0.01 msek., aosek/: 0.66 Kjørig:4, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.43 msek., aosek/: Max sekv = a:9853, paa: 0.01 msek., aosek/: 1.33 Kjørig:5, at kjerer:8, attråder:8 Max para = a:9853, paa: 0.49 msek., aosek/: Max sekv = a:9853, paa: 0.01 msek., aosek/:

32 Amdahl lov for parallelle beregiger Amdahl lov: Har du seq adel sekvesiell kode og da p adel parallelliserbar kode i et parallelt program, seq+p=1, er de største speedup S du ka få med k kjerer: Når k, vil S!!"#. + = -./( ) -./ (#9:966266) =! 12;'#/3 =!!"#'#/3 Er p=0.9, så er S 10 uasett hvor mage kjerer du har, og! har du bare 50, er S = = 8,5.!"$.&'$,&/*$ Amdahls lov er pessimistisk- atar fast størrelse på problemet «Hvis du først har brukt 10% av tida på e sekvesiell del, så ka reste av programmet ikke gå fortere e 0.00 sekuder uasett hvor mage prosessorer du bruker på det. Dvs. at speedup 10» 32

33 Amdahl for ulike verdier av p 33

34 Amdahl viktig å parallellisere største del 34

35 Gustafsos lov for parallelle beregiger La S være speedup, P atall kjerer og α være adel sekvesiell kode (tidsmessig), så er: S(P) = P α (P 1) Parallell løsig er:! + # (a = sekvesiell tid, b = parallell tid) Sekvesiell løsig er da:! + $ # Speedup er da: &'( ) &') &, og har at α = &') og da er: +, =! + $ #! + # =!! + # + $ #! + # = α + P #! + # = α + P &')0& &') = α + P 1 α = «Hvis du tidligere brukte 1 time på å løse et problem sekvesielt, vil du å også bruke 1 time på å løse et større, mer øyaktig problem parallelt, da med større speedup for eksempel i meteorologi» 35

36 S x = x a % 1, 36

37 Sammeligig av Amdahl og Gustafso + ege betraktiger Amdahl atar at oppgave er fast av e gitt legde() Gustafso atar at du med parallelle maskier løser større problemer (større ) og da blir de sekvesielle dele midre. Mi betraktig: 1. E algoritme består av oe sekvesielle deler og oe parallelliserbare deler. 2. Hvis de sekvesielle delee har lavere orde f.eks O(log ), me de parallelle har e større orde eks O() så vil de parallelle delee bli e stadig større del av kjøretida hvis øker (Gustafso) 3. Hvis de parallelle og sekvesielle delee har samme orde, vil et større problem ha samme sekvesielle adel som et midre problem (Amdahl). 4. I tillegg kommer alltid et fast overhead på å starte k tråder (1-4 ms.) Algoritmer vi skal jobbe med er mer av type 2 (Gustafso) e type 3(Amdahl) me vi har alltid overhead, så små problemer løses best sekvesielt. Koklusjo: For store problemer bør vi ha håp om å skalere ær lieært med atall kjerer hvis ikke vi får kø og forsikelser år alle kjeree skal lese/skrive i lageret. 37

38 Hva har vi sett på i Uke2 I) Tre måter å avslutte tråder vi har startet. joi(), Semaphor og CyclicBarrier. II) Mage ulike sykroiserigsprimitiver Vi skal bare lærte oss oe få - ett tilstrekkelig sett III) Hvor mye tid bruker parallelle programmer JIT-kompilerig, Overhead ved start, Sykroiserig, Operativsystem og søppeltømmig, Bruk mediatida av flere kjøriger IV) Lover om Kjøretid Amdahl lov Gustafsos lov V) Samtidig skrivig i aboelemeter i e array er OK. 41