INF2440 Uke 5, våren2018. Eric Jul PSE Inst. for informatikk

Transkript

1 INF2440 Uke 5, våre2018 Eric Jul PSE Ist. for iformatikk 1

2 Hva så vi på i Uke4 1. Kommetarer om matrise-multiplikasjo 2. Hvorfor vi ikke bruker PRAM modelle for parallelle beregiger som skal gå fort. 3. Hva skjer egetlig i lageret (mai memory) år vi kjører parallelle tråder - the Java Memory Model 4. Hvorfor sykroiserer vi, og hva skjer da, 1. Hvilke problemer blir løst? 2

3 Pla for uke 5 Første time: 1. Oblig 1: commets 2. Oblig 2: Matrix multiplicatio 3. Modellkode2 -forslag for testig av parallell kode 4. Ulike løsiger på i++ 5. Vraglås - et problem vi lett ka få (og ugå) Ae time: (UTSATT til este gag) 1. Ulike strategier for å dele opp et problem for parallelliserig: 2. Om primtall Eratosthees Sil (ES) 3. Hvorda represetere (ES) effektivt i maskie 3

4 Reasos to fail oblig 1 Reasos to fail oblig 1: - Lackig tables i the report - Lackig explaatio i the report - Lackig diagrams i the report - Not thread safe code - Too much sychroizatio 4

5 2) Modell-kode for tidssammeligig av (ekle) parallelle og sekvesiell algoritmer E god del av dere har laget programmer som virker for: Kjøre både de sekvesielle og parallelle algoritme Greier å kjøre begge algoritmee mage gager for å ta mediatide for sekvesiell og parallell versjo Helst skriver resultatee ut på e fil for seere rapportskrivig Dere ka slappe av å, og se på mi løsig For dere adre skal jeg gjeomgå mi kode slik at dere har et skjelett å skrive kode iefor Det mest iteressate i dette kurset er tross alt hvorda vi: Deler opp problemet for parallelliserig Hvorda vi sykroiserer i e korrekt parallell løsig. 5

6 import java.util.*; import java.util.cocurret.*; import java.util.cocurret.locks.*; import easyio.*; // file: Modell2.java // Lagt ut feb Are Maus, Ifi, UiO // Som BARE et eksempel, er problemet med å øke fellesvariabele i *atkjerer gager løst class Modell2{// ****** Problemets FELLES DATA HER it i; fial Strig av = "TEST AV i++ med sychroized oppdaterig"; // Felles system-variable - samme for 'alle' programmer CyclicBarrier vet,ferdig, heltferdig ; // for at trådee og mai veter på hveradre it attraader; it atkjerer; it umiter ; // atall gager for å lage media (1,3,5,,) it Low,Step,High; // laveste, multiplikator, hoyeste -verdi it ; // problemets størrelse Strig filav; volatile boolea stop = false; it med; Out ut; it [] alli; double [] seqtime ; double [] partime ; 6

7 /** for også utskrift på fil */ sychroized void pritl(strig s) { ut.outl(s); System.out.pritl(s); } /** for også utskrift på fil */ sychroized void prit(strig s) { ut.out(s); System.out.prit(s); } /** iitierige i mai-tråde */ void ititier(strig args) { Low = Iteger.parseIt(args[0]); Step = Iteger.parseIt(args[1]); High = Iteger.parseIt(args[2]); umiter = Iteger.parseIt(args[3]); seqtime = ew double [umiter]; partime = ew double [umiter]; ut = ew Out(args[4], true); atkjerer = Rutime.getRutime().availableProcessors(); attraader = atkjerer; vet = ew CyclicBarrier(atTraader+1); //+1, også mai ferdig = ew CyclicBarrier(atTraader+1); //+1, også mai heltferdig = ew CyclicBarrier (2); // mai veter på tråd 0 alli = ew it [attraader]; 7

8 } // ed iitier // start trådee for (it i = 0; i< attraader; i++) ew Thread(ew Para(i)).start(); public static void mai (Strig [] args) { if ( args.legth!= 5) { System.out.pritl("use: >java Modell2 <Low> <Step> <High> <um iter> <fil>"); } else { ew Modell2().utforTest(args); } } // ed mai 8

9 void utfortest () { ititier(); pritl("test av "+ av+ "\ med "+ atkjerer + " kjerer, og " + attraader+" traader, Media av:" + umiter+" iterasjo\"); pritl("\ sekv.tid(ms) para.tid(ms) Speedup "); for ( = High; >= Low; =/Step) { for (med = 0; med < umiter; med++) { log t = System.aoTime(); // start tidtagig parallell // Start alle trådee parallell beregig å try { vet.await(); // start e parallell beregig ferdig.await(); // vet på at trådee er ferdige } catch (Exceptio e) {retur;} try { heltferdig.await(); // vet på at tråd 0 har summert svaret } catch (Exceptio e) {retur;} // her ka vi lese svaret t = (System.aoTime()-t); partime[med] =t/ ; pritl(«svaret er:» + i + «for =» +); t = System.aoTime(); // start tidtagig sekvesiell //**** KALL PÅ DIN SEKVENSIELLE METODE H E R ******** sekvesiellmetode (,umiter); t = (System.aoTime()-t); seqtime[med] =t/ ; } // ed for med 9

10 pritl(format.alig(,10)+ Format.alig(media(seqTime,umIter),12,3)+ Format.alig(media(parTime,umIter),15,3)+ Format.alig(media(seqTime,umIter)/media(parTime,umIter),13,4)); } // ed -loop exit(); } // utfortest /** termiate parallel threads*/ void exit() { stop = true; try { // start the other threads ad they termiate vet.await(); } catch (Exceptio e) {retur;} ut.close(); } // ed exit /*** HER er di ege sekvesielle metode som selvsagt IKKE ER sychroized, */ void sekvesiellmetode (it,it umiter){ for (it j=0; j<; j++){ i++; } } // ed sekvesiellmetode /*** Her er evt. de parallelle metodee som ER sychroized - treig*/ sychroized void addi() { i++; } 10

11 class Para implemets Ruable{ it id, mii=0, fra,til,um; Para(it i) { id =i; } // kostruktor /*** HER er die ege parallelle metoder som IKKE er sychroized */ void parallellmetode(it id) { for (it j=0; j<; j++){ mii++; } alli [id] = mii; } void paraiitier(it ) { um = /attraader; fra = id*um; til = (id+1)*um; if (id == attraader-1) til =; mii =0; }// ed paraiitier 11

12 public void ru() { // Her er det som kjores i parallell: while (! stop) { try { // wait o all other threads + mai vet.await(); } catch (Exceptio e) {retur;} if (! stop) { paraiitier(); //**** KALL PÅ DINE PARALLELLE METODER H E R ******** parallellmetode(id); // parameter: traaummeret: id try{ // make all threads termiate ferdig.await(); } catch (Exceptio e) {} } // ed! stop thread // tråd r 0 adderer de 'umthreads' mii - variablee til e felles verdi if (id == 0) { i =0; for (it j = 0; j < attraader; j++) { i += alli[j]; } } // ed tråd 0 } // ed while!stop } // ed ru } // ed class Para try { heltferdig.await(); // si fra til mai at tråd 0 har summert svaret } catch (Exceptio e) {retur;} 12

13 Hvor lag tid tar et sychroized kall? Demoeks. hadde sychroiced metode for all skrivig til felles i. Kjørte modell-kode for = (3 gager) Svar: Et sychroized kall tar ca. 1000/(8* )ms = 0.15 µs = 150s. = ca. 500 istruksjoer. 13

14 3) Fies det alterativer & riktig kode? a) Bruk av ReetratLock (import java.util.cocurret.locks.*;) // i felledata-omraadet i omsluttede klasse ReetratLock laas = ew ReetratLock(); /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ void addi() { laas.lock(); i++; try{ laas.ulock();} catch(exceptio e) {retur;} } // ed addi Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ med ReetratLock oppdaterig med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.70 ms, Para tid: ms, Speedup: 0.003, = x fortere e sychroized! 14

15 b) Alterativ b til sychroized: Bruk av AtomicIteger Bruk av AtomicIteger (import java.util.cocurret.atomic.*;) // i felledata-omraadet i omsluttede klasse AtomicIteger i = ew AtomicIteger(); /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ void addi() { i.icremetadget(); } // ed addi Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ med AtomicIteger oppdaterig med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.66 ms, Para tid: ms, Speedup: 0.003, = Koklusjo: Både ReetratLock og AtomicIteger er 5x fortere e sychroized metoder + at all parallell kode ka da ligge i de parallelle klasse. 15

16 c) : Lokal kopi av i hver tråd og e sychroized oppdaterig fra hver tråd til sist. /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ sychroized void addi(it tillegg) { i = i+ tillegg; } // ed addi. class Para implemets Ruable{ it id; it mii=0;.. /*** HER skriver du parallelle metode som IKKE er sychroized */ void parallellmetode(it id) { for (it j=0; j<; j++) mii++; } // ed parallellmeode public void ru() { if (! stop) { //**** KALL PÅ DIN PARALLELLE METODE H E R ******** parallellmetode(id); addi(mii); try{ 16

17 Kjørig av alterativ C (lokal kopi først): Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ forst i lokal i i hver traad, saa sychroized oppdaterig av i, med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.71 ms, Para tid: 0.47 ms, Speedup: 1.504, = Betydelig raskere, ca. 500x e alle de adre korrekte løsigee og oe raskere e de sekvesielle løsige Eeste riktige løsig som har speedup > 1. Husk: Ige vits å lage e parallell algoritme hvis de sekvesielle er raskere. 17

18 Oppummerig Løsig kjøretid Speedup Sekvesiell 0,70 ms 1 Bare sychroized 1015,72 ms 0,001 ReetratLock ms 0,003 AtomicIteger 235,91 ms 0,003 Lokal kopi, så sychroized oppdaterig 1 gag per tråd 0,47 ms 1,504 Oppsummerig: Sykroiserig av skrivig på felles variable tar lag tid, og må miimeres (og sychroized er spesielt treg) Selv de raskeste er 500x lagsommere e å ha lokal kopi av fellesvariabel it i, og så addere svaree til sist. 18

19 4) Vraglås: Rekkefølge av flere sykroiseriger fra flere, ulike tråder går det alltid bra? Ata at du har to ulike parallelle klasser A og B og at som begge bruker to felles sykroiserigsvariable: Semphoree vet og ferdig (begge iitiert til 1). A og B sykroiserer seg ikke i samme rekkefølge: A sier: try{ vet. acquire(); ferdig. acquire(); } catch(exceptio e) {retur;} gjør oe. ferdig.release(); vet.release(); B sier: try{ ferdig. acquire(); vet. acquire(); } catch(exceptio e) {retur;} gjør oe. vet.release(); ferdig.release(); 19

20 Ytre klasse VragLaas med to idre klasser SkrivA og SkrivB public class VragLaas{ it a=0,b=0, atgager; Semaphore ferdig, vet ; SkrivA aobj; SkrivB bobj; // Felles variable a,b public static void mai (Strig [] args) { if (args.legth!= 1) { System.out.pritl(" bruk: java <at gager oeke> ); } else { it atkjerer = Rutime.getRutime(). availableprocessors(); System.out.pritl("Maskie har "+ atkjerer + " prosessorkjerer.\"); VragLaas p = ew VragLaas(); p.atgager = Iteger.parseIt(args[0]); p.utfor(); } } // ed mai void utfor () { vet = ew Semaphore(1); ferdig = ew Semaphore(1); (aobj = ew SkrivA()).start(); (bobj = ew SkrivB()).start(); } // utfor class SkrivA exteds Thread{ public void ru() { for (it j = 0; j<atgager; j++) { try { // wait vet.acquire(); ferdig.acquire(); } catch (Exceptio e) {retur;} a++; System.out.pritl(" a: " +a); vet.release(); ferdig.release(); } // ed j } // ed ru A } // ed class SkrivA class SkrivB exteds Thread{ public void ru() { for (it j = 0; j<atgager; j++) { try { // wait ferdig.acquire(); vet.acquire(); } catch (Exceptio e) {retur;} b++; System.out.pritl(" b: " +b); vet.release(); ferdig.release(); } // ed j } // ed ru B } // ed class SkrivB } // ed class VragLaas 20

21 Vraglås del 2 Dette ka gi såkalt vraglås (deadlock) ved at begge trådee veter på at de adre skal bli gå videre. Hvis operasjoee blades slik går det galt (og det skjer også i praksis!) A vet. acquire(); ferdig. acquire(); B ferdig. acquire(); vet. acquire(); tid Begge fortsetter A må vete på at B slipper ferdig B må vete på at A slipper vet 21

22 Vraglås - løsig A og B veter på hveradre til evig tid programmet ditt heger! Løsig: Følg disse ekle regler i hele systemet (fjerer all vraglås): 1. Hvis du skal ha flere sykroiserigs-objekter i programmet, så må de sorteres i e eller ae rekkefølge. 2. Alle tråder som bruker to eller flere av disse, må be om å få vete på dem (s.acquire(),..) i samme rekkefølge som de er sortert! 3. I hvilke rekkefølge disse sykroiserigs-objektee slippes opp (s. release(),..) har mer med hvem av de som veter ma vil slippe løs først, og er ikke så øye; gir ikke vraglås. 22

23 5) Om å parallelliser et problem Utgagspukt: Vi har e sekvesiell effektiv og riktig sekvesiell algoritme som løser problemet. Vi ka dele opp både kode og data (hver for seg?) Valigst å dele opp data Som oftest deler vi opp data, og lar hele kode virke på hver av disse data-delee (e del til hver tråd). Eks: Matriser radvis eller koloevis oppdelig av C til hver tråd Omforme data slik at de passer bedre i cachee (traspoere B) Rekursiv oppdelig av data ( lett ) Eks: Quicksort Også mulig å dele opp kode: Alterativ Oblig3 i INF1000: Beregig av Pi (3,1415..) med sifre med tre ArcTa-rekker Primtalls-faktoriserig av store tall N for kodebrekkig: N= p 1 * p 2 23

24 Ed of First Hour of Lecture 24

25 Å dele opp algoritme Kode består e eller flere steg; som oftest i form av e eller flere samliger av løkker (som er ekle, doble, triple..) Vi vil parallellisere med k tråder, og hver slikt steg vil få hver si parallelliserig med e CyclickBarrier-sykroiserig mellom hver av disse delee + e sykroisert avslutig (joi(),..). Eks: fimax hadde ett slikt steg: for (it i = 0-1) -løkke MatriseMult hadde ett slikt steg med trippel-løkke Radix hadde 4 (5) slike steg: e ekelt løkke i radix2 tre steg i radixsort : a),b) og c) - alle ekeltløkker (gjetatt 2 gager) + evt. Tilbakekopierig b[] til a[] Hver av disse må få si parallelliserig. 25