INF2440 Effektiv parallellprogrammering Uke 1, våren Eric Jul Professor PSE Institutt for Informatikk

Transkript

1 INF2440 Effektiv parallellprogrammerig Uke 1, våre 2018 Eric Jul Professor PSE Istitutt for Iformatikk 1

2 Litt om Eric Ph.D. Uiversity of Washigto, 1989 Dask-amerikaer Bor i Damark pedler til Oslo ca 3-4 gage/måed : Førsteamauesis/professor Købehavs Uiversitet : Bell Labs, Dubli Professor IFI 2

3 E beslutig: hvilket språk? Skal jeg forelese på dask? Or Eglish? 3

4 Motivatio for Parallelle Programmer Maskier ka bestå av flere CPU-er Hver CPU ka utføre programmer uavhegig av de adre CPUer Hver CPU ka have flere kjerer Hver kjere ka utføre programmer Vi vil gjere utytte disse muligheter for parallellisme 4

5 Hva vi skal lære om i dette kurset: Lage parallelle programmer (algoritmer) som er: Riktige Parallelle programmer er klart vaskeligere å lage e sekvesielle løsiger på et problem. Effektive dvs. raskere e e sekvesiell løsig på samme problem Lære hvorda ma parallelliserer et riktig, sekvesielt program + lage ege parallelle algoritmer som ikke bare er e slik parallelliserig; Lære de mage problemee vi støter på og hvorda disse ka takles. Kurset er empirisk (med tidsmåliger), ikke basert på e teoretisk modell av parallelle beregiger, Vi oppfatter programmet som e god ok modell av det problemet vi skal løse. Vi treger ige modell av modelle. Preseterer e klassifikasjo av parallelle algoritmer (ytt). 5

6 Tre gruer til å lage parallelle programmer 1) Skille ut aktiviteter som går lagsommere i e ege tråd. Eks: Tege grafikk på skjerme, lese i database, sede meldig på ettet. Asykro kommuikasjo. 2) Av og til er det lettere å programmere løsige som flere parallelle tråder. Naturlig oppdelig. Eks: Kudesystem over ettet hvor hver bruker får e tråd. Hele operativsystemet har mye parallellitet 1572 aktive tråder i Widows 7 akkurat da dee foile blev skrevet i 2017 og 1921 aktive tråder i Mac OS X Sierra. 3) Vi øsker raskere programmer, raskere algoritmer. Eks: Tekiske beregiger, søkig og sorterig. Dette kurset legger este all vekt på raskere algoritmer 6

7 INF et este ytt kurs Ikke alt er helt ferdig oe vil også bli edret fra våre 2018 spesielt da Are Maus, som har utviklet kurs u er emeritus og Eric overtager. Plalagt fire obliger - de første legges ut 19. ja og vil få ileverigsfrist 9. feb. Så ca. 3-4 uker per oblig. De idividuelle ileveriger : Ma ka samarbeide om algoritmer, me ikke ha helt lik eller delvis felles kode med adre. E oblig er ikke bare ileverig av ett eller flere parallelle programmer, me også e lite rapport om de testee ma har gjort: hastighetsmåliger på disse for ulike størrelse av data med koklusjoer f.eks speedup + O( ) og e forklarig på resultatee. Gruppetimer: Jobbig med ukeoppgaver og obligee Neste ytt kurs betyr at også dere selv vil være med på forme kurset, og at ikke alt vil være perfeekt. 7

8 Pesum Ige dekkede lærebok er fuet, me: Det som foreleses + oppgavee (obliger + ukeoppgaver) er pesum. Bra bok: Bria Goetz, T.Perlis, J. Bloch, J. Bobeer, D. Holms og Doug Lea::"Java Cocurrecy i practice", Addiso Wesley 2006 Kap. 18 og 19 i A. Brulad, K. Hega, O.C. Ligjærde, A. Maus:"Rett på Java" 3.utg. Uiversitetsforlaget, I tillegg leses fra e maski på Ifi kap 1 til 1.4, hele 2 og 3.1 til 3.7 (hopp over programeksemplee) i : (Hvis leses utefor Ifi, så koster det $!) 8

9 I dag teori og praksis programmer som har S < 1 og forklare hvorfor. 9

10 Lieær speedup? Selvsagt øsker vi lieær speedup dvs. bruker vi k kjerer skulle det helst gå k gager fortere e med 1 kjere. Meget sjelde at det ka oppås (mer om det side) Ka superlieær speedup oppås? 10

11 Lieær speedup aalogier Selvsagt øsker vi lieær speedup, MEN: Nogle problemer er emme at parallellisere: Eksempel: 10 persoer ka plate 10 treer ca. 10 gage fortere ed 1 perso ka plate 10 treer. Adre problemer er vaskeligere at parallellisere: Eksempel: hvis 1 perso ka samle et Lego-set på 10 timer, så vil det være vaskelig for 10 persoer at samle det på 1 time der er avhegigheter mellom delee. Adre problemer er ærmest umulige at parallellisere: Eksempel: hvis 1 kvie ka lage et bar på 9 måeder, ka 9 kvier så lage et bar på 1 måed? 11

12 Flys klassifikasjo av datamaskier: Sigle Istructio Multiple Istructio Sigle Data SISD : Ekeltkjere CPU MISD : Pipelie utførelse av istruksjoer i e CPU. Flere maskier som av sikkerhetsgruer utfører samme istruksjoer. Multiple Data SIMD : GPU samme operasjo på mage elemeter (e vektor) Det fies også slike SSE istruksjoer på Itel og AMDs CPU-er MIMD : klyge av datamaskier, og Multikjere CPU 12

13 Eksempel på e SSSE 3-istruksjo (Itel i7) PHADDW, PHADDD Packed Horizotal Add (Words or Doublewords) takes registers A = [a0 a1 a2 ] ad B = [b0 b1 b2 ] ad outputs [a0+a1 a2+a3 b0+b1 b2+b3 ] Det er mage registre (opp til 32) på e kjere for bl.a. slike istruksjoer Et register ka sees på som e cache 0 det tar bare é istruksjos-sykel å aksessere et register mot 3 sykler i cache1 (i e 3 GHz CPU er e sykel 1/3 s = 1/3 milliard dels sekud) 13

14 Dette kurset hadler om tråder og effektivitet Hva er tråder Se litt på maskie Se på operativsystemet Hvorda skal vi oppfatte e tråd i et Java-program Seere se på kompilerige og kjørig av Java-kode Hvorda måle effektivitet Hvorda ta tide på ulike deler av et program; både: De sekvesielle algoritme E eller flere parallelle løsiger I dag: Ekel tidtakig Neste gag: Bedre tidtakig Praktisk i dag Stadard måte å starte programmet med tråder 14

15 Flere mulige sysvikler Mage ivåer i parallellprogrammerig: 1. Maskivare 2. Programmerigsspråk 3. Programmerigsabstraksjo. 4. Hvilke typer problem eger seg for parallelle løsiger? 5. Empiriske eller formelle metoder for parallelle beregiger INF2440: Parallellprogrammerig av ulike algoritmer med tråder på multikjere CPU i Java empirisk vurdert ved tidsmåliger. 15

16 Learig-by-doig Dette kurs er et Learig-by-doig kurs! Utbyttet ditt er avhegig av DIN isats! 16

17 Maskivare og språk for parallelle beregiger og Ifi-kurs 1. Klyger av datamaskier - INF3380 jfr. Abelklyge på USIT med ca kjerer. 640 maskier (oder), hver med 16 kjerer C, C++, Fortra, MPI de ulike programbitee i kjeree seder meldiger til hveradre 2. Grafikkkort GPU med små-kjerer, INF5063 Eks Nvidia med flere tuse småkjerer (SIMD maski) 3. Multikjere CPU (2-100 kjerer per CPU) INF2440 AMD, Itel, ARM, Mobiltelefoer,.. De fleste programmerigsspråk: Java, C, C++,.. 4. Mage maskier løst koblet over iterett. INF5510 Plaetlab world-wide testbed Emerald språk til distribuert programmerig 5. Teoretiske modeller for beregigee INF4140 PRAM modelle og formelle modeller (f.eks FSM) 17

18 Multikjere - Itel Multicore Nehalam CPU Mage ulike deler i e Multicore CPU bla. e pipelie av maskiistruksjoer; kjeree holder på med 10 til 20 istruksjoer samtidig dvs. istruksjosparallellitet 18

19 Hvorfor får vi multikjere CPUer? Hver måed dobler atall trasistorer vi ka få på e brikke: Moores lov Vi ka ikke lage raskere kretser fordi da vil vi ikke greie å luftkjøle dem (ca. 120 Watt på ca. 2x2 cm varmere e e rødglødede kokeplate). Og der er kvatemekaiske begresiger også. Med f.eks dobbelt så mage trasistorer øsker vi oss egetlig e dobbelt så rask maski, me det vi får er dessverre bare dobbelt så mage CPU-kjerer. Med flere regekverer (kjerer) må vi få opp hastighete ved å lage parallelle programmer! 19

20 20

21 21

22 Helt avgjørede for oss cache-hukommelse Hva er cache Raskere (me også dyrere) hukommelse mellom hovedlageret og kjeree. Vi må ha cache fordi det er så store hastighetsforskjeller mellom e CPU-kjere og hovedlageret ( mai memory ) Ofte å 3-4 lag med cache hukommelser + et atall registere i kjere (eda raskere e cache-hukommelsee) som holder data eller itruksjoer Når e kjere treger data eller e y istruksjo (og de ikke har det i et register) leter de edover i cache-hukommelsee. Først cache level 1 (L1), så L2 cache,.., før de går til hovedhukommelse for data eller istruksjoer. Det fis flere tekikker for å gjøre dette raskt (som pre-fetch, dvs at systemet heter este data/istruksjo ute at kjere eksplisitt har bedt om det) 22

23 Hvorda tar vi hesy til cache-systemet for å få raskere programmer? Vi ser bare på data-cachee (lite å hete på istruksjoee) Viktig å vite er at hver gag vi skal hete data i hovedlageret, får vi e cach-lije = 64 byte = f.eks 8 heltall (it) Det er svært begreset plass i cachee, og e cach-lije som ikke har vært brukt på lege vil bli kastet ut (overskrevet av e ae, yere) cache-lije Slik er raskest: Jobber på få data (korte deler av e array) lege av gage ikke hoppe rudt. Helst gå forlegs eller baklegs gjeom data (arrayee) (i, i+1,.. eller: i, i- 1,..) Vi må lage slike cache-velige programmer! 23

24 Maski 1980 (ute cache) Figur 19.1 Skisse av e datamaski i ca hvor det bare var é beregigsehet, e CPU, som leste sie istruksjoer og både skrev og leste data (variable) direkte i hovedhukommelse. Itel 8080: 1 MHz CPU 24

25 Maski ca med to dobbeltkjere CPU-er 25

26 Hukommelses-systemet i e 4 kjere CPU mage lag og flere ulike beregigsmoduler i hver kjere.: 26

27 Istruksjosparallellitet i e CPU-kjere. Pipelie flere istruksjoer (her 4) utføres samtidig i raskest mulig rekkefølge. 27

28 Test av forsikelse i data-cachee og hovedhukommelse - latecy.exe (fra CPUZ) 28

29 Oppsummerig idee om at vi har uiform aksesstid i hukommelse er helt galt Hukommelses-systemet i e multicore CPU,Itel Core i GHz, mage lag (typisk aksesstid i istruksjossykler): 1. Registre i kjere (1) 8/32 registre 2. L1 cache (3-4) 32 Kb 3. L2 cache (13) 256 kb 4. L3 cache (32) 8Mb 5. Hovedhukommelse (virtuell hukommelse) (ca. 200) 8-64 GB 6. Diske ( roterede) = 5 ms 1000 GB 1-5 TB FlashDisk (ca les, ca skriv) = ca. 1 ms 29

30 Vi ka ikke hete mer fra automatisk forbedrig av hastighete på våre programmer: Ikke raskere maskier luftkjøligsproblemet Hovedhukommelse - både mye lagsommere e CPU-ee (derfor cache), og det å sette stadig flere kjerer oppå e lagsom hukommelse gir køer. Istruksjos-parallellitete i hver kjere (pipelie) er fult utyttet ikke mer å hete Kompilatore Java (etter ver 1.3) kompilerer videre til maskikode og (etter ver 1.6) optimaliserer mye. JIT-kompilerig. Ikke mulig å gjøre særlig mer effektiv Þ Koklusjo Skal vi ha raskere programmer, må vi som programmerere selv skrive parallelle løsiger på våre problemer. 30

31 Operativsystemet og tråder De ulike operativsystemee (Liux, Widows) har ulike begreper for det som kjøres; mage ivåer (egetlig flere e det som vises her) Liux Task 1 1..* Process 1 1..* Tråd 1..* 1 Widows Applicatio 1 1..* Process 1 1..* Tråd 1 1..* fiber Heldigvis forekler Java dette 31

32 Java forekler dette ved å velge to ivåer Widows Liux Java program ( kjører på e Java VM ) 1 1..* Tråd 1..* 1 starter Alle trådee i et Java-program deler samme adresserom (= samme plasser i hovedhukommelse). Alle trådee ka lese og skrive i de variable (objektee) programmet har og ha adgag til samme kode (metodee i klassee). 32

33 Hva er tråder i Java? I alle programmer kjører mist e tråd mai tråde (starter og kjører i public static void mai). Mai-tråde ka starte e eller flere adre, ye tråder. Ehver tråd som er startet, ka stoppes midlertidig eller permaet av: Av seg selv ved kall på sykroiserigsobjekter hvor de må vete De er ferdig med si kode (i metode ru), termierer da Mai-tråde og de ye trådee går i parallell ved at: De kjører ete på hver si kjere Hvis vi har flere tråder e kjerer, vil klokka i maskie sørge for at trådee av og til avbrytes og e ae tråd får kjøretid på kjere. Vi bruker tråder til å parallellisere programmee våre 33

34 >java (også kalt JVM) starter mai-tråde som igje starter ye tråder 1) JVM starter Mai-tråde JVM 2) Mai-tråde starter k ye tråder 3) Mai-tråde veter mes de adre trådee løser problemet Tråder i Java er objekter av klasse Thread. 34

35 Kostruktør til Thread-klasse Ruable target er : E klasse som implemeterer gresesittet Ruable Det er e ae måte å starte er tråd hvor vi lager e subklasse av Thread (ikke fullt så fleksibel). 35

36 Tråder i Java Er é programflyt, dvs. e serie med istruksjoer som oppfører seg som ett valig, sekvesielt program og kjører på é kjere Det ka godt være (lagt) flere tråder e det er kjerer. E tråd er ofte implemetert i form av e idre klasse i de klasse som løser problemet vårt (da får trådee greit aksess til felles data): import java.util.cocurret.*; class Problem { it [] fellesdata ; // dette er felles, delte data for alle trådee public static void mai(strig [] args) { Problem p = ew Problem(); p.utfoer(); } void utfoer () { Thread t = ew Thread(ew Arbeider()); t.start(); } class Arbeider implemets Ruable { it i,lokaldata; // dette er lokale data for hver tråd public void ru() { // dee kalles år tråde er startet } } // ed idre klasse Arbeider } // ed class Problem 36

37 Tråder i Java E tråd er ete subklasse av Thread eller får til si kostruktør et objekt av e klasse som implemeterer Ruable. Poeget er at begge måtee ieholder e metode: public void ru() Vi kaller metode start() i klasse Thread. Det sørger for at JVM starter tråde og at ru() i vår klasse deretter kalles. JVM som ieholder si del av start() som gjør mye og til slutt kaller ru() Vårt program kaller start i vårt objekt av e subklasse av Thread (eller Ruable). Etter start av tråde kalles vår ru() 37

38 Flere problemer med parallellitet og tråder i Java 1. Operasjoer blades (oppdateriger går tapt). 2. Oppdaterte verdier til felles data er ikke alltid sylig fra alle tråder (oppdateriger er ikke sylige år du treger dem). 3. Sylighet har ofte med cache å gjøre. 4. The Java memory model (= hva skjer egetlig år du kjører et Java-program). Vi må fie på skuddsikre måter å programmere parallelle programmer De er kaskje ikke helt tidsoptimale Me de er lettere å bruke!! Det er vaskelig ok likevel. Bare oversiktelige, ekle måter å programmere parallelt er mulig i praksis

39 1) Ett problem i dag: operasjoer blades ved samtidige oppdateriger Samtidig oppdaterig - flere tråder sier gjetatte gager: i++ ; der i er e felles it. i++ er 3 operasjoer: a) les i, b) legg til 1, c) skriv i tilbake Ata i =2, og to tråder gjør i++ Vi ka få svaret 3 eller 4 (skulle fått 4!) Dette skjer i praksis! Les i Legg til 1 Skriv i tilbake tråd Les i Legg til 1 Skriv i tilbake tråd tide

40 Test på i++; parallell Setter i gag tråder (på e 2-kjerer CPU) som alle prøver å øke med 1 e felles variabel it i; gager ute sykroiserig; for (it j =0; j< ; j++) { i++; } Vi fikk følgede feil - atall og %, (maglede verdier). Merk: Resultatee varierer også mye mellom hver kjørig : Atall tråder Svar 1.gag 2.gag Tap 1.gag 2. gag 0 % 0% 0% 20,4% 35,5% 14,6% 15,3% 17,7% 14,9% 17,5%

41 Kommede program bruker CyclicBarrier. Hva gjør de? Ma lager først ett, felles objekt b av klasse CyclicBarrier med et tall: at til kostruktøre = det atall tråder de skal køe opp før alle trådee slippes fri samtidig. Tråder (også mai-tråde) som vil køe opp på e CyclicBarrier sier await() på de. De at-1 første trådee som sier await(), blir lagt i e kø. Når tråd ummer at sier await() på b, blir alle trådee sluppet ut av køe samtidig og fortsetter i si kode. Det sykliske barriere objektet b er da med e gag klar til å være kø for ye, at stk. tråder. 41

42 Praktisk: skal å se på programmet som laget tabelle import java.util.*; import easyio.*; import java.util.cocurret.*; /** Viser at maglede sykroiserig på ett felles objekt gir feil bare loesig 1) er riktig'*/ public class Parallell { it tall; // Sum av at 'attraader' traader teller opp dee CyclicBarrier b ; // sikrer at alle er ferdige aar vi tar tid og sum it attraader, atgager,svar; // Etter summerig: riktig svar er:attraader*atgager // det kommer ialt 4 forsøk på å øke i, bare e av dem er riktig //sychroized void ikrtall(){ tall++;} // 1) OK fordi sykroiserer på ett objekt (p) void ikrtall() { tall++;} // 2) - feil public static void mai (Strig [] args) { if (args.legth < 2) { System.out.pritl("bruk >java Parallell <attraader> <= atgager>"); }else{ it atkjerer = Rutime.getRutime().availableProcessors(); System.out.pritl("Maskie har "+ atkjerer + " prosessorkjerer."); Parallell p = ew Parallell(); p.attraader = Iteger.parseIt(args[0]); p.atgager = Iteger.parseIt(args[1]); p.utfor(); } } // ed mai 42

43 void utskrift (double tid) { svar = atgager*attraader; System.out.pritl("Tid "+atgager+" kall * "+ attraader+" Traader ="+ Format.alig(tid,9,1)+ " millisek,"); System.out.pritl(" sum:"+ tall +", tap:"+ (svar -tall)+" = "+ Format.alig( ((svar - tall)*100.0 /svar),12,6)+"%"); } // ed utskrift void utfor () { b = ew CyclicBarrier(atTraader+1); log t = System.aoTime(); //+1, også mai // start klokke } // utfor for (it j = 0; j< attraader; j++) { ew Thread(ew Para(j)).start(); } try{ // mai thread veter b.await(); } catch (Exceptio e) {retur;} double tid = (System.aoTime()-t)/ ; utskrift(tid); 43

44 class Para implemets Ruable{ it id; Para(it id) { this.id =id;} public void ru() { for (it j = 0; j< atgager; j++) { ikrtall(); } try { // wait o all other threads + mai b.await(); } catch (Exceptio e) {retur;} } // ed ru // void ikrtall() { tall++;} // 3) Feil - usykroisert // sychroized void ikrtall(){ tall++;} // 4) Feil kallee sykroiserer på // hvert sitt objekt } // ed class Para } // END class Parallell 44

45 Husk: Valigste oppsett av mai-tråde + k tråder mai, lager k ye tråder Data mai veter k tråder, leser og skriver i ege og i felles data og løser problemet Hver av trådee (mai + k ye) er sekvesielle programmer. Problemet er at de samtidig ikke ka skrive på felles data 45

46 Oppsummerig Uke1 Vi har gjeomgått hvorfor vi får flere-kjere CPUer Tråder er måte som et Javaprogram bruker for å skape flere uavhegige parallelle programflyter i tillegg til mai-tråde Tråder deler felles adresserom (data og kode) me har også ege lokale data og metoder Stygg feil vi ka gjøre: Samtidig oppdaterig (=skrivig) på delte data (eks: i++) Dette løses ved sykroiserig. Alle tråder som vil skrive må køes opp på samme sykroiserigsvariabel (som er et objekt) slik at bare é tråd slipper til av gage. Alle objekter ka yttes som e sykroiserigsvariabel, og da ka vi bruke ete e sychroized metode, eller objekter av spesielle klasser som: CyclicBarrier Semaphore (udervises seere) De ieholder metoder som await(), som gjør at tråder veter. Seere vil vi lære å dele opp et problem i midre biter til hver tråd og ikke sykroisere for mye (tar for mye tid) 46

47 47