IN3030 Uke 5, våren Eric Jul PSE Inst. for informatikk

Transkript

1 IN3030 Uke 5, våre 2019 Eric Jul PSE Ist. for iformatikk 1

2 Hva så vi på i Uke4 1. Kommetarer om matrise-multiplikasjo 2. Hvorfor vi ikke bruker PRAM modelle for parallelle beregiger som skal gå fort. 3. Hva skjer egetlig i lageret (mai memory) år vi kjører parallelle tråder - the Java Memory Model 4. Hvorfor sykroiserer vi, og hva skjer da, 1. Hvilke problemer blir løst? 2

3 Pla for uke 5 Første time: 1. Oblig 1: commets 2. Oblig 2: Matrix multiplicatio 3. Modellkode2 -forslag for testig av parallell kode 4. Ulike løsiger på i++ 5. Vraglås - et problem vi lett ka få (og ugå) Ae time: 1. Ulike strategier for å dele opp et problem for parallelliserig: 2. Om primtall Eratosthees Sil (ES) 3. Hvorda represetere (ES) effektivt i maskie 3

4 Reasos to fail oblig 1 Reasos to fail oblig 1: - Lackig tables i the report - Lackig explaatio i the report - Lackig diagrams i the report - Not thread safe code - Too much sychroizatio 4

5 2) Modell-kode for tidssammeligig av (ekle) parallelle og sekvesiell algoritmer E god del av dere har laget programmer som virker for: Kjøre både de sekvesielle og parallelle algoritme Greier å kjøre begge algoritmee mage gager for å ta mediatide for sekvesiell og parallell versjo Helst skriver resultatee ut på e fil for seere rapportskrivig Dere ka slappe av å, og se på mi løsig For dere adre skal jeg gjeomgå mi kode slik at dere har et skjelett å skrive kode iefor Det mest iteressate i dette kurset er tross alt hvorda vi: Deler opp problemet for parallelliserig Hvorda vi sykroiserer i e korrekt parallell løsig. 5

6 import java.util.*; import java.util.cocurret.*; import java.util.cocurret.locks.*; import easyio.*; // file: Modell2.java // Lagt ut feb Are Maus, Ifi, UiO // Som BARE et eksempel, er problemet med å øke fellesvariabele i *atkjerer gager løst class Modell2{// ****** Problemets FELLES DATA HER it i; fial Strig av = "TEST AV i++ med sychroized oppdaterig"; // Felles system-variable - samme for 'alle' programmer CyclicBarrier vet,ferdig, heltferdig ; // for at trådee og mai veter på hveradre it attraader; it atkjerer; it umiter ; // atall gager for å lage media (1,3,5,,) it Low,Step,High; // laveste, multiplikator, hoyeste -verdi it ; // problemets størrelse Strig filav; volatile boolea stop = false; it med; Out ut; it [] alli; double [] seqtime ; double [] partime ; 6

7 /** for også utskrift på fil */ sychroized void pritl(strig s) { ut.outl(s); System.out.pritl(s); } /** for også utskrift på fil */ sychroized void prit(strig s) { ut.out(s); System.out.prit(s); } /** iitierige i mai-tråde */ void ititier(strig args) { Low = Iteger.parseIt(args[0]); Step = Iteger.parseIt(args[1]); High = Iteger.parseIt(args[2]); umiter = Iteger.parseIt(args[3]); seqtime = ew double [umiter]; partime = ew double [umiter]; ut = ew Out(args[4], true); atkjerer = Rutime.getRutime().availableProcessors(); attraader = atkjerer; vet = ew CyclicBarrier(atTraader+1); //+1, også mai ferdig = ew CyclicBarrier(atTraader+1); //+1, også mai heltferdig = ew CyclicBarrier (2); // mai veter på tråd 0 alli = ew it [attraader]; 7

8 } // ed iitier // start trådee for (it i = 0; i< attraader; i++) ew Thread(ew Para(i)).start(); public static void mai (Strig [] args) { if ( args.legth!= 5) { System.out.pritl("use: >java Modell2 <Low> <Step> <High> <um iter> <fil>"); } else { ew Modell2().utforTest(args); } } // ed mai 8

9 void utfortest () { ititier(); pritl("test av "+ av+ "\ med "+ atkjerer + " kjerer, og " + attraader+" traader, Media av:" + umiter+" iterasjo\"); pritl("\ sekv.tid(ms) para.tid(ms) Speedup "); for ( = High; >= Low; =/Step) { for (med = 0; med < umiter; med++) { log t = System.aoTime(); // start tidtagig parallell // Start alle trådee parallell beregig å try { vet.await(); // start e parallell beregig ferdig.await(); // vet på at trådee er ferdige } catch (Exceptio e) {retur;} try { heltferdig.await(); // vet på at tråd 0 har summert svaret } catch (Exceptio e) {retur;} // her ka vi lese svaret t = (System.aoTime()-t); partime[med] =t/ ; pritl(«svaret er:» + i + «for =» +); t = System.aoTime(); // start tidtagig sekvesiell //**** KALL PÅ DIN SEKVENSIELLE METODE H E R ******** sekvesiellmetode (,umiter); t = (System.aoTime()-t); seqtime[med] =t/ ; } // ed for med 9

10 pritl(format.alig(,10)+ Format.alig(media(seqTime,umIter),12,3)+ Format.alig(media(parTime,umIter),15,3)+ Format.alig(media(seqTime,umIter)/media(parTime,umIter),13,4)); } // ed -loop exit(); } // utfortest /** termiate parallel threads*/ void exit() { stop = true; try { // start the other threads ad they termiate vet.await(); } catch (Exceptio e) {retur;} ut.close(); } // ed exit /*** HER er di ege sekvesielle metode som selvsagt IKKE ER sychroized, */ void sekvesiellmetode (it,it umiter){ for (it j=0; j<; j++){ i++; } } // ed sekvesiellmetode /*** Her er evt. de parallelle metodee som ER sychroized - treig*/ sychroized void addi() { i++; } 10

11 class Para implemets Ruable{ it id, mii=0, fra,til,um; Para(it i) { id =i; } // kostruktor /*** HER er die ege parallelle metoder som IKKE er sychroized */ void parallellmetode(it id) { for (it j=0; j<; j++){ mii++; } alli [id] = mii; } void paraiitier(it ) { um = /attraader; fra = id*um; til = (id+1)*um; if (id == attraader-1) til =; mii =0; }// ed paraiitier 11

12 public void ru() { // Her er det som kjores i parallell: while (! stop) { try { // wait o all other threads + mai vet.await(); } catch (Exceptio e) {retur;} if (! stop) { paraiitier(); //**** KALL PÅ DINE PARALLELLE METODER H E R ******** parallellmetode(id); // parameter: traaummeret: id try{ // make all threads termiate ferdig.await(); } catch (Exceptio e) {} } // ed! stop thread // tråd r 0 adderer de 'umthreads' mii - variablee til e felles verdi if (id == 0) { i =0; for (it j = 0; j < attraader; j++) { i += alli[j]; } } // ed tråd 0 } // ed while!stop } // ed ru } // ed class Para try { heltferdig.await(); // si fra til mai at tråd 0 har summert svaret } catch (Exceptio e) {retur;} 12

13 Hvor lag tid tar et sychroized kall? Demoeks. hadde sychroiced metode for all skrivig til felles i. Kjørte modell-kode for = (3 gager) Svar: Et sychroized kall tar ca. 1000/(8* )ms = 0.15 µs = 150s. = ca. 500 istruksjoer. 13

14 3) Fies det alterativer & riktig kode? a) Bruk av ReetratLock (import java.util.cocurret.locks.*;) // i felledata-omraadet i omsluttede klasse ReetratLock laas = ew ReetratLock(); /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ void addi() { laas.lock(); i++; try{ laas.ulock();} catch(exceptio e) {retur;} } // ed addi Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ med ReetratLock oppdaterig med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.70 ms, Para tid: ms, Speedup: 0.003, = x fortere e sychroized! 14

15 b) Alterativ b til sychroized: Bruk av AtomicIteger Bruk av AtomicIteger (import java.util.cocurret.atomic.*;) // i felledata-omraadet i omsluttede klasse AtomicIteger i = ew AtomicIteger(); /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ void addi() { i.icremetadget(); } // ed addi Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ med AtomicIteger oppdaterig med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.66 ms, Para tid: ms, Speedup: 0.003, = Koklusjo: Både ReetratLock og AtomicIteger er 5x fortere e sychroized metoder + at all parallell kode ka da ligge i de parallelle klasse. 15

16 c) : Lokal kopi av i hver tråd og e sychroized oppdaterig fra hver tråd til sist. /*** HER skriver du evetuelle parallelle metoder som ER sychroized */ sychroized void addi(it tillegg) { i = i+ tillegg; } // ed addi. class Para implemets Ruable{ it id; it mii=0;.. /*** HER skriver du parallelle metode som IKKE er sychroized */ void parallellmetode(it id) { for (it j=0; j<; j++) mii++; } // ed parallellmeode public void ru() { if (! stop) { //**** KALL PÅ DIN PARALLELLE METODE H E R ******** parallellmetode(id); addi(mii); try{ 16

17 Kjørig av alterativ C (lokal kopi først): Kjørig: M:\INF2440Para\ModelKode>java ModellAlt test.txt Test av TEST AV i++ forst i lokal i i hver traad, saa sychroized oppdaterig av i, med 8 kjerer, og 8 traader Media of 5: Sekv. tid: 0.71 ms, Para tid: 0.47 ms, Speedup: 1.504, = Betydelig raskere, ca. 500x e alle de adre korrekte løsigee og oe raskere e de sekvesielle løsige Eeste riktige løsig som har speedup > 1. Husk: Ige vits å lage e parallell algoritme hvis de sekvesielle er raskere. 17

18 Oppsummerig Løsig kjøretid Speedup Sekvesiell 0,70 ms 1 Bare sychroized 1015,72 ms 0,001 ReetratLock ms 0,003 AtomicIteger 235,91 ms 0,003 Lokal kopi, så sychroized oppdaterig 1 gag per tråd 0,47 ms 1,504 Oppsummerig: Sykroiserig av skrivig på felles variable tar lag tid, og må miimeres (og sychroized er spesielt treg) Selv de raskeste er 500x lagsommere e å ha lokal kopi av fellesvariabel it i, og så addere svaree til sist. 18

19 4) Vraglås: Rekkefølge av flere sykroiseriger fra flere, ulike tråder går det alltid bra? Ata at du har to ulike parallelle klasser A og B og at som begge bruker to felles sykroiserigsvariable: Semphoree vet og ferdig (begge iitiert til 1). A og B sykroiserer seg ikke i samme rekkefølge: A sier: try{ vet. acquire(); ferdig. acquire(); } catch(exceptio e) {retur;} gjør oe. ferdig.release(); vet.release(); B sier: try{ ferdig. acquire(); vet. acquire(); } catch(exceptio e) {retur;} gjør oe. vet.release(); ferdig.release(); 19

20 Ytre klasse VragLaas med to idre klasser SkrivA og SkrivB public class VragLaas{ it a=0,b=0, atgager; Semaphore ferdig, vet ; SkrivA aobj; SkrivB bobj; // Felles variable a,b public static void mai (Strig [] args) { if (args.legth!= 1) { System.out.pritl(" bruk: java <at gager oeke> ); } else { it atkjerer = Rutime.getRutime(). availableprocessors(); System.out.pritl("Maskie har "+ atkjerer + " prosessorkjerer.\"); VragLaas p = ew VragLaas(); p.atgager = Iteger.parseIt(args[0]); p.utfor(); } } // ed mai void utfor () { vet = ew Semaphore(1); ferdig = ew Semaphore(1); (aobj = ew SkrivA()).start(); (bobj = ew SkrivB()).start(); } // utfor class SkrivA exteds Thread{ public void ru() { for (it j = 0; j<atgager; j++) { try { // wait vet.acquire(); ferdig.acquire(); } catch (Exceptio e) {retur;} a++; System.out.pritl(" a: " +a); vet.release(); ferdig.release(); } // ed j } // ed ru A } // ed class SkrivA class SkrivB exteds Thread{ public void ru() { for (it j = 0; j<atgager; j++) { try { // wait ferdig.acquire(); vet.acquire(); } catch (Exceptio e) {retur;} b++; System.out.pritl(" b: " +b); vet.release(); ferdig.release(); } // ed j } // ed ru B } // ed class SkrivB } // ed class VragLaas 20

21 Vraglås del 2 Dette ka gi såkalt vraglås (deadlock) ved at begge trådee veter på at de adre skal bli gå videre. Hvis operasjoee blades slik går det galt (og det skjer også i praksis!) A vet. acquire(); ferdig. acquire(); B ferdig. acquire(); vet. acquire(); tid Begge fortsetter A må vete på at B slipper ferdig B må vete på at A slipper vet 21

22 Vraglås - løsig A og B veter på hveradre til evig tid programmet ditt heger! Løsig: Følg disse ekle regler i hele systemet (fjerer all vraglås): 1. Hvis du skal ha flere sykroiserigs-objekter i programmet, så må de sorteres i e eller ae rekkefølge. 2. Alle tråder som bruker to eller flere av disse, må be om å få vete på dem (s.acquire(),..) i samme rekkefølge som de er sortert! 3. I hvilke rekkefølge disse sykroiserigs-objektee slippes opp (s. release(),..) har mer med hvem av de som veter ma vil slippe løs først, og er ikke så øye; gir ikke vraglås. 22

23 5) Om å parallelliser et problem Utgagspukt: Vi har e sekvesiell effektiv og riktig sekvesiell algoritme som løser problemet. Vi ka dele opp både kode og data (hver for seg?) Valigst å dele opp data Som oftest deler vi opp data, og lar hele kode virke på hver av disse data-delee (e del til hver tråd). Eks: Matriser radvis eller koloevis oppdelig av C til hver tråd Omforme data slik at de passer bedre i cachee (traspoere B) Rekursiv oppdelig av data ( lett ) Eks: Quicksort Også mulig å dele opp kode: Alterativ Oblig3 i INF1000: Beregig av Pi (3,1415..) med sifre med tre ArcTa-rekker Primtalls-faktoriserig av store tall N for kodebrekkig: N= p 1 * p 2 23

24 Ed of First Hour of Lecture 24

25 Å dele opp algoritme Kode består e eller flere steg; som oftest i form av e eller flere samliger av løkker (som er ekle, doble, triple..) Vi vil parallellisere med k tråder, og hver slikt steg vil få hver si parallelliserig med e CyclickBarrier-sykroiserig mellom hver av disse delee + e sykroisert avslutig (joi(),..). Eks: fimax hadde ett slikt steg: for (it i = 0-1) -løkke MatriseMult hadde ett slikt steg med trippel-løkke Flere steg mulig: Eksempler seere i kurs (Radix) 25

26 Å dele opp data del 2 For å plalegge parallelliserig av ett slikt steg må vi fie: Hvilke data i problemet er lokale i hver tråd? Hvilke data i problemet er felles/delt mellom trådee? Viktig for effektiv parallell kode. Hvorda deler vi opp felles data (om mulig) Ka hver tråd berege hver si ege, disjukte del av data Færrest mulig sykroiseriger (de tar mye tid) 26

27 5 ) Om primtall og om Eratosthees sil (oblig 3) Et primtall er : Et heltall som bare lar seg dividere med 1 og seg selv. 1 er ikke et heltall (det mete mage på 1700-tallet, og oe meer det fortsatt) Ethvert tall N > 1 lar seg faktorisere som et produkt av primtall: N = p 1* p 2* p 3* * p k Dee faktorige er etydig (påær rækkefølge); dvs. de eeste faktoriserige av N gjøres etydig hvis tall i faktoriserige sorteres Hvis det bare er ett tall i dee faktoriserige, er N selv et primtall 27

28 Litt mer om Eratosthees Eratosthees, matematikker, laget også et estimat på jordas radius som var < 1,5% feil, grula geografi som fag, fat opp skuddårsdage + at ha var sjef for Biblioteket i Alexadria (de tids største forskigsistitusjo). 28

29 2 måter å lage primtall Øsker at fie alle primtal p i < N Lage e tabell over alle de primtallee vi treger Eratosthee sil Dividere alle tall < N med alle oddetall <!? Divisjosmetode 29

30 Hvorda lage og lagre primtall A) Med Eratosthees sil: Z:\INF2440Para\Primtall>java PrimtallESil max primtall m: Geererte alle primtall <= paa millisek med Eratosthees sil og det største primtallet er: Med gjetatte divisjoer Z:\INF2440Para\Primtall>java PrimtallDiv Geererte alle primtall <= paa millisek med divisjo, og det største primtallet er: Å lage primtallee p og fie dem ved divisjo (del på alle oddetall < SQRT(p) p = 2,3,4,..) er ca. 100 gager lagsommere e Eratosthees avkryssigs-tabell (kalt Eratosthees sil). 30

31 Fie primtall -- Eratosthees sil Hvorda? 31

32 Å lage og lagre primtall (Erotosthees sil) Som e bit-tabell (1- betyr primtall, 0-betyr ikke-primtall) Påfuet i jeraldere av Eratosthees (ca. 200 f.kr) Ma skal fie alle primtall < M Ma fier da de første primtallee og krysser av alle multipla av disse (N.B. dette forbedres/edres seere): Eks: 3 er et primtall, da krysses 6, 9,12,15,.. Av fordi de alle er ett-eller-aet-tall (1,2,3,4,5,..) gager 3 og følgelig selv ikke er et primtall. 6=2*3, 9 = 3*3, 12 =2*2*3, 15 = 5*3,..osv De tallee som ikke blir krysset av, år vi har krysset av for alle primtallee vi har, er primtallee Vi fier 5 som et primtall fordi, etter at vi har krysset av for 3, fier første ikke-avkryssete tall: 5, som da er et primtall (og som vi så krysser av for, fier så 7 osv) 32

33 Litt mer om Eratothees sil Vi represeterer ikke partallee på de tallija som det krysses av på fordi vi vet at 2 er et primtall (det første ) og at alle adre partall er ikke-primtall. Har vi fuet et ytt primtall p, for eksempel. 5, starter vi avkryssige for dette primtallet først for tallet p*p (i eksempelet: 25), me etter det krysses det av for p*p+2p, p*p+4p,.. (i eksempelet 35,45,55, osv.). Grue til at vi ka starte på p*p er at alle adre tall t < p*p slik det krysses av i for eksempel Wikipedia-artikkele har allerede blitt krysset av adre primtall < p. Det betyr at for å krysse av og fie alle primtall < N, behøver vi bare å krysse av på dee måte for alle primtall p sqrt(n). Dette sparer svært mye tid. 33

34 Vise at vi treger bare primtallee <10 for å fie alle primtall < 100, avkryssig for 3 (3*3, 9+2*3,9+4*3,.)

35 Avkryssig for 5 (starter med 25, så 25+2*5, 25+4,5,..):

36 Avkryssig for 7 (starter med 49, så 49+2*7,49+4*7,.): Er å ferdig fordi este primtall vi fier: 11, så er 11*11=121 utefor tabelle 36

37 1) Hvorda bruke 8 eller 7 bit i e byte-array for å represetere primtallee E byte = 8 bit heltall: Fortegs-bit (0 = positiv, 1=egativ) 7 bit data (0-127) Vi represeter alle oddetallee (1,3,5,,,) som ett bit (0= ikkeprimtall, 1 = primtall) Bruke alle 8 bit : Fordel: mer kompakt lagrig og litt raskere(?) adresserig Ulempe: Ka da ikke bruke verdie i byte direkte (f.eks som e ideks til e array), heller ikke +,-,* eller /-operasjoee på verdie Bruke 7 bit: Fordel: ige av ulempee med 8 bit Ulempe: Tar litt større plass og litt lagsommere(?) adresserig 37

38 1) Hvorda represetere 8 (eller 7) bit i e byte-array byte = et 8 bit heltall Fortegs-bit (0 = positiv, 1=egativ) 7 bit data (0-127) Bruker alle 8 bitee til oddetallee: Ata at vi vil sjekke om tallet k er et primtall, sjekk først om k er 2, da ja, hvis det er et partall (me ikke 2) da ei ellers sjekk så tallets bit i byte-arraye Byte ummeret til k i arraye er da: Ete: k /16, eller: k >>>4 (shift 4 høyreover ute kopi av fortegs-bitet er det samme som å dele med 16) Bit-ummeret er i dee byte er da ete (k %16)/2 eller (k &15)>>1 Hvorfor dele på 16 år det er 8 bit fordi vi fjeret alle partallee egetlig 16 tall represetert i første byte, for byte 0: tallee 0-15 Om så å fie bitverdie se este lysark. 38

39 Bruke 7 bit i hver byte i arraye Ata at vi vil sjekke om tallet k er et primtall sjekk først om k er 2, da ja, ellers hvis det er et partall (me ikke 2) da ei ellers: Sjekk da tallets bit i byte-arraye Byte ummeret til k i arraye er da: k /14 Bit-ummeret er i dee byte er da: (k %14)/2 Nå har vi byte ummeret og bit-ummeret i de byte. Vi ka da ta AND (&) med det riktige elemetet i e av de to arryee som er oppgitt i skjelett-kode og teste om svaret er 0 eller ikke. Hvorda sette alle 7 eller 8 bit == 1 i alle byter ) 7 bit: hver byte settes = 127 (me bitet for 1 settes =0) 8 bit: hver byte settes = -1 (me bit for 1 settes = 0) Koklusjo: bruk 8 eller 7 bit i hver byte (valgfritt) i Oblig2 39

40 2) Faktoriserig av et tall M i sie primtallsfaktorer Vi har laget og lagret ved hjelp av Erotosthaes sil alle (utatt 2) primtall < N i e bit-array over alle odde-tallee. 1 = primtall, 0=ikke-primtall Vi har krysset ut de som ikke er primtall Hvorda skal vi så bruke dette til å faktorisere et tall M < N*N? Svar: Divider M med alle primtall p i <! (p i =2,3,5,..), og hver gag e slik divisjo M%p i ==0, så er p i e av faktoree til M. Vi forsetter så med å faktorisere ett midre tall M =M/p i. Faktoriserige av M = p i *..* p k er da produktet av alle de primtall som dividerer M ute rest. HUSK at e p i ka forekommer flere gager i svaret. eks: 20= 2*2*5, 81 = 3*3*3*3, osv Fier vi ige faktoriserig av M, dvs. ige p i! som dividerer M med rest == 0, så er M selv et primtall. 40

41 Hvorda parallellisere faktoriserig? 1. Gjeomgås este uke - dee uka viktig å få på plass e effektiv sekvesiell løsig med om lag disse kjøretidee for N = 2 mill: M:\INF2440Para\Primtall>java PrimtallESil max primtall m: Geererte primtall <= paa millisek med Eratosthees sil ( millisek/primtall) = 2*2*3*5*103* = 37* = 2*271*457*1931* = 3*19*47* = 2*2*2*2*2*7*313*1033* = 5*13*59951* = 2*3*3*31*71* = 1163*1879* = 2*2*11*11*17*23*293* faktoriseriger bereget paa: ms - dvs: ms. per faktoriserig 41

42 Faktoriserig av store tall med desimale sifre Uke5>java PrimtallESil max primtall m: bitarr.legth: Geererte primtall <= paa millisek med Eratosthees sil ( millisec/primtall) atall primtall < er: , dvs: 4.89%, og det største primtallet er: = 2*2*3*5*5*967*3673*19421* = = 2* = 3*31* * = 2*2*2*2*2*19*71* = 5*7* = 11* = 2*121081* = 3*17*19* * faktoriseriger bereget paa: ms dvs: ms. per faktoriserig largestlogfactorizedsafe: = *

43 Hva har vi sett på i uke 5 1. Modell2-kode for sammeligig av kjøretider på (ekle) parallelle og sekvesielle algoritmer. 2. Hvorda lage e parallell løsig ulike måter å sykroisere skrivig på felles variable 3. Vraglås - et problem vi lett ka få (og ugå) 4. Ulike strategier for å dele opp et problem for parallelliserig: 5. Hvorfor lage e avkryssigstabell over alle oddetall for å fie alle primtall (Eratosthees sil) steg 1 i Oblig 2 43