4/5 store parallelle maskiner /4 felles hukommelse in 147, våren 1999 parallelle datamaskiner 1. når tema pensum.

Transkript

1 Parallellitet når tema pensum 27/4 felles hukommelse /5 store parallelle maskiner in 147, våren 1999 parallelle datamaskiner 1

2 Tema for denne forelesningen: kraftigere enn én prosessor prinsipp for felles hukommelse synkronisering in 147, våren 1999 parallelle datamaskiner 2

3 Typer parallelle datamaskiner Flynns klassifikasjon: single instruction stream, single data stream (SISD) single instruction stream, multiple data streams (SIMD) multiple instruction streams, single data stream (MISD) multiple instruction streams, multiple data streams (MIMD) MIMD er kan videre deles inn i to hovedtyper: meldingsutveksling [typisk: nettverk med arbeidsstasjoner + programvare] felles hukommelse [typisk: flere CPU er på samme buss] in 147, våren 1999 parallelle datamaskiner 3

4 Amdahls lov: Forbedret ytelse p.g.a. en raskere «detalj» er begrenset av andelen av tiden den raskere detaljen kan brukes. total speedup = gammel exec.tid ny exec.tid = 1 (1 andel forbedret) + andel forbedret speedup forbedret Forbedringen kan f.eks. være flere prosessorer Siden det i ethvert parallelt program vil være en seriell komponent så er det en øvre grense på gevinsten som kan realiseres i en parallell maskin. in 147, våren 1999 parallelle datamaskiner 4

5 Skalering: time(n,x) tiden n prosessorer bruker på å løse et problem som er x stort speedup(n,x) = time(1,x) / time (n,x) efficiency(n,x) = speedup(n,x) / n = time(1,x) / (time(n,x) * n) Da er den beste speedup lineær: hvilket vil si at speedup(n,x) = n time(1,x) = n * time(n,x) Altså: Et system er skalerbart hvis efficiency(n,x) = 1 for alle algoritmer, antall prosessorer [n] og problemstørrelser [x] Uvirkelig! in 147, våren 1999 parallelle datamaskiner 5

6 Flere prosessorer som deler buss og hukommelse prosessor cache hukommelsen samarbeide om å behandle data arbeide med uavhengig oppgaver in 147, våren 1999 parallelle datamaskiner 6

7 Hva skjer ved write back prosessor cache A A hukommelsen A 1) prosessor 2 leser A 2) prosessor 1 leser A 3) prosessor 1 skriver A Når kan prosessor 2 og 3 komme til å bruke den nye verdien A? in 147, våren 1999 parallelle datamaskiner 7

8 Hva skjer ved write through prosessor cache A A hukommelsen A 1) prosessor 2 leser A 2) prosessor 1 leser A 3) prosessor 1 skriver A Når kan prosessor 2 og 3 komme til å bruke den nye verdien A? in 147, våren 1999 parallelle datamaskiner 8

9 Write invalidate write back, allocate on write miss cacher prosessor cache hukommelsen 1) prosessor 2 leser A 2) prosessor 1 leser A 3) prosessor 1 skriver A og invaliderer forekomster i andre cacher in 147, våren 1999 parallelle datamaskiner 9

10 Write update write back, allocate on write miss cacher prosessor cache hukommelsen 1) prosessor 2 leser A 2) prosessor 1 leser A 3) prosessor 1 skriver A og oppdaterer forekomster i andre cacher in 147, våren 1999 parallelle datamaskiner 1 0

11 Holde cacher koherente «snooper» prosessor cache hukommelsen in 147, våren 1999 parallelle datamaskiner 1 1

12 Tilstandsmaskinen for en gitt cachelinje (uansett hvilket innhold linjen har!) write back write invalidate invalid processor read miss (write back dirty block to memory) processor read miss processor write (hit or miss) (send invalidate if hit) processor write miss read write read only Prosessor invalid read write invalidate or another processor has a write miss for this block Buss read only another processor has a read miss or a write miss for this block write back old block in 147, våren 1999 parallelle datamaskiner 1 2

13 Hvordan koordinere mellom flere prosesser maskinen har instruksjoner for load og store koordinere: 1) lese felles variabel prosessor 2) endre cache 3) skrive variabel må foregå atomisk hukommelsen bruke en felles variabel som lås: > åpen:0 > låst: 1 ingen skade i å skrive 1 i en variabel som allerede er 1! in 147, våren 1999 parallelle datamaskiner 1 3

14 Atomiske operasjoner Anta en lås: 0 betyr ledig 1 betyr opptatt og en swap instruksjon som bytter om på innholdet av rx og m[y]. swap rx, m[y] (rx, m[y]) < (m[y], rx) Da kan en lås implementeres på følgende måte: låse: addi rx, r0,1 /* rx < 1*/ swap rx,m[y] /* swap lås */ if ( rx!= 0 ) goto låse <operasjoner> åpne: addi rx, r0, r0 /* rx < 0 */ swap rx,m[y] /* swap lås */ Sentralt punkt: aksesser til en gitt lokasjon x i hukommelsen blir utført én etter én uansett hvor mange prosesser som prøver seg «samtidig». hukommelsen slipper bare til en av gangen en buss tillater en aksess av gangen arkitekturen er ikke «load/store» Dette er en akseptabel løsning så lenge CPU og hukommelse er omtrent like raske! in 147, våren 1999 parallelle datamaskiner 1 4

15 En annen tilnærming til atomiske operasjoner Istedet for én atomisk instruksjon bruker man et par med instruksjoner som skal omslutte operasjoner som skal utføres atomisk. A) leser fra M[y]... B) skriver til M[y] hvis ingen andre har «berørt» M[y] siden A. prosessor cache hukommelsen Dette paret er kjent som Load Linked [Load Locked] (LL) og Store Conditional (SC) in 147, våren 1999 parallelle datamaskiner 1 5

16 Implementasjon av en lås med LL/SC /* adressen til låsen ligger i r1 */ addi r3, zero, 1 /* r3 < 1 */ låse: ll r2,0(r1) /* hva er i 0(r1)? */ sc r3,0(r1) /* 0(r1), r3 < OK?r3:, OK?1:0 */ beq r3, zero, wait /* prøv igjen hvis r3 == 0 [konkurranse] */ bne r2, zero, wait /* prøv igjen hvis r2 == 1 [opptatt?] */ < gjøre ting som skal beskyttes av låsen > åpne: lw zero, 0(r1) /* endre fra 1 til 0 (ledig!) */ Hendelser som bryter atomisiteten til LL/SC: * prosessbytte * en annen prosess aksesserer samme adresse (cachelinje) * koden mellom LL og SC gjør også LL/SC (vranglås) in 147, våren 1999 parallelle datamaskiner 1 6

17 LL/SC er typisk for moderne prosessorer der det kan være stor forskjell i hastighet mellom CPU og hukommelsen. Implementasjon: Link Register tar vare på adressen LL leser LL rx, 0(ry) # (rx, LR)< (M[ry+0], ry+0) SC sjekker om dette registeret er urørt når det prøver å oppdatere M[y] SC rx, 0(ry) # (M[ry+0], rx) < # (if ( ok(lr) ) (rx,1) else (,0)) Viktig for overskuelig virkemåte: mellom LL og SC må det bare forekomme reg reg operasjoner slik at M[y] ikke blir forstyrret av «seg selv» det må ikke være for stor avstand mellom LL og SC, slik at man unngår systematisk prosessbytte mellom LL og SC in 147, våren 1999 parallelle datamaskiner 1 7