INF2270. Omid Mirmotahari SUPERSCALAR CPUs

Transkript

1 INF2270 Omid Mirmotahari SUPERSCALAR CPUs

2 Scalar Processor Det vi har snakket om hibl er scalar processors De kan bare uføre en operasjon av gangen, ingen i parallell

3 Vector Processors Høy ytelse Cray- 1 i vector registers of 64 words of 64- bits length SIMD (Single instrucwon mulwple datastream) Dedikert pipeline arkitektur som henter inn en enkelt instruksjon og execute (64 stk, sparer 63 fetch)

4 MulW processor Billigere å kombinere standars CPUer Kan gi større kommunikasjons overhead Arkitekturer som deler samme minne/system bus lider veldig. Von Neumann arkitekturs flaskehals blir verrere.

5 Clusters / Grids Billig og leb Wlgjengelig for vanlige brukere er ethernet clusters STORE communicawons overhead.

6 MulW Core IC har blib billigere og man kan lage særdeles små enheter. Gjør det mulig å ha flere core på samme chip Fordel: RASK communikasjon mellom kjernene

7 Superscalar prinsipp Prinsippet er gammelt Hente inn instruksjoner i parallell De har flere funksjonelle enheter

8 Superscalar Principle (2) Superscalar processors were introduced even before mulw- core and all modern designs belong to this class. Like vector processors they are actually capable of execuwng instrucwons in parallel, but in contrast to vector computers, they are different instrucwons. Instead of replicawon of the basic funcwonal units n- Wmes in hardware (e.g. the ALU), superscalar processors exploit the fact that there already are mulwple funcwonal units. For example, many processors do sport both an ALU and a FPU. Thus, they should be able to execute an integer- and a floawng- point operawon simultaneously. Data access operawons do not require the ALU nor the FPU (or have a dedicated ALU for address operawons) and can thus also be executed at the same Wme.

9 Superscalar For this to work, several instrucwons have to be fetched in parallel, and then dispatched, either in parallel, if possible, or in sequence, if necessary. A central addiwonal stage is an reorder buffer (ROB) that reorders the microinstrucwons for beber throughput. The pipeline is then divided into parallel execuwon units for different types of instrucwons. Superscalar processors can ideally achieve an average clock cycle per instrucwon (CPI) smaller than 1, and a speedup higher than the number of pipelining stages k (which is saying the same thing in two different ways). Compiler level support can group instrucwons to opwmize the potenwal for parallel execuwon.

10 Intel Nehalem Arkitektur Intel Core i7 bruker Nehalem arkitektur. 14 pipeline stages Kan execute innwl 6 instruksjoner i parallell

11 Superscalar Arkitektur Elementer ROB: (Micro- instrucwon reorder buffer) Stores all instrucwons that await execuwon and dispatches them for out- of- order execuwon when appropriate. Note that, thus, the order of execuwon may be quite different from the order of your assembler code. Extra steps have to be taken to avoid and/or handle hazards caused by this reordering.

12 Superscalar Arkitektur Elementer ReWrement stage: The pipelining stage that takes care of finished instrucwons and makes the result appear consistent with the execuwon sequence that was intended by the programmer. In parwcular it delays write back to the register file of results along a branch taken due to branch predicwon unwl it is clear that the predicwon was correct.

13 Superscalar Arkitektur Elementer ReservaWon stawon registers: A single instrucwon reserves a set of these registers for all the data needed for its execuwon on its funcwonal unit. Each funcwonal unit has several slots in the reservawon stawon. Once all the data becomes available and the funcwonal unit is free, the instrucwon is executed.

14 Parallelle datamaskiner Ønsker å øke eksekveringshaswgheten Wl programmer man eksekverer på en maskin Ideelt seb ønsker man: Hvis 1 prosessor bruker Wd n på program X, skal m prosessorer bruke Wden n/m på å kjøre X I praksis er dete ikke mulig av flere årsaker: Visse deler av et program er sekvensielle Det finnes innbyrdes avhengigheter som gjør at visse deler av programmet må vente på andre deler. Det finnes problemer som ikke lar seg parallellisere

15 Parallelle datamaskiner For at et program skal eksekveres (helt eller delvis) i parallell, må det swlles krav Wl både programmeringsverktøy og maskinvare: Programmet må skrives i et programmeringsspråk som støber parallellitet OperaWvsystemet må støbe ekte parallell eksekvering Det bør finnes verktøy for å parallellisere et program Maskinvaren må inneholde minst 2 prosessorer og mekanismer som gjør at de kan kommunisere sammen og synkronisere eksekveringen.

16 Datamaskin klassifisering SISD: (Single InstrucWon Stream, Single Data Stream) Ikke parallell, vanlig én- prosessor arkitektur med eb enkelt minne SIMD: (Single instrucwon Stream, MulWple Data Stream) En prosesseringsenhet med mange uavhengige minne MISD: (MulWple InstrucWon Streams, Single Data Streams) MulW- prosessor med eb enkelt minne MIMD: (MulWple InstrucWon Streams, MulWple Data Streams) MulW- prosessor arkitektur med egne delt og felles data

17 Billebreservasjon Prosessorene må kommunisere hvis de aksesserer samme minne. A: Er billeb X ledig? B: Er billeb X ledig? F: Ja, X ledig A: Reserver billeb X B: Reserver billeb X F: Reservet billeb X for.

18 Data- aksess For å kontrollere data- aksess finnes to teknikker for synkronisering: Låsing. Meldingsutveksling.

19 Låsing Kun en prosessor har Wlgang Wl en variabel eller et dataområde ad gangen. En prosessor som ønsker å aksessere en variabel, sjekker først om låse- bit et er sab. Hvis låse- bit et ikke er sab, seber prosessoren bit et, og aksesserer variabelen. Hvis låse- bit et er sab, betyr det at en annen prosessor bruker variabelen og den kan ikke aksesseres. Prosessoren som seber låse- bit et må frigi det ( låse opp ) når variabelen ikke lenger brukes. Lese- låse operasjonen må være atomisk

20 Operasjoner for å lese fra og skrive Wl meldingskøen må beskybes som ved delt minne Meldingsutveksling må brukes hvis parallelle prosessorer har private minneområder. Støber mulwprosessornebverk Meldingsutveksling

21 Sammenkobling av mulwprosessorer

22 Én- buss systemer har flere fordeler: Enkelt- prosessorer er mindre enn en integrert mulwprosessor. Cache kan redusere trafikken på systembussen. Det finnes mekanismer for å holde minne og cache konsistene i mulwprosessor- omgivelser. Cache- konsistens må garanteres i mulwprosessor- systemer: Problem: Fordi flere prosessorer kan oppdatere samme variabel, finnes det Wdsrom hvor lokal cache er oppdatert, men hovedminnet ennå ikke er oppdatert (jfr billeb- reservasjon). Hva skjer hvis en annen prosessor leser hovedminnet i debe Wdsrommet?

23 Cache- koherens protokoller brukes for å sikre at innhold i lokale cacher og hovedminnet samsvarer. Snooping er den mest vanlige teknikken: Lesing: Intet problem med flere kopier. Skriving: Kun en prosessor får skrive, og alle andre kopier i lokale cacher må oppdateres. Snooping- protokollen holder styr cacher som inneholder et objekt som skal skrives Wl. Ved read miss sjekkes alle lokale cacher og oppdaterer cachen som fikk read miss. Ved write miss må alle cacher som inneholder kopi av objektet som ga write miss oppdateres

24 Kopier som er feil eber skriveoperasjon kan: merkes som ugyldige ( write- invalidate ), eller oppdateres med en gang ( write- update ) Write- invalidate Info om ugyldig blokk sendes ut på bussen. Prosessorer som har kopier av disse i lokal cache merker disse som ugyldige. Prosessoren som skrev oppdaterer dereber sin egen cache. De andre cachene må selv sørge for å oppdatere seg selv ved behov (lesing eller skriving vil allwd gi cache miss ) Tillater at mange kan lese, men kun en prosessor kan skrive av gangen.

25 Write- update Den oppdaterte verdien sendes ut på bussen. Prosessorer som har kopier av disse i lokal cache skriver inn den nye verdien. Tilsvarer write- through ved SISD- arkitektur Bruker bussen overe Oppdaterte verdier blir raskere Wlgjengelig i andre lokale cacher