alternativer til felles hukommelse store parallelle datamaskiner Tema for denne forelesningen: in 147, våren 1999 parallelle datamaskiner 1 9

Transkript

1 Tema for denne forelesningen: store parallelle datamaskiner alternativer til felles hukommelse in 147, våren 1999 parallelle datamaskiner 1 9

2 Store parallelle datamaskiner Felles hukommelse på én buss er begrenset til så mange prosessorer man kan telle på én hånd! Skal man lage noe større så kan man koble dem sammen med nettverk. Eksempel: arbeidsstasjoner koblet sammen med et nettverk hver maskin har hver sin hukommelse Kommunikasjon: utveksle meldinger skape (illusjon av) felles hukommelse in 147, våren 1999 parallelle datamaskiner 2 0

3 Byggesten for store parallelle datamaskiner meldingsutveksling ikkekoherent felles hukommelse cachekoherent felles hukommelse CPU er memory systembuss bro I/Obuss adapter I/O Systembusser følger CPU I/Obusser har lenger levetid disker in 147, våren 1999 parallelle datamaskiner 2 1

4 Meldingsutveksling CPU er memory systembuss bro I/Obuss I/O overhead? disker in 147, våren 1999 parallelle datamaskiner 2 2

5 Meldingsutveksling iht. SVID Opprettelse av en meldingskø: #include <sys/ipc.h> #include <sys/msg.h> #define MSGKEY ((key_t)1) msgid = msgget( MSGKEY, 0700 IPC_CREAT ); status = msgsnd( msgid, buffer, msgsize, 0 ); status = msgrcv( msgid, buffer, maxsize, type, 0 ); Generisk melding: struct msgbuf long mtype; /* message type */ char mtext[]; /* message text */ } msg; Fjerning av en meldingskø: /* rydder opp i System V IPC ipcs, ipcrm, etc */ msgctl( msgid, IPC_RMID, NULL ) Andre funksjoner, se man ipcs og man ipcrm in 147, våren 1999 parallelle datamaskiner 2 3

6 Fraktalt bilde iht. formann/arbeider konseptet /* melding for spørsmål etter oppgaver og svar på disse */ struct msgtask long mtype; /* mottakeren ønsker å motta iht. dette feltet */ int verdi; /* informasjon om type melding */ pid_t avsender; /* pid en til avsender */ unsigned lx; } svar; /* data */ arbeider /* meldinger med utførte arbeidsstykker */ struct msgpiece long mtype; int verdi; pid_t avsender; unsigned lx; unsigned char linjen[ysize]; } linje; formann arbeider /* meldingstyper */ #define REQ_WORK 1 /* arbeider spør etter oppgave */ #define RESULT 2 /* arbeider returnerer resultat */ #define ACK_WORK 3 /* formann deler ut nytt arbeidsstykke */ #define NACK_WORK 4 /* formann har ikke mer arbeid å dele ut */ in 147, våren 1999 parallelle datamaskiner 2 4

7 Formannen: void formann() boolean ferdig = FALSE; int status, i, igjen = 0, lx = 0, terminerte = 0; while (! ferdig ) /* vent på melding til formannen */ status = msg_rcv((struct msgbuf*)&linje,sizeof(struct msgpiece),formannpid); /* svar på melding */ switch ( linje.verdi ) case ( RESULT ) : /* her kom et resultat */ /* mottok en linje i bildet */ for ( i = 0; i < YSIZE; i ++ ) x147plot( linje.lx, i, linje.linjen[i] ); } /* teller ned antall utestående svar */ igjen = 1; x147sync(); break; 25

8 } case ( REQ_WORK ) : /* ønske om mer arbeid */ svar.mtype = ((struct msgtask*)&linje) >avsender; if ( lx < XSIZE ) /* mer å gjøre */ svar.verdi = ACK_WORK; svar.lx = lx; lx += inkrement; igjen += inkrement; if ( lx > XSIZE ) igjen = (lx XSIZE); lx = XSIZE; } } else /* oppdraget er utført */ svar.verdi = NACK_WORK; terminerte += 1; } status = msg_snd((struct msgbuf*)&svar,sizeof(struct msgtask)); break; default: perror("feil type mottatt melding"); ferdig = TRUE; break; } /* ferdig når alle arbeiderne har fått beskjed om å gå hjem */ if ( terminerte == prosesser && igjen == 0 ) ferdig = TRUE; } in 147, våren 1999 parallelle datamaskiner 2 6

9 Arbeider: void arbeider() boolean ferdig = FALSE; int status; unsigned teller = 0; int minpid = getpid(); /* henter første oppgave */ svar.mtype = formannpid; svar.verdi = REQ_WORK; svar.avsender = minpid; status = msg_snd( (struct msgbuf*)&svar, sizeof(struct msgtask) ); while (! ferdig ) int lx, verdi, i; /* lokale kopier */ /* vent på respons merket med egen PID */ status = msg_rcv((struct msgbuf*)&svar,sizeof(struct msgtask),minpid); lx = svar.lx; verdi = svar.verdi; /* be om ny arbeidsoppgave mens forrige bearbeides */ if ( verdi!= NACK_WORK ) svar.mtype = formannpid; svar.verdi = REQ_WORK; 27

10 svar.avsender = minpid; status = msg_snd((struct msgbuf*)&svar,sizeof(struct msgtask)); } switch ( verdi ) case ACK_WORK: /* del var mer arbeid */ for ( i = 0; i < inkrement; i ++ ) teller += 1; /* gjør arbeidet */ arbeider_plot_col( lx + i, linje.linjen ); /* returnere svaret */ linje.mtype = formannpid; linje.avsender = minpid; linje.verdi = RESULT; linje.lx = lx + i; status = msg_snd((struct msgbuf*)&linje,sizeof(struct msgpiece)); } break; case NACK_WORK: /* ikke flere oppgaver */ ferdig = TRUE; break; default: perror("arbeider: feil svar.verdi"); exit( 1); break; } } /* sier fra hvor stor belastningen var */ exit(teller); } in 147, våren 1999 parallelle datamaskiner 2 8

11 Forøvrig: Alle filene ligger på ~in147/kode/meldinger SVID meldinger fungerer på maskiner med felles hukommelse (!) Likefullt illustrerer eksemplet programmering for meldingsutveksling Meldingsutveksling er så mye brukt at det finnes flere (!) standarder: Message Passing Interface Parallel Virtual Machine Ved å bruke slike systemer blir muligheten for å flytte kode mellom forskjellige maskiner god! in 147, våren 1999 parallelle datamaskiner 2 9

12 Trinn en melding må gjennom (forenklet!) 1) bruker komponerer meldingen i et buffer 2) meldingen blir sendt fra bruker, OS overtar 3) meldingen blir kopiert fra brukerens buffer til et buffer som hører OSet til 4) OSet overlater meldingen til nettverket 5) meldingen flyttes fra buffer i avsendernoden til buffer i mottakernoden 6) nettverket informerer OSet om at en melding har kommet (avbrudd) 7) mottaker ønsker en ny melding, OSet kobler dette ønsket med meldingen 8) meldingen kopieres fra OSet sitt buffer til mottakerens buffer 9) mottakeren har fått sin melding in 147, våren 1999 parallelle datamaskiner 3 0

13 Cachekoherent felles hukommelse CPU er memory systembuss bro I/Obuss adapter I/O hvor er det cacher? atomiske operasjoner? disker in 147, våren 1999 parallelle datamaskiner 3 1

14 Katalogbasert cachekoherens hukommelse Alle maskiner bidrar til ett stort felles adresserom Hvem har kopier? Er oversikten sentralisert, eller er den distribuert? «kart» for hver linje peker til neste osv Skal protokollen bruke write through eller write back? tilstand in 147, våren 1999 parallelle datamaskiner 3 2

15 SCI = Scalable Coherent Interface cacher: hukommelse v tag data monoprosessor cstate tag data multiprosessor 16 bit forwardid 16 bit backwardid 7 bit cstate 16 bit memid 48 bit tag 64 byte data SCI Tid for overføring av 64 byte: > cachekoherent maskin: 0,5 1 µs > over I/O: ~7µs in 147, våren 1999 parallelle datamaskiner 3 3

16 Felles hukommelse uten hardware cachekoherens CPU er memory utvider fysisk adresserom systembuss bro I/Obuss I/O disker in 147, våren 1999 parallelle datamaskiner 3 4

17 Meldinger og felles hukommelse lese fra hukommelsen: data = load( adresse ) skrive til hukommelsen: store( data, adresse ) Melding: struct memory_operasjon unsigned operasjonstype; unsigned adresse; unsigned data[]; }; Avveininger: mengde data: cachelinje < > side implementasjon: maskinvare < > programvare plassering av data: buffer i hukommelsen < > cache in 147, våren 1999 parallelle datamaskiner 3 5

18 Fra eksempelet på side 654 Characteristic Bandwidth from node to network Interconnect latency HW latency to/from network SW overhead sending to network SW overhead receiving from network Ethernet MB/sec 15µs 6µs 200µs 241µs ATM 10MB/sec 50µs 6µs 207µs 360µs pakkestørrelse: 64 byte (én cachelinje) overføringstid: pakkestørelse/overføringshastighet total forsinkelse: overføringstid + HW/SW forsinkelser overføringstid for Ethernet : 57µs overføringstid for ATM : 6,4µs total forsinkelse for Ethernet : 519µs [8µs/byte] total forsinkelse for ATM : 630µs [10µs/byte] En prosessor på 100 MHz «utfører» 100 instruksjoner på ett µs. Det blir altfor dyrt å skape felles hukommelse over et nettverk under slike forhold! (større enheter hjelper) in 147, våren 1999 parallelle datamaskiner 3 6

19 Shared Virtual Memory (SVM) introduserer nettverket som «paging device» bruker «segmentation fault» som indikasjon deler sider (pages), disse er typisk på 4 KB Forsinkelser: Ethernet: 4103µs [1,00µs/byte] ATM: 1033µs [0,25µs/byte] + kan bruke virtuell hukommelse som cache «false sharing» tilstand «cache» virtuelt adresserom sider som hører til på denne noden in 147, våren 1999 parallelle datamaskiner 3 7

20 Moderne nettverksteknologi Erstatter meldingsutveksling med vinduer inn i andre noders hukommelser Maskin A Maskin B A.hukommelse B.hukommelse Skygge av utsnitt av B.hukommelse Nettverksadaptere: Programmereren må være klar hvordan data blir cachet, og tvinge data ut fra cachen til hukommelsen Memory Channel fra Digital ServerNet fra Tandem SCI fra bl.a. Dolphin Raskere nettverksteknologi kommer til unnsetning! Scali Computers [ in 147, våren 1999 parallelle datamaskiner 3 8

21 Meldingsutveksling vs. felles hukommelse meldingsutveksling: > lett å lage > vanskelig å bruke felles hukommelse: > vanskelig å lage > lett å bruke Standardiseringsarbeid Message Passing Interface (MPI) [ Parallel Virtual Machine (PVM) [ Open MP [ in 147, våren 1999 parallelle datamaskiner 3 9