IT-tunge prosjekter ved MatNat

Transkript

1 IT-tunge prosjekter ved MatNat Icemass ERCen GenAP: Nasjonal analyse- og lagringsplattform for DNA-sekvensdata i helsevesenet Envisage: Engineering virtualized services Norwegian utilization of the Swedish Solar Telescope on La Palma

2 Icemass Derive and analyze glacier thickness changes using satellite laser, radar altimetry and digital elevation models, and convert these to a global glacier mass budget. ts/icemass/

3 Icemass: Lagrings- og nettverksutfordringer Ønske om at alle prosjektdata (50TB) skal være samme sted, nåbar fra Linux og Windows. Størrelsen på hver enkelt fil og noen av programpakkene - setter krav til lav latens mot lagring

4 Icemass: Størrelse på hver enkelt fil Behov for nettverk som er raskt nok til at bildene hentes fra lagringsløsningen i løpet av sekunder, ikke minutter Sekunder for å åpne ett bilde av maks størrelse: Datasettet består av store mengder bilder, hvert på MB. Fast Ethernet: 12 MB/s (også praktisk) Prosjektets maskiner har Gigabit Ethernet: 125 MB/s (praktisk MB/s) Geologibyggets nettverk er «fast ethernet». Det meste av kablingen i Geologibygget klarer akkurat gigabit men telematikkskapene har ikke plass til utstyret.

5 Icemass: Implementerte løsninger Virtualisere linux- og windows regnemaskiner på samme server, integrert mot lagringen, for optimalt arbeidsmiljø. Gigabit til alle Icemass' maskiner for lokal jobbing mot denne lagringen (eksperimentelle settinger + fleksibilitet) direkte og / eller sync

6 Icemass: Virtuell rigg USITs lagringssky Disk (50TB) Virtuell RHEL: «Nunatak» 50TB lagring Programvare Virtuell Win: «Geo-hiperf» FCsvitsj FCsvitsj 1000 MB/s 1000 MB/s Fysisk: «Esx-geo01» 16 cores 320GB ram Fysisk: «Esx-geo02» 16 cores 320GB ram 250 MB/s - Failover for Esx-geo01 På vei: «Esx-geo03» 24 cores 512GB ram SSD-cache 250 MB/s Programvare Geologibygget - Overtar for Esx-geo01

7 Icemass: protokoller Data til windowsmaskiner: CIFS treig (RHEL 6) SMB2.1 raskere (RHEL 7 nå) Markant forbedring (ikke kvantifisert). Softwarestakken vår er bygget på RHEL6, vi rebygger den nå. Interaktiv linuxbruk fra windows: X-win32 treig FastX rask

8 Icemass: programmer Ubuntu-spesifikke, sære linuxprogrammer krever at vi kompilerer egen versjon av kompilatoren spesifikt for pakka. 32-bits programvare er en flaskehals. Flere av programpakkene til prosjektet har dårlig ytelse pga dette og annet. 1988

9 Icemass: Saker i forhold til USIT Avtale på lagring Nett-drift: Overdrevne prisestimater Overdrevne tidsestimater Programvare: Oversikt over hva vi har lisens på Status på infrastruktur

10 GenAP: Nasjonal analyse- og lagringsplattform for DNAsekvensdata i helsevesenet Målet for prosjektet er å utvikle en IKTinfrastruktur for sikker lagring, analyse og deling av humane genomdata. Denne infrastrukturen skal ivareta brukernes krav til funksjonalitet, samt lovens krav til personvern, pasientrettigheter og informasjonssikkerhet. Prosjektet er et samarbeid mellom OUS, Gi-gruppen ved Ifi og TSD ved Usit.

11 Envisage: EU-prosjekt der Ifi er prosjektkoordinator. Utfordringen med dette prosjektet er at UiO/Usit ikke tilbyr prosjektrammeverket som skal til for å styre et slikt prosjekt med mange eksterne deltagere. Løsningen er at prosjektet har sin egen VMwareinstans og driftspersonell, og de kjører selv det de har behov for av versjonskontroll, prosjektverktøy, trackingsystem, web, osv. De har også en egen ldap-server for å enklest mulig inkludere de eksterne medlemmene.

12 Norwegian utilization of the Swedish Solar Telescope on La Palma Provide the necessary personnel and equipment to secure an efficient Norwegian use of the world leading Swedish 1m Solar Telescope on La Palma: Verdens beste bakkebaserte solteleskop moh, vi har 42 observasjonsdager pr. år. Observasjonsteknikk der man tar 30 bilder pr. sek i flere bølgelengder og i etterkant fjerner effekten av jordatmosfæren med "Multi-Object Multi Frame Blind Deconvolution" (MOMFBD) teknikken.

13 Norwegian utilization of the Swedish Solar Telescope on La Palma Lagring: En god dag genererer over 1 million filer og 1-3TB rådata. Vi har ca. 250TB rådata online og resten i tapearkiv hos USIT. Krevende etterprosessering (MOMFBD) av rådata til analyserbare data. 1 time soltid krever ca. 2 CPU år regnetid i postprosessering. Før MOMFBD Etter MOMFBD

14 Norwegian utilization of the Swedish Solar Telescope on La Palma Prosjektserver: Dell PowerEdge R720: 256GB minne, 24 kjerner, FC-kort, 10 Gb ethernet, raid systemdisk Analyse-cluster: 14 stk Dell C8220 noder, hver med 128GB minne, 16 kjerner, infiniband, 10GB ethernet 1 stk Dell PowerEdge R820, 256GB minne, 32 kjerner, infiniband Lagring: Dell PowerVault-løsning med 270TB diskplass netto (etter RAID6, hotspares og filsystem)

15 Norwegian utilization of the Swedish Solar Telescope on La Palma Infrastruktur (delte ressurser): Mallanox 56GB FDR Infiniband stack Cisco Nexus 5596UP 96 port 10 Gb switch. Force10 lav latency 1Gb switcher (metadatanettverk) Arkivering: Alle rådata tares sammen for hver observasjonsdag. I samråd med restore@usit arkiveres disse i max 2 eksemplarer på tape. Det gjør at vi kan slette eldre rådata fra disksystemet, men likevel få tilgang til dem ved behov. Arbeidsstasjoner: Hele solgruppa gis tilgang til prosesserte data via StorNext delt filsystem. Ca. 20 Mac Pro OSX-maskiner og linux arbeidsstasjoner aksesserer data direkte via FibreChannel.

16

17 Icemass: Lærdommer for instituttet Instituttstrategi: HPC IT-strategi: HPC IT-budsjett: Satsing på HPC eller noe annet ikke finansiert

18 Icemass: Lærdommer for instituttet Instituttstrategi: HPC IT-strategi: HPC Interaktiv visualisering av store datamengder? IT-budsjett: Satsing på HPC eller noe annet ikke finansiert

19 Sverdrup (regning) 250MB/s Forskningsparken serverrom 125MB/s MetOs Vann (lagring) 125MB/s Geofag: Nettverksflaskehalser 125MB/s Disk FC FC Esxgeo01 Esxgeo02 Backup Norstore Geologibygget 250MB/s Hovedsvitsj Svitsj 12 MB/s CEED Abel HPC 125MB/s UiO-ringen er den lokale nettverksmotorveien USITs serverrom

20 Icemass' maskiner Nettverksflaskehalser i Geologibygget Telematikkrom 2etg PC Svitsj «utjevning» 250MB/s til bygget 125 MB/s Telematikkrom Uetg Hovedsvitsj 125 MB/s Telematikkrom Kjelleren Det er ikke plass til raskt nettverksutstyr i «Telematikkrom 2etg» Antallet utjevninger mellom etasjene er begrenset Konsekvenser: For dyp nettverksstruktur, begrenset mulighet for gigabit

21 Icemass: ressurser vi trenger fremover, og usikkerheter Flytte telematikkrom. Kostnader rundt ,-. Har fått nødvendige penger til noe mer nettverksutstyr Ny server for Icemass? Usikkerheter: Kvalitet på programvaren Hastigheten på USITs lagringsløsning. Jeg tror den er bra nok; er den ikke det kan vi kjøpe en høyhastighets lagringsløsning vi kan koble på virtriggen. Klienter

22 Nettverksstrukturen vår er for dyp: Icemass: nettverk 250 MB/s Til UiO-ringen Vår eneste svitsj med 125 MB/s overalt 75 maskiner deler 125 MB/s Alle Icemass' maskiner henger rett på denne svitsjen. Det er vanskelig i praksis (gir liten oversikt grunnet blind patching gjennom etasjene), skalerer ikke og gjør nettverksstrukturen vår for dyp.

23 Studadm Telematikkskap 2. etg 2. etg vestibyle Ønsket ny plassering; «telefonkiosken» i 2. etg IT-kontor IT-kontor Telematikkskap 2. etg