IT-tunge prosjekter ved MatNat Icemass ERCen GenAP: Nasjonal analyse- og lagringsplattform for DNA-sekvensdata i helsevesenet Envisage: Engineering virtualized services Norwegian utilization of the Swedish Solar Telescope on La Palma
Icemass Derive and analyze glacier thickness changes using satellite laser, radar altimetry and digital elevation models, and convert these to a global glacier mass budget. http://www.mn.uio.no/geo/english/research/projec ts/icemass/
Icemass: Lagrings- og nettverksutfordringer Ønske om at alle prosjektdata (50TB) skal være samme sted, nåbar fra Linux og Windows. Størrelsen på hver enkelt fil og noen av programpakkene - setter krav til lav latens mot lagring
Icemass: Størrelse på hver enkelt fil Behov for nettverk som er raskt nok til at bildene hentes fra lagringsløsningen i løpet av sekunder, ikke minutter Sekunder for å åpne ett bilde av maks størrelse: Datasettet består av store mengder bilder, hvert på 100-1000 MB. Fast Ethernet: 12 MB/s (også praktisk) Prosjektets maskiner har Gigabit Ethernet: 125 MB/s (praktisk 45 95 MB/s) Geologibyggets nettverk er «fast ethernet». Det meste av kablingen i Geologibygget klarer akkurat gigabit men telematikkskapene har ikke plass til utstyret.
Icemass: Implementerte løsninger Virtualisere linux- og windows regnemaskiner på samme server, integrert mot lagringen, for optimalt arbeidsmiljø. Gigabit til alle Icemass' maskiner for lokal jobbing mot denne lagringen (eksperimentelle settinger + fleksibilitet) direkte og / eller sync
Icemass: Virtuell rigg USITs lagringssky Disk (50TB) Virtuell RHEL: «Nunatak» 50TB lagring Programvare Virtuell Win: «Geo-hiperf» FCsvitsj FCsvitsj 1000 MB/s 1000 MB/s Fysisk: «Esx-geo01» 16 cores 320GB ram Fysisk: «Esx-geo02» 16 cores 320GB ram 250 MB/s - Failover for Esx-geo01 På vei: «Esx-geo03» 24 cores 512GB ram SSD-cache 250 MB/s Programvare Geologibygget - Overtar for Esx-geo01
Icemass: protokoller Data til windowsmaskiner: CIFS treig (RHEL 6) SMB2.1 raskere (RHEL 7 nå) Markant forbedring (ikke kvantifisert). Softwarestakken vår er bygget på RHEL6, vi rebygger den nå. Interaktiv linuxbruk fra windows: X-win32 treig FastX rask
Icemass: programmer Ubuntu-spesifikke, sære linuxprogrammer krever at vi kompilerer egen versjon av kompilatoren spesifikt for pakka. 32-bits programvare er en flaskehals. Flere av programpakkene til prosjektet har dårlig ytelse pga dette og annet. 1988
Icemass: Saker i forhold til USIT Avtale på lagring Nett-drift: Overdrevne prisestimater Overdrevne tidsestimater Programvare: Oversikt over hva vi har lisens på Status på infrastruktur
GenAP: Nasjonal analyse- og lagringsplattform for DNAsekvensdata i helsevesenet http://www.mn.uio.no/ifi/forskning/prosjekter/genap Målet for prosjektet er å utvikle en IKTinfrastruktur for sikker lagring, analyse og deling av humane genomdata. Denne infrastrukturen skal ivareta brukernes krav til funksjonalitet, samt lovens krav til personvern, pasientrettigheter og informasjonssikkerhet. Prosjektet er et samarbeid mellom OUS, Gi-gruppen ved Ifi og TSD ved Usit.
Envisage: http://www.envisage-project.eu/?page_id=266 EU-prosjekt der Ifi er prosjektkoordinator. Utfordringen med dette prosjektet er at UiO/Usit ikke tilbyr prosjektrammeverket som skal til for å styre et slikt prosjekt med mange eksterne deltagere. Løsningen er at prosjektet har sin egen VMwareinstans og driftspersonell, og de kjører selv det de har behov for av versjonskontroll, prosjektverktøy, trackingsystem, web, osv. De har også en egen ldap-server for å enklest mulig inkludere de eksterne medlemmene.
Norwegian utilization of the Swedish Solar Telescope on La Palma http://www.mn.uio.no/astro/english/research/projects/sst/ Provide the necessary personnel and equipment to secure an efficient Norwegian use of the world leading Swedish 1m Solar Telescope on La Palma: Verdens beste bakkebaserte solteleskop. 2400 moh, vi har 42 observasjonsdager pr. år. Observasjonsteknikk der man tar 30 bilder pr. sek i flere bølgelengder og i etterkant fjerner effekten av jordatmosfæren med "Multi-Object Multi Frame Blind Deconvolution" (MOMFBD) teknikken.
Norwegian utilization of the Swedish Solar Telescope on La Palma Lagring: En god dag genererer over 1 million filer og 1-3TB rådata. Vi har ca. 250TB rådata online og resten i tapearkiv hos USIT. Krevende etterprosessering (MOMFBD) av rådata til analyserbare data. 1 time soltid krever ca. 2 CPU år regnetid i postprosessering. Før MOMFBD Etter MOMFBD
Norwegian utilization of the Swedish Solar Telescope on La Palma Prosjektserver: Dell PowerEdge R720: 256GB minne, 24 kjerner, FC-kort, 10 Gb ethernet, raid systemdisk Analyse-cluster: 14 stk Dell C8220 noder, hver med 128GB minne, 16 kjerner, infiniband, 10GB ethernet 1 stk Dell PowerEdge R820, 256GB minne, 32 kjerner, infiniband Lagring: Dell PowerVault-løsning med 270TB diskplass netto (etter RAID6, hotspares og filsystem)
Norwegian utilization of the Swedish Solar Telescope on La Palma Infrastruktur (delte ressurser): Mallanox 56GB FDR Infiniband stack Cisco Nexus 5596UP 96 port 10 Gb switch. Force10 lav latency 1Gb switcher (metadatanettverk) Arkivering: Alle rådata tares sammen for hver observasjonsdag. I samråd med restore@usit arkiveres disse i max 2 eksemplarer på tape. Det gjør at vi kan slette eldre rådata fra disksystemet, men likevel få tilgang til dem ved behov. Arbeidsstasjoner: Hele solgruppa gis tilgang til prosesserte data via StorNext delt filsystem. Ca. 20 Mac Pro OSX-maskiner og linux arbeidsstasjoner aksesserer data direkte via FibreChannel.
Icemass: Lærdommer for instituttet Instituttstrategi: HPC IT-strategi: HPC IT-budsjett: Satsing på HPC eller noe annet ikke finansiert
Icemass: Lærdommer for instituttet Instituttstrategi: HPC IT-strategi: HPC Interaktiv visualisering av store datamengder? IT-budsjett: Satsing på HPC eller noe annet ikke finansiert
Sverdrup (regning) 250MB/s Forskningsparken serverrom 125MB/s MetOs Vann (lagring) 125MB/s Geofag: Nettverksflaskehalser 125MB/s Disk FC FC Esxgeo01 Esxgeo02 Backup Norstore Geologibygget 250MB/s Hovedsvitsj Svitsj 12 MB/s CEED Abel HPC 125MB/s UiO-ringen er den lokale nettverksmotorveien USITs serverrom
Icemass' maskiner Nettverksflaskehalser i Geologibygget Telematikkrom 2etg PC Svitsj «utjevning» 250MB/s til bygget 125 MB/s Telematikkrom Uetg Hovedsvitsj 125 MB/s Telematikkrom Kjelleren Det er ikke plass til raskt nettverksutstyr i «Telematikkrom 2etg» Antallet utjevninger mellom etasjene er begrenset Konsekvenser: For dyp nettverksstruktur, begrenset mulighet for gigabit
Icemass: ressurser vi trenger fremover, og usikkerheter Flytte telematikkrom. Kostnader rundt 100.000,-. Har fått nødvendige penger til noe mer nettverksutstyr Ny server for Icemass? Usikkerheter: Kvalitet på programvaren Hastigheten på USITs lagringsløsning. Jeg tror den er bra nok; er den ikke det kan vi kjøpe en høyhastighets lagringsløsning vi kan koble på virtriggen. Klienter
Nettverksstrukturen vår er for dyp: Icemass: nettverk 250 MB/s Til UiO-ringen Vår eneste svitsj med 125 MB/s overalt 75 maskiner deler 125 MB/s Alle Icemass' maskiner henger rett på denne svitsjen. Det er vanskelig i praksis (gir liten oversikt grunnet blind patching gjennom etasjene), skalerer ikke og gjør nettverksstrukturen vår for dyp.
Studadm Telematikkskap 2. etg 2. etg vestibyle Ønsket ny plassering; «telefonkiosken» i 2. etg IT-kontor IT-kontor Telematikkskap 2. etg