NorStore - prosjektgruppemøte Agenda:! NorStore 2010-2013 (kort intro)! Forslag til ny modell for infrastruktur! Brukerundersøkelse / status! Basistjenester! Data-management (dok./meta)! Brukermiljø og vertikale tjenester! Utviklingsprosjekt (Sensitive Data)! Administrasjon (MAS), overvåking (Nagios)! Investeringsplan og behov 1 06-10-2010
NorStore - intro Infrastrukturen inkluderer: - koordinering av investeringer - drift av lagringsressurser, verktøy og tjenester - brukerstøtte (help-desk) - vedlikehold av kjernetjenester som er tilgjengelig på tvers av alle ressurser i infrastrukturen - applikasjonsstøtte, utvikling og vedlikehold av fagspesifikke tjenester - trening, beste praksis og retningslinjer for effektivt bruk av infrastrukturen, for håndtering av data og for å øke gjenbruk av data - sikker og transparant tilgang til distribuert data - samarbeid med relevante aktører i Norge og Europa 06-10-2010 2
NorStore - intro Forskningsprosjekter Forskningsinfrastruktur Infrastruktur A Samfunn B Prosjekt C fagspesifikke tjenester 10G UiT kjernetjenester, brukerstøtte NTNU UiA utstyr, drift Org. B Inst. C UiB 10G 10G 10G UiO NorStore 06-10-2010 3
NorStore - intro Utfordringer for NorStore inkluderer:! Bevaring av data (langsiktig og kortsiktig), persistent storage! Metadata: etablering av minimumskrav til beskrivelse av data og hvordan det tilknyttes datasamlingene! Gjenbruk: muliggjøre langsiktig bruk av data, datakonvertering, osv! Integrasjon av infrastrukturens tjenester i anvendelseområder(workflow): brukergrensesnitt, tilgjengeliggjøring av data, streaming, gjenfinning av data, visualisering, osv! Håndtering av sensitive data (ihht personsopplysningsloven)! Ansvarsforhold mellom bruker/forsker og infrastrukturen! Kartlegging av brukerbehov. Mange fagfelt har sin egen praksis og datamodell (nasjonalt og internasjonalt, moden og umoden)! Kvalitetssikring av data 06-10-2010 4
NorStore - brukerundersøkelse Ønsker å gjennomføre en brukerundersøkelse for NorStore:! andeler for data-typer (kilde, data, kopi)! bruksmønster! totale lagringsbehov de neste 3-5 årene! hvilke metoder ønskes for dataoverføring?! behov for deling av data? behov for generisk deling eller eget?! hvilken andel av data kan deles og evt. under hvilke retningslinjer? (proprietary, public, private)! eksisterende dokumentasjon og meta-data 06-10-2010 5
06-10-2010 6 NorStore - status VMware 0 home 1 irods 2 datapakken 0 cloudstor 1 tekstlab 4 storebioinfo 20 sgp 3 rr-research 30 rr-genombio 8 quiet 30 quantumcatspec 2 pgp 38 epvote 0 WiMod 3 OxyHystor 2 UUS-sequencing 30 MicroShare 20 LTR 1 Hyperbrowser 5 cees 7 norstore_osl norstore_trd tungregning 1 ssb 4 ns2980k 10 NoSerC 40 norcowe 10 norclim 40 ipy-thorpex 12 genetools 1 emep 30 egilstoren 10 db 1 damocles 2 brm 20 bcm 25 EU-ArticTippin 2 CFD_ntnu 20
NorStore - status Omsøkt lagringsvolum 4000 3000 2000 1000 0 2010 2011 2012 2009 Disk Tape 06-10-2010 7
900 NorStore - status Omsøkt lagringsvolum Disk evolution 1500 Tape evolution 675 1125 450 750 225 375 0 2010 2011 2012 2013 0 2010 2011 2012 2013 klima fysikk bioinfo medisin lingvistikk kjemi teknologi energi 06-10-2010 8
NorStore - infrastruktur Modell 1 (dagens modell) UiT NTNU disk/ backup UiB tape UiO disk/ backup 06-10-2010 9
NorStore - infrastruktur Modell 2 UiT NTNU disk UiB tape backup disk UiO 06-10-2010 10
NorStore - infrastruktur Modell 3 UiT disk NTNU disk norstore-main UiB disk backup tape disk UiO 06-10-2010 11
NorStore - basistjenester Basistjenester for NorStore:! Overføring av data: en del brukere ønsker en praktisk måte å laste opp/ned data uten bruk av sftp/scp (API basert på WebServices, WebDAV(https))! Deling av data: ønsker å oppnå en enkel deling av data med brukere uten konto (irods, WebDAV, API/WebServices)! Strukturering av data: trenger en måte å skille mellom data typer (eget lysark)! Off-site backup: backup til tape er nødvendig for å frigi diskplass og oppnå kostnadseffektiv utnyttelse av ressursene! Prosjektadministrasjon: integrert administrativt system (MAS) for koordinatorer og prosjektledere! Meta/dokumentasjon: minimalt sett med FELLES meta-data for alle data som lastes opp på NorSTore 06-10-2010 12
NorStore - data mgmt. Data kan lagres i tre forskjellige modus:! BACKUP - versjoner av filer sikres i henhold til normale backup regimer (maks[ett år eller 10 versjoner]). Kvoter per avtale med bruker/prosjekt! REPLICATE - ingen versjonshistorikk av filene, men en sikkerhetskopi lagres på en annen site! NO_REPLICATE - ingen versjoner og ingen sikkerhetskopi lagres, dvs. det antas data er lagret andre steder på uavhengig(e) site(s) 06-10-2010 13
NorStore - data mgmt. Inndeler data i følgende kategorier (datatyper):! dynamiske data (lagringsmodus BACKUP); data som endres, f.eks. resultat og analyse filer! statiske online data (lagringsmodus REPLICA); data som ikke endres, men som må være direkte tilgjengelig, f.eks. nyere rådata som det ofte jobbes med! statiske offline data (lagringsmodus NO_REPLICA); data som ikke endres og som ikke trenger å være direkte tilgjengelig, f.eks. sekundær kopi, langtidslagrede rådata 06-10-2010 14
NorStore - brukermiljø Avansert brukerstøtte stilling:! dokumentering av data! kvalitetssikring! standardisering! dokumentere tilgang til data! arbeidsflyt og integrasjon med NorStore! identifisere/formidle behov i miljøet 06-10-2010 15
NorStore - brukermiljø Brukermiljøstyrt struktur:! bioinformatikk! klima/vindenergi! lingvistikk (?) bioinfo 43% Disk 2010 medisin lingvistikk teknologi kjemi energi 4% 0% 2% 1% klima 42% fysikk 7% klima fysikk bioinfo medisin lingvistikk kjemi teknologi energi 06-10-2010 16
NorStore - StoreBioInfo... PriorEditor helpdesk- TRD esysbio helpdesk- BGO AUS- BGO NorStore prosjektgruppe norstoretrd... Hyperbrowser helpdesk- OSL AUS- OSL UNINETT Sigma norstorebgo norstoreosl High Thr. Sequencing... helpdesk- TOS 06-10-2010 17
NorStore - data mgmt. brukermiljø X APIs norstore sftp/scp bruker N brukermiljø Y https brukermiljø Z dcache dcache bruker M site-node A site-node B 06-10-2010 18
NorStore - SHSD Utviklingsprosjekt for NorStore:! Erfaringene fra pilotprosjektet tilsier at en nasjonal tjeneste i størst mulig grad bør bygges på eksisterende (NorStore) infrastruktur (fremfor dedikert hardware). Man bør kombinere erfaringene fra pilotprosjektet med de nasjonale hensyn i NorStore. F.eks. vil det i tilknytning til administrasjon av prosjekter være behov for et felles nasjonalt system som håndterer dette og nye autentiseringsmekanismer for brukere på sikkerhetsnivå 3 og 4 bør vurderes implementert i nasjonale tjenester som Feide.! Uninett Sigma vil om kort tid inngå avtale med USIT/VD for oppstart av utviklingsprosjektet Sikker håndtering av sensitive data. Prosjektet eies av NorStore (som definerer mandatet) og gjennomføres av USIT. Prosjektet berør både lagring av sensitive data og beregningsbehovet i tilknytning til sensitive data. Utfordringene inkluderer nasjonale behov, tilknytning mot Norden og EU (standardisering), juridiske og administrative aspekter, optimal og kostnadseffektiv integrasjon i eksisterende infrastruktur. 06-10-2010 19
NorStore - admin + overvåking Tilpasninger til NorStore:! Brukermiljø utgjør større NorStore prosjekt (som består av sub-prosjekt) der administrasjon og innbyrdes tildeling gjøres av styringsgruppe for miljøet! MAS utvides for å gi mulighet for delegering av administrative oppgaver til helpdesk-gruppe (for opprettelse av brukere, grupper, kvoter osv)! Overvåking av ressursutnyttelse per prosjekt, sub-prosjekt, tilgjengelighet, forbruk inndelt i kategorier (data-typer), kvalitetssikring (inkl. dokumentering)! 1 nov 2010: Integrasjon av MAS i NorStore! 1 des 2010: Elektronisk brukerregistrering og godkjenning! 1 jan 2011: Systembrukerintegrasjon via API 06-10-2010 20
NorStore - investeringsplan For 2011 trenger vi (basert på søknader) lagring av 1350TB på disk og 1200TB på tape. Data består av dynamiske (5%), statisk online (60%) og statisk offline (35%). Med backup og replica trenger vi da lagring av ca. 3000TB på tape:! INVEST1: kjøpe inn i tape-robot i Bergen (BCCS) >> norstore_tape! replica på norstore_osl og norstore_trd føres da til norstore_tape >> frigjør 400TB disk! INVEST2: innkjøp av dobbel disk-kapasitet! dette gir 1600TB disk og behov for 3000TB tape 06-10-2010 21