NorStore - prosjektgruppemøte

Transkript

1 NorStore - prosjektgruppemøte Agenda:! NorStore (kort intro)! Forslag til ny modell for infrastruktur! Brukerundersøkelse / status! Basistjenester! Data-management (dok./meta)! Brukermiljø og vertikale tjenester! Utviklingsprosjekt (Sensitive Data)! Administrasjon (MAS), overvåking (Nagios)! Investeringsplan og behov

2 NorStore - intro Infrastrukturen inkluderer: - koordinering av investeringer - drift av lagringsressurser, verktøy og tjenester - brukerstøtte (help-desk) - vedlikehold av kjernetjenester som er tilgjengelig på tvers av alle ressurser i infrastrukturen - applikasjonsstøtte, utvikling og vedlikehold av fagspesifikke tjenester - trening, beste praksis og retningslinjer for effektivt bruk av infrastrukturen, for håndtering av data og for å øke gjenbruk av data - sikker og transparant tilgang til distribuert data - samarbeid med relevante aktører i Norge og Europa

3 NorStore - intro Forskningsprosjekter Forskningsinfrastruktur Infrastruktur A Samfunn B Prosjekt C fagspesifikke tjenester 10G UiT kjernetjenester, brukerstøtte NTNU UiA utstyr, drift Org. B Inst. C UiB 10G 10G 10G UiO NorStore

4 NorStore - intro Utfordringer for NorStore inkluderer:! Bevaring av data (langsiktig og kortsiktig), persistent storage! Metadata: etablering av minimumskrav til beskrivelse av data og hvordan det tilknyttes datasamlingene! Gjenbruk: muliggjøre langsiktig bruk av data, datakonvertering, osv! Integrasjon av infrastrukturens tjenester i anvendelseområder(workflow): brukergrensesnitt, tilgjengeliggjøring av data, streaming, gjenfinning av data, visualisering, osv! Håndtering av sensitive data (ihht personsopplysningsloven)! Ansvarsforhold mellom bruker/forsker og infrastrukturen! Kartlegging av brukerbehov. Mange fagfelt har sin egen praksis og datamodell (nasjonalt og internasjonalt, moden og umoden)! Kvalitetssikring av data

5 NorStore - brukerundersøkelse Ønsker å gjennomføre en brukerundersøkelse for NorStore:! andeler for data-typer (kilde, data, kopi)! bruksmønster! totale lagringsbehov de neste 3-5 årene! hvilke metoder ønskes for dataoverføring?! behov for deling av data? behov for generisk deling eller eget?! hvilken andel av data kan deles og evt. under hvilke retningslinjer? (proprietary, public, private)! eksisterende dokumentasjon og meta-data

6 NorStore - status VMware 0 home 1 irods 2 datapakken 0 cloudstor 1 tekstlab 4 storebioinfo 20 sgp 3 rr-research 30 rr-genombio 8 quiet 30 quantumcatspec 2 pgp 38 epvote 0 WiMod 3 OxyHystor 2 UUS-sequencing 30 MicroShare 20 LTR 1 Hyperbrowser 5 cees 7 norstore_osl norstore_trd tungregning 1 ssb 4 ns2980k 10 NoSerC 40 norcowe 10 norclim 40 ipy-thorpex 12 genetools 1 emep 30 egilstoren 10 db 1 damocles 2 brm 20 bcm 25 EU-ArticTippin 2 CFD_ntnu 20

7 NorStore - status Omsøkt lagringsvolum Disk Tape

8 900 NorStore - status Omsøkt lagringsvolum Disk evolution 1500 Tape evolution klima fysikk bioinfo medisin lingvistikk kjemi teknologi energi

9 NorStore - infrastruktur Modell 1 (dagens modell) UiT NTNU disk/ backup UiB tape UiO disk/ backup

10 NorStore - infrastruktur Modell 2 UiT NTNU disk UiB tape backup disk UiO

11 NorStore - infrastruktur Modell 3 UiT disk NTNU disk norstore-main UiB disk backup tape disk UiO

12 NorStore - basistjenester Basistjenester for NorStore:! Overføring av data: en del brukere ønsker en praktisk måte å laste opp/ned data uten bruk av sftp/scp (API basert på WebServices, WebDAV(https))! Deling av data: ønsker å oppnå en enkel deling av data med brukere uten konto (irods, WebDAV, API/WebServices)! Strukturering av data: trenger en måte å skille mellom data typer (eget lysark)! Off-site backup: backup til tape er nødvendig for å frigi diskplass og oppnå kostnadseffektiv utnyttelse av ressursene! Prosjektadministrasjon: integrert administrativt system (MAS) for koordinatorer og prosjektledere! Meta/dokumentasjon: minimalt sett med FELLES meta-data for alle data som lastes opp på NorSTore

13 NorStore - data mgmt. Data kan lagres i tre forskjellige modus:! BACKUP - versjoner av filer sikres i henhold til normale backup regimer (maks[ett år eller 10 versjoner]). Kvoter per avtale med bruker/prosjekt! REPLICATE - ingen versjonshistorikk av filene, men en sikkerhetskopi lagres på en annen site! NO_REPLICATE - ingen versjoner og ingen sikkerhetskopi lagres, dvs. det antas data er lagret andre steder på uavhengig(e) site(s)

14 NorStore - data mgmt. Inndeler data i følgende kategorier (datatyper):! dynamiske data (lagringsmodus BACKUP); data som endres, f.eks. resultat og analyse filer! statiske online data (lagringsmodus REPLICA); data som ikke endres, men som må være direkte tilgjengelig, f.eks. nyere rådata som det ofte jobbes med! statiske offline data (lagringsmodus NO_REPLICA); data som ikke endres og som ikke trenger å være direkte tilgjengelig, f.eks. sekundær kopi, langtidslagrede rådata

15 NorStore - brukermiljø Avansert brukerstøtte stilling:! dokumentering av data! kvalitetssikring! standardisering! dokumentere tilgang til data! arbeidsflyt og integrasjon med NorStore! identifisere/formidle behov i miljøet

16 NorStore - brukermiljø Brukermiljøstyrt struktur:! bioinformatikk! klima/vindenergi! lingvistikk (?) bioinfo 43% Disk 2010 medisin lingvistikk teknologi kjemi energi 4% 0% 2% 1% klima 42% fysikk 7% klima fysikk bioinfo medisin lingvistikk kjemi teknologi energi

17 NorStore - StoreBioInfo... PriorEditor helpdesk- TRD esysbio helpdesk- BGO AUS- BGO NorStore prosjektgruppe norstoretrd... Hyperbrowser helpdesk- OSL AUS- OSL UNINETT Sigma norstorebgo norstoreosl High Thr. Sequencing... helpdesk- TOS

18 NorStore - data mgmt. brukermiljø X APIs norstore sftp/scp bruker N brukermiljø Y https brukermiljø Z dcache dcache bruker M site-node A site-node B

19 NorStore - SHSD Utviklingsprosjekt for NorStore:! Erfaringene fra pilotprosjektet tilsier at en nasjonal tjeneste i størst mulig grad bør bygges på eksisterende (NorStore) infrastruktur (fremfor dedikert hardware). Man bør kombinere erfaringene fra pilotprosjektet med de nasjonale hensyn i NorStore. F.eks. vil det i tilknytning til administrasjon av prosjekter være behov for et felles nasjonalt system som håndterer dette og nye autentiseringsmekanismer for brukere på sikkerhetsnivå 3 og 4 bør vurderes implementert i nasjonale tjenester som Feide.! Uninett Sigma vil om kort tid inngå avtale med USIT/VD for oppstart av utviklingsprosjektet Sikker håndtering av sensitive data. Prosjektet eies av NorStore (som definerer mandatet) og gjennomføres av USIT. Prosjektet berør både lagring av sensitive data og beregningsbehovet i tilknytning til sensitive data. Utfordringene inkluderer nasjonale behov, tilknytning mot Norden og EU (standardisering), juridiske og administrative aspekter, optimal og kostnadseffektiv integrasjon i eksisterende infrastruktur

20 NorStore - admin + overvåking Tilpasninger til NorStore:! Brukermiljø utgjør større NorStore prosjekt (som består av sub-prosjekt) der administrasjon og innbyrdes tildeling gjøres av styringsgruppe for miljøet! MAS utvides for å gi mulighet for delegering av administrative oppgaver til helpdesk-gruppe (for opprettelse av brukere, grupper, kvoter osv)! Overvåking av ressursutnyttelse per prosjekt, sub-prosjekt, tilgjengelighet, forbruk inndelt i kategorier (data-typer), kvalitetssikring (inkl. dokumentering)! 1 nov 2010: Integrasjon av MAS i NorStore! 1 des 2010: Elektronisk brukerregistrering og godkjenning! 1 jan 2011: Systembrukerintegrasjon via API

21 NorStore - investeringsplan For 2011 trenger vi (basert på søknader) lagring av 1350TB på disk og 1200TB på tape. Data består av dynamiske (5%), statisk online (60%) og statisk offline (35%). Med backup og replica trenger vi da lagring av ca. 3000TB på tape:! INVEST1: kjøpe inn i tape-robot i Bergen (BCCS) >> norstore_tape! replica på norstore_osl og norstore_trd føres da til norstore_tape >> frigjør 400TB disk! INVEST2: innkjøp av dobbel disk-kapasitet! dette gir 1600TB disk og behov for 3000TB tape