NorStore. Andreas O Jaunsen Uninett Sigma as

Transkript

1 NorStore Andreas O Jaunsen Uninett Sigma as

2 Forskningsrådet evitenskap - Infrastruktur, teori og anvendelse evita ( ) er et program for håndtering av digitale data. Programkomitén har strategisk ansvar for nasjonal einfrastruktur, men liten finansiell innflytelse. kun personell; kvalitetsovervåking, brukerstøtte, Divisjonsstyret for Vitenskap vedtok 8 sept 2010 ny modell for organisering og finansiering av nasjonal einfrastruktur forankres under hovedstyret og avansert evita blir rådgivende gruppe. brukerstøtte, trening, ledelse Langsiktig infrastruktur med fokus på brukertjenester

3 NorStore NorStore: nasjonal infrastruktur for vitenskapelige data Mål: Utvikling og vedlikehold av nasjonal infrastruktur for datatjenester innen et bredt spekter av fag- og anvendelsesområder, bl.a. for lagring, publisering, arkivering, deling og bevaring av vitenskapelige datasett Finansiert av Forskningsrådet ( ). NorStore er et av 17 prosjekter på Forskningsrådets veikart for forskningsinfrastruktur Konsortiedeltakere: UiB, UiO, UiT, NTNU, UNINETT Sigma (koordinator)

4 NorStore UiT NTNU disk/ backup UiB UiO disk/ backup

5 NorStore Totalt omsøkt lagringsvolum Disk Tape

6 NorStore Storage volume by application Disk evolution Tape evolution klima fysikk bioinfo medisin lingvistikk kjemi teknologi energi

7 % 0% 4% 14% 1% 42% 1% 2% 11% 4% 1% 1% 7% 9% 5% norstore-trd norstore_trd/project/cfd_ntnu norstore_trd/project/bcm norstore_trd/project/brm norstore_trd/project/damocles norstore_trd/project/dokipy norstore_trd/project/egilstoren norstore_trd/project/emep norstore_trd/project/ipy-thorpex norstore_trd/project/merklim_atp norstore_trd/project/norclim norstore_trd/project/norcowe norstore_trd/project/noserc norstore_trd/project/ns2980k norstore_trd/project/ns9999k norstore_trd/project/ssb 2% 27% 2% 4% 19% 1% 20% 1% 0% 2% 1% 16% 1% 0% 4% norstore-osl norstore_osl/osl/project/cees norstore_osl/osl/project/ltr norstore_osl/osl/project/microshare norstore_osl/osl/project/ousu-seq norstore_osl/osl/project/oxyhystor norstore_osl/osl/project/wimod norstore_osl/osl/project/epvote norstore_osl/osl/project/moldyn norstore_osl/osl/project/pgp norstore_osl/osl/project/quantumcatspec norstore_osl/osl/project/quiet norstore_osl/osl/project/rr-genombio norstore_osl/osl/project/sgp norstore_osl/osl/project/storebioinfo norstore_osl/osl/project/tekstlab

8 NorStore - status StoreBioInfo (bioinformatikk) oppstart sep 10 og avansert brukerstøttestilling (50/50) påbegynt okt 10 og jan 11 NorClim (klima+vindenergi) forbereder oppstart NorStore bruker- og prosjekt-administrasjon i MAS (nov 10) Åtte søknader innsendt til Diskressursene (TRD og OSL) er per i dag (over) allokert og 80% er i bruk Integrasjon av tape-ressurs i BGO, omgående (til replikering) e-arkiv top-layer, dcache back-bone, tjenester som irods, THREDDS osv. integrere Notur ressurser med NorStore - ved hjelp av cache-nodes utviklingsprosjekt; cloud-computing + storage (Maarten Koopmans) og oppstart sensitive forskningsdata (SHSD) jan 11 Sigma deltar i EUDAT (søknadsfrist 23 nov. 10) med 67 PM

9 NorStore Utfordringer for NorStore inkluderer: Langsiktig bevaring av data og datasamlinger ( persistent storage ) Metadata: etablere integrert system for dokumentasjon av datasett, hvor et minimumskrav er at data lar seg kategorisere, oppsøkes og gjenbrukes Gjenbruk: muliggjøre langsiktig bruk av data, datakonvertering, osv Integrasjon av infrastrukturens tjenester i anvendelseområder(workflow): brukergrensesnitt, tilgjengeliggjøring av data, streaming, gjenfinning av data, visualisering, osv Håndtering av sensitive data (ihht personsopplysningsloven) Ansvarsforhold mellom bruker/forsker og infrastrukturen (etablere fagmiljøstruktur) Kartlegging av brukerbehov. Mange fagfelt har sin egen praksis og datamodell (nasjonalt og internasjonalt, moden og umoden) Kvalitetssikring av data (avansert brukerstøttestillinger)

10 NorStore - building services Data Generators Users User-functionalities, data capture & transfer, virtual research environments Trust Data Curation Community Support Services Data discovery & navigation, workflow generation, annotation, interoperability Common Data Services Persistent storage, identification, authenticity, workflow execution, mining Fig. from Riding the wave, EC High Level Expert Group on Scientific Data

11 NorStore - infrastructure usercommunity X usercommunity Y usercommunity Z user M user N API API e-arkiv cachenode A cachenode B HPC A HPC B

12 NorStore - earkiv UiT Vindenergi e-arkiv THREDDS https Klima NTNU https Lingvistikk UiB bruker UiO API Medisin API https Bioinformatikk

13 NorStore - prosjektstruktur PriorEditor esysbio High Thr. Sequencing... Hyperbrowser Store- BioInfo AUS bioinfo AUS klima NorStore prosjektgruppe Sigma AUS humsam norstorebgo norstoreosl norstoretrd NorClim... NorESM NoSerC DOKIPY

14 NorStore Fremtidig modell? UiT disk NTNU disk norstore-main UiB disk backup tape disk UiO

15 NorStore - development project Secure handling of sensitive data : This development project will enable researchers to execute projects involving human-material. to provide secure storage and HPC services for sensitive data will address national requirements seek solutions to facilitate Nordic and European interoperability legal and administrative challenges cost-effective integration with existing infrastructure

16 NorStore - Nordic realm Common Nordic policies for data infrastructure? benefits include: sharing experiences and competences interoperability / standardization (eg. resource trading) strengthen Nordic influence in European/international activities cost-effectiveness (operations, services) This requires: (i) a Nordic functional design of data infrastructure, or (ii) well-defined interoperability mechanisms between national data infrastructure. NDGF should be a place where both (i) and (ii) are addressed, if not done directly on European level

17 NorStore The End