Forskningsdata, status og planer. Roy Dragseth Seksjonsleder, Seksjon for Digitale Forskningstjenester UNINETT Fagdager 10.

Transkript

1 Forskningsdata, status og planer Roy Dragseth Seksjonsleder, Seksjon for Digitale Forskningstjenester UNINETT Fagdager 10. april 2018

2 SDF Fire søyler HPC Lagring Applikasjoner Instrumenter

3 Integrering av lagring og applikasjoner Data High speed network

4 UiTs retningslinjer for forskningsdata UiT har vedtatt retningslinjer for behandling av forskningsdata Aktiv fra 1. sept 2017 UiT har vedtatt at innen 2020 skal det etableres tjenester for å ta vare på alle typer forskningsdata Investerte 2.5 MNOK i 2017 Nye systemer i drift sent 2017 Budsjett for 2018 ca. 2.5 MNOK

5 Hovedpunkter i retningslinjene Åpenhet og deling som hovedprinsipp UiT eier alle data som blir generert hvis ikke annet er avtalt (gjelder ikke studenter) Alle nye prosjekter skal ha en databehandlingsplan Alle data skal lagres i sikre godkjente systemer/tjenester UiT skal etablere kostnadseffektive tjenester for å gjøre forskerne i stand til å følge retningslinjene.

6 Handlingsplan for forskningsdata Arbeidsgruppe UB/AFU/ITA Kursportefølge Informasjon Infrastruktur Dataamnesti Forvaltningsmodell for lagringstjenenester Basis 5 TB/bruker Prismodell (0.5-1kr/GB/år) Forskningsdataportalen uit.no/forskningsdata

7 Tjenestebehov gjennom levetiden for data Innsamling Instrumentnett Open vessel data management Storskala lagringssystem Deling Tilgangskontroll Analyse Big data HPC Statistisk analyse Visualisering Publisering og søk Opendata Fagspesifikke portaler

8 To teknologier NAS filer (Netapp) Samlet innkjøp med annen lagringsinfrastruktur Kostnad 1.25 MNOK 250 TB volum. I produksjon Software defined storage (CEPH) Ny teknologi Innkjøp over serveravtalen Kostnad 1.0 MNOK 500 TB volum Avtale med UiB om konfigurasjon og oppsett

9 10gig/s Prinsippskisse CIFS CIFS NFS S3 CephFS Brukere Filtjenester Applikasjonsservere

10 Nye prosjekter (og gamle)

11 Dataverse.no Opendata.uit.no som nasjonal tjeneste UiA som pilotkunde Flere på vei Åpen for alle akademiske brukere i Norge (1 GB/bruker) Ut i skyen UH-Sky finansiert prosjekt på skyifisering av dataverse

12 New data producer: EISCAT3D Multinational collaboration. Main site with 10 MW radar placed more than 160 km (100 miles) away from nearest data centre. Receivers in three different countries Will need to store between 2-4 PB of data per year Each receiver needs dedicated 100 Gbit/s links to HPC and storage centre

13 EISCAT3D i tall 109 radarelementer (hexagons) med 40 Gbit/s bandbredde til ringbuffer på 86 TB 500 Gbyte/s!!!! Dedikert 100 gb/s linje fra Skibotndalen 5 megawatt utgangseffekt (10 MW i fase 2) Budsjett ~500 MNOK Offisielt startet 7. sept Lagringsbehov 3-5 PB/år X2 Levetid 30 år 100gbit/s

14 Nytt forskningsskip Kronprins Haakon Generer like mye data på to dager som Helmer Hansen samlet på ett år.

15 ICE-POPEs: ICE tethered Platformcluster for Optical, Physical and Ecological sensors

16 KartWeb, forskningsdata på kart Finansiert av digitaliseringsstrategien Settes opp i Azure med egen instans per brukergruppe

17 Whaletracker Ti hvaler merket med GPS

18 AUS Geodata Prosjekt avansert brukerstøtte for GeoData i NIRD sammen med Metrologisk Institutt Skal sette opp tjenestestruktur THREDDS HyRax Strategisk satsning på tjenester for geodata Nasjonal rolle

19 Eksempel, Global Weather

20 Sourcingstrategi 1. Public cloud 2. UH-sky 3. Sektor-intern 4. Kommersielle 5. On-premise/gjøre selv (Et noe uklart IT-BOTT vedtak) Hvorfor skal vi ut i skyen? Hvorfor skal vi kjøre ting lokalt?

21 Arbeidsfordeling mellom nasjonale og lokale tjenester Credit: G. Bøe, UNINETT Sigma2 21

22 Hvor skal tjenestene? Må legges der data er lokalisert Kilde: Data Gravity,

23 Eksempler på plassering av tjenester KP Haakon NIRD EISCAT 3D NIRD Sensitive data TSD KartWeb Azure DataVerse.no Lokalt (flyttes til NIRD eller Azure/AWS) Interaktiv analyse/ kurslabs Sky (Azure foreløpig) Remote desktop/azure Notebooks (jupyter)

24 Mangler i tilbudsspekteret Langtidsarkiv (50 år ++) Noen har løst dette, NB Lavterskel tilbud for sensitive data Kryptert bøtte for statiske data

25 Oppsummering Nye datakilder kommer fortere enn vi kan lage tjenester Mindre og mindre interessant for UiT å huse egen infrastruktur Fokuserer på områder der vi kan ta en nasjonal rolle Åpne data Geodata Støtter opp om initiativ for samordnede nasjonale infrastrukturtjenester Kommersielle skytjenester vil være en hovedplattform for UiTs forskningstjenester