Big data teknologier og potensialet for datadrevet innovasjon sett fra forskningens perspektiv

Transkript

1 Big data teknologier og potensialet for datadrevet innovasjon sett fra forskningens perspektiv Smartgrid konferansen 2016, , onsdag 14. september, kl. 09:50 10:10 Arne J. Berre, SINTEF IKT Avdeling for Nettbaserte systemer og tjenester Gruppe for Smarte systemer og data Leder av GEMINI senter for Big Data, SINTEF, NTNU, UiO Leder av Big Data Value Association, BDVA.eu, Technical Priorities Teknologi for et bedre samfunn 1

2 Innhold Forskningens perspektiv BDVA, GEMINI senter for Big Data, SINTEF Big Data Teknologier Potensialet for datadrevet innovasjon Teknologi for et bedre samfunn 2

3 Big Data PPP Horizon 2020 Funding, 500 Meuro, Technology for a better society

4 Technology for a better society

5 GEMINI Senter Big Data startet April 2016 (SINTEF Oslo/Trondheim, NTNU Trondheim/Gjøvik, UiO Oslo) Samarbeid innen Big Data mellom SINTEF, NTNU og UiO 12 professorer, 4 Førsteamanuensis, 10 forskere, 8 PhD kandidater, 10+ Master studenter Synergi knyttet til felles verktøy kasse, metoder/teknikker, kurs og prosjekter relatert til Big Data Kopling til relaterte aktiviteter om Applied AI, Data Science og High Performance Computing Fagområder innen Big Data: Big Data Arkitekturer Big Data Lagring og forvaltning Big Data Analyse Big Data Sikkerhet og personvern Big Data Visualisering og bruker interaksjon Anvendelsesområder for Big Data: Industri områder: Smarte Byer, Olje&Gass, Energy&Utilities, Telecom, Produksjon/Manufacturing, Media, Finans/Forsikring, BioØko(Fiskeri/Havbruk,Skog,Jordbruk), EU Social challenges: Health, Food&Agriculture, Energy, Transport, Climate, Inclusive Societies, Secure Societies, Technology for a better society

6 GEMINI Senter Applied AI Technology for a better society

7 BIG DATA WHAT S IT ALL ABOUT Technology for a better society 7

8 The Big Data V's Volume Velocity Variety Veracity Value Data at Rest Terabytes to exabytes of existing data to process Data in Motion Streaming data, requiring mseconds to respond Data in Many Forms Structured, unstructured, text, multimedia, Data in Doubt Uncertainty due to data inconsistency & incompleteness, ambiguities, latency, deception Data into Money Business models can be associated to the data Adapted by a post of Michael Walker on 28 November

9 Data Data Data Data Generation Analysis Storage Visualisation Acquisition Processing Curation Usage & Services Structured Data Data pre-processing In-Memory Storage Decision Support Unstructured Data Event Processing Streams Sensor Networks Multimodality In-memory processing Semantic Analysis Sentiment Analysis Data Correlation Pattern Recognition Real time Analysis Machine Learning Data Augmentation Data Annotation Data Validation Data redundancy Cloud No / NewSQL Consistency Revision & Update Modeling Simulation Prediction Exploration Domain Usage Control Security, Data protection, Privacy, Trust Technology for a better society

10 From data to action Technology for a better society 10

11 ISO JTC1/WG9 Big Data Reference Architecture Technology for a better society

12 Big Data Technology areas Applications (specialized, scalable, complex..) Visualisation and User Interaction for Decision Support Analytics (Prescriptive/Predictive/Descriptive), Data Science Security /Privacy/Anonymisation Application areas Architecture - Stream Processing (Velocity) and Orchestration Management (Generation/Acquisition, Volume/Variety) Infrastructures, incl. Cloud/Storage/Processing/HPC Technology for a better society

13 DataBio Project SINTEF Fiskeri og Havbruk, SINTEF IKT med Sildefiskelaget, Fiskefartøy, o.a. Horizon 2020 Prosjekt innen Big Data PPP (16 Meuro) Technology for a better society

14 SMARTGRID - POTENSIALET FOR DATA-DREVET INNOVASJON Technology for a better society 14

15 The Two Value Chains: Elektricity & Big Data Applications (specialized, scalable, complex..) Visualisation and User Interaction for Decision Support Analytics (Prescriptive/Predictive/Descriptive), Data Science Security /Privacy/Anonymisation Generation Distribution Transmission Architecture - Stream Processing (Velocity) and Orchestration Retail & Services Energy Manage -ment Management (Generation/Acquisition, Volume/Variety) Infrastructures, incl. Cloud/Storage/Processing/HPC Teknologi for et bedre samfunn

16 Ulike typer energi data Målinger av grid parametre Strømnett, fase og oscillerings-data, PQ Forbruks data industri, forbruker Hendelses data Markedsdata Metadata sensor typer, lokasjoner, kalibrerings data Teknologi for et bedre samfunn 16

17 BDVA Energy Group preparation for Big Data Energy project Teknologi for et bedre samfunn

18 Potensielle Big Data innovasjons områder innen SMARTGRID Energi forecasting Asset management Demand-Response Disaggregering Dynamisk prising Fornybar energi miks monitorering, forvaltning, optimering Sanntids grid forvaltning Kunde senter, Kunde interaksjon Energi forbruks forvaltning Analyse for Cybersecurity, personvern, tillit, risiko Teknologi for et bedre samfunn 18

19 CoSSMIic Teknologi for et bedre samfunn 19

20 Teknologi for et bedre samfunn

21 Teknologi for et bedre samfunn

22 DataNAV All data tilgjengelig fra en kilde, Koblet til en logisk anleggsstruktur og tid Gir enorm tilgang til rapportering og analyse Arbeidsordre på komponentnivå Data fra sensorer, last, spenning ++ Hendelser 22

23 Teknologi for et bedre samfunn

24 Technology for a better society Arne.J.Berre@sintef.no Technology for a better society 24