Big data teknologier og potensialet for datadrevet innovasjon sett fra forskningens perspektiv Smartgrid konferansen 2016, 13-14.09.2016, onsdag 14. september, kl. 09:50 10:10 Arne J. Berre, SINTEF IKT Avdeling for Nettbaserte systemer og tjenester Gruppe for Smarte systemer og data Leder av GEMINI senter for Big Data, SINTEF, NTNU, UiO Leder av Big Data Value Association, BDVA.eu, Technical Priorities arne.j.berre@sintef.no Teknologi for et bedre samfunn 1
Innhold Forskningens perspektiv BDVA, GEMINI senter for Big Data, SINTEF Big Data Teknologier Potensialet for datadrevet innovasjon Teknologi for et bedre samfunn 2
www.bdva.eu Big Data PPP Horizon 2020 Funding, 500 Meuro, 2016-20 Technology for a better society
Technology for a better society
GEMINI Senter Big Data startet April 2016 (SINTEF Oslo/Trondheim, NTNU Trondheim/Gjøvik, UiO Oslo) Samarbeid innen Big Data mellom SINTEF, NTNU og UiO 12 professorer, 4 Førsteamanuensis, 10 forskere, 8 PhD kandidater, 10+ Master studenter Synergi knyttet til felles verktøy kasse, metoder/teknikker, kurs og prosjekter relatert til Big Data Kopling til relaterte aktiviteter om Applied AI, Data Science og High Performance Computing Fagområder innen Big Data: Big Data Arkitekturer Big Data Lagring og forvaltning Big Data Analyse Big Data Sikkerhet og personvern Big Data Visualisering og bruker interaksjon Anvendelsesområder for Big Data: Industri områder: Smarte Byer, Olje&Gass, Energy&Utilities, Telecom, Produksjon/Manufacturing, Media, Finans/Forsikring, BioØko(Fiskeri/Havbruk,Skog,Jordbruk), EU Social challenges: Health, Food&Agriculture, Energy, Transport, Climate, Inclusive Societies, Secure Societies, Technology for a better society
GEMINI Senter Applied AI http://a-ai.no/ Technology for a better society
BIG DATA WHAT S IT ALL ABOUT 14-9-2016 www.bdva.eu Technology for a better society 7
The Big Data V's Volume Velocity Variety Veracity Value Data at Rest Terabytes to exabytes of existing data to process Data in Motion Streaming data, requiring mseconds to respond Data in Many Forms Structured, unstructured, text, multimedia, Data in Doubt Uncertainty due to data inconsistency & incompleteness, ambiguities, latency, deception Data into Money Business models can be associated to the data Adapted by a post of Michael Walker on 28 November 2012 14-9-2016 www.bdva.eu 8
Data Data Data Data Generation Analysis Storage Visualisation Acquisition Processing Curation Usage & Services Structured Data Data pre-processing In-Memory Storage Decision Support Unstructured Data Event Processing Streams Sensor Networks Multimodality In-memory processing Semantic Analysis Sentiment Analysis Data Correlation Pattern Recognition Real time Analysis Machine Learning Data Augmentation Data Annotation Data Validation Data redundancy Cloud No / NewSQL Consistency Revision & Update Modeling Simulation Prediction Exploration Domain Usage Control Security, Data protection, Privacy, Trust Technology for a better society
From data to action Technology for a better society 10
ISO JTC1/WG9 Big Data Reference Architecture Technology for a better society
Big Data Technology areas Applications (specialized, scalable, complex..) Visualisation and User Interaction for Decision Support Analytics (Prescriptive/Predictive/Descriptive), Data Science Security /Privacy/Anonymisation Application areas Architecture - Stream Processing (Velocity) and Orchestration Management (Generation/Acquisition, Volume/Variety) Infrastructures, incl. Cloud/Storage/Processing/HPC Technology for a better society
DataBio Project SINTEF Fiskeri og Havbruk, SINTEF IKT med Sildefiskelaget, Fiskefartøy, o.a. Horizon 2020 Prosjekt innen Big Data PPP (16 Meuro) 2017-2019 Technology for a better society
SMARTGRID - POTENSIALET FOR DATA-DREVET INNOVASJON 14-9-2016 www.bdva.eu Technology for a better society 14
The Two Value Chains: Elektricity & Big Data Applications (specialized, scalable, complex..) Visualisation and User Interaction for Decision Support Analytics (Prescriptive/Predictive/Descriptive), Data Science Security /Privacy/Anonymisation Generation Distribution Transmission Architecture - Stream Processing (Velocity) and Orchestration Retail & Services Energy Manage -ment Management (Generation/Acquisition, Volume/Variety) Infrastructures, incl. Cloud/Storage/Processing/HPC Teknologi for et bedre samfunn
Ulike typer energi data Målinger av grid parametre Strømnett, fase og oscillerings-data, PQ Forbruks data industri, forbruker Hendelses data Markedsdata Metadata sensor typer, lokasjoner, kalibrerings data Teknologi for et bedre samfunn 16
BDVA Energy Group preparation for Big Data Energy project Teknologi for et bedre samfunn
Potensielle Big Data innovasjons områder innen SMARTGRID Energi forecasting Asset management Demand-Response Disaggregering Dynamisk prising Fornybar energi miks monitorering, forvaltning, optimering Sanntids grid forvaltning Kunde senter, Kunde interaksjon Energi forbruks forvaltning Analyse for Cybersecurity, personvern, tillit, risiko Teknologi for et bedre samfunn 18
CoSSMIic Teknologi for et bedre samfunn 19
Teknologi for et bedre samfunn
Teknologi for et bedre samfunn
DataNAV All data tilgjengelig fra en kilde, Koblet til en logisk anleggsstruktur og tid Gir enorm tilgang til rapportering og analyse Arbeidsordre på komponentnivå Data fra sensorer, last, spenning ++ Hendelser 22
Teknologi for et bedre samfunn
Technology for a better society Arne.J.Berre@sintef.no Technology for a better society 24