Bedre feildetektering, raskere feilhåndtering og færre feilinvesteringer

Størrelse: px

Begynne med side:

Download "Bedre feildetektering, raskere feilhåndtering og færre feilinvesteringer"

Noah Austad
6 år siden
Visninger:

1 Bedre feildetektering, raskere feilhåndtering og færre feilinvesteringer Med kunstig intelligens Oslo, Bilde: Statnett

landet Driften overvåkes 24/7/365 av én landssentral, to regionsentraler og ett

2 Dette er Statnett Statnett er systemansvarlig i det norske kraftsystemet Statnett drifter og eier om lag km med kraftledninger og kabler og ca 150 transformatorstasjoner i hele landet Driften overvåkes 24/7/365 av én landssentral, to regionsentraler og ett overvåkingssenter Statnett har også ansvaret for forbindelser til Sverige, Russland, Danmark og Nederland

3 Arkitektur og Teknologi Big og AI plattform Bilde: Elnur/Shutterstock.com

4 Statnetts referansearkitektur for Big og Analytics

5 Hortonworks 2.6

6 motivation CapabilityMap - simple Low latency IoT data transport High throughput IoT data transport User friendly visualization Confi gurable and personalized visualization Map visualization Aligning and harmonizing facts from various sources Open Access to and Sharing Quality and Consistency Check Rule Engine support Classic Rule Engine Support Handling of real time information and streaming analysis Chatbot conversation support Natural language understanding Sensor Time Synchronization support Event Notifi cation, Filtering and Distribution Redundancy and disaster recovery Fine-grained access control and perimeter security/aaa High volume data storage High CPU and GPU power Catalogue Document Storage Triple Store and Graph storage Processing of batch data Drone Fleet Management & Capture Actor Framework Video and picture analysis Machine Learning support Deep Learning support Audio analysis support Science Tools

7 On-premise AI / Big plattform Sources New sources Machine & Sensor data Image & Video Content Services Social Internet Sets Weather Commercial Sets Traditional sources Third -Party Transactional Application Ingestion & Integration Stage BigIntegrate Kafka IBM Streams Flume Sqoop acquisition & application access JanusGraph OpenTSDB HBase HDFS IBM Streams Analytical Lake Storage Analytics In -Motion Oracle DBMS (Innsikt) Spark Streaming Access Hive BigSQL Solr Kafka Discovery & Exploration Tableau Actionable Insight Cognos Analytics SPSS Zeppelin Enhanced Applications PCI BBCI New Business Models TM1 OpenPages Fraud & Operations PMQ CMA System of Record Spark YARN Analytics Operating System Oozie Ambari Knox On -Premise Information Management & Governance Security Platform Governance Catalog Ranger Bilde: IBM

8 Business Architecture WP2 use case mapped to Big & Analytics platform capabilities business BusinessLayer User friendly visualisation Handling of real time information and streaming analysis Alligning and harmonizing facts from various sources Processing of batch data Transformation Cabel Breaker T2.1 Online gas data analysis T3.1 Thermal winding aging T3.5 Periodic oil and gas analysis T3.6 Yearly health index C2-4 DTS C2.3 Oil filled termination Reignition monitor of reactor breakers Video and picture analysis Rule Engine support Event Notification, Filtering and Distribution High volume data storage Machine Learning support

9 application ApplicationPlatformViewpoint Internal Consumers External Consumers Fault Analysis Maintenance Management Asset Management Operations Asset Condition Monitoring & Analysis Science Risk Analysis & Monitoring Renewal Cost- Benefit Analysis Public Access Internal Systems and Sources Big&Analytics Platform Third Party AutoDIG DroneFleet Management API - HTTPS, JSON & Programatic Topology - Graph - RDF store Science Tools Self Service Visualisation Classic Visualisation Exchange API TSO Asset Health Management Analytics Engine Deep Learning Engine Machine Learning Engine Catalogue Innsikt DSO IMPALA ArcGIS FASIT2018 Notification/ Streaming API File Store Timeseries store Relational store Cloud GW Cloud Regulator OIS Metadata Store Public store EMS BatchProcessing Engine StreamingProcessing Engine Rule Engine Private store IFS API - ingestion - batch&streaming Cloud Analytics BI-Cycle Fifty MMS Sensors Other Systems Internal Sensors External Sensors and Sources Fifty HVDC HIS PDC (PMUdata) Elspec - PQ Scada Digital Fault Recorder Metrum Distance Relay Protection LYN met.no NOIS Drone MACE - AFRR-MFRR

10 Utfordringer og muligheter Område Utfordring Mulighet utvekslings API Ingen god støtte for å utveksle dataene med andre parter på, mangler GW funksjonalitet for å tilby data til eksterne brukere Støtte for datautveksling både mtp offentlig tilgang og tilgang for tredjeparter Skyintegrasjon og sky GW Innsamling av data Drone flåtestyring og datainnsamling fra droner Utilstrekkelig måte å integrere plattformen med skytjenestene på, dvs. IaaS og PaaS Begrenset funksjonalitet i løsningen, flere datakilder med betydelige forsinkelser forårsaker forsinkelser i detektering av hendelser, dataene er av dårlig kvalitet eller mangelfulle. Nåværende arkitektur inkluderer ikke denne funksjonaliteten Nye mer avanserte tjenester som kan leveres som PaaS eller SaaS-tjenester i skyen, f.eks. naturlig språkgjenkjenning og chatbot-støtte Mer nøyaktig og raskere innsamling av sensordata. Redusert forsinkelse i datainnsamling og raskere analyse. Viktig forutsetning for å redusere forsinkelse og sanntidsprosessering Automatisert innsamling og behandling av data samlet av dronene, samt raskere, automatisert og uassistert droneutplassering

11 Integrasjon Sensors Sensor data (61850) Adapters Sensor data (Kafka) Big and Analytics platform Alerts (Kafka) Monitoring System Sensor Historian (ETL) Notifications (Kafka/WebService) Health Score (ETL/WebService) Asset Health Management Asset data (ETL) ERP

12 Fremtidig inntak og distribusjon av sensor data Instrumentering Innsamling (microservice/container løsning) Distribusjon (En til mange / Pub-Sub) Anvendelse Feilskrivere IEC61850 Adapter AVRO AutoDig PMU IEEE C Adapter AVRO Science Spenningskvalitetsmålere RESTapi AVRO Prediktiv vedlikehold Spenningskvalitetsmålere Metrum Adapter AVRO GIS Pendlingsregistrator IEC61850 Adapter AVRO SF6 sensorer Lyn / Vind / AIS / Annet SF6 Adapter Adapter AVRO AVRO Lagring (lake) Overvåking / Drift

13 Realisering Vedlikehold og investeringer Bilde: Statnett

14 UC: Online Gas data analyse (RT) plattform kilder Innsamling Korrelasjon (ML) Alarm Distribusjon Applikasjon Alarm Visualisering!! Diagnose Lagring Hydran, Last Temperatur Spenning Hendelsesliste Kafka adapter IBM Streams BigSQL / HBase Kafka TBD

15 SPØRSMÅL?

Like dokumenter

Big Data og Analytics-plattform i Statnett Leslaw Lopacki og Benjamin Thomas. Februar 2018

Big Data og Analytics-plattform i Statnett Leslaw Lopacki og Benjamin Thomas. Februar 2018 Big og Analytics-plattform i Statnett Leslaw Lopacki og Benjamin Thomas Februar 2018 Innholdsfortegnelse 1 Innledning 1 2 Big i Statnett 1 2.1 AutoDig 1 2.2 SAMBA 3 3 Big -analyseplattform 4 3.1 Hadoop-distribusjoner