Big Data og Analytics-plattform i Statnett Leslaw Lopacki og Benjamin Thomas. Februar 2018

Transkript

1 Big og Analytics-plattform i Statnett Leslaw Lopacki og Benjamin Thomas Februar 2018

2 Innholdsfortegnelse 1 Innledning 1 2 Big i Statnett AutoDig SAMBA 3 3 Big -analyseplattform Hadoop-distribusjoner import lagring og tilgjengeliggjøring 7 4 Langsiktig målbilde for Big og Analytics Finbeck og Fia 7 5 Oppsummering 9

3 1 Innledning Kunnskap om driftsforstyrrelser hos Statnett og hos øvrige konsesjonærer brukes som underlag for kontinuerlig forbedring av Statnetts daglige drift, vedlikeholdsmetodikk, nettplanlegging og teknologistandardisering, med mer. En effektivisering og forbedring av dette analysearbeidet har stort potensiale for innsparinger i andre enheter i Statnett. Anleggsdata og anleggsforvaltning er at annet viktig område med stort potensiale for kontinuerlig forbedring for analyse av anleggsdata, analyse av tilstand og tilstandsovervåkning av anleggskomponenter i Statnett. 2 Big i Statnett Statnett har uhorvelige mengder data tilgjengelig, men mesteparten av denne må i dag innsamles og foredles manuelt med en høy kostnad i tid og ressurser. AutoDig og SAMBA er eksempler på prosjekter hvor innsamling og analyse av store mengder data muliggjør effektivisering av viktige områder i Statnett som drift, vedlikehold og feilanalyse. 2.1 AutoDig AutoDig er et Forskning og Utvikling-prosjekt som går ti år tilbake i tid, med mål om å lage en løsning for automatisk innsamling av data for feilsøking og analyse. Den første prototypen, AutoDig 1.0, ble satt i operasjonell drift i Den er ikke fullverdig slik den står i dag, men fungerer som et proof of concept som gir grunnlaget for fremtidige utviklinger. I dag er denne i bruk hos Feilanalyse. Prototypen i regi av Forskning og Utvikling bekreftet nytteverdi og åpnet opp for neste skritt i utviklingen AutoDig 2.0. Prototypen bruker 15 til 60 minutter på å sammenstille driftsdata og gjør heller ingen egen analyse. Dette gjør at systemet kun blir nyttig for Feilanalyse, da det ikke er hurtig eller pålitelig nok til bruk i drift. AutoDig 2.0 er et system for å samle inn, sortere, presentere og analysere informasjon relevant for driftsforstyrrelser. Sammenlignet med prototypens funksjon med å automatisk sammenstille data for analyse, vil dette neste nivået bli et helhetlig og funksjonelt analyse- og diagnoseverktøy. Vi skal øke stabiliteten og effektiviteten samtidig som det nye systemet skal integreres med Statnetts eksisterende infrastruktur. 1

4 AutoDig 2.0 vil samle inn, lagre og analysere store mengder data fra flerfoldige sensorer i nettverket, med fleksibilitet til å legge til flere kilder med tiden. Noen av datakildene som benyttes så langt: kilde PMU data DFR (feilskriver data) Spenningskvalitetsmålinger / Elspec Spenningskvalitetsmålinger / Metrum Distansevern Beskrivelse En rekke tidsserier (1 khz sampling) Tidsserier Tidsserier med en rekke aggregerte parametere (50 Hz sampling) og tidsserier med rådata (50 khz sampling) Tidsserier med aggregerte parametere Comtrade Drift/vedlikeholdsdatabase Meldinger, bryterstillinger, nettkonfigurasjon og driftsmålinger (P,Q,I,U,f) Nettverk Repository Tidsvariable data/met.no ERP Driftsstyring støttesystem Elektrisk nettverksmodell Vær- og lyndata Anleggsdata Drift- og feilrapporter Innsamlede data vil bli lagret i lang tid fremover, på et slikt vis at det er tilgjengelig for analyse også i fremtiden. Målet er å ha kapasitet til å bevare rådataen i opptil 10 år, og prosesserte data i 60 år. Det er kritisk at forsinkelsen i tiden som går fra dataene går inn i systemet til de blir analysert og presentert er så liten som mulig. Det er ønskelig at dette tar under ett minutt, for da kan prosessert data nyttiggjøres i beslutningsprosessene til sentralene. 2

5 2.2 SAMBA SAMBA (Smarter Asset Management with Big ) er et annet prosjekt hvor innsamling og analyse av store mengder data står sentralt. SAMBA er et forskingsprosjekt som identifiserer en rekke bruksområder innenfor anleggsforvaltning og som beskriver en fremtidig arkitektur for anleggsforvaltning. SAMBA har som hensikt å utvikle kunnskapsgrunnlag og konseptuelle løsninger for prediktivt vedlikehold som kan benyttes til å etablere kravspesifikasjoner for fremtidige "Asset management-systemer". SAMBA kartlegger de viktigste use casene for anleggsforvaltning og beskriver arkitekturen som skal understøtte fremtidig anleggsforvaltningssystem. 3

6 3 Big -analyseplattform Big og Analytics-plattformen hos Statnett benytter seg av en såkalt Hadoop-distribusjon. Hadoop ses ofte på som synonymt med Big. Apache Hadoop er et open source-prosjekt som utvikler programvare for pålitelig, skalerbar og distribuert dataprosessering. Prosjektet inkluderer følgende moduler: Hadoop Common: The common utilities that support the other Hadoop modules. Hadoop Distributed File System (HDFS ): A distributed file system that provides highthroughput access to application data. Hadoop YARN: A framework for job scheduling and cluster resource management. Hadoop MapReduce: A YARN-based system for parallel processing of large data sets. 3.1 Hadoop-distribusjoner Komponentene listet over dekker ikke alle behov og det er både begrensninger og utfordringer i å bruke Hadoop ut av boksen. Som svar på dette har flere leverandører utviklet egne distribusjoner av Hadoop. De ulike distribusjonene pakketerer flere verktøy/teknologier i en teknologistack ferdig for kundene å ta i bruk. Leverandørene tilbyr ofte teknisk support i tillegg til et helhetlig produkt med flere komplementære verktøy som kan tilpasses spesifikke oppgaver. I 2016 var, ifølge Forrester, Cloudera, MapR, IBM og Hortonworks markedsledende leverandører av Hadoop-distribusjoner. Det finnes hovedsakelig tre distribusjoner for on-premise-løsninger og tre stacks for cloud-løsninger. Distribusjoner samler flere Big -teknologier og verktøy i et produkt som kan installeres og tas i bruk. Disse kommer ofte med mye dokumentasjon og kurspakker. Også cloud stacks fungerer på lik måte og kan tilgjengeliggjøres som et produkt i skyen. Blant viktigste on-premise-distribusjoner skal det nevnes Cloudera, MapR, IBM og Hortonworks. De viktigste cloud stacks er Amazon Web Services, Azure og Google Cloud Platform. Hver av distribusjoner inkluderer verktøy som i tillegg til Hadoop dekker også følgende områder: Import av data (eller ingestion) Tilgang til data forvaltning/management Governance Driftstøtte/operations Integrasjon Verktøy Hadoop-plattformen som etableres hos Statnett, etableres i første omgang on-premise, bestående av en rekke kraftige data noder/servere. Plattformen skal kunne romme 1 PB med strukturerte og ustrukturerte data. I første fase består plattformen av 6 data noder og 6 management noder, men skal på sikt utvides med ytterligere 10 data noder. De viktigste komponenter i Statnetts Big og Analytics plattformen er IBM BigInsights og Hortonworks. Med Hortonworks som hovedkomponent, da IBM holder på med å omstrukturere BigInsights. Hortonworks Platform(HDP) er en skalerbar open source Hadoop-distribusjon og plattform for lagring, prosessering og analyse av store mengder data. Hele plattformen som blir introdusert på Statnett består i tillegg av følgende programvarekomponenter: 4

7 IBM BigSQL IBM Streams IBM BigIntegrate Tableau Server og Desktop IBM SPSS Modeler IBM BigR IBM BigSQL BigSQL er et SQL-lag på toppen av Hadoop/HDFS som gjør det mulig å lage tabeller og spørringsdata med SQL-syntaks. På toppen av SQL-spørringsmotoren er det mulig å påvirke datatilgjengelighetsstrategien for spørringene med optimaliseringshint og tilpasningsinnstillinger. Ut ifra hva slags spørring du gir systemet, i henhold til datavolum og andre faktorer, kan BigSQL nytte Hadoop sitt MapReduce-rammeverk til å prosessere forskjellige spørringer parallelt eller kjøre spørringen din lokalt (kun i en node), alt ettersom hva som er mest passende for akkurat den spørringen. 5

8 3.1.2 IBM Streams IBMs plattform for avanserte beregninger som tillater brukerutviklede applikasjoner å raskt innta (ingest), analysere og korrelere informasjon fortløpende som den kommer fra tusenvis av kilder, i sanntid. Denne løsningen kan håndtere veldig store datagjennomstrømningsmengder, i størrelsesordenen millioner av hendelser eller meldinger per sekund Tableu Server og Desktop Tableau er et avansert og svært godt visualiseringsverktøy som I hovedsak benyttes til datavisualisering, dashboarding og dataoppdagelse IBM SPSS Modeler IBM levert SPSS er et statistisk verktøy fra IBM som brukes for ikke-batch og batch-statistisk analyse. IBM SPSS Modeler er en del av SPSS-pakken, som gir et sett med data mining-verktøy for å utvikle prediktive modeller ved hjelp av forretningskompetanse og distribuere dem til operasjoner for å forbedre beslutningsprosessen. IBM SPSS Modeler støtter en rekke modelleringsmetoder inkludert maskinlæring, kunstig intelligens og statistikk. 3.2 import Sanntidsdata mottas gjennom Open Source-komponenten Kafka. Dette er en mekanisme etter Publish- Subscribe-mønsteret som reagerer på eksterne events og bufrer data som så ulike konsumenter kan abonnere på. IBM Streams kan abonnere på disse dataene, prosesserer disse fortløpende i sanntid, i den grad standard maskinvare kan operere i sanntid. Denne overføringen og prosesseringen av data i sanntid kalles også ofte for streaming. Streaming brukes til overføring av data, bilder eller lyd fra en sender til en eller flere mottakere. IMB InfoSphere Streams er en utviklingsplattform med en arkitektur som skalerer horisontalt. Den inneholder et omfattende sett av verktøy for utvikling og styring av plattformen IBM Streams kan konfigureres til å skrive mottatt informasjon direkte til lageret, men vi ser oftest at det vil det inngå ulike prosesseringssteg, eksempelvis transformering (f.eks. endring av dataformat), fjerning av attributter, korrelering med data fra andre kilder, klassifisering basert på modeller generert fra historiske data eller annotering ved oppslag i statisk informasjon basert på nøkkelfelter i dataene IBM Streams kan analysere og korrelere alle typer data som lyd, video, nettverkslogger, sensorer, sosiale medier som Twitter, i tillegg til strukturerte data. InfoSphere Streams er designet for å skalere for å behandle alle størrelser av data fra terabytes til zetabytes per idag BigIntegrate Big Integrate er en variant av stage ETL-verktøy tilpasset Hadoop og som kan importere store mengder data fra en rekke kilder, f.eks. fra relasjonsdatabaser som Oracle Sqoop Apache Sqoop er et kommandolinjegrensesnitt for overføre data mellom relasjonsdatabaser og Hadoop. Navnet er en kombinasjon av SQL og Hadoop. I AutoDig 2.0 vil dette brukes til innta data fra relasjonsdatabaser og legge det inn i Lake fortløpende som kilde-databasene oppdateres Flume Apache Flume er en programvare for å effektivt samle, aggregere og flytte store mengder logg-data fortløpende som de genereres. 6

9 3.3 lagring og tilgjengeliggjøring i Statnetts Big og Analytics-plattform lagres i en rekke databaser som kjøres på Hadoop / HDFS. De største mengde data som er sensor data lagres i tidsseriedatabaser. Tidsserier kan lagres i Hadoop f.eks. i HBase eller OpenTSDB. Tidsseriedata og andre data kan også lagres i HDFS. Det benyttes i tillegg mer avanserte grensesnitt som f.eks. BigSQL som gjør det mulig å lagre og aksessere data i HBase og HDFS ved bruk av SQL utrykk. I tillegg kan deg også benyttes verktøy som Hive som grensesnitt for å lagre data i Hadoop. 4 Langsiktig målbilde for Big og Analytics Finbeck og Fia Samtidig som det jobbes med på etablere den første, initiale plattformen, arbeides det med et langsiktig målbilde på dette området innenfor Finbeck-prosjektet. Finbeck er et samarbeidsprosjekt mellom Forskning og Utvikling og IKT, som et initiativ innen Smarte Nett-porteføljen. Statnett har som mål å være i fronten av utviklingen av et kraftsystem som stadig er i endring. Finbeck er Statnetts prosjekt for å finne veien videre inn i fremtiden når det kommer til teknologiske løsninger. Navnet kommer av prosjektets slektskap til prosjektet for felles informasjons-arkitektur innad i Statnett, FIA. (Red. melder: Tegneserien Fiinbeck og Fia) FIA skal etablere en felles informasjonsarkitektur på tvers av hele Statnett, mens Finbeck etablerer målbilde og arkitektur-roadmap for hvordan IKT-infrastrukturen må se ut for å for å understøtte de ulike behovene knyttet til innsamling, lagring, prosessering, analyse og tilgjengeliggjøring av data. Som resultat av flere workshops og diskusjoner i Finbeck-prosjektet og med input fra blant annet NIST og IBM-modellene, har Statnett definert sin egen referansearkitektur. Statnetts High Level Referencemodell er delt inn i fire hovedområder: datakilder, dataplattform, konsumenter samt sikkerhet og governance. plattformen består av flere komponenter på høynivå, inkludert innsamling, distribusjon, analyse, lagring og tilgjengeliggjøring. Høynivå-arkitekturen definert av Finbeck samsvarer med NISTreferansearkitekturen bortsett fra visualiseringskomponenten. Visualiseringskomponenter kan eksistere både innenfor og utenfor referansearkitekturen. I Statnett er visualisering definert utenfor plattformen. I praksis vil det bli noen få tekniske programvarekomponenter som også implementeres som en del av Big og Analytics-plattformen. Statnett sin referansearkitektur for Big og analyse. 7

10 acquisition & application access IBM har på den andre siden delt sin modell i 12 forskjellige områder med økt fokus på Analytics (Analytics i bevegelse og Analytical Lake Storage) og forbrukersiden (Discovery and Exploration, Actionable Insights og Enhanced Applications). Sources New sources Machine & Sensor data Image & Video Content Services Social Internet Sets Weather Commercial Sets Traditional sources Third-Party Ingestion & Integration Stage BigIntegrate Kafka IBM Streams Flume Sqoop JanusGraph OpenTSDB HBase HDFS Analytical Lake Storage Oracle DBMS (Innsikt) Access Hive BigSQL Solr Kafka Discovery & Exploration Tableau Actionable Insight Cognos Analytics SPSS Zeppelin Enhanced Applications PCI BBCI New Business Models TM1 OpenPages Fraud & Operations Transactional Application IBM Streams Analytics In-Motion Spark Streaming PMQ CMA System of Record Spark YARN Analytics Operating System Oozie Ambari Knox On-Premise Information Management & Governance Security Platform Governance Catalog Ranger IBM sin referansearkitektur for Big og analyse. På bakgrunn av undersøkelser og intervju i Statnett organisasjon har Finbeck-prosjektet kartlagt en rekke kapabiliteter som en fremtidig Big og Analytics-plattform skal støtte. De fleste av disse kapabiliteter støttes i Hadoop-plattformen som tas frem i dag i AutoDig-prosjektet, mens enkelte av disse vil støttes i det fremtidige målbildet. Blant kapabiliteter og områder som det fortsatt må arbeides med er det viktig å trekke frem Cloud GWintegrasjon og Exchange API som områder som ikke i tilstrekkelig grad støttes av nåværende plattform, i tillegg er det er behov for ytterligere pilotering og testing av teknologi og metodikk for håndtering av sanntidsdata. Dette innebærer at for å nå det fremtidige målbilde er det viktig å se på og vurdere avanserte Platform as a Service- og Software as a Service-skytjenester (PaaS- og SaaS-skytjenester) som tilbyr avanserte AItjenester som naturlig språkforståelse, datautvekslings-apier og gateways med tredjeparter, samt forbedring av infrastrukturen for inntak av sensordata. 8

11 motivation CapabilityMap - simple Low latency IoT data transport High throughput IoT data transport User friendly visualization Configurable and personalized visualization Map visualization Aligning and harmonizing facts from various sources Open Access to and Sharing Quality and Consistency Check Rule Engine support Classic Rule Engine Support Handling of real time information and streaming analysis Chatbot conversation support Natural language understanding Sensor Time Synchronization support Event Notification, Filtering and Distribution Redundancy and disaster recovery Fine-grained access control and perimeter security/aaa High volume data storage High CPU and GPU power Catalogue Document Storage Triple Store and Graph storage Processing of batch data Drone Fleet Management & Capture Actor Framework Video and picture analysis Machine Learning support Deep Learning support Audio analysis support Science Tools 5 Oppsummering Gjennom AutoDig 2.0 prosjektet etablerer Statnett en nytt Big og Analytics-plattform som er en viktig forutsetning for å understøtte forbedringer innenfor Statnetts daglige drift, vedlikeholdsmetodikk, nettplanlegging og teknologistandardisering, anleggsforvaltning, analyse av tilstand og tilstandsovervåkning med mer. Dette gir stort potensiale for innsparinger i andre enheter i Statnett. plattform som introduseres gjennom AutoDig 2.0-prosjektet på Statnett, dekker ennå ikke alle fremtidige behov. Gjennom Finbeck og SAMBA-prosjektet arbeides det med å kartlegge egenskapene, arkitekturen og de viktigste bruksområdene til den fremtidige Big og Analytics-arkitekturen. Det er flere områder som skal utforskes og skal utvides fremover. Dette inkluderer cloud-integrasjon, avanserte PaaS- og SaaS-skytjenester som tilbyr avanserte AI-tjenester som naturlig språkforståelse, datautvekslings-apier og gateways med tredjeparter, samt forbedringer av infrastrukturen for inntak av sensordata. 9