Hafslund AMS: Hvordan semantisk integrasjon redder Norges største IOT-prosjekt. Axel Borge Simen Sommerfeldt til Ark 2016

Størrelse: px

Begynne med side:

Download "Hafslund AMS: Hvordan semantisk integrasjon redder Norges største IOT-prosjekt. Axel Borge Simen Sommerfeldt til Ark 2016"

Ole Thomassen
7 år siden
Visninger:

1 Hafslund AMS: Hvordan semantisk integrasjon redder Norges største IOT-prosjekt Axel Borge Simen Sommerfeldt til Ark 2016

2 Utfordringen; Løp ut og kjøp avanserte strømmålere Bygg et sikkert radiokommunikasjons nettverk som dekker (nesten) all bebyggelse i Oslo, Akershus og Østfold Bytt ut alle gamle strømmålere hjemme hos folk innen 1.januar 2019 (inne bak låst dør) ((tja, ca per arbeidsdag)) Sørg for at all kunde- og anleggs -data er korrekt, konsoliderte og tilgjengeligjøres for utrullingsprosessen (fra et tradisjonelt norsk lappverk av en semi-integrert applikasjonsportefølje) Sørg for at all ny data, inkludert data fra de målerne er tilgjengelige og konsolidert med eksisterende data, og at de kan benyttes av (ca her dupper de fleste i salen av) kundene og internt for analyse som gir økt effektivisering av strømnettet (også her i den tradisjonelle norske applikasjonsporteføljen) s.2 OK?

200 per arbeidsdag)) Sørg for at all kunde- og anleggs -data er korrekt, konsoliderte og tilgjengeligjøres for utrullingsprosessen (fra et tradisjonelt norsk lappverk av en semi-integrert

3 Hafslund s.3

4 AMS og ELHUB ElHub Statnett har fått i oppdrag av NVE å etablere Elhub. Elhub skal samle inn alle måleverdiene for Norge og samtidig gjøre disse verdiene tilgjengelig for kraftleverandører og deres sluttkunder. Videre skal Elhub understøtte prosesser for kunder som flytter eller bytter leverandør, samt sammenstille data for avregning mellom aktørene i kraftmarkedet For Hafslund Nett betyr dette at innsamlede og verifiserte timesverdier fra samtlige AMS strømmålere skal overføres til ElHub en gang i døgnet Når leverandørsentrisk modell etableres vil kundene kun forholde seg til strømselskapet (eksempel tjenesteleverandører og infrastrukturleverandør mobiltelefoni) Skisse hentet fra elhub.no Leverandørsentrisk modell skaper store endringer i forretningsprosesser og datautveksling i bransjen s.4

Videre skal Elhub understøtte prosesser for kunder som flytter eller bytter leverandør, samt sammenstille data for avregning mellom aktørene i kraftmarkedet For Hafslund Nett betyr dette at

5 AMS og ELHUB Skisse hentet fra elhub.no s.5

6 Valg av integrasjonsløsning System A System B System C Hafslund har utredet to alternative løsninger for integrasjonsarkitektur som vil støtte kravene til ny AMS løsning; System D System System N - ServiceBus - DataNAV (Semantisk/RDF) Hafslund har erfaring med begge løsninger, men prosjektet anser en DataNAV-basert løsning som mest hensiktsmessig i denne sammenheng; DataNAV - Økt stabilitet (asynkron datautveksling) - Færre integrasjonspunkter - Tilsvarende arkitektur valgt sentralt for El-Hub s.6

(Semantisk/RDF) Hafslund har erfaring med begge løsninger, men prosjektet anser en DataNAV-basert løsning som mest

7 Etablert applikasjon løsningsdesign Utrulling AMS Prosjekt, Drift, Vedl. eksisterende Drift. AMS Mottak uttak varer Lager & Logistikk Etappeplanlegging og oppfølging Prosjektmodul IFS ERP Dokumentasjon Økonomi anleggsregister Konsolidert kunde- og anleggsdata fra DataNav Tildel Start opp Utfør Rapporter AO-modul Nytt feltverktøy HR/Ressurs 360º Schedulering All masterdata konsolideres i DataNAV DataNAV er eneste kilde for samtlige fagapplikasjoner Ved hjelp av den semantiske databasen «kobles» alle data DataNav Integrasjonsmotor DataNAV gir stort potensiale forvaltning av informasjonsmodell og analyse Datakilder for utrulling Datamottakere i utrulling Historisk data-arkiv og analyse Quant #AMS GeoNIS #anlegg CAB #kunde Generis #gammel måler Datavarehus /Arkiv s.7

opp Utfør Rapporter AO-modul Nytt feltverktøy HR/Ressurs 360º Schedulering All masterdata konsolideres i DataNAV DataNAV er eneste kilde for samtlige fagapplikasjoner Ved hjelp av den

8 Jeg har holdt mange foredrag og skrevet mange artikler om IOT

9 Hypotese: Internet of Things prosjekter vil alltid involvere integrasjon

14 Store systemer vil egentlig ikke snakke med andre Folk glemmer ting Systemer er fulle av bugs

15 De som skal fikse er ikke tilgjengelige Systemer oppgraderes plutselig Systemer trenger ny info

16 Meldingstyper kan ikke endres Noen vil ikke samarbeide Lover og regler endres

17 Klasssk ende-tilende integrasjon Arkiv HR Regnskap Turnus Lønn

18 Klassisk integrasjon med ESB Arkiv HR ESB ESB Regnskap Turnus Lønn

19 Felles datamodell? Arkiv HR Regnsk ap Turnus Lønn

22 Traditional SOA med kanonisk datamodell HINDRER fleksibilitet

23 23 DOA Data Oriented Architecture

24 Behold datamodellene kopier dataene Arkiv HR Regnskap Turnus Lønn

25 Vi kopierer hele domenemodellene fra systemene

26 Universelt unike identifikatorer = Unique organisation on the internet = unique id of the information element Subject Predicate Object Type Person Name Tim Berners-Lee Position Programmer Manager Name Vint Cerf

27 Koble data Avdnr=Depnr Arkiv Duplikater Kontakt=Kontakt HR Regnskap Location= Avdnr Empnr=ID1 Turnus Lønn

28 Med open-source verktøyet DUKE kan vi koble elementer uten felles identifikatorer ved å benytte statistiske algoritmer og trening på datasett

29 Løse koblinger! SDShare Hent data, ikke dytt! Asynkront Abonnenter får data som er endret siden sist...spør etter endringer eller hele datasettet Informasjonen transformeres i fart Source HR Dest HUB

30 s Micro- Services: REST m/sesam Arkivdomene modell modell modell HRdomene Regnskapdomene Turnus -domene modell modell Lønn -domene

35 Vi bruker en Hashtracker for å spore endringer, eller et sist endret felt

36 Lese med SQL/File Skrive med API

37 DOA Database Enhance and Connect CONNECT Analytics File System System X Data Hub Transform SHARE Content Mngmt Public Open Data Content Mngmt COLLECT Data objects flow NOT messages Reporting Enterprise Search

38 38

39 Data Analytics & Enhancement Existing Systems Complete views of all systems and processes Act on all data Analytics results are just more data Uniformly Structured data from heterogeneous sources Contribute data System Improved Use Data Models in data, Constraints in data Drive process through state change All Data Indexed All people can ask all questions Processes Search and Reporting

40 Forretningsprosesser på tvers kan drives gjennom endringer I domenemodellene. Stor forskjell fra tradisjonell orkestrering

41 Andre systemer kan fortsette å kjøre selv om ett er nede. Og du kan oppgradere et system eller installere et nytt med færre konsekvenser

42 Kunden får makt over informasjonsmodellen og stiller sterkere overfor leverandører

43 Kunden kan lage prototyper og hurtig kombinere informasjon til nye systemer

44 De ti bud for DOA 1. Du skal kun få fra data fra andre systemer gjennom SDSHARE 2. Prosesser drives frem gjennom statusendringer i domenemodeller 3. Det vil aldri eksistere en felles datamodell i bedriften 4. Du skal aldri spørre navet direkte, men få data gjennom SDSHARE 5. Du skal være komfortabel med eventual consistency 6. Du skal gi det samme svaret når du blir spurt om det samme 7. Verden er asynkron. Ikke prøv å påtving den noe annet 8. Du skal avfinne deg med at den samme informasjonen kan ha flere kilder og oppdateres flere steder 9. Systemene trenger ikke å kjenne til informasjonsnavet 10. Informasjonsnavet er ikke en backup

45 Et paradigmeskift for kodere Eventual consistency Tafsing av data Idempotence: Sesam kan sende duplikater Ingen direkte kall eller meldingshåndtering Du trenger en informasjonsarkitekt IKKE bruk flere køer.

49 Tråkk til! Lag AMS med SESAM!

50 Oppsummering av krav Massive datamengder Mange systemer som må koordineres Mange implementasjons-steg, med skiftende behov og... Ikke unikt for Hafslund:

55 Yay! Need for AMERICAN scale YAY! Need for american-scale technology! technology

56 Den første utfordringen er å samkjøre informasjon mellom systemene før målingene kan starte

57 Lag SQL for import av data, inn i navet, skrive push receivers mot API er for skriving til systemer

58 Alle pilene er feeds til/fra Sesam

60 Når du bør vurdere semantisk integrasjon/data Orientert Arkitektur Brukes gjerne når alt annet er forsøkt Mange domener og/eller kilder til samme informasjon Hvis integrasjonsarbeidet involverer mye datakonvertering Hvis integrasjonsprosjektet eser ut Som innsamlingsledd for Big Data / Analytics.

61 For mer info.. send mail til

62 Spørsmål?

63 Takk til... Anders Volle Ståle Heitmann Steinar Rudsar Øystein Isaksen Jon Andreas Pretorius Graham Moore Lars Marius Garshol Steinar Rune Eriksen

64 Takk for oss!

Like dokumenter

Hafslund, ny arkitektur. Tor Martin Karlsen Hafslund Nett - IT Strategi

Hafslund, ny arkitektur. Tor Martin Karlsen Hafslund Nett - IT Strategi Hafslund, ny arkitektur Tor Martin Karlsen Hafslund Nett - IT Strategi Operasjonell struktur Produksjon Varme Nett Marked Bioenergi Regionalnett Vannkraftproduksjon Fjernvarmeproduksjon Fjernvarmedistribusjon