Ekspertgruppemøte 7 Migrering og test. Statnett, Nydalen 19. Mars 2015

Transkript

1 Ekspertgruppemøte 7 Migrering og test Statnett, Nydalen 19. Mars 2015

2 Agenda ekspertgruppemøte :30-09:50 Velkommen og introduksjon Dagens agenda Revidert tidsplan 09:50-10:30 Presentasjon fra leverandør - Accenture Prosjektplan Overordnet presentasjon av Elhub-løsning 10:30-10:45 Pause 10:45-12:00 Accenture forts Presentasjon av migreringsverktøy Demo av migreringsverktøy 12:00-13:00 Lunsj 13:00-14:30 Analyse av pilotdata Datavask-prosess for markedsaktørene Gjennomgang av kvalitetskrav Prosess for identifisering av inkonsistens mellom nett og kraft 14:30-14:45 Pause 14:45-15:15 Oppdatert milepælsplan for test og migrering 15: Oppsummering

3 Milepæler for kraftleverandører og nettselskaper For å sikre at alle aktører har jevn progresjon i arbeidet og er klare for idriftsettelse av Elhub på planlagt dato har Elhubprosjektet utarbeidet en milepælsplan for aktørsertifisering og datamigrering. Aktørene skal rapportere status på hver milepæl til Elhubprosjektet. NVE kan fatte vedtak om tvangsmulkt for selskaper som ikke kan dokumentere fremdrift i henhold til milepælsplanen.

4 Tidsplan v3.0 Ny overordnet tidsplan fra NVE. Go-Live mandag 20. februar 2017 Tydeligere spesifisering av datavask-aktiviteter. Konkretisering av krav til datavask i milepæler Intern datavask eks innhenting av fødselsnr skal være gjennomført innen M2 Innhenting av fødselsnr skal være gjennomført innen M3 Ny hovedaktivitet "Uttrekk grunndata" Retting av inkonsistens i kundedata på samme målepunkt er en prosess som kan ta lang tid. Aktørene har begrenset mulighet for selv å rette denne inkonsistens før data migreres til Elhub og sjekkes der. Gunstig å starte dette så tidlig som mulig Det kan ta tid å etablere migreringsgrensesnittet for alle 200+ aktører. Gunstig å starte dette så tidlig som mulig DAM front end planlegges levert innen sommeren 2015 Systemleverandører antas å være er i stand til å rulle ut funksjonalitet for å hente uttrekk på migreringsfilformat innen Q Oppdatering av krav i milepæler for systemtilpasning/test Krav til systemleverandører legges inn i M2 og M3 Lagt inn krav til løpende verifikasjon av fødselsnr/orgnr. i M4 Nytt krav om brukeravtale mellom aktør og Elhub legges inn i M4

5 Overordnet tidsplan systemtilpasning, test og migrering Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Grunnleggende datavask Kontinuerlig datavask og datavedlikehold Uttrekk grunndata MIGRERING Pilot migrering SYSTEMTILPASNING / TEST Systemtilpasning Systemsertifisering Edielportal Inkrementell migrering Systemgodkj. Elhub Aktørsert. Edielportal Elhub GO-LIVE DAM v0.5 levert NBS Go-Live Aktørgodkjenning Elhub Edielportal klar for systemsertifisering DAM v1.0 levert Elhub klar for Vendor Trial Elhub klar for Market Trial

6 Aktiviteter - datamigrering Grunnleggende datavask. Omfatter intern vask av grunndata som ikke forutsetter systemoppgradering (dvs innhenting av fødselsnr). Identifiser alle målepunkter med gyldig GSRN, fjern duplikater. Innhent orgnr for alle bedriftskunder Kontinuerlig datavask og datavedlikehold. Fortsettelse av utestående intern datavask. Innhenting av fødselsnr og splitt av navn. Korrigering av inkonsistens mellom nett og kraft Uttrekk grunndata. Uttrekk av grunndata på migreringsfilformat. Gir grunnlag for å kartlegge omfang av inkonsistens mellom nett og kraft Pilot migrering. Utvalge pilotaktører går foran og tester ut filformater, infrastruktur, migreringsprosess osv i praksis Inkrementell migrering. Gradvis migrering av data til DAM. Jevnlige korrigeringer og oppdateringer.

7 Datavask i fase for grunnleggende datavask Pågår frem til ca 1. oktober 2015 Omfatter datavask som ikke forutsetter systemoppgradering (les innhenting av fødselsnr) Alle målepunkter skal inn med gyldig GSRN nummer (EAN) Ingen duplikate målepunktid'er Alle organisasjonskunder skal ha gyldig organisasjonsnummer Ikke tilgjengelig verktøystøtte fra Elhubprosjektet i denne perioden Har dagens EDIEL-utveksling tilgjengelig som verktøy for utbedring av inkonsistenser Har tilgjengelig NUBIX for oppslag Eksterne oppslag mot Enhetsregisteret og Folkeregisteret

8 Aktiviteter - systemtilpasning og test Systemtilpasning. Markedsaktørens systemleverandør sin tilpasning av systemet i henhold til gjeldende spesifikasjoner for Elhub. Kan skje i flere releaser (f.eks. NBS/fødselsnr/database/meldinger/GUI) Systemsertifisering Edielportal. Elhub vil videreføre oppsettet med test og sertifisering i Edielportalen. Markedsaktørens KIS-system må oppnå Systemsertifisering i Edielportalen for de roller markedsaktøren vil ha i Elhub, før en markedsaktør kan gjennomføre aktørsertifisering Systemgodkjenning Elhub. Full funksjonell ende-til-ende test av en markedsaktørs IT-system mot Elhub Aktørsertifisering Edielportal. Sertifisering i Ediel-portalen av den enkelte markedsaktør for de roller markedsaktør vil inneha Aktørgodkjenning Elhub. Denne testen vil verifisere at aktøren kan utveksle meldinger med Elhub på korrekt format i henhold til aktuell rolle. Godkjenning i Elhub forutsetter at markedsaktører har tilpasset sine interne arbeidsprosesser i forhold til Elhub

9 Forslag til aktørmilepæler - test og migrering Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Formål Kriterier Migrering Kriterier Test Sikre at aktøren har korrekt identifisert alle data som skal migreres Gi en tidlig indikasjon på datakvalitet på data som skal migreres Få oversikt over strukturdata i markedet Sikre at aktør har inngått nødvendige avtale med systemleverandører Datakvalitetsrapport på spesifisert format er oversendt til Elhub Avtale om migrering inngått med systemleverandør eller plan for egen utvikling er lagt Avtale om systemtilpasning og test inngått med systemleverandør eller plan for egen utvikling er lagt

10 Forslag til aktørmilepæler - test og migrering * Gradvise frister pr aktør Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Formål Kriterier Migrering Kriterier Test Sikre at aktør har bedret sin datakvalitet Sikre at aktør er i stand til å gjøre uttrekk fra egne systemer på spesifisert filformat og oversende disse til DAM Etablere infrastruktur for migrering Få indikasjon på omfang av inkonsistens på porteføljenivå Grunnleggende datavask gjennomført Alle målepunkter unike med GSRN/EAN (Ingen duplikater) Org. nummer for alle bedriftskunder Grunndata og strukturdata sendt til Elhub på definert filformat* Støtte for innhenting og vedlikehold av fødselsnr er implementert

11 Forslag til aktørmilepæler - test og migrering Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Formål Kriterier Migrering Kriterier Test Sikre at datakvalitet på migrerte grunndata/strukturdata er på akseptabelt nivå Sikre at systemtilpasning pågår i henhold til plan Hele porteføljen av grunndata og strukturdata for aktøren er bekreftet korrekt mottatt i elhub DAM Datakvalitet >= 95,0% (inkl fødselsnr/orgnr og nettavregningsomåder, eks måleverdier) Aktørs system skal være sertifisert i Edielportalen og klar for systemgodkjenning i Elhub

12 Forslag til aktørmilepæler - test og migrering Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Formål Kriterier Migrering Kriterier Test Sikre at datakvalitet på migrerte data er høy Sikre at aktøren har tilpasset sitt forretningssystem til elhub Hele porteføljen av grunndata, strukturdata og måleverdier for aktøren er bekreftet korrekt mottatt i DAM Datakvalitet >= 99,0%, inkl måleverdier frem til Aktør er sertifisert i Ediel-portalen og er klar for godkjenning i Elhub Aktør har inngått brukeravtale med Elhub

13 Forslag til aktørmilepæler - test og migrering Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M M M M M Formål Kriterier Migrering Kriterier Test Sikre at datakvalitet på migrerte data er i henhold til kriterier for GO-LIVE Sikre at aktørs forretningssystem er verifisert og klar for GO- LIVE Hele porteføljen av grunndata, strukturdata og måleverdier for aktøren er bekreftet korrekt mottatt i DAM Datakvalitet >= 99,95%, inkl måleverdier frem til Aktør er godkjent i Elhub (Market Trial gjennomført)

14 Ekspertgruppemøte 7 Migrering og test Statnett, Nydalen 19. Mars 2015

15 Agenda ekspertgruppemøte :30-09:50 Velkommen og introduksjon Dagens agenda Revidert tidsplan 09:50-10:30 Presentasjon fra leverandør - Accenture Prosjektplan Overordnet presentasjon av Elhub-løsning 10:30-10:45 Pause 10:45-12:00 Accenture forts Presentasjon av migreringsverktøy Demo av migreringsverktøy 12:00-13:00 Lunsj 13:00-14:30 Status på pilotaktiviteter Gjennomgang av kvalitetskrav Prosess for datavask Prosess for korrigering av inkonsistens mellom nett og kraft Konkrete eksempler 14:30-14:45 Pause 14:45-15:15 Oppdatert milepælsplan for test og migrering 15: Oppsummering

16 Tonny Gundersen Rolle i Elhub er ansvarlig for teknisk arkitektur Er også teknisk ansvarlig fra Accenture sin side for bl.a. DAM og B2B grensesnitt Jobbet 16 år som konsulent i Accenture Erfaring fra ulike tekniske roller Helsedirektoratet, Telenor, Nordea, SpareBank 1, SpareBank 1 Liv, Norgesgruppen, Skatteetaten, Statnett, Kongsberggruppen, etc Var for eksempel ansvarlig for teknisk arkitektur for Kjernejournal

17 Mig. Tool HLD Sprint 0.1 Sprint 0.2 Sprint 0.3 Sprint 0.4 Sprint 0.5 Sprint 0.6 Sprint 1 Sprint 2 Sprint 3 Prosjektplan Accenture Solution Description Construction Acceptance and Completion High Level Design Prepare Solution Description Development - R1 Sprint 1-7 Development - R2 Sprint 8-13 UAT Sprint 0 System Vendor Trials Market Trials Go Live Prep. PMS1 Solution Description Approved PMS3 Ready for Acceptance PMS4 Go-live Mig. Tool Solution Description Test /UAT period Prep preprod env Migration tool v1 PMS2 Migration tool & Elhub core ready

18 The Best of Breed Solution Functionality fit Industry leading software High performance and scalable Flexible Robust and effective Secure Automated User friendly Copyright 2014 Accenture All rights reserved. 18

19 Business Processes Solution EnergyIP Meter Data Management (MDM) EnergyIP Market Transaction Management (MTM) 1 2 M2 Manage Metering Data M1 System Configuration Meter Data Processing Area M4 Aggregation and Calculations Orchestration and Configuration Area M3 Manage Market Processes M5 Single-Invoice M6 Reporting and Monitoring Supporting M7 Web portal, Web plug-in M8 Migration T1 System to system interfaces T2 Conceptual information model T3 Non-functional requirements Oracle Enterprise Management (OEM) Oracle BPM and SOA Suite Oracle BI Copyright 2014 Accenture All rights reserved. 19

20 EDI interface, B2B Basis for Solution: Statnett s Conceptual Overview market parties WEB portal elhub operations WEB portal WEB interface grid owners meter data responsible functions and services market and business process support (change of supplier, moving, etc. - collection and administration of master data) metered values and time series mgmt. (collection, verification and distribution) reporting, monitoring and statistics elhub operations, administration and functions aggregation and calculation (metered values, balancing, profiling) administration of structured data-, and models (e.g. grid areas) EDI interface, B2B suppliers producers 3rd parties bal. resp. NECS NBS workflow engine and process management (incl. configuration) security and authentication, audit-trail (incl. privacy data protection) capacity, performance and technology metering points master data Storage elhub-users, roles and access configuration, grid area model metered values time series

21 Fokus pr. dags dato er workshops og arbeid delt inn i funksjonelle og tekniske områder Prosess/område M1 System configuration M2 Manage metering data M3 Manage Market processes M4 Aggregation and Calculation M6 Reporting and Monitoring M7 Web portal, Web plug-in M8 Migration T1 System to system interfaces T2 Conceptual information model T3 Non-functional requirements Teknologi Oracle/Siemens konfigurasjon EnergyIP MDM Oracle BPM / Oracle SOA Suite EnergyIP MTM Oracle BI HTML5, JavaScripts, CSS3 Java EE, HTML5, Oracle DB Grensesnitt B2B og grensesnitt internt Oracle DB, fleksibel EnergyIP data modell Ytelse, sikkerhet, skalerbarhet, infrastruktur, mm Resultatet av workshops og fokusert arbeid vil resultere i leveransene High Level Design og Solution Description. Milepæl PMS

22 Eksempel: M3 - Arbeid med markedsprosesser (BRS- NO-101 som stjerne-eksempel) Description Before the process: The new supplier sends a request to initiate a supplier change for a specified meter. Upon receiving the request, a sub-process is initiated and master data is read The request will then be validated If one of the validation rules fail to hold, an exception is made from the process flow: A reject message is generated and returned to the requesting supplier metering points master data metered values time series

23 Eksempel: M7 - Web-plugin Iframe: Web-Plugin into existing web pages metering points master data metered values time series

24 T1 - Arbeid med B2B grensesnitt Fokus på ebix formatet Vil eksponere web services basert på ebix Basert på Elhub BIM Business Information Model v1.x.pdf Sprint 0 for hovedprosjektet går i parallell med første leveranse av DAM Utvikler utvalgte markedsprosesser Implementasjon i Oracle Service Bus med første versjon av utvalgte B2B grensesnitt Etablerer tjenestekatalog med web services, eksponeres til markedsaktørene Lager oppstartspakke med mockede web services for å kunne distribuere til markedsaktørene. Dette for å sikre tidlig uttesting i for eksempel Java/.Net. Etablerer B2B spesifikasjon som beskriver hvordan integrasjon med Elhub skal implementeres (wsdl, xsd, sikkerhet, etc.) Vil legge ut resultatet av dette arbeidet på elhub.no Dato: Senest Bunntekst 24

25 T1 - Arbeid med B2B grensesnitt hovedprinsipper Krever push inn til Elhub, dvs request/reply Markedsaktørene må hente meldinger fra Elhub (pull) Garantert leveranse Synkron kvittering, asynkron prosessering Standardiserte grensesnitt Følge Web Services standarder, SOAP, WS-I, WSDL, etc. Sikkerhet Ytelse Komprimering

26 Agenda ekspertgruppemøte :30-09:50 Velkommen og introduksjon Dagens agenda Revidert tidsplan 09:50-10:30 Presentasjon fra leverandør - Accenture Prosjektplan Overordnet presentasjon av Elhub-løsning 10:30-10:45 Pause 10:45-12:00 Accenture forts Presentasjon av migreringsverktøy Demo av migreringsverktøy 12:00-13:00 Lunsj 13:00-14:30 Status på pilotaktiviteter Gjennomgang av kvalitetskrav Prosess for datavask Prosess for korrigering av inkonsistens mellom nett og kraft Konkrete eksempler 14:30-14:45 Pause 14:45-15:15 Oppdatert milepælsplan for test og migrering 15: Oppsummering

27 Migreringsverktøy Fra spesifikasjon: Before Elhub is put into operation, the project will ensure that all historical master data, structure data and meter data that are currently in the DSOs and energy suppliers' customer information systems, meter data management systems or other system, have been checked for consistency and migrated to the repository in Elhub Spesifikasjoner: Elhub Specification of Migration Files.pdf Elhub Specification of Nonconformity Files.pdf Java EE basert løsning Lagring av data Oracle Database

28 Utvalgte krav Ability to accept data on multiple layouts on the same format from market parties This format is a semicolon delimited text file The DAM will provide a graphical user interface Ability to perform integrity check Ability to perform validity check Ability to perform consistency check Ability to do migration from migration database to Elhub database

29 Migreringsverktøyet er drevet av tre steg Steg 1 Ok/Ikke Ok? Steg 2 Ok/Ikke Ok? Steg 1: Opplastning av rådata Last opp, rapporter Sjekk - Format Lagre informasjon pr. rad gitt spesifikasjon Steg 2: Videreforedling Sjekk - Integritet Sjekk - Konsistens.. Steg 3: Lagret i Elhub xx.sdv yy.sdv zz.sdv Contract MeteringPoint Customer......

30 Migreringsverktøy pr. dags dato fokusert på pilotaktører Arbeidet med utvikling har startet, foreløpig med fokus på følgende brukerhistorier: DAM - Format market parties - Contract DAM - Format market parties - Metering Point DAM - Format market parties - Customer DAM - Interface - Upload market party files Arbeidet foregår i tre ukers sprinter Smidig metodikk sentralt i arbeidet Leveranse 1.6 inkluderer: Pålogging (brukernavn/passord) for markedsaktører Opplastning av historiske målerdata fra en manuell opplastningsside Til diskusjon: Er en manuell opplastningsside tilstrekkelig? Ulike formatsjekker i forkant av lagring (spesifisert i spesifikasjon) Rapportering på opplastning Etablering av sikret infrastruktur hos Basefarm

31 Samarbeid med pilotaktører Før 1.6 Vi mottar pr. dags dato innsendinger over FTP med krypterte produksjonsdata Vi vil i en kontrollert prosess maskere deler av disse produksjonsdataene og benytte disse i testing av 1.6 leveransen Med fokus på rapportering vil vi demonstrere maskerte og redigerte pilotdata i en utviklings/test-versjon av DAM Fortløpende i april sende over eksempel-rapporter og få tilbakemelding på disse Gjøre klar uttrekk for pilotperiode Etablere og bistå med å teste ut infrastruktur for pilotperiode (sikkerhet, brannmuråpninger, tilganger, etc) Fra 1.6 Logge seg på første versjon av DAM i en pilotperiode, manuelt laste opp (u)vaskede produksjonsdata

32 Demo - Upload market party files

33

34 34

35 35

36 36

37 37

38 38

39 39

40 40

41 Analyse av uttrekksfiler Delprosjekt for migrering og test

42 Datagrunnlag (sånn ca) 3 forskjellige systemer 10 pilotaktører 6 Nettselskap 4 Kraftleverandører kundeforhold kundeforhold - privat kundeforhold - bedrift målepunkt kontrakter nett-kontrakter kraft-kontrakter

43 Kjapp begrepsforklaring Kunde kunde fra en markedsaktør ikke analysert på tvers av kraft og nett Kundeforhold kunde slått sammen på kontrakt for et målepunkt sammenlignet på tvers av kraft og nett

44 Kunder med feil Privatkunder uten fødselsdato: 0,12% Kun 9-tall, tom dato e.l. Vanskeligere å vaske Dette inkluderer ikke fødselsdatoer som ikke er korrekte Bedriftskunder uten orgnummer: 3,84% / / e.l. Vil bli redusert ved vask mot eksterne register Der en part mangler denne, mangler ofte også den andre parten samme (94,5%) Privatkunder med næringskode: 0,81% Ola Nordmann Næringskode (Skulle vært XX, XY e.l.)

45 Kundeforhold med feil Kundeforhold med ulikheter på navn: 29% Inkluderer alle ulikheter i for-/etter- og firmanavn Eks: Ola Nordmann Ole Nerdmann De med kun enkle skrivefeil (majoriteten) vil løses ved vask mot eksternt register Gjelder av aktive kundeforhold Kunder uten noe som helst navn: 0,004% Noen tilfeller har CO/PB/ATT

46 Andre forskjeller i kundeforhold Ulik CustomerIdentity (orgnummer, fødselsdato) Eks: Ola Nordmann fdato: Kari Nordmann fdato: av kundeforhold (1,73%) Inkluderer der det er mismatch bedrift/privat, orgnummer er forskjellig, eller fødselsdato er forskjellig Bedrift hos kraft privat hos nett (eller omvendt) Eks: Ola Nordmann Storo Blikkenslager AS av (0,60%) Likt etternavn, forskjellig fornavn (Hr/Fru problematikk) Eks: Ola Nordmann Kari Nordmann (inkl lik fdato) av kundeforhold privat (1,25%) Inkluderer også mismatch med mellomnavn, grove skrivefeil i fornavn

47 Andre ulikheter i kundeforhold Ulik næringskode på bedriftskunder Eks: vs av (13,05%) Samboere med fullt navn på begge parter på ene siden av kontrakten Eks: FirstName kraft: «Kari Nordmann Ola Nordmann», First/Last nett: «Kari»/«Nordmann», Adresse nett: «Ole Nordmann Storveien» På andre siden av kontrakten er adressefeltet benyttet som kompletterende navnefelt for part som mangler i navn Lite problem, men vil muligens komplisere vask noe

48 Oppsummering av forskjeller Hvis man trekker fra hr/fru, priv/bedrift osv kan man anta Verdt å merke seg at dataene vi har analysert primært er kundeforhold fra ulike selskaper dvs. IKKE vertikalintegrerte porteføljer Av er trivielle skrivefeil der det er forskjell mellom nett og kraft som vil løses med vask Det betyr at man sitter igjen med (3%) feil av varierende alvorlighetsgrad som det er uklart om umiddelbart løses ved vask Ekstrapolert er dette på landsbasis ( målepunkter)

49 En ting til - manglende kontrakter Vil kunne resultere i mye manuell jobb for opprydding Analyser basert på komplette porteføljer (så vidt vi vet) Inneholder også målepunkter med åpne prosesser Noe usikre tall er mest sannsynlig lavere Kontrakter fra nett som ikke har motpart hos kraft av (0,46%) Kontrakter fra kraft som ikke har motpart hos nett av (0,72%)

50 Andre observasjoner Aktiverte kundeforhold pr måned Indikasjon på hvor mange åpne prosesser vi kan forvente ved go-live Noe usikkerhet knyttet til tallene, uvisst hvor komplette uttrekkene er bakover/fremover i tid Store svingninger måned til måned fjernet de mest avvikende av (1,35%) Aktiveringer denne uken 343 aktiverte denne uken Ekstrapolert vil dette bli ca 3500 på landsbasis uken før go-live

51 Inkonsistens mellom nett og kraft Delprosjekt for migrering og test

52 Innstramming i ny forskrift Én og samme sluttbruker for nett og kraft på ett og samme målepunkt Sluttbrukeren skal være en person eller juridisk person Sluttbrukeren skal være identifisert enten ved fødselsnummer eller organisasjonsnummer

53 Inkonsistens i kundedata fra nett og kraft Målepunkt Kontrakt Kunde Kunde Måleverdier Kraftleverandør Nettselskap Kontrakt Inkonsistens mellom kraft og nett må rettes før Go-Live Dersom fortsatt inkonsistens ved Go-Live vil Elhub velge data fra Nett Inkonsistens defineres som feil for kraftleverandør

54 Hovedproblem Data mangler eller er inkonsistente hos nett eller kraft Mangler org. Nummer Org. Nummer ikke konsistent med bedriftsnavn Mangler fødselsdato Mangler fødselsnummer Kunde er ikke identisk for nett og kraft Herr/fru Privat/bedrift Ulik næringskode Helt forskjellig kunde Mangler kunde hos nett eller kraft

55 Tilbakemelding fra pilotaktører og ekspertgruppe Prosjektet har mottatt mye data fra pilotaktørene Har avdekket en rekke problemstillinger Prosjektet har også motta noen forslag fra pilotaktører og andre i forhold til hvordan utbedre inkonsistenser Vanskelig å få aktørene til å kommunisere seg imellom Tilhører forskjellige konstellasjoner Forskjellige typer av markedsaktører Kan vi komme fram til generiske beskrivelser for å utbedre inkonsistenser?

56 Datavask og utbedring av inkonsistens Først kommer fasen for grunnleggende datavask Jobber internt først Best mulig datagrunnlag før sammenstilling i Elhub DAM mellom nett og kraft Kontinuerlig vedlikehold og datavask kommer utover i 2016 Utbedring av inkonsistens mellom nett og kraft

57 Datavask i fase for grunnleggende datavask Pågår frem til 1. oktober 2015 Alle målepunkter skal inn med gyldig GSRN nummer (EAN) Ingen duplikate målepunktider Alle organisasjonskunder skal ha gyldig organisasjonsnummer Ikke tilgjengelig verktøystøtte fra Elhub-prosjektet i denne perioden Har dagens EDIEL-utveksling tilgjengelig som verktøy for utbedring av inkonsistenser Har tilgjengelig NUBIX for oppslag Eksterne oppslag mot Enhetsregisteret og Folkeregisteret

58 Bedriftskunder uten reelt org. nummer Søke i Enhetsregisteret? Manuelt søk eller eller programmatisk integrasjon mot Brønnøysund Ta manuelt kontakt med de som ikke er registrert Enten registrerer de seg Eller, abonnement omregistreres på privatperson Hva med ambassader? Skal ha org. nummer

59 Bedriftskunder med feil navn Org.nummer og bedriftsnavn stemmer ikke overens Hva er riktig? Org. Nummer er mer entydig enn bedriftsnavn Bedriftsnavn er det som står på fakturaen Bruke navn som fasit? Bruke organisasjonsnummer som fasit? Kontakte kunde?

60 Bedriftskunder med feil næringskode Feil næringskode en bedrift kan ha flere næringskoder Hvor viktig? Hvor viktig er det for kraft? Nett bruker den til KILE rapportering Nett må i verste fall ta kontakt med kunde Droppe krav om næringskode fra kraft?

61 Næringskode på privatperson Privatkunder med næringskode Skulle det vært registrert som bedrift? Finnes det noen grunn til å bruke næringskode på person? Fjern den!

62 Andre momenter Felter kan være misbrukt For eksempel adressefeltet kan være brukt til navneinformasjon Kan løses ved å vaske adressefelt mot Posten

63 Vedlikehold og kontinuerlig datavask

64 Hente inn fødselsnummer for privatkunder Hente fødselsnummer fra Folkeregisteret Må ha én-til-én treff Må i verste fall kontakte kunden Spesielt hvis man mangler fødselsdato

65 Privatkunder uten navn eller fødselsnummer Kraft Søke i NUBIX Nett Kan ha CO/PB/ATT Kontakte kraft Oppsøke målepunkt

66 Skrivefeil i navn for bedrift/privat En del inkonsistens mellom nett og kraft skyldes rett og slett skrivefeil hos den ene eller begge parter Løses ved vask mot eksternt register Folkereigsteret Enhetsregisteret

67 Herr og fru Navn med store skrivefeil vil også kunne havne i denne kategorien Hvordan entydig identifisere herr og fru Samme etternavn Sjekke i Folkeregisteret Her er det to forskjellige juridiske kontrakter Kan være registrert på samme fødselsdato Eieren av fødselsdato er den reelle kunden Kraft endrer eller kjører anleggsovertakelse uten kundekontakt Hvis forskjellig fødselsdato Kraft endrer hos seg Oppsigelse sendes til den som ikke lenger er kunde, med forklaring på prosessen som er gjennomført

68 Privat versus bedrift Privat og bedrift antas å være samme faktiske sluttbruker Mest sannsynlig privat som er riktig Komplisert fordi det foreligger avtalemessige bindinger i begge retninger Kraft kan være bedrift og nett privat, eller vice versa Kan løses uten kundekontakt Hvis privat hos kraft: Kraft kjører anleggsovertakelse med privat Hvis bedrift hos kraft: Kraft endrer til privat Evt. kraft tar kontakt med kunde og retter opp Det sendes oppsigelse til den som ikke lenger antas å være kunde?

69 Forskjellige kunder på kraft og nett Forskjellig kunder på kraft og nett uten at de tilhører noen av de overnevnte kategorier Kraft må ta kontakt med kunde? Kjører anleggsovertakelse via dagens meldingsutveksling

70 Arbeid fremover i forhold til datavask-prosess Prosjektet jobber videre med innspill fra ekspertgruppen Ekspertgruppen jobber med tilbakemeldinger på de forslag som er fremmet av prosjektet (hjemmelekse) De som eventuelt er interessert i å være med i en arbeidsgruppe for datavask gir beskjed Prosjektet vurderer eventuelt å opprette en arbeidsgruppe og hvem som skal delta i denne

71 Opprette egen arbeidsgruppe Dele konfidenselle data fra pilotene Jobbe i mindre gruppe Møtes mer frekvent Utarbeide retningslinjer til bransjen for hvordan utbedre inkonsistenser

72 Mandat Presentere status på neste ekspertgruppemøte Kategorisere de ulike typene av datafeil og inkonsistenser Generelle anbefalinger til hvordan markedsaktørene kan løse feil: Feil i egne data før DAM er lansert Feil som blir påpekt av DAM Målet er å beskrive en prosess som blir billigst mulig for markedsaktørene, men som samtidig ivaretar sluttbrukernes interesser

73 Filformat, kvalitetskrav og korreksjonsprosess Delprosjekt for migrering og test

74 Noen kommende justeringer i filformat Nye felter: MeteringPoint Prioritet (verdi: P, A, B, C, D) Start av periode for forventet mottatt avlesning (datetime) Justerte formater/enumerasjoner: EndReason (Contract) Etablert enumerasjon (blir også inkludert i BIM) Z41 (death), Z42 (move), Z44 (default), Z45 (change) SettlementConstant Endret format fra decimal(10,8) til decimal(20,8) må håndtere større tall MeterDigits Skal selvfølgelig være decimal(4,1) Endringer blir inkludert i v1.0 Versjon (foreløpig) 0.95 er oppdatert på Confluence Innhold foreløpig avklart med leverandør, forventer ikke ytterligere felter

75 Kvalitetskrav

76 Overordnede datakvalitetskrav QA-kategori Beskrivelse FEILNIVÅ TYPISK INFORMASJON MÅ BØR KAN Data som er nødvendige for at Elhub skal virke. MÅ kvalitetssikres. Data som skal sendes til Elhub som ikke er driftskritiske, men er viktige for markedet. BØR kvalitetssikres. Data som skal sendes til Elhub som ikke er driftskritiske, men vil bli viktige for markedet. KAN kvalitetssikres KRITISK Målepunktinformasjon Måleverdier Kundeidentifikasjon Avgiftsinformasjon Relasjoner ALVORLIG Målepunktadresse MINDRE VIKTIG Kundeadresse Kontaktinfo

77 Nærmere om kvalitetssikring av felter og data Tidligere presentert og sendt ut tabeller detaljerer krav til felter i de enkelte filene fra forskjellige aktører Tabellene inngår i bransjeinstruksjoner, og beriker filformatet Kan være noe uforståelige derfor en liten forklaring på feltenes innhold

78 Felter og data - en forklaring Eksempel: De første feltene i kontraktsfilen Påkrevde felter kraftleverandører Fil Felt Påkrevd QA-krav Historikk Tilbakemelding til Mulig feil, grunn og aksjon MP mangler fra GAP. Enten feil Contract MeteringPointUsed Obligatorisk Må i/r Begge aktører i MP eller feil fra GAP. Tbm. til begge. ValidFrom Obligatorisk Må i/r Kraftleverandør Feil med overlapp eller gap i tidsperiode mellom eierskap/historikk. Tbm. til BS, evt. begge BS hvis lev.skifte. ValidTo Avhengig Må i/r Kraftleverandør CustomerReferenceEndUser Obligatorisk Må i/r Kraftleverandør CustomerReferenceInvoice Valgfri Kan Nei Ingen konsistenskontroller GridAccessProvider Obligatorisk Må i/r Kraftleverandør BalanceSupplierUsed Valgfri i/r i/r Ingen konsistenskontroller Feil med overlapp eller gap i tidsperiode mellom eierskap/historikk. Tbm. til BS, evt. begge BS hvis lev.skifte. Kunde mangler i kundefil. Tbm. samme. Kunde mangler i kundefil. Tbm. samme. MP ikke hos GAP, dvs. feil GAP(MP). Tbm. BS. Inkonsistent BS og BS fra filnavn/innsender. Tbm. BS (valgfri) BalanceResponsibleParty Obligatorisk Må Ja Kraftleverandør Ikke gyldig BRP - kan sjekkes? Må feltet være med i filen? Obligatorisk = Ja, Avhengig = kanskje, Valgfri = kun hvis data foreligger