Forutsetninger revidert plan Elhub på plan for produksjonssetting 1. februar 2017 NBS innføring gjøres før Elhub innføring NBS Go-Live i Norge senest 15. oktober 2016 NBS markedstest Q2 2016
Overordnet tidsplan test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 DATAVASK OG MIGRERING M1 01.07.15 Grunnleggende datavask Uttrekk grunndata M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 Kontinuerlig datavask og datavedlikehold M6 15.01.17 SYSTEMTILPASNING / TEST EKSTERNE MILEPÆLER Pilot migrering DAMv1.1 levert 01.09.2015 Systemtilpasning Edielportal (inkl B2B) klar 01.10.2015 Systemsertifisering Edielportal DAM v2 levert 15.12.2015 Elhub klar for Vendor Trial 01.05.2016 Inkrementell migrering Systemgodkj. Elhub NBS Go-Live 09.2016 Aktørsert. Edielportal Elhub klar for Market Trial 01.09.2016 Aktørgodkjenning Elhub Elhub accepted 01.02.2017 Elhub GO-LIVE 20.02.2017
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at aktøren har korrekt identifisert alle data som skal migreres Gi en tidlig indikasjon på datakvalitet på data som skal migreres Få totaloversikt over strukturdata i markedet Sikre at aktør har lagt nødvendige planer for migrering og test Statnetts datakvalitetsundersøkelse er besvart Aktør har utarbeidet overordnet plan for datavask og migrering Aktør har spesifisert krav til endringer i sine ITsystemer Aktør har utarbeidet overordnet plan for systemtilpasning og test
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at aktør har bedret sin datakvalitet Sikre at aktør er i stand til å gjøre uttrekk fra egne systemer på spesifisert filformat og oversende disse til DAM Etablere infrastruktur for migrering Få indikasjon på omfang av inkonsistens på porteføljenivå Aktør har oversendt målepunkt-, kontrakt- og kundefiler for hele porteføljen til Elhub DAM Grunnleggende datavask er gjennomført Alle målepunkter er unike med GSRN/EAN (Ingen duplikater) Org. nummer er innhentet for alle bedriftskunder Støtte for innhenting av fødselsnr er implementert i aktørs ITsystem
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at datakvalitet på migrerte grunndata/strukturdata er på akseptabelt nivå Sikre at systemtilpasning pågår i henhold til plan Aktør har oversendt målepunkt-, kontrakt- og kundefiler for hele porteføljen til Elhub DAM, med gjeldende data frem til 01.02.2016 eller senere Datakvalitetskrav for M3 oppfylt Aktørs system skal være sertifisert i Edielportalen Fødselsnr innhentet
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at datakvalitet på migrerte data er høy Sikre at aktøren har tilpasset sitt forretningssystem til elhub Aktør har oversendt målepunkt-, kontrakt-, kunde- og måleverdifiler for hele porteføljen til Elhub DAM, med gjeldende data frem til 01.06.2016 eller senere. Historikk på måleverdier fra 01.05.2016 Datakvalitetskrav for M4 oppfylt Aktørs system skal være godkjent i Elhub
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at datakvalitet på migrerte data er høy Sikre at aktøren har tilpasset sitt forretningssystem til elhub Aktør har oversendt målepunkt-, kontrakt-, kunde- og måleverdifiler for hele porteføljen til Elhub DAM, med gjeldende data frem til 01.09.2016 eller senere Datakvalitetskrav for M5 oppfylt Aktør er sertifisert i Edielportalen Aktør har inngått brukeravtale med Elhub Kraftleverandør har implementert prosess for kvalitetssikring og vedlikehold av fødselsnr
Aktørmilepæler - test og migrering 2015 2016 2017 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 M1 01.07.15 M2 01.11.15 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 Formål Akseptansekriterier Anbefalt status Sikre at datakvalitet på migrerte data er i henhold til kriterier for GO-LIVE Sikre at aktørs forretningssystem er verifisert og klar for GO- LIVE Aktør har oversendt målepunkt-, kontrakt-, kundeog måleverdifiler for hele porteføljen til Elhub DAM, med gjeldende data frem til 01.01.2017 eller senere Datakvalitetskrav for M6 oppfylt Aktør er godkjent i Elhub (Market Trial gjennomført)
Datakvalitetskrav for data migrert til DAM Nettselskaper kritikalitetsnivå 1 Nettselskaper kritikalitetsnivå 2 Kraftleverandører kritikalitetsnivå 1 Kraftleverandører kritikalitetsnivå 2 M3 01.03.16 M4 01.07.16 M5 01.11.16 M6 15.01.17 95% 99% 99,9% 99,98% Ingen 95% 98% 99,0% 95% 99% 99,9% 99,98% Ingen 95% 98% 99,0%
Oppsummering av datakvalitetsundersøkelsen Statnett Ekspertgruppemøte 10 10.09.2015
Antall respondenter Nettselskaper: 154 Kraftleverandører: 170 Fortsatt enkelte som ikke har svart 9 nettselskaper (+1 uavklart) 2 kraftleverandører (+11 uavklarte) 11.09.2015 11
Antall målepunkter Mye av differansen gjøres antageligvis opp i tekniske punkter og punkter på leveringsplikt Fortsatt et stort avvik, 71 908 målepunkt på leveringsplikt, differansen uten disse er fortsatt 101 296 målepunkter (3,42%) 3 000 000 2 964 917 2 791 713 Nett 2 500 000 Kraft 2 000 000 1 500 000 1 000 000 500 000-11.09.2015 12
Antall kunder Denne differansen er mest sannsynlig utgjort av målepunkter på leveringsplikt Oppgitt 65 685 kunder på leveranseplikt 2 750 000 2 500 000 2 250 000 2 000 000 1 750 000 1 500 000 1 250 000 2 320 274 2 224 315 1 000 000 750 000 500 000 250 000 0 199 448 233 750 Nett Kraft Bedriftskunder Privatkunder 11.09.2015 13
Hva er andelen vertikalintegrerte målepunkter i markedet Ikke vertikalintegrerte Vertikalintegrerte 44 % 56 % 11.09.2015 14
Fordeling times- og profilavregnede Timesavregnede Profilavregnede 11.09.2015 15
Kunder uten fødselsdato eller organisasjonsnummer Nett 0,60% av privatkundene (0,54%) 4,09% av bedriftskundene (0,37%) Kraft 0,59% av privatkundene (0,47%) 4,09% av bedriftskundene (0,29%) 16 000 14 000 13 846 13 117 12 000 10 000 8 000 9 561 8 155 6 000 4 000 2 000 - Privatkunder uten fødselsdato Bedriftskunder uten orgnummer Nett Kraft 11.09.2015 16
Lagt planer for datavask 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Ja Nei 11.09.2015 17
Har selskapene spesifisert nødvendige endringer i egne IT-systemer for å benytte Elhub? 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Ja Nei 11.09.2015 18
Har aktørene utarbeidet en overordnet plan for hvordan man skal gjennomføre endringer i IT-systemer, arbeidsprosesser og egen organisasjon? 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Ja Nei 11.09.2015 19
Har aktørene valgt leverandør av system som skal benyttes mot Elhub 100 % Er leverandør av system med grensesnitt mot Elhub valgt 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Ja Nei 11.09.2015 20
Har aktørene inngått avtale med leverandør av system som skal benyttes mot Elhub 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Ja, for alle systemer Ja, for noen systemer Nei Kraft 11.09.2015 21
Hvordan er utvikling av programvare for uttrekk til migrering tenkt gjennomført 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Egenutvikling Systemleverandøren utvikler uttrekkene Ikke besluttet 11.09.2015 22
Hvordan er selve uttrekksjobben tenkt gjennomført 100 % Hvordan er selve uttrekksjobben tenkt utført 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % Nett Kraft Vi gjennomfører selv uttrekkene Ikke besluttet Systemleverandøren gjennomfører nødvendige uttrekk 11.09.2015 23
Frekvens på innsending av måleverdier til Elhub 1 gang i døgnet 2-4 ganger i døgnet 5-12 ganger i døgnet 13-24 ganger i døgnet Annet * Annet er stort sett oppgitt som «i henhold til forskrift» 11.09.2015 24
Porteføljer Ved innsending av porteføljeoversikt fra samtlige aktører kan vi si noe om omtrentligmengde med porteføljer i markedet Noe unøyaktighet kan forventes siden dette endrer seg over tid Porteføljeoversiktene er ikke innsendt av alle og sendt inn over en periode på over 3 måneder Oversikten viser 6448 porteføljer i uttrekkene 11.09.2015 25
Avvik mellom Elhub og Balanseweb 5 nett ikke med i Elhubs lister 2 industrinett 3 produksjonsnett Flere nett ikke med i Balanseweb som Elhub har identifisert Noen selskapsfusjoner Forskjellige GLN i Elhub sine lister vs Balanseweb Vil også sammenstilles med konsesjonshavere fra NVE 11.09.2015 26
Utfordringer Identifisere hvilke aktører som opererer i markedet Uttrekk fra Ediel, Balanseweb, NVE må sammenstilles med porteføljeoversikter for å få et komplett bilde av markedet Nye kraftleverandører dukker opp Konkurser Fusjoner av nettselskaper Identifisere rolle til aktører som opererer i markedet Kraftleverandør / produsent Flere kraftleverandører er rene produsenter uten sluttbrukere Produsent / nett Enkelte nett er kun industri- eller produksjonsnett Finne/få tak i kontaktpersoner på identifiserte aktører i markedet Holde kontaktinformasjon oppdatert 11.09.2015 27
Retningslinjer for identifisering av sluttbrukere Ekspertgruppemøte Elhub 10. september 2015 Nydalen
Grunnleggende datavask Dette er fasen frem til markedsaktørene mottar informasjon om inkonsistens fra Elhub sitt migreringsverktøy DAM (Data Analysis and Migration tool) Øke kvalitet på egne data, herunder sikre identiteten på sine sluttbrukere Innhente fødselsnummer, og organisasjonsnummer der det mangler Hjelpemidler tilgjengelig: Dagens Ediel, NUBIX, DSF, Brønnøysund, kommunikasjon mellom markedsaktører og mot kunde, andre kilder (Matrikkelen, Postens adresseregister, telefonkatalogen), eksterne leverandører av datavask
Utbedring av inkonsistens mellom nett og kraft DAM v2.0 sender korreksjonsfiler til markedsaktørene med informasjon om inkonsistens Filene inneholder informasjon om motpartens kundedata (krever avtale mellom aktørene og Elhub om konfidensialitet) DAM v2.0 blir tilgjengeliggjort i januar 2015 Kraft har hovedansvaret for utbedring av inkonsistens Kundebytte hos en av partene krever samtykke fra sluttbruker
Dokument publisert Elhub.no Ediel.no
Nytt fra NVE relatert til folkeregisteret Hjemmel for innsamling av fødselsnummer er vedtatt i forskrift Søknad på vegne av bransjen er sendt til Skattedirektoratet fra NVE EVRY jobber med å tilrettelegge for å opprette tilganger for bransjeaktørene
Prosess for grunnleggende datavask hos kraft
Prosess for grunnleggende datavask hos nett
Prosess for utbedring av inkonsistens
Prosess ved manglende kontrakt
Aktørtesting Ekspertgruppemøte 10.September 2015
Agenda Innhold i aktørtesting Gjennomføring av tester Testmiljø og testdata Krav til piloter Status Edielportalen
Hjemmelekse Hvor mange aktører har egne testsystemer? Hvilke muligheter har aktørene for å legge inn testdata i produksjonssystemene? Hvordan kan vi utnytte migreringsdata i testingen? Hvilke muligheter har aktørene for å teste Elhub-funksjonalitet parallelt med eksisterende produksjon? Vi ønsker å gjennomføre testene mest mulig effektivt både for aktørene og Elhub uten å gjøre for mye dobbeltesting. Vi ønsker derfor innspill på hvilke typer tester som kan/bør gjennomføres i Edielportalen og hvilke typer som bør gjennomføres i Elhub?
Aktørtesting Hensikt og målsetning Hensikt Bidra til at nye markedsprosesser for kraftmarkedet fungerer fra oppstartdato for Elhub Mål 1. Sikre at alle (KIS- og MVS-)systemer i kraftmarkedet støtter de nye markedsprosessene i Elhub 2. Sikre at alle markedsaktører kan utveksle meldinger med Elhub 3. Sikre at alle markedsaktører kan håndtere de nye markedsprosessene
Prinsipper for aktørtesting Både system og aktør skal sertifiseres i Edielportalen før test og godkjenning i Elhub Et system/en aktør må sertifiseres for alle roller som systemet/aktøren skal inneha Aktørsertifisering skal utføres på et allerede sertifisert system Det kan være ulike systemer pr. rolle Sertifisering i Edielportalen gir ikke 100% garanti for at alt vil fungere i Elhub
Sertifisering gjøres pr. rolle Oppdatering grunndata kunde Måleverdiinnsamling Markedsprosesser (opphør/ oppstart) Oppdatering grunndata målepunkt
Milepælplan for aktørtesting 5/10 2015 1/3 2016 1/7 2016 1/11 2016 15/1 2017 Edielportalen er klar for pilotering Alle systemer er sertifisert Alle systemer er godkjent i Elhub Alle aktører er sertifisert Alle aktører er godkjent i Elhub Systemsertifisering Edielportalen Aktørsertifisering Elhub Testmiljø Leverandørtest Elhub Pre-prodmiljø Aktørgodkjenning
Testtyper Teknisk test Kommunikasjon, kryptering, sikkerhet, komprimering (EMIF) Test av meldinger XML Schema, Schematron Test av prosesskomponenter BIM Test av prosesser BRS Simulering av Elhub-produksjon Test av Go-live og Cut-over prosess
Systemsertifisering i Edielportalen Hensikt: Teste at systemene støtter tekniske krav til utveksling Teste at systemene kan sende/motta alle relevante Elhub-meldinger (obligatoriske/valgfrie) Teste at meldingene sendes i riktig sekvens som del av prosesskomponenter Deltakere: Systemleverandører Edielportalen Gjennomføring: Systemleverandører gjennomfører selvbetjente tester og sertifisering med support fra Elhub test-team
Leverandørtest i Elhub Hensikt: Teste at systemene støtter tekniske krav inkl. krav til komprimering, signering og kryptering Teste at systemene kan utveksle alle relevante meldinger med Elhub Teste at meldingene sendes i riktig sekvens som del av prosesskomponenter og prosesser (BRS) Deltakere: Systemleverandører Elhub Gjennomføring: Elhub test-team planlegger og administrerer testen som gjennomføres av systemleverandører Både selvbetjente, individuelle tester og ende-til-ende tester som kan involvere flere systemer
Aktørsertifisering i Edielportalen Hensikt: Teste at aktørene kan sende og motta Elhub-meldinger i henhold til tekniske krav Teste at aktørene kan prosessere utvalgte, viktige markedsprosesser/ BRS-er i henhold til sin rolle Deltakere: Markedsaktører Edielportalen Forutsetning: Systemet/versjonen som brukes av aktøren er sertifisert i Edielportalen og godkjent i Elhub-test Gjennomføring: Markedsaktørene gjennomfører selvbetjente tester og sertifisering med support fra Elhub test-team og egne systemleverandører
Aktørgodkjenning i Elhub Hensikt: Teste at markedsaktører kan utveksle meldinger med Elhub (både sende og hente) i henhold til tekniske krav inkl. signering, kryptering og komprimering Deltakere: Markedsaktører Elhub Gjennomføring: Elhub test-team planlegger og følger opp tester som gjennomføres av markedsaktører Individuell test av grensesnitt for meldingsutveksling
BRS-NO-101: Oppstart kraftleveranse - leverandørskifte sd Skift lev erandør Kraftleverandør Elhub Nettselskap Ny kraftleverandør Gammel kraftleverandør Målepunktadministrator Nettilknytningstilbyder 1-oppstart kraftleveranse(leverandørskifte) {etter siste frist for kansellering} Meldingsfrist: - senest tre virkedager før oppstartsdato for ikke-fjernavlest - senest kalenderdagen før oppstartsdato for fjernavlest - tidligst seks virkedager før oppstartsdato for ikke-fjernavlest - tidligst fire kalenderdager før oppstartsdato for fjernavlest 6-oppdater grunndata(leverandørskifte) 11-Opphør kraftleveranse(leverandørskifte) 14-Oppstart i målepunkt(leverandørskifte) {senest 3 virkedager etter skiftedato for ikke fjernavlest} 16-måleverdier(Periodevolum, stand) 7-måleverdier(Periodevolum, stand) 7-måleverdier(Periodevolum, stand) {senest kalenderdagen etter for fjernavlest} 16-Måleverdier(Volumserie) 7-Måleverdier(Volumserie) A (from Roller) (from Roller) (from Roller) (from Roller) Name: Skift leverandør Author: perber Version: 1.0 Created: 11.12.2013 15:51:51 Updated: 13.05.2014 14:14:07
Prosesskomponent 1- Oppstart kraftleveranse
BRS-NO-312_ Oversendelse av måleverdier for profilavregnede målepunkt
Testsystem Hvor mange aktører har egne testsystemer? Hvilke muligheter har aktørene for å teste Elhub-funksjonalitet parallelt med eksisterende produksjon? Antagelse: Systemleverandørene har et testsystem der de kan manipulere testdata Kun de største markedsaktører har testsystemer De fleste markedsaktørene må teste fra produksjonsmiljøet
Testdata Hvilke muligheter har aktørene for å legge inn testdata i produksjonssystemene? Hvordan kan vi utnytte migreringsdata i testingen? Forslag til fremgangsmåte for bruk av migreringsdata i testing: Statnett definerer et sett med testaktører Aktørene registrerer disse testaktørene i egne systemer Testaktørene blir overført til Statnett i forbindelse med prøvemigeringeringer Testaktørene kan benyttes i Aktørtester
Pilot-aktiviteter 1/10 2015 1/1 2016 1/3 2016 1/7 2016 1/10 2016 15/1 2017 Edielportalen er klar for pilotering Elhub klar for Systemtest Alle systemer er sertifisert Alle systemer er godkjent i Elhub Alle aktører er sertifisert Alle aktører godkjent i Elhub Systemsertifisering Edielportalen Aktørsertifisering Pilot 1 og 2 - Testing Edielportalen Elhub Testmiljø Leverandørtest Pilot 3 - Delta i Systemtest Elhub Systemtest Elhub Pilot 4 - Delta i akseptansetest og pilotering av Elhub Elhub Pre-prodmiljø Aktørgodkjenning Akseptansetest og pilotering Elhub
Krav til pilotaktører Må ha utført nødvendige systemtilpasninger Må ha et miljø som er satt opp for test og kan kommunisere med Elhub Testdata er klargjort Må delta i planlegging av tester Må gjennomføre tester i henhold til plan Må delta i statusmøter og rapportere testresultater til Elhub
Deltakere Pilot 1 Pilottest Edielportalen Q4 2015 Delta i utprøving av ny versjon av Edielportalen som skal brukes til systemsertifisering for Elhub. Antatt ressursbehov: 3 dagsverk i løpet av 14 dager Trenger dekning for utvalgte roller Mulige deltakere Systemleverandører: Enoro, CGI, Brady, Tieto? Allianser: Valider/Powell, Nettalliansen/Embriq, SmartHub Markedsaktører med egne systemer
Plan for utvikling Edielportalen Systemsertifisering (TGT) Første versjon klar 5.oktober 2015 med enkelt teknisk grensesnitt og utvalgte prosesskomponenter og meldinger Nye meldinger lanseres fortløpende med endelig ferdigstilling i løpet av 2015 (Systemsertifisering skal være gjennomført innen 1/3 2016) Aktørsertifisering (AGT) Edielportalen klar til 1.6 2016 (Aktørsertifisering skal være gjennomført innen 1/10 2016)
Innhold i oktober-versjonen
Mulige oppsett for systemsertifisering - I Nettselskap Statnett MVS KIS Måleverdier EDIsystem Kundedata Edielportalen/ Elhub System som skal sertifiseres er markert med rødt
Integrasjonslag Mulige oppsett for systemsertifisering - II Nettselskap Allianse/ Tjenesteleverandør Statnett EDIsystem Sentralsystem Måleverdier KIS Edielportalen/ Elhub Innsamling Kundedata System som skal sertifiseres er markert med rødt
Mulige oppsett for systemsertifisering - III Kraftleverandør Statnett KIS E D I Edielportalen/ Elhub System som skal sertifiseres er markert med rødt
Go-live-prosessen Ekspertgruppemøte Elhub 10. september 2015 Nydalen
Cut Over for forretningsprosesser
Cut Over for måleverdirapportering og beregninger
Utkast til go-live prosess Frysperioden er 8 virkedager Frys inntreffer 8.2.2017 Rapportering til NBS går som normalt gjennom frys Go/No go-gate etter migrering til DAM (11.2.2017) Go/No go-gate etter kvalitetssikring i Elhub (15.2.2017) Åpning for prosesser for oppdatering av grunndata 16.2.2017 Åpning for prosesser for måleverdirapportering 17.2.2017. Timesmålte blir migrert Resten av prosessene åpnes 20.2.2017
Utkast til go-live prosess
Spørsmål Er lengden på frysperioden akseptabel for markedet? Vil det «worst case» være mulig å rulle tilbake til gammel meldingsutveksling inntil siste go-live gate? Kan vi på noen måte optimalisere go-live-prosessen? Hvor lang tid tar de aktivitetene som markedsaktørene skal gjøre? Opplasting til DAM (1 dag) Prosessering av NCF og ny opplasting til DAM (1 dag) Manuell sjekk i Elhub portal (2 dager) Avspoling av master data oppdateringer (1 dag) Avspoling og migrering av målerverdier (1 dag + 1 helg). Siste uke timesmålte migreres 22.2.2017 og PPCer 23.2.2017 for hele perioden.
Introduksjon til DAM
Steg i DAM-prosesseringen Akkumulering og aggregering Last opp Etterkontroll Formatsjekk Integritet sjekk Dupl. sjekk Konsist. sjekk Stegning data migrering Kontroll på felt-nivå: Format, påkrevd, enumerasjon, etc. Kontroll på dato: Sekvens og avhengighet Kontroll på prosess: Måleverdi, andre data, avhengig struktur, etc. Migrering fra DAM til Elhub Kontroll på rad-nivå: Kombinerte verdier, avhengige verdier Kontroll på MP-nivå: Kombinerte verdier, avhengige verdier Restrukturert data for Elhub: Iht. intern datastruktur, utvalg av benyttede data
Recap.: Mottatte filer i DAM (fra markedsaktører) Målepunkt Kontrakt Kunde Alt.: Fullintegrerte kundereferanser Målepunkt Kontrakt Kunde Måleverdier 11.09.2015 70
Formatsjekk Fil 1 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............ Fil 2 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............
Integritetsjekk Fil 1 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............ Fil 2 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............
Duplikatsjekk Fil 1 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............ Fil 2 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............
Konsistenskontroll Fil 1 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............ Fil 2 Col.A Col.B Col.C Col.D A B C D AA BB CC DD............
Illustrativt om prosessering i parallell Upload Upload Upload Format check Format check Format check Integrity check Integrity check Integrity check Duplicate check Consistency Consistency check Consistency Duplicate check Consistency Duplicate check Duplicate check check check check Postcheck Staging Data migration
Tilstander (Nei, ingen grunn til gjennomgang av dette;-) Format check failed Integrity check failed 2 Format check OK Integrity check OK Duplicate check to be current 1 10 11 20 Processed in Epic 1 and later Processed in US 8.2 Processed in US 8.3 Processed in US 8.4 Migration candidate status Entity-stored status Metalist-only status Process-terminating status Duplicate check replaced 27 Duplicate check to be current with gap 22 Duplicate check to be replaced Duplicate check current with gap Duplicate check current 34 21 23 Duplicate check to be replaced with consistency 26 30 32 Duplicate check current with gap with consistency Duplicate check current with consistency 40 Consistency checked with rule failure 31 Duplicate check to be current with consistency 24 Duplicate check to be current with error Duplicate check current with error 25 33 Duplicate check to be current with error having consistency
Og dermed litt demo, men først et annet lite tema 11.09.2015 77
Tilpasninger i filformatet
Hva har grovt skjedd med formatet? Måleverdier Endelig tatt i bruk Lagt til 4 felter i denne filen Øvrige filer Ingen nye felter Justert krav til påkrevde felter Presiseringer og korreksjoner
Måleverdifilen Dermed endelig fastlagt! Fire nye felter ift. tidligere utsendte (ikke approberte) versjon: MeteringValueVersion påkrevd, versjonsnummer på formatet ProcessingStatus påkrevd, enumerasjoner: Settled, Reconciled, NA BalanceSupplierUsed avhengig BalanceResposibleParty avhengig ProcessingDateTime endret navn fra RegistrationDateTime Presisert bruken av formatet 11.09.2015 80
Typer av måleverdier som skal og kan mottas NB! Nytt felt, Status, varierer innen hver av disse. Type of MP Dataset Specific file parameters Parameters for type of MP VolCat TS_Type ProdType SM_Type MP_Type Profiled MP PPC Preliminary E17 030 E01 E17 Period volume Period E17 030 E01 E17 Meter index Index E17 030 E01 E17 Non-profiled MP Hourly interval Interval E17 030 E02 E17 (consumption) Non-profiled MP (production) Non-profiled MP Hourly interval Interval E18 030 E02 E18 Hourly interval Interval E17 030 E02 E19 Hourly interval Interval E18 030 E02 E19 (combined) Exchange point Hourly interval Interval E17 030 E02 E20 Hourly interval Interval E18 030 E02 E20 MGA JIP Interval E17 030 E02 LP Grid Loss Interval E17 030 E02 GL Net Infeed Interval E18 030 E02 NI Net hourly settled Interval E17 030 E02 NH consumption Net consumption Interval E17 030 E02 NC 11.09.2015 81
Øvrige filer krav til påkrevde felter MeterProfile: Påkrevde enumerasjonsverdier Reporting Frequency / Reporting Frequency Start Kun påkrevd for målepunkter med kunder og kontrakter 11.09.2015 82
Øvrige filer - annet Generelt om historikk Skal ALLTID være tilknyttet en dato. Hvis ikke en feil fra vår side. Dato normalt knyttet til informasjonstype (information type) Næringskode (NAC_Code) Tillates nå også på privatpersoner, der relevant. MeterProfile Kommer med nærmere definisjon av enumerasjoner MeteringPointType Tillegg av enumerasjonene NI = NetInfeed, NH = NetHourlySettledConsumption PostOfficeBox Skal IKKE ha prefiks (slik som Pb., Postboks, el.) 11.09.2015 83
Spesielt om Kunde-filen (dvs. navn) Navn antall felter og lengder? Spesielt mellomnavn Noen spørsmål om dette Avvikende mellom BIM, Migreringsfiler, DSF (Folkeregisteret) Lengde: BIM = 40 DSF = 50 Migrering = 80 (fornavn) Derfor Fortsatt IKKE mellomnavn BIM allerede satt valgfritt mellomnavn (kardinalitet 0..1) Setter lengde = 40, alle parter forkorte navn med evt. siste 10 tegn For migrering: Også fornavn med lengde = 40 (mot 80 så langt) 11.09.2015 84
M2 Uttrekk - Elhub Statnett Ekspertgruppemøte 10 10.09.2015
Formål Sikre at alle aktørene har mulighet til å gjøre uttrekk på migreringsfilformat Skaffe en bedre oversikt over mengde og kvalitet på data i markedet Få opp infrastrukturen som er påkrevd for migrering 11.09.2015 86
Hva skal leveres? Spesifikasjon på uttrekk finnes på elhub.no http://elhub.no/nb/pages/50-filformater-og-prosedyrer Både med og uten endringer siden v0.9 Hva skal det leveres på til M2: Målepunkter (også kraftleverandører skal levere målepunkt uttrekk) Kontrakter Kunder 11.09.2015 87
Hva skal leveres - 2 En fil kan kun inneholde data for en GLN Dvs at et selskap som opererer med mer enn 1 GLN må sende inn alle 3 filtyper for alle GLN man er ansvarlig for Elhub vil følge opp at alle GLNer blir sendt inn data på Dette inkluderer en enkel sjekk på forventet antall målepunkter / kunder Ingen krav til kvalitet på dataene utover format på selve uttrekket 11.09.2015 88
Krav til data Snapshot av tilstand nå Ikke krav om historikk, men mulig Kvalitet vil ikke måles på dette uttrekket Utover innsending av data på alle målepunkter, kunder og kontrakter Ingen rapportering på kvalitet, dvs manglende orgnummer, fødselsnummer, mismatch mellom kraft og nett e.l. Dataene vil ikke leve til Elhub GO-live Slettes når Elhub har kjørt analysene som skal kjøres 11.09.2015 89
Puljeinndeling Alle aktørene er delt inn i 5 puljer (første pulje kun piloter) Sikre at ikke alle sender inn data 30.oktober Forenkle oppfølgingsjobben for Elhub Bedre bistå aktørene som skal sende inn data Fortløpende publisering av aktører som har oppfylt kriteriene for M2 på elhub.no 11.09.2015 90
Puljeinndeling - 2 Pulje 0: 25/9: Piloter + Brady pilot Pulje 1: 9/10: Ekspertgruppe + CGI Sør-Norge + Bergen Energi + Brady Pulje 2: 16/10: SORIA + SmartStrøm NordVest+ Andre systemer Pulje 3: 23/10: MAIK + Enoro Øst- og Sør-Norge + Nettalliansen Pulje 4: 30/10: Enoro Nord-, Midt og Vest-Norge + CGI Nord- Norge + Ukjente systemer November: Clean Up og analyser 11.09.2015 91
Komme i gang Brukernavn epost som angitt i datakvalitetsrapporten Telefonnummer mobilnummer angitt i datakvalitetsrapporten eller innsendt i ettertid Tilgang til aktører Hentes fra datakvalitetsundersøkelsen Passord sendes på SMS fra Elhub i løpet av førstkommende fredag og mandag Ekstern IP må sendes til «migrering@elhub.no» (http://minip.no) Dette har mange allerede gjort, de som ikke har gjort det før lansering av DAM vil ikke kunne nå DAM før dette blir gjort 11.09.2015 92
Hvordan laste opp filer Informasjon om hvor man kan nå DAM distribueres så snart DAM er klar for alle Pålogging gjøres med brukernavn og passord Tilgang blir gitt på orgnummer / GLN basis Ved manglende tilganger kontakt migrering@elhub.no Oppdages ved opplasting av filer Krever at ekstern IP-adresse er sendt Elhub Om DAM ikke laster, send IP-adresse til migrering@elhub.no 11.09.2015 93
Formatsjekk rapport Kjører ikke umiddelbart Det kan derfor gå flere minutter før det foreligger en nedlastbar rapport Rapporten inneholder kun antall feil fordelt på kategori Ingen arbeidslister eller sensitiv informasjon Dersom antallet feil i en kategori er få vil den indikere hvilke linjer som er feil Kun feil på format i denne omgang Konsistens og integritetsfeil vil komme i versjon 2 av DAM (januar 2016) 11.09.2015 97
Rapport Før formatsjekk Her ser man på statusen at filen ikke er prosessert 11.09.2015 98
Rapport Etter formatsjekk Filsjekk er passert (filnavn stemmer overens med rollen og tilgangene man har) Formatsjekken er passert, alle linjene er dermed OK på format 11.09.2015 99
Rapport Last ned Rapporten inneholder antall feil fordelt på kategorier Link til nedlasting av rapport finnes oppe i høyre hjørne Beskrivelse av feilkoder er publisert på elhub.no 11.09.2015 100
Nedlastet rapport - Eksempel 11.09.2015 101
Mest vanlige feil som oppstår Når man laster opp får man beskjed om at «fil allerede er lastet opp» Dette er en indikasjon på at en fil som er 100% godkjent allerede er lastet opp med samme navn Øk løpenummeret på filen eller endre dato Man får feilmelding om at man ikke har tilgang til GLN Det er enten feil i orgnummer eller GLN i filnavn eller innhold Sjekk orgnummer og GLN både i filnavn og innhold Dersom dette er riktig, ta kontakt med migrering@elhub.no Dersom det er feil, korriger For en uttømmende liste med feilkoder, se http://elhub.no/nb/pages/50-filformaterog-prosedyrer 11.09.2015 102
Pilotaktiviteter Høst 2015
Pilotaktiviteter Høst 2015 Deltamigrering Frist 2.oktober Måleverdier Frist 2.oktober Behandling av Non Conformity Files (NCF) 1.november til 1.desember Test av DAM v2 1.november til 1.desember 11.09.2015 104
Deltamigrering 02.oktober Alt som er endret etter 31.4.2015 skal sendes inn via DAM Endringer som skal sendes: Kort oppsummert: Målepunkter/kundeinfo/kontrakter med endringer etter 31.4 Om dette ikke er mulig: Lag et delta på uttrekket som ble lastet opp til DAM som en del av M2, zip filene og last opp til DAM. Delta inkluderer: Nye målepunkt Ikke lenger aktive målepunkt Målepunkt hvor det har vært andre endringer (eks: avregningsmetode) Målepunkt hvor sluttbruker er endret Nye kunder Avsluttede kunder Endring i kundedata (eks: fødselsnummer påført) Andre kontraktsendringer (eks: avgiftsinformasjon) 11.09.2015 105
Måleverdier 2.oktober Uttrekk på filformatet som allerede er definert Måleverdier fra 01.09.2015 Skal inneholde: Utvekslingspunkter: Timesverdier Nettavregningsområde JIP Nettap Netto utveksling Forbruk Produksjon Timesavlest Timesverdier (siste ikke historikk) Forventet årsforbruk Profilavregnet Preliminære profilerte volumer Periode volum Målerstand Forventet årsforbruk Sendes inn via DAM zip filene før opplasting 11.09.2015 106
Behandling av Nonconformity files (NCF) Starter når DAM v2 er klar for test Tidlig november frist 1. desember Avhengighet på DAM2 for å generere NCF-filer Pilotere verktøystøtte for å behandle NCF filer fra Elhub Tilrettelegge for en mest mulig effektiv behandling av feil rapportert fra DAM Elhub vil ha en dialog med systemleverandørene snart om bl.a. dette 11.09.2015 107
Test av DAM v2 DAM v2 blir tilgjengeliggjort Elhub-prosjektet for akseptansetest 1. november Vært helt avhengig av piloter for kvalitetssikring av DAM v1 Gir oss tidlig innblikk i hva som mangler for å kunne drifte en slik løsning Avdekker feil våre testere ikke har funnet Mest funksjonell testing, men håper også å kunne teste med litt større datamengder Elhub er derfor minst like avhengig av hjelp fra pilotaktørene for å kvalitetssikre DAM v2 Planen er å involvere piloter i begynnelsen av november 11.09.2015 108