Multiarkitektur fra datavarehus til informasjonsplattform. 12. april 2018 Elin Våge Lafton, NAV IT Digitalisering

Størrelse: px

Begynne med side:

Download "Multiarkitektur fra datavarehus til informasjonsplattform. 12. april 2018 Elin Våge Lafton, NAV IT Digitalisering"

Emma Solberg
5 år siden
Visninger:

1 Multiarkitektur fra datavarehus til informasjonsplattform 12. april 2018 Elin Våge Lafton, NAV IT Digitalisering

2 NAV IT Digitalisering

5 Klassisk datavarehus IT leverer tilrettelagte data Fagsystem Filer

6 Skyggedatavarehus IT leverer tilrettelagte data Analyse Data Discovery Prediksjon Statistiske modeller Machine Learning Skyggedatavarehus Og private datalager Fagsystem Filer Verden DaaS Åpne data Nye kilder: Sosiale media internett

7 NAV Datavarehus Datavarehus 800 GB per måned «Skyggedatavarehus»? per måned

8 Demokratisering Realtime Business BI Analytics og Intelligence datatjenester av Få servert ferdige Få produkter servert med ferdige kjent produkter innhold med kjent innhold Forsyne seg Forsyne selv fra seg selv tilrettelagte fra tilrettelagte retter retter Sette sammen Sette kjente sammen retter fra kjente et tilstrekkelig retter fra et utvalg tilstrekkelig utvalg produkter produkter Innovere, finne på nye Innovere, retter selv, finne bruke på nye retter vitenskapelige selv, bruke vitenskapelige metoder og innsikt metoder om mottaker. og innsikt om mottaker. Plukke råvarer Plukke selv råvarer selv Gjøre noe når Trigge noe inntreffer hendelse når (eks en frukten hendelse blir oppstår moden) (eks frukten blir moden)

9 Teknologi Personer Virksomheter Offentlig politikk

10 Planlegging og design Utvikling Testing Produksjon

11 Datavarehus Hjelpemidler Helse Pensjon Jobb Familie Nav Person Handlingsrom Pågående utvikling Digitalisering Automatiserte prosesser Verdi for bruker

Kontinuerlig automatisert Pågående utvikling deploy

12 Informasjonsplattform Hjelpemidler Helse Pensjon Jobb Familie Nav Person Utvidet handlingsrom Handlingsrom Kontinuerlig automatisert Pågående utvikling deploy Digitalisering Automatiserte prosesser Verdi for bruker Informasjonsplattform v

GAP-analyse Realtime Business BI Analytics og Intelligence - brukerbehov datatjenester Business Intelligence Analytics Realtime BI og datatjenester GAP 16 000 BO-rapporter 160 univers Web-I Få

13 GAP-analyse Realtime Business BI Analytics og Intelligence - brukerbehov datatjenester Business Intelligence Analytics Realtime BI og datatjenester GAP BO-rapporter 160 univers Web-I Få servert ferdige Få produkter servert med ferdige kjent produkter innhold med kjent innhold Forsyne seg Forsyne selv fra seg selv tilrettelagte fra tilrettelagte retter retter Sette sammen Sette kjente sammen retter fra kjente et tilstrekkelig retter fra et utvalg tilstrekkelig utvalg produkter produkter Innovere, finne på nye Innovere, retter selv, finne bruke på nye retter vitenskapelige selv, bruke vitenskapelige metoder og innsikt metoder om mottaker. og innsikt om mottaker. Plukke råvarer Plukke selv råvarer selv Gjøre noe når Gjøre noe inntreffer noe når noe (eks inntreffer frukten blir (eks moden) frukten blir moden)

14 MULTIARKITEKTUR Oppdage underveis Har en plan «Schema-on-write» «Schema-on-read» Med lagring Pull Uten lagring Push Meny Ingredienser Hendelser RDBMS Filer NoSQL Tjenester Strøm

Effekter Målrettet samhandling Flere i arbeid Redusert sykefravær Innovativ og lærende Kunnskapsbasert utvikling Bedre brukermøter Brukertilpassede dialog Redusert sykefravær Økt kompetanse Effektive

15 Effekter Målrettet samhandling Flere i arbeid Redusert sykefravær Innovativ og lærende Kunnskapsbasert utvikling Bedre brukermøter Brukertilpassede dialog Redusert sykefravær Økt kompetanse Effektive virkemiddel Færre feilutbetalinger Åpne data Samhandlere - livshendelser og oppdateringer Statistikk og utredninger Virksomhets- og produksjonsstyring Digitalisering og kanalutvikling Sak, behandling, vedtak, tiltak Direktorat Operative enheter Direktorat Operative enheter Direktorat Operative enheter Dataprodukter </> f(x) Tekst Monitorering Vedlikehold Datatjenester (data-as-a-service) API, hendelser, front-end DaaS Statistikk Analyse Visualisering Dataprep Strukturering Avansert analyse Business intelligence Rapportere, dashboard, selvbetjening Arbeidsbenk - avansert analyse Beskrive, utforske, predikere, simulere Råd/beslutninger A/B-testing Råd- og beslutningstjenester API, hendelser Sentral data management Sentrale fellesregister Informasjonsbibliotek m/felles definisjoner, sikkerhet og tilgangsstyring Analytiske beslutningsfunksjoner Data governance og stewardship-støtte Datakatalog, begreper og ontologier Felles metadataregister NAV Person NAV Organisasjon Andre registre Metadata Data lake, stage, arkiv Datatorg Datatorg Analysedatasett Analysedatasett Felles datavarehus-komponenter Konforme fakta og dimensjoner Nyttige felles datavarehuskomponenter Spesialiserte datalager Hendelsesforløp Tidsserier Tekst, bilder Analytiske bibliotek Maskinlæring Bildegjenkjenning Tale til tekst, tekst til tale. Maskinlærings-algoritmer og scorekort Intelligente agenter Komponenter i smarte applikasjoner Strategi for sikkerhet og tilgangsstyring Transformering (tradisjonell ETL, datavirtualisering, programmering) Datafangst (hendelsesstrømmer/data i ro, batch/datavirtualisering/replikering/api) Åpne data Brukeradferd kanaler Forvaltede ressurser sensor- og loggdata Sak, behandling, vedtak, tiltak, utfall Samhandlere - livshendelser og oppdateringer

17 Saksbehandler Må forstå hvordan Data og verktøy kan brukes (riktig) for å gi bedre innsikt og beslutningsstøtte. Statistikk/Styring (Fag) Pleide å utvikle BO-univers, nå ligger all semantikken modellert i DV. Hvordan samhandle med IT? Kunnskapsarbeider Må evne å kombinere kunnskap med datadrevet innsikt og våge utfordre etablerte hypoteser. Bruker Må forstå hva som er anbefalinger og hva som er fakta. (Annet?) IT brukerstøtte Må kjenne til informasjonsplattforms nye verktøykasse og kunne utføre enkel brukerstøtte. IT Forretningspartner Må forstå mulighetsrommet med modernisert informasjonsplattform. Hele IT Må forstå mulighetsrommet med modernisert informasjonsplattform. Benytte hyllevare fremfor å bygge visualiseringer i Java. Forstå hva AI-laben kan bidra med. IT-Arkitektur Må forstå ny arkitektur på informasjonsplattform for å fange opp når det burde tenkes annerledes enn før. Informasjonssikkerhet Må vite at data aksesseres sikkert og helhetlig gjennom DV og forstå konsekvenser og avgrensninger ved bruk av sikkerhetsmekanismene i DVplattformen. Integrasjonsarkitekter Må forstå hvordan DV passer inn sammen med resten av integrasjonsverktøyene i NAV. Støtte Bygge Bruke Modernisert informasjonsplattform Miljø/ leveransestøtte Jeg må forstå hvordan logiske arkitekturer testes og rulles ut og ta eierskap til å etablere gode rutiner for dette. IT-drift Må bygge kompetanse til å kunne forvalte ny arkitektur og være kompetent sparringpartner i moderniseringsarbeidet. Eie Informasjonsarkitekter Bygge kompetanse til å kunne ta eierskap til logisk lagdeling for datavirtualisering. Informasjonsplattform Jeg må forstå hvor ulike behov passer inn i arkitekturen, hvilken produksjonslinje som trengs for hvilke behov. Dataingeniører Vi må bygge nye produksjonslinjer ved siden av datavarehus og videreutvikle standarder for utvikling av datavarehus. Leverandør Må kunne bistå NAV på datavirtualisering og annen ny teknologi. System-/dataeier Må være forberedt på at data jeg er ansvarlig for eksponeres og det blir transparent hvordan kvaliteten på data er. Hvordan håndtere avvik? Dataforvaltning Jeg må forvalte alle data i NAV og kontinuerlig jobbe for at kvaliteten på data er god nok.

19 Retning Techlab

21 MULTIARKITEKTUR Oppdage underveis Har en plan «Schema-on-write» «Schema-on-read» Med lagring Pull Uten lagring Push Meny Ingredienser Hendelser RDBMS Filer NoSQL Tjenester Strøm

22 ETL = Ectract + Transform + Load + Expose E L E T L E T L T E E-T-L-E-T-L-E-T-L-E

23 ETL = Ectract + Load + Transform + Expose L T T T E-L T - E E

24 ETL + DV Dataprodukt Behov

25 ETL + DV + KAFKA Dataprodukt Behov

26 Techlab leveranseteam

28 Statistikkbruker Statistiker Analytiker Data Scientist Applikasjonsbruker Tradisjonell BI (BO) Applikasjon Data visualiseringsserver Data Torg TIBCO Datavirtualisering Data Kjerne Forkammer Kildesystem Kildesystem Kildesystem Kildesystem

29 Data Virtualization Server - Modules Brukere Users Analysts Analytikere and og developers Utviklere Data virtualization server Runtime module Design-time module data virtualization specifications data stores

30 Tabeller/ kuber Eksponeringsteknologi views Topic REST-API DATA + KONTEKST DVH DATA Kafkafeed Mikro- Tjeneste

31 MULTIARKITEKTUR Data.norge.no Datavirtualisering Datakatalog for interne datasett i NAV

Like dokumenter

Et smartere NAV. Make data smart again. Jonas Slørdahl Skjærpe

Et smartere NAV. Make data smart again. Jonas Slørdahl Skjærpe Et smartere NAV Make data smart again Jonas Slørdahl Skjærpe NAV er med på livets reise 80 000 70 000 60 000 50 000 Barnetrygd Dagpenger Sykepenger Ikke trygdemottaker Uføretrygd 40 000 30 000 20 000 AAP