Datasjø. Hvordan samle, bearbeide og lagre stordata for bruk gjennom maskinlæring og kunstig intelligens

Transkript

1 Datasjø Hvordan samle, bearbeide og lagre stordata for bruk gjennom maskinlæring og kunstig intelligens Pål A. Reiersgaard Vanndagene på Vestlandet,

2 Agenda o Om meg og hva jeg driver med o Hva er en datasjø? o Hvordan bygge en datasjø? Eksempel fra Vann&avløpsetaten i Bergen kommune

3 Hvem er jeg o o o o o Pål A. Reiersgaard Samfunnsøkonom med spesialisering i økonometri og behandling av stordata Drammenser som har forvillet meg over fjellet (bergensk kone, rekkehus, skoda octavia family og 2 barn --- ingen vei tilbake) Nørd og lidenskskapelig opptatt av behandling av, og analyse av data Jobbet med data, analyse og BI 8 år o NSD (Norsk samfunnsvitenskapelig datatjeneste) o Haraldsplass o Helse Vest o Bouvet

4 Hva gjør jeg nå? Jobber med data science, smart analyse og nye teknologier

5 Teamet Trond S. J. Ida Nora Anamarija Megan Pål Leder Data Science Data Analysis Data Presentation Erle Sathiesh Trond T. Data Engineering Architecture Design Are Utvikling Morten Drift Yngve Kjetil Merca Lars

6 Hva jobber vi med Kunnskapsstrukturering Robotisering Språkprosessering Talegjenkjenning Språkgenerering Bildeprosessering Maskinlæring Dyp læring Sansing Analyse

7 Økosystem digitalisering Applikasjoner/apper Kognitive tjenester Interne systemer «Data plattform» Data Science r Eksterne systemer r r Data fra IOT r Utforskende analyse

8 Hva er en datasjø?

9 Datasjø Hvis jeg samler alle mine data i en datasjø, og deretter installerer maskinlæring så finner jeg ut av alle tingene i mine data som jeg ikke visste om fra før.

10 Datasjø:

11 Samarbeid mellom IT og forretning Leder Controller Fagperson Analytiker?

12 Datasjø - team Leder Controller Fagperson Analytiker

13 Hvordan bygge en datasjø? Eksempel fra Bergen kommune sin datasjø

14 Bergen Kommune ønsker å tilgjengeliggjøre data i større grad, samt ta i bruk data for å drive innovasjon og forbedre sine tjenester Bergen Kommune ønsker å se på muligheten for å samle data slik at denne dataen kan anvendes bedre internt og ekstern. 1. Tilby åpne data Det oppleves en økende forventning i samfunnet etter tilgang på offentlige data. I tillegg til dette har tilgjengeliggjøring av data et kommersielt motiv ved at data kan bidra til styrking av kommunens økonomi som igjen kan føre til flere arbeidsplasser og større handlefrihet. 2. Innovasjon på tvers av byrådsavdelinger Når data er isolert i den enheten de tilhører reduserer dette muligheten til å utvikle ny funksjonalitet eller løsninger. Det er politisk ønskelig å åpne for ekstern innovasjon av kommunale tjenester som kommer innbyggeren til gode. 3. Innsikt og beslutningsstøtte Bergen Kommune har begrenset tilgang til gode rapporteringsverktøy. Ettersom tilgjengelig data stort sett er isolert per system, gjøres det manuelle jobber for å lage en helhetlig rapportering.

15 Lungegårdsvannet er Bergen Kommunes nye dataplattform, og skal bidra til å gjøre regionen datadrevet. Hente data Samle data Analysere data Tilgjengeliggjøre data

16 Microsoft Azure benyttes som platform med tiilhørende verktøystøtte Azure er en komplett skybasert plattform som i stor grad ivaretar Bergen kommunes behov for data lakes og samling av data Azure legger til rette for gode hybridløsninger som muliggjør lagring i skyen og lokalt Kjennskapen til Azure gjør at det blir lavere implementeringskostnader enn ved de andre løsningene Azure gir god integrasjon med Bergen kommunes allerede eksisterende Microsoft produkter

17 En datasjø anvendes til å samle relevant data til sitt formål. Dataen kan være ubehandlet i variert form, og den kan lagres lokalt eller hentes fra kilde on demand En data lake kan inneholde: Strukturert data fra relasjonsdatabaser som SQL Semi-strukturerte data som CSV, XML eller JSON-filer Ustrukturerte data som , dokumenter og PDF-filer Eksterne tilgjengelige datakilder og binærdata som bilder, lyd og video Ved å benytte seg av en datasjø vil ulik data kunne lagres i sitt naturlige format, som videre tillater samlokalisering av data i forskjellige skjema og struktur.

18 Prinsippskisse for målbildet Lungegårdsvannet Datakilder Hent data Samle data Analyser data Interne data Fagsystem Støttesystem Datastrøm Fellesdata BK360 Eksterne data Forskjellige verktøy for henting av data Sortere og lagre API Eksport Data crawlers ETL RPA Åpne Production Transform Raw Sensitive Write once, read only Teknikker og verktøy Definere og virtualisere Søk Rapport & visualisering Data analytics Maskinlæring Neurale nettverk Tilgjengeliggjør data Åpne datamarts Analyseverktøy Spissete datamarts Sensitive datamarts Åpen tilgjengelig data Autentisert tilgjengelig data Autorisert tilgjengelig data Begrenset tilgjengelig data Bruk data Anonyme brukere Registrerte brukere Interne brukere Eksterne offentlige godkjente brukere

19 Det er etablert et prosjektet hvor målet er å bygge kapabilitet gjennom use cases for å bygge, teste og lære

20 For å levere use case jobber vi etter smidige verdier og prinsipper i tverrfaglige team

21 Vi bruker smidige teknikker i utviklingen av use case og andre nødvendige oppgaver

22 Hvordan jobber vi egentlig med datasjø? Og hvordan bygger vi kapabilitet?

23

24 Vi finner lettere riktig lokasjon på et vannledningsbrudd og unngår unødvendig graving

25 Illustrasjon av Konsept for Vann og Avløp Data fra vannrør registreres og hentes fra målepunkter Sensormålinger kobles med kartdata Kart i Gemini berikes med nåverdimålinger i vannrør, som kan brukes operativt ute.

26 BK Vann&avløp Datasjø arkitektur

27 Hvor mye data har blitt hentet fra Svartediket i perioden frem til i går? 1 fil hvert minutt filer i snitt måleverdier pr. fil Hvor mange linjer i snitt pr ?

28 Hvor mange mye data har vi hentet fra MariaDB siden kl. 13:35:32? 1 fil hvert minutt filer linjer pr fil Hvor mange linjer neste måned?

29 Hva oppnådde Bergen kommune usecaset? Læring Bergen kommune sine ressurser skal være bedre i stand til å jobbe med Microsoft Azure og datalake, dataimport og dataanalyse Beste praksis og verktøy for import av data til datasjø Beste praksis for sammenstilling av data fra flere kilder Hvordan visualisere data Struktur Første versjon av en strukturert datasjø for Bergen Kommune Kontinuerlig innhenting av data Organisering av rådata Organisering av transformdata Tilgjengeliggjøring av visualisering og/eller API er Use Case Utviklet en Minimum Viable Product for Vann & Avløp der: Historiske data er ivaretatt Sanntidsstrømmen fra Cactusnettet lagres fortløpende Mottatt data er satt sammen i et måledatasett Måledatasettet lar seg visualisere Måledatasettet lar seg koble med GIS data

30 Hva har Bergen kommune gjort med disse «Big data»?

31 Hva Vise målinger live i gemini portal. Koble senormålinger til VA ledningsnett Hvorfor Ta bedre beslutninger, samt styrke kommunikajson mellom feltbrukere og driftsledere For hvem Både feltarbeidere, ledere og planleggere. Oppnår et raskt oppslag til de samme data fra den løsningen som bruk daglig

32 Spørsmål?

33 Takk for meg