Stordata i offentlig sektor OSDF 7.12
Hva er stordata? Store datavolum (Volume) Virksomhets data Varierte data fra forskjellige kilder (Variety) Innhenting av data i real-time (Velocity) Transaksjoner Big data Offentlige data Avklart kvalitet og opprinnelse (Veracity) Summen av dataene er større enn (Value) de enkelte datasettene til sammen Sosiale medier Sensor data Gir muligheter for segmentering, tilpasning, prediksjoner, automatisering
Store data mengder fra mange kilder 90% av alle data er produsert siste 2 år Innen 2025 vil det bli produsert 1,7 GB data per person per sekund
95% av alle data vi produserer er ustrukturerte
Verdikjeden
Paradigmeskiftet NOEN AV DATAENE ALLE DATA RENE DATA KAOTISKE DATA DETERMINISTISKE DATA KOMPLEKSE KOBLINGER TESTE HYPOTESER UTFORSKING OG INNSIKT TIDSFORSINKELSER I ANALYSENE SANNTIDS ANALYSER BYTE prosjektet UiO
Tradisjonell BI The Big Data Revolution Jason Kolb 2013
Map reduce DATASTRØM The Big Data Revolution Jason Kolb 2013
The Big Data Revolution Jason Kolb 2013
Visualisering Charles Joseph Minard sin berømte graf fra 1869
DRIVKREFTER Lavere kostnader på lagring og prosessering GEVINSTPOTENSIALE Effektive beslutningsprosesser Tilgang til skytjenester Presise prediksjoner God båndbredde Raskere reaksjonstid Tingenes internett Bruk av stordata Økt brukerorientering Maskinlæring og kunstig intelligens Bedre kvalitet i beslutningene Hadoop Økt aktualitet Åpne data Økt innovasjon og næringsutvikling
Pris pr GB lagring 1998-2012
DRIVKREFTER Lavere kostnader på lagring og prosessering GEVINSTPOTENSIALE Effektive beslutningsprosesser Tilgang til skytjenester Presise prediksjoner God båndbredde Raskere reaksjonstid Tingenes internett Bruk av stordata Økt brukerorientering Maskinlæring og kunstig intelligens Bedre kvalitet i beslutningene Hadoop Økt aktualitet Åpne data Økt innovasjon og næringsutvikling
DRIVKREFTER Lavere kostnader på lagring og prosessering GEVINSTPOTENSIALE Effektive beslutningsprosesser Tilgang til skytjenester Presise prediksjoner God båndbredde Raskere reaksjonstid Tingenes internett Bruk av stordata Økt brukerorientering Maskinlæring og kunstig intelligens Bedre kvalitet i beslutningene Hadoop Økt aktualitet Åpne data Økt innovasjon og næringsutvikling
Statens vegvesen data inn Ca. 5000 målepunkt innen 2018
DRIVKREFTER Lavere kostnader på lagring og prosessering GEVINSTPOTENSIALE Effektive beslutningsprosesser Tilgang til skytjenester Presise prediksjoner God båndbredde Raskere reaksjonstid Tingenes internett Bruk av stordata Økt brukerorientering Maskinlæring og kunstig intelligens Bedre kvalitet i beslutningene Hadoop Økt aktualitet Åpne data Økt innovasjon og næringsutvikling
DRIVKREFTER Lavere kostnader på lagring og prosessering GEVINSTPOTENSIALE Effektive beslutningsprosesser Tilgang til skytjenester Presise prediksjoner God båndbredde Raskere reaksjonstid Tingenes internett Bruk av stordata Økt brukerorientering Maskinlæring og kunstig intelligens Bedre kvalitet i beslutningene Hadoop Økt aktualitet Åpne data Økt innovasjon og næringsutvikling
Åpne data
Eksempel: Statens vegvesen
Statens vegvesen - NVDB https://www.vegvesen.no/vegkart/vegkart/#kartlag:geodata/hva:(~)/hvor:()/@326574,6707886,5 http://data.norge.no/search/site/nvdb
Eksempel: Helsedirektoratet https://amk.beekeeper.no/ https://reisetid.helsedirektoratet.no/analyse/dashboards/3d72811b-e1b6-46ea-8a17-9357e92b2186
Eksempel: Statsbygg
Statsbygg
Gartners årlige Big Data undersøkelse off.sektor OFFENTLIG SEKTOR Rangering 1 Rangering 2 Rangering 3 BESTEMME/DEFINERE HVORDAN SKAPE VERDI FRA STORDATA 26% 8% 8% RISIKOBASERTE UTFORDRINGER (SIKKERHET, PERSONVERN, 15% 11% 15% DEFINERE VÅR STRATEGI 11% 13% 11% FINANSIERING AV STORDATATILTAK 11% 13% 8% LEDERMESSIGE- ELLER ORGANISATORISKE UTFORDRINGER 6% 6% 15% TILGANG PÅ NØDVENDIG KUNNSKAP OG KOMPETANSE 6% 9% 9% INTEGRASJON AV FLERE DATAKILDER 6% 13% 2% FORSTÅ HVA "STORDATA" ER 9% 6% 6% INFRASTRUKTUR OG/ELLER ARKITEKTUR 2% 9% 9% INTEGRASJON MED EKSISTERENDE INFRASTRUKTUR 0% 6% 13% ANNET 8% 6% 4%
Status i norsk offentlig sektor En god del verdifull forskning Noen offentlige virksomheter har kommet langt i utprøving og er på veg over i forvaltning Noen offentlige virksomheter tester ut mulighetene De fleste har ingen initiativer, men følger med på utviklingen
Noen eksempler Økokrim økonomiske transaksjoner SKATT og NAV forebygge og avsløre svindel Dibk regelverksutvikling Medisinsk forskning genforskning, bioinformatikk, hjerneforskning I Norge er vi ikke kommet i gang med Predictive policing Intelligente tjenester Sosiale media som datakilde Copernicus
Dataenes økosystem
Dette er vanskelig.. Tilgang til data åpne og ikke åpne. Usikkert om personvern formål, anonymisering osv. Hvem eier dataene? Kompetanse Prosessorkraft cloud eller ikke cloud?
Det aller vanskligste. Få fatt i data Forvalte dem Forstå dem og gjøre de riktige analysene