Store data til dem som trenger det

Transkript

1 Store data til dem som trenger det Martin Giese UiO, institutt for informatikk 16. oktober 2015 Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

2 Litt om meg selv Professor ved Institutt for Informatikk, UiO Bakgrunn i Logikk Flere prosjekter med Norsk olje & gassindustri, offentlig sektor, Assistant Scientific Director i Optique End-user Access to Big Data EU-finansiert forskningsprosjekt, , 14M. Nytt SFI: SIRIUS Center for Scalable Data Access in the Oil & Gas Domain NFR-finansiert senter, Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

3 Hva er Big Data? Big Data (Wikipedia) Datasett som er så store eller komplekse at konvensjonelle metoder for databehandling ikke er tilstrekkelige Behandling: datafangst lagring transfer analyse visualisering tilgang Moving Target Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

4 Big Data: Mer enn bare Mengde Velocity BIG DATA Volume Variety Complexity Garnter Inc. Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

5 Volume Datamengde 1 Terabyte: Harddisken i din PC 1 Petabyte=1000 TB: passer inn i et skap (Norges DNA: 3,5 PB) 1 Exabyte=1000 PB: datasenter på 5,8 mål. Hva er stort? Kommer an på hva man vil: lagre? hente ut innen sekunder? lete etter bestemt informasjon? finne skjult informasjon? Velocity BIG DATA Volume Variety Complexity Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

6 Velocity Hastighet Large Synoptic Survey Telescope: 20TB/natt Large Hadron Collider: 1 PB/sekund Reduseres til 25 PB/år Hva er raskt? Må alt lagres? Kan det komprimeres? Fort nok? Trenger man å analysere alt? Analyse on-the-fly, eller i etterkant? Velocity BIG DATA Volume Variety Complexity Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

7 Complexity Kompleksiteten Statoil EPDS: 1500 tabeller, kolonner UiO sitt SAP system: tabeller, 1M kolonner Harald Pettersen/Statoil Hva er komplekst? Må jeg bruke data til nye formål? Må man kjenne til alt? Må man prosessere alt? Velocity Volume BIG Variety Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det TA DA Complexity 16. oktober / 16

8 Variety Variasjon Informasjon foreligger i form av Databaser Sensorstrømmer Textdokumenter Regneark Bilder, Lydfiler, Video Ofte flere i kombinasjon! Forskjellige måter å prosessere hver form. Vanskelig å kombinere. Velocity Variety BIG DATA Volume Complexity Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

9 Forskningens Perspektiv software Håndtering hardware kreft epidemologi genetikk Bruk geologi astronomi meteorologi Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

10 Flaskehalsen: Tilgang til data Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

11 The Art of the Possible Mye kan lagres, men langt ifra alt Mye av det kan leses fort, men langt ifra alt Mye av det vi kan lese kan analysere, men langt ifra alt Kun eksperter kan jobbe med Store Data! eksperter på maskinvare eksperter på programvare eksperter på de selve dataene og hva de betyr Store data er fjerne fra Brukeren! Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

12 Tilgang til data, i Teorien predefined queries Engineer Interface Application answers Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

13 Tilgang til data, i Realiteten information need IT-expert specialised query Engineer Interface Application answers Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

14 Tilgang til data, med Datavarehus queries ETL Engineer Application Data- Warehouse answers ETL Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

15 Tilgang til data, med Optique information need Translation translated query Interface Engineer Application answers Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

16 Tilgang til data, med Optique information need Translation translated query Interface Onto- Map- Engineer Application logy pings answers Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16

17

18 Data UiO Optique, SIRIUS: datatilgang BigInsight: dataanalyse Samlet vil UiO bli til en ledende institusjon innen Data Science Martin Giese (UiO, institutt for informatikk) Store data til dem som trenger det 16. oktober / 16