Datavarehus og Data Mining. Helge Rege Gårdsvoll og Lasse Bache-Mathiesen NTNU

Transkript

1 Datavarehus og Data Mining Helge Rege Gårdsvoll og Lasse Bache-Mathiesen NTNU

2 Om oss Helge Rege Gårdsvoll Sjefskonsulent i BIM NTNU Indøk 09 Prosjekter: VPS Oslo Kommune DNB Storebrand Lasse Bache-Mathiesen Principal i BIM UIO Matematikk 84 Selskaper: Veritas Norsk Data Merkantildata Sysdeco Information Management Ciber Affecto Capgemini 2

3 AGENDA Datavarehus i Capgemini Datavarehusteori Datavarehuscase: Lindorff Data mining: telecom Trender 3

4 Moderne selskaper har mye data, men ikke svar på de viktige spørsmålene Oslo Kommune Hvilke fakturaer bør undersøkes for svindel? Hvor stor turnover har de forskjellige virksomhetene? Sparebank 1 Hvordan skal vi oppfylle kravene i Solvency II? Hvilke kunder har størst risiko for mislighold? Posten Hvilke kontorer har høyest sykefravær? Hvorfor? Hvordan kan vi redusere antall ulykker? Storebrand Hvilke papir har fått dårligere rating i dag? Hvor stor beholdning har vi i papirene? 4

5 Drowning in Data, Thirsting for Knowledge I don t have a single view of key things like customer, vendor, product, stock I have software from every vendor and now they have all bought each other I don t know which technologies to bet on What we hear in the market I now have more and more data about consumers, citizens, complaints, sales transactions, web activities if we can harness this we would really be really good I have spent a lot of money on my BI systems but am not getting the value I expected I have lots of reports, but never the information I need to run the business I don t trust the information presented to me I see reports on the same subjects but with different figures Big data will disrupt the data management landscape by changing fundamental notions about data governance and IT delivery, where a single version of the truth ceases to be absolute and becomes relative and contextual. Forrester,

6 BIM vs. Business Intelligence / Analytics Business Intelligence is the management of an organizations data to provide insight into the business. Analytics (Analytical applications) is the application of computer technology, operational research, and statistics to solve problems in business and industry is the management of an organizations complete information. Organizing the information so that it is clean, consistent, readily available, and easy to navigate and can: Provide business / competitive insight Support systems or business change Optimise operational effectiveness Provide regulatory & compliance reporting Analytics Business Intelligence (BI) Business Information Management (BIM) BIM is more than BI, Performance Management or Analytics. It is an holistic view on an organisations entire information landscape 6

7 In modern business, information management has become a critical success factor for any corporation Virtually everything in business today is an undifferentiated commodity except how a company manages its information. How you manage information determines whether you win or loose. - Bill Gates 7

8 Competitive Advantage The Information Strategy will build the journey the organisation must take Achieving intelligence requires a holistic view across people, process and information 4 Stage Maturity Model I have a portfolio of appropriate options available, to support any business requirement What is my best opportunity? What should I do next? How is my organization doing vs. goals? I can explore my data, but is it correct? Value extracted from Information Information maturity takes time to develop changing the technology will probably fail if the basics are not in place first 8

9 Datavarehusteori 9

10 The data warehouse is designed to give users a single source for business information Repository of business information Single source of information Unified definitions - one truth Subject oriented Prepared for analysis Clean, conformed data Designed with the user in mind Data Information Insight 10

11 De to største teoretikerne innen datavarehus er Ralph Kimball og Bill Inmon Ralph Kimball A data warehouse is a system that extracts, cleans, conforms, and delivers source data into a dimensional data store and then supports and implements querying and analysis for the purpose of decision making. Bill Inmon A data warehouse is a subject-oriented, integrated, nonvolatile and timevariant collection of data in support of management s decisions 11

12 Sammenligning av Kimball og Inmon arkitetur Source system Source system Source system Source system Source system Source system Source system Source system Extract, transform and load Extract, transform and load Data mart 2 Enterprise Data warehouse Data mart 1 Data mart n Extract, transform and load DW bus conformed Dimensions and Conformed facts Data mart 1 Data mart 2 Data mart n 12

13 Capgeminis referansearkitektur Operational Environment Data Warehouse Environment Maintenance Business Intelligence Environment Meta data Data Source layer (DS) E T L Staging layer (SA) E T L ODS Operation al Data Store E T L Data Warehous e layer (DW) E T L Datamart layer (DM) E T L BI layer (BI) Analysis Reports S A Source like D W Relational/ Source like D W Relational/ Dimensional D M Dimensional B I Dimensional Users 13

14 Other reference Architecture 14 14

15 Ny tankegang? DATA- KILDER DATAVAREHUS BI- TJENESTER PORTAL NÆR SANNTID nav.no Kø Operativt datalager Operative rapporter Styringsfunksjonalitet Navet TJENESTER FIM Stjerneskjema Kuber Ferdige rapporter BRUKER METALAG Rapporter Simuleringer/prognoser mobilt Andre kanaler Osv ARKIVERING DATA Statistikk og analyser Eksterne FOR- OG MELLOMKAMMER DATAVAREHUS KJERNE DATATORG Eksport METADATA METADATA Interne 15

16 Datavarehuscase: Lindorff 17

17 Lindorff Kunden Lindorff Sverige er en av Sveriges største inkassoselskap Driver inkasso som tjeneste, samt oppkjøp og inndrivning av gjeld 200 ansatte i Stockholm og Gøteborg Forretning Kjøper nedprisede gjeldsporteføljer med lav forventet tilbakebetaling Tjener penger på å ha en effektiv inndrivingsprosess 18

18 Mål for prosjektet Rapporteringsløsning for inkasso Kundebalanser Prosessoversikt Vintagesammenlikning Oppfølging av scoring Historisk datagrunnlag for analyse Blueprint for implementering av datavarehus i Lindorff Etablere best practices og standarder Designe for skalerbarhet og fleksibilitet 19

19 Klassisk prosjektorganisering for BI-prosjekt Prosjekteier Kundens ansvarlige Sammenstiller krav til løsningen Prosjektleder Ansvar for prosjektet Legger planer, koordinerer Økonomiske estimater Arkitekt / Teknisk Leder Ansvar for løsningen Designer prinsipper, høynivåarkitektur Leder det daglige utviklingsarbeidet Testleder Legger teststrategi, testplan Styrer testfasen Datavarehusutvikler Designer detaljert arkitektur Utvikler tabeller, ETL Lager tester Tester Gjennomfører test av løsningen Rapportutvikler Designer detaljert arkitektur Utvikler semantisk lag, rapporter, selvbetjeningsløsninger, distribusjon Lager tester 20

20 Smidig prosjektgjennomføring Behov Deployment Design Test Implementering 21

21 Lagdelt arkitektur NOVA (SOURCE) REPLICATION REF CDC ETL ETL ETL SQL REPLICATE CDC ODS DW DM Pre- Generated Reports Dynamic Reports Universe 22

22 Operational Data Store - ODS Formål Lagre all historikk fra fagsystemet (siden det ikke gjør det selv) Kilde for eventuelle utvidelser av ettefølgende lag Implementasjon Samme tabell- og kolonnestruktur som fagsystemet 50 tabeller Lagrer alle endringer som skjer i kilden: Nye oppføringer Endringer Slettede oppføringer ODS.niAkt AktNr KliNr TotRest Kapital TotRest Ränta... Operation Code Created Datetime , ,72... C / U / D :45: 23

23 Enterprise Data Warehouse - DW Formål Analysegrunnlag Samlingspunkt for eventuelle nye kilder Implementasjon Enterprise Data Warehouse («Inmon») Ca 30 tabeller Historiserte oppføringer med gyldighetsperioder Kan enkelt gi svar på «Hvordan så verden ut 5.mai?» DW.CASE_INFO CASE ID CREDITO R ID REMAINING PRINCIPAL AMT REMAINING INTEREST AMT... VALID FROM DATETIME , , :45 VALID TO DATETIME :14 24

24 Logisk datamodell for DW 25

25 Dimensjonell modellering Fakta Kontobalanser Månedlig Livsløp Innbetalinger Antall Sum Fordeling Prosessteg Antall Varighet Dimensjoner Kreditor Skyldner Sak Prosess og handling Siste handling før betaling Tid Score Kundebehandler 26

26 Logisk datamodell for DM 27

27 Client Reporting Data Mart - DM Formål Rapporteringsgrunnlag Forretningsnært Optimisert for aggregering Implementasjon Dimensjonelt modellert, standardisert 14 tabeller så langt Minidimensjoner istedenfor historiske Faktatabeller er hovedsakelig snapshots DM.D_CASE CASE_S K CASE ID ORIGINAL PRINCIPAL AMT ORIGINAL INTEREST AMT REGISTERED DATE , , DM.F_CASE_BALANCE_MONTH CASE_SK BALANCE DATE REMAINING PRINCIPAL AMT... REMAINING INTEREST AMT , ,

28 Designkonsept: Inkrementell last Mål: Minimere tiden det tar å laste inn informasjon til datavarehuset. Unngå at denne øker eksponensielt med volumet i kilden. Sikre robusthet ved feil i last. Leser kun nye endringer i foregående lag, oppdaterer kun den endrede informasjonen Bruker loggtabeller for å koordinere mellom sessions og mellom tabeller Lagrer diagnostisk informasjon om sessions som har feilet Implementert ved SQL Server stored procedures 29

29 Designkonsept: Historisk lagring i DW Endringsrader hentes fra ODS Skal lagres som historiske rader med gyldighetstid i DW Utfordringer: Flere endringer kan komme inn for samme nøkkel i samme last Endringer kan skje i kilden på informasjon som ikke er med i DW Håndtere sletterader på en riktig måte Implementasjon: Dynamisk lookup på nøkkel mot DW-tabell Sjekksum genereres for alle nye rader, sammenliknes mot sjekksum i DW Ved endring legges det inn ny rad i DW, og forrige rads VALID_TO og CURRENT_FLAG oppdateres Ved slettemeldinger skjer kun oppdatering av forrige rad 30

30 Data mining: Telecom 31

31 Data mining-prosjektet skulle lage en forbedret churn-beregning for ADSL Churn Antall kunder som avslutter kundeforholdet Hvorfor er dette viktig? Å beholde kunder er billigere enn å skaffe nye 32

32 Prosjektet skulle forbedre eksisterende modell Utgangspunkt Eksisterende ADSL prediksjonsmodell Hovedsakelig basert på 5 hovedtyper av variabler: 1. Demografi 2. Trafikk 3. Abonnement 4. Rabattprodukter 5. Tjenester Viktigste aktiviteter Vurdering av svakheter og mangler ved gammel modell Videreutvikling av modell Skisse til videreutviklingspotensi al etter prosjektets avslutning Resultat Ny prediksjonsmodell Noe høyere forklaringsgrad Vesentlig mer robust modell Individuell scoring av kunder Endringsvariabler innarbeidet Definert utviklingsløp for utvikling av variabler for relativ pris 33

33 Prediktiv analyse Basert på historiske data kan man finne sammenheng mellom variable og churn Ulike prediksjonsmodeller kan sammenlignes for å finne den som best predikerte fremtiden, med dataene man hadde Basert på en antagelse om at effektene fortsatt gjelder kan man benytte det for prediksjon på data som finnes nå 34

34 Hva er en god variabel? Statistisk signifikant Lite korrelert med andre variable Målbar Gir forretningsmessig mening 35

35 Variabler som ble vurdert brukt Internett trafikk (kr) Fast til mobil trafikk Utlandstrafikk Norgestrafikk Diverse Adsl mbut (nedlasting) Fylke Alder ADSL produkt 384 ADSL produkt 704 ADSL produkt 1024 ADSL produkt 704 med 1 GB nedlastingskapasitet ADSL produkt 704 med 10GB nedlastingskapasitet ADSL produkt 1024 med 30 GB nedlastingskapasitet ADSL produkt 1024 med fri bruk Person svar Intouch Statoil ansatte (spesial avtale) Familie og venner total Online abonnement Har fast forvalg 0203 Kontakt med kundeservice Endringer i trafikk Overgang til bredbåndsløsning fra Avidi Antall dager til utløp av bindingstid Kjønn Lengde på abonnement, evt når abonnement var anskaffet Rabattbesparelser Tidsbruk for utsendelse Operativsystem på PC Kommune (clustre av kommuner) Segment (høy, medium, lav) E-faktura/avtalegiro Sperretgjeld (kreditt) Klagedata ADSL lojalitetsmodell lengde på abonnement (maks 12 mnd) Lojalitetsmodell telefoni gonner, inn/ut, isback, shopper, stayer (månedlig oppdatert, for 12 mnd) Bruksmønster % utnyttelse av nedlastingskapasitet (kapasitetsgrense) antall sesjoner gjennomsnittlig lengde per sesjon hvilke tjeneseter (typiske bredbåndstjenester eller ikke) Livsfasevariabler Adresse endring Antall personer i husstand (ant adresser, ant katalog oppføringer) Endringer på størrelse av faktura på total telecom i husstanden Inntekt pr husstand Endring i antall aksesser Har blitt mobil bedriftskunde 36

36 Prediksjonsmodellen identifiserer de variabler som beskriver adferden til churnerne Variabler i modellen Etter testing av 46 variabler inneholder modellen nå 10 variabler som beskriver Hvem kunden er (alder, kjønn, livsfase, bosted etc) Hvilke produkter kunden har (ADSL, telefoni, mobil, tilleggstjenester) Hvordan produktene benyttes (nedlasting, utnyttelse, trafikkmin etc) Alder ADSL abonnement varighet Nedlasting (Mb i 1 mnd) Bindingstid (utløp i foregående eller inneværende mnd) Fast til mobil trafikk (1 mnd) Lojalitetsmodell telefoni Variabler som inngår i modellen Mobiltelefon omsetning (1mnd) Endring i kap. utnyttelse ADSL fri bruk Endring i kap. utnyttelse ADSL 30GB Modellen deler kundemassen inn i 3 risikokategorier for churn Modellen fanger opp 40% av den adferden som beskriver churnerne (dvs modellens forklaringskraft) 37

37 Prediksjonsmodellen kunne også brukes for å finne risiko for churn per kundesegment Clusternavn Antall kunder Høy risiko Medium risiko Lav risiko Unge storbrukere % 45% 19% Unge sofistikerte storbrukere Nye brukere med begrenset nedlastningstid Unge og gamle i samme hus Etablerte med medium bruk Familie og eldre med medium bruk % 29% 14% % 11% 86% % 32% 61% % 36% 42% % 10% 89% 38

38 Prosjektet har prioritert 5 tiltak som forventes å ha signifikant og rask effekt på churn Churncluster Unge storbrukere Unge, sofistikerte storbrukere Nye brukere med begrenset nedlasting 1.tiltak Oppgradere hastighet for en periode Oppgradere hastighet for en periode Redusere pris i en periode Ren ADSL 2.tiltak Redusere pris i en periode Eldre & unge i samme hus Redusere pris i en periode Oppgradere hastighet for en periode/ Hardware / tjeneste-kombinasjoner Etablerende med medium bruk Redusere pris i en periode Familie og eldre med medium bruk Nedgradere 39

39 Prediksjonsmodellen resulterte i målrettede tiltak for å redusere churn Det ble antatt at modellen ville redusere årlig churn tilsvarende 6,8% av kundemassen Pris for tiltak er halvparten av prisen for nye kunder Med modellen er det mulig å målrette tiltak mot potensielle churnere, heller enn generelle tiltak 40

40 Trender 41

41 Tre megatrender innen Datavarehus og BI Operational Environment Data Warehouse Environment Maintenance Business Intelligence Environment Meta data Data Source layer (DS) E T L S A Staging layer (SA) Source like ODS Operation al Data Store E T L D W Data Warehous e layer (DW) In-Memory Analytics E T L D W Relational/ Source like Relational/ Dimensional E T L D M Datamart layer (DM) Dimensional E T L B I BI layer (BI) Dimensional Analysis Reports Mobil e BI Users Big Data 42

42 Data Source layer (DS) Staging layer (SA) Source like ODS Opera tional Data Store Relational/ Source like Data Ware house layer (DW) Relational/ Dimensional Datamart layer (DM) Dimension al Maintenance BI layer (BI) Dimensional Analysis Reports Users In-Memory Enkelt konsept: Alle data lastes inn i RAM RAM er raskt Latency (µs) IOPs HDDs Flash SSDs Flash SSDs (read only) RAM Operatio nal Environm ent Store konsekvenser: E T L S A Data Warehouse Environment Meta data E E E T T T L In-Memory Analytics L L D D D W W M Big Data Ingen aggregering Analyse med «speed of thought» Real Time Business Intelligence Environment E T L B I Mobile BI 43

43 Data Source layer (DS) Staging layer (SA) Source like ODS Opera tional Data Store Relational/ Source like Data Ware house layer (DW) Relational/ Dimensional Datamart layer (DM) Dimension al Maintenance BI layer (BI) Dimensional Analysis Reports Users Operatio nal Environm ent E T L S A Data Warehouse Environment Meta data E E E T T T L In-Memory Analytics L L D D D W W M Business Intelligence Environment E T L B I Mobile BI Big Data Business Intelligence skal understøtte bedre beslutninger 44

44 Hvilken informasjon kan best støtte gode beslutninger? Data Source layer (DS) Staging layer (SA) Source like ODS Opera tional Data Store Relational/ Source like Data Ware house layer (DW) Relational/ Dimensional Datamart layer (DM) Dimension al Maintenance BI layer (BI) Dimensional Analysis Reports Users Operatio nal Environm ent E T L S A Data Warehouse Environment Meta data E E E T T T L In-Memory Analytics L L D D D W W M Business Intelligence Environment E T L B I Mobile BI Riktig informasjon Big Data Tilgjengelig informasjon Intuitiv informasjon Informasjon i kontekst 45

45 Data Source layer (DS) Staging layer (SA) Source like ODS Opera tional Data Store Relational/ Source like Data Ware house layer (DW) Relational/ Dimensional Datamart layer (DM) Dimension al Maintenance BI layer (BI) Dimensional Analysis Reports Users Tilgjengelighet Operatio nal Environm ent E T L S A Data Warehouse Environment Meta data E E E T T T L In-Memory Analytics L L D D D W W M Business Intelligence Environment E T L B I Mobile BI Big Data 46

46

47

48 TECHNOLOGY SHIFT What is Big Data? NEW DATA SOURCES 25+ TBs of log data every day 12+ TBs of tweet data every day 30 billion RFID tags today (1.3B in 2005) 4.6 billion camera phones world wide 100s of millions of GPS enabled devices 2+ billion people on the Web by end 2011 NEW DATA SOURCES BIG DATA OPPORTUNITY TECHNOLOGY SHIFT Low cost, massive volumes (Hadoop) Came out of Yahoo, Facebook Distributed data on low cost server farms Opensource (free software) 1Pb of data: 5m 500k Easy analysis of unstructured data From the Social Media players Facebook Text analysis, voice analysis, sentiment Volume Variety Insight from web logs, text, images, call logs, Insight integrated into Business Processes SAP & Oracle integrating BI into apps InMemory / columnar storage Can do real-time Velocity 76 million smart meters in % Of world s data is unstructured Insight delivered at the point of action 49

49 With the rise of big data and the rise of line of business procured IT. We need a new philosophy to deliver information applications and information systems. 50

50 Big Data & Analytics is able to enhance business models across all industries Telco: - Call Centre optimisation - CDR (Call Data Record) churn models, revenue optimisation.. - Data traffic analysis Public Sector: European Space agency: Flood warning and information system using satellite image data for Disaster Management Centers and Rescue Teams (who access flood information via mobile devices). Retail: Combining ERP data with multiple POS data to extend the sourcing business model for own retail + wholesale clients. Shortages, outages and returns could be reduced by dynamic buffers. 51

51 Nye kanaler utfordrer tradisjonell markedsføring 52

52 Big data is happening Global drivers for change The volumes of data are exploding The ability to control and dictate in an outside-in world is minimal More and more business value is beyond the core transactions The old approach of a single view is impossible in a world of federated internal and external data. Core transactions 53

53 New Reference Architecture Event (structured, non-structured) Data Acquisition Real Time Data Storage Usage Usage and Real-Time means Action! Analytics will become an as-a-service commodity Master Data Privacy A data virtualization layer will make the gap between the DB and Hadoop transparent Real-Time Event Processing tools will become a key element of Big Data solutions Hadoop and a Fast Database together are able to provide best-inclass services at a very low TCO Privacy management (access, audit, ILM) will become critical during all steps Which role in the future for Classic batch engine ETL The Big Data wave forced us to rethink our Reference architectures Analyst Day 2013 I June Copyright Capgemini All Rights Reserved 54

54 We need a different approach to help our clients The Enterprise is constrained Enterprise Data Warehouses have failed the business: There is no fast track to a true EDW EDWs are expensive to implement sequential, massive and glacial Very long time to value and organizationally hard Everyone has to agree on everything High costs to change and evolve EDWs always end up as a compromise with partial coverage Most EDWs fail in the eyes of the business The problem is getting worse. 55

55 The Business Data Lake Approach: Land all data into a low-cost data lake, provide distillation tools to convert that into structured forms which can be accessed via disk based or in-memory based analytics as required by the business. Concentrate corporate effort on just the master, reference and core data required for corporate reporting. Provides a single place to access all information encourages line of business solutions. Benefits: Concentrates corporate level views at the highest level Bakes governance into the business provides data tools and single views Enables a single approach to all types of analytics Provides a cost effective scale out approach to data management and analytics; single integrated technical solution running on commodity hardware, private or public clouds Integrated tooling which helps drive LOB adoption Enterprise class management and monitoring tools; security, charge back and dynamic scale out of the box Typically 1/10th the price of traditional EDW & data mart approaches. 56

56 Business The IT culture fights the business culture One view for all Stop local data marts Long-term solution Share everything Govern everything IT My view Access what I want when I want Short-term change Sharing where I need it Why do I have to agree on everything? 57

57 Business Data Lake architected for the future End-user tool neutral: Re-use existing reporting, analytics and mobile BI tools Supports SAS, SPSS, QlikView, Cognos, etc. Leverage existing analytics in a lower cost and higher performance environment Mobile BI support is out of the box : Use High-performance in-memory SQLFire to provide instant response Architected for the cloud: Scale up, and down as you need Move analytics from disk based to in-memory as required A Pivotal Data Lake can support over 100 Exabytes of data Can be cloud or appliance implemented 58

58 So what do we need? Govern where it matters Focus on MDM and RDM Enforce only when sharing Treat Corporate as aggregation of Local. Encourage local requirements Distill on demand Let the business decide what they need Build from the bottom Enable traceability to source Disposable data views. Select only what you want Business friendly tooling Re-usable information maps Rapid change cycle. Store everything Store everything as is Include structured and unstructured data Store it cheaply. 59

59 The Data Lake better, faster, cheaper Better Faster Cheaper Information is key to business value know the answer to the question your competitors can t answer Better is access to all relevant information to all users to make informed decisions Information in real time know the answer before your competitors Data is distilled from the data lake so always current Simple, scalable approach Commodity solutions not bespoke development Information when and where you need it Faster means agile in the new world Business people focus on the information layer A platform for reporting and analysis but also predictive analytics being ahead of the game Predictive analysis built into business processes Cost = 1/10 th of traditional approaches 60

60 61

61 Mer informasjon

62 Takk for oss! Helge Rege Gårdsvoll Lasse Bache-Mathiesen The information contained in this presentation is proprietary Capgemini. All rights reserved. Rightshore is a trademark belonging to Capgemini.