Mange definisjoner. Hva er datagruvedrift (data mining)?

Transkript

1 Hva er datagruvedrift (data mining)? Mange definisjoner Ikke-triviell uttrekking av implisitt, tidlegere ukjent, og potensiell nyttig informasjon fra data Utforskning og analyse, automatisk eller semiautomatisk, av store mengder data for å finne meningsfulle mønster Feature selection Dimensionality reduction Normalization

2 Kva er (ikkje) datagruvedrift? Hva er ikke datagruvedrift? Oppslag i telefonkatalogen Web-søk for informasjon om Amazon Hva er datagruvedrift? Mange som kjøper øl kjøper også potetgull Gruppere dokument returnert av søkemotor etter kontekst, f.eks. Amazon rainforest, og amazon.com

3 Motivasjon for datagruvedrift i store datasett Ofte informasjon gjemt i data som ikke er openbar Analytikere kan trenge uker (eller mer) på å oppdage nyttige informasjon Mye av data aldri analysert Data-gap Ny disk (TB) sidan 1995 Tal på analytikere

4 Kvifor datagruvedrift: Kommersielt synspunkt Store datamengder blir samlet og lagret i datavarehus Web-data, e-handel Kjøp i butikker Transaksjoner med bank/kredittkort Sterkt konkurransepress Tilby bedre og tilpasset tjenester, t.d. for kundehåndtering Mer om dette på gjesteforelesningen fra Capgemini senere

5 Eksempel: forsikringsdata 5

6 Kvifor datagruvedrift: Vitskapleg synspunkt Data samlet og lagret i høyt tempo (GB/time og mer) Sensorer på satellitter Teleskop Microarrays i genforskning Vitenskaplige simuleringer genererer terabyte med data Datagruvedrift kan hjelpe forskere med t.d. Klassifisere og segmentere data Finne sammenheng mellom symptom og sykdommer Sammenheng mellom observasjoner og fenomen i klima

7 Datagruvedrift: opphav Idear frå: Maskinlæring/mønstergjenkjenning Statistikk (sampling, estimering, ) Databasesystem (lagring, indeksering, effektiv utføring av spørjingar) Tradisjonelle teknikker ikke egnet pga: Størrelse på datasett Høy dimensjonalitet på data Heterogene data/attributter Statistikk Data- gruvedrift Databasesystem Maskinlæring/ mønster- gjenkjenning

8 Datagruvedrifts- oppgåver Predikeringsoppgaver Bruker noen attributter for å spå /predikere ukjente eller framtidige verdier av andre attributt Eksempel: Klassifisering, regresjon, avviksdeteksjon Deskriptive oppgaver Finne mønster som kan skildre data og som gir mening/mennesker kan forstå Eksempel: Klynging, assosiasjonsreglar, sekvensmønster

9 10 Klassifisering kategorisk Tid Refund Marital Status kategorisk Taxable Income kontinuerlig Cheat klasse Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No No Single 75K? Yes Married 50K? No Married 150K? Yes Divorced 90K? No Single 40K? No Married 80K? Test- sett 10 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Trenings- sett Lære klassifikator Modell

10 Applikasjon for klassifisering: Direkte marknadsføring Mål: Redusere kostnad for utsending av reklame ved å sikte mot kunder som sannsynligvis vil kjøpe nye mobiltelefon-produkt. Fremgangsmåte: Bruke data for tilsvarende produkt introdusert tidlegere Anta vi vet hvem som kjøpte og ikke kjøpte tidligere: {kjøp, ikke kjøp} avgjørelsen utgjør klasse-attributt Samle diverse informasjon om demografi og livsstil og selskapsinteraksjonsrelatert informasjon om alle slike kunder (Bustad, løn, etc ) Bruk denne informasjonen som inn-attributter for a lære en klassifikatormodell

11 Klassifisere galakser basert på teleskopbilder Early Intermediate Late

12 Klyngeanalyse Finne grupper av objekt slik at objekt i ei gruppe har stor grad av likhet (eller relaterte) mens objekt fra forskjellige grupper er ulike (urelaterte) 12

13 Eksempel på bruk av klyngeanalyse Forståelse: Gruppere relaterte dok. (sport/musikk ) Gruppere gener Gruppere aksjer med like pris-svingninger Medisinske case Discovered Clusters Applied-Matl-DOWN,Bay-Network-Down,3-COM-DOWN, Cabletron-Sys-DOWN,CISCO-DOWN,HP-DOWN, DSC-Comm-DOWN,INTEL-DOWN,LSI-Logic-DOWN, Micron-Tech-DOWN,Texas-Inst-Down,Tellabs-Inc-Down, Natl-Semiconduct-DOWN,Oracl-DOWN,SGI-DOWN, Sun-DOWN Apple-Comp-DOWN,Autodesk-DOWN,DEC-DOWN, ADV-Micro-Device-DOWN,Andrew-Corp-DOWN, Computer-Assoc-DOWN,Circuit-City-DOWN, Compaq-DOWN, EMC-Corp-DOWN, Gen-Inst-DOWN, Motorola-DOWN,Microsoft-DOWN,Scientific-Atl-DOWN Fannie-Mae-DOWN,Fed-Home-Loan-DOWN, MBNA-Corp-DOWN,Morgan-Stanley-DOWN Baker-Hughes-UP,Dresser-Inds-UP,Halliburton-HLD-UP, Louisiana-Land-UP,Phillips-Petro-UP,Unocal-UP, Schlumberger-UP Industry Group Technology1-DOWN Technology2-DOWN Financial-DOWN Oil-UP Sammendrag/reduksjon til klyngeprototyper Reduserer størrelse på store datasett Video/bilde/lyd-komprimering Klynging av nedbør i Australia 13

14 Deteksjon av avvik/anomaliar Avdekke signifikante avvik fra normal oppførsel Anvendelser: Detektere kredittkortsvindel Oppdage nettverksinntrenging Typisk nettverkstrafikk på universitetsnivå kan generere mer enn 100 millioner forbindelser per dag

15 Assosiasjonsregler

16 Assosiasjonsregeloppdagelse 16

17 Eksempel på andre bruksområde Tekstdokument Medisinskediagnoser (pasientjournaler) Web-gruvedrift, t.d. web-logger/besøk på sider Klimadata

18 Utfordringer i datagruvedrift Skalerbarhet Dimensjonalitet Komplekse og heterogene data Datakvalitet Dataeiearskap og distribusjon Personvern Strøm-data (e.g. time series)