SAS FEDERATION SERVER OG EVENT STREAM PROCESSING LARS EDVARDSEN

Transkript

1 SAS FEDERATION SERVER OG EVENT STREAM PROCESSING LARS EDVARDSEN

2 TO VERKTØY SOM GIR SPENNENDE MULIGHETER Ikke «flashy», men er arbeidsjern som ligger i bakgrunnen SAS Federation Server Knutepunktet for formidling av data Sikkerhet og kontroll av data Høy ytelse uansett kilde Analyse og rapportering Sentralt datalager SAS Event Stream Processing Sanntids datafangst og prosessering (ETL) Sanntids analyse og datakvalitetstiltak Sanntids rapportering Tilbyr funksjonalitet som alle trenger eller vil trenge om kort tid Input-kilder

3 DATA FEDERATION DEFINISJON Muliggjør sømløs tilgang til data fra flere ulike typer Forbedrer styring via sentralisert sikkerhet og revisjon av data Øker smidigheten ved å gi raskere App A App B App C App D kilder gjennom integrerte virtualiserte data Views uten fysisk flytting av data svar til rapporteringsforespørsler og gjør det lettere å svare på forretningsbehov Forbedrer ytelsen ved Caching av ofte brukte spørringer Forenkler tilgangen til abstraksjonslag som skjuler datakilder fra forbruker Data Federation (samlingspunkt) CSV 1,2,3

4 SAS FEDERATION SERVER HOVEDOMRÅDER Gjør det brukervennlig å administrere mange kilder Sikre tilgangen til persondata Samkjør ulike datakilder Gi høyest mulig ytelse

5 SAS FEDERATION SERVER ADMINISTRASJON Admin Sikkerhet Samkjør Ytelse Gjør det brukervennlig å administrere mange kilder Sentralisert administrasjon av alle datakilder via web-grensesnitt Se alle datakilder, arbeidsflyter og hvor data benyttes (data lineage) Spor ned til enkeltfelt tvers gjennom organisasjonen

6 SAS FEDERATION SERVER SIKKERHET Admin Sikkerhet Samkjør Ytelse Sikre tilgangen til persondata Sett opp dedikerte Views til ulike brukergrupper Kobler rapportering på Views framfor originalkildene Gi brukere og brukergrupper tilgang til Tabeller Tabeller med utvalgte kolonner Tabeller med utvalgte rader Maskering av sensitive data Simpel maskering av data Scrambeling av data Kryptering og dekryptering av data

7 SAS FEDERATION SERVER SIKKERHET: BRUKERRETTIGHETER Admin Sikkerhet Samkjør Ytelse

8 SAS FEDERATION SERVER SIKKERHET: MASKERING OG KRYPTERING Admin Sikkerhet Samkjør Ytelse Kildesystemet bevarer sin informative natur. Det som distribueres er sikkerhetsklarert. Tekst Kan gjenskapes? Privat nøkkel? Original EU personal data protection and SAS Federation Server Ja Base64 RVUgcGVyc29uYWwgZGF0YSBwcm90ZWN0aW9uIGFuZCBTQ VMgRmVkZXJhdGlvbiBTZXJ2ZXI= MD5 be8daf06e1e2cb76f da0bf9da Nei Hvis det ønskes, ja Ja Nei AES /I0iZrupNSxWaomYgtXqtTM96K1Kku0TJvJmZVa6SWvRNeSKMz 1wdG4cjQuOyojC16cGFaCBNiymJ4B72b8E6A== Ja Ja* * Også mulig med RSA-kryptering med SAS Secure

9 SAS FEDERATION SERVER SAMKJØRING Admin Sikkerhet Samkjør Ytelse Samkjør ulike datakilder Gi utviklere og databrukere tilgang til alle sine data fra ett sted. Samkjør metadata på tvers av kilder, inkludert bruk av datakvalitetsverktøy Gjør korreksjoner i kildesystem uten at rapportering påvirkes, f.eks. bytte mellom forrige og denne månedens datafil. Write-back muligheter tilbake til originaltabellene Gi databrukere SQL-tilgang Muligheter for å lagre «halvoffisielle» data, slik som arbeidslister hentet fra Excel, kombinere disse med andre data og med serverprosessering.

10 SAS FEDERATION SERVER OPPRETTE VIEWS VIA WEB-GRENSESNITT Admin Sikkerhet Samkjør Ytelse

11 SAS FEDERATION SERVER SETT BETINGELSER VIA SQL-SYNTAKS Admin Sikkerhet Samkjør Ytelse

12 SAS FEDERATION SERVER YTELSE Admin Sikkerhet Samkjør Ytelse Gi høyest mulig ytelse Gi nytt liv til trege datakilder med materialiserte views Cashing av gamle og eksterne datakilder Cashing av store eller ofte benyttede spørringer Cashingen kan scheduleres Data kan lagres in-memory for ekstrem ytelse

13 men hvorfor skal vi vente på at data skal prosesseres og tilgjengeliggjøres? Svindleren er på ny tilbake i banken. Data med kjente feil lastes inn. Aksjekursene raser. Vent til i morgen med å gjøre noe? Hvis dataene er tilgjengelige, hvorfor bruker vi dem ikke NÅ? Reager raskere. Vær mer brukervennlige. Ikke utsett ting. Bli ferdig med det. Gjør det nå!

14 EN NY ERA BRUKERNE KREVER UMIDDELBARE SVAR Streaming Analytics Streaming Flytt analyse nærmere kilden Løpende analyse og kvalitetssikring Ta vare på det relevante Micro-Batch Batch Microsekunder Tid før avgjørelse Dager Prosessering av strømningsdata handler om å få raske svar slik at man kan ta raske avgjørelser

15 Smarte hus og byer Connected Customer Telecom Overvåkning Biler og transport Energi I OFnternet T hings Vedlikehold Jordbruk Forsikring Produksjon Helse Handel

16 SAS EVENT STREAM PROCESSING EVENT STREAM PROCESSING På overflaten fremstår ESP som et hvert Webbasert ETL-verktøy med masse funksjoner og grafisk fremstilling Men det er noen vesensforskjeller

17 SAS EVENT STREAM PROCESSING NESTE GENERASJONS ETL-VERKTØY Hastighet Fleksibilitet Kvalitetssikring Rapportering Ressursbruk Sanntid Fullt ETL-løp In-memory lagring Mange datakilder Stor verktøykasse Egne verktøy Kvalitetssikring on-the-fly Si fra med en gang! Spre belastning utover døgnet

18 SAS EVENT STREAM PROCESSING ENGINEERED FOR SPEED Speed Flex Quality Report Ressurs Event Streams are high throughput, low latency data flows SAS Event Stream Processing provides: Millions of events per second throughput Millisecond-microsecond response latency On standard commodity hardware Continuous in-memory processing OS native application Threaded pool - clustering Linear scalability Fastest ESP on the market Throughput - how many events per second can be ingested Latency - the time it takes for an event to be processed through the defined workflow

19 SAS EVENT STREAM PROCESSING ONE GOVERNED & FLEXIBLE, LEARNING ENVIRONMENT Speed Flex Quality Report Ressurs Model definition and maintenance simplified with visual modeling interface Create and maintain streaming models easily for fast and flexible adaptive action Full set of components to build any type of process Incremental model testing Easy deployment of streaming analytic models Deployment of existing analytic models using embedded SAS DS2, SAS Datastep or Python code Deploy ESP models as XML files Dynamic model update Dataflow centric modeling Drag & drop visual modeler Visual, XML or C modeling Dynamic model update Publish & Subscribe API (Java, C, Python)

20 Publish Subscribe SAS EVENT STREAM PROCESSING ENGINEERED FOR FAST AND ADAPTIVE ACTION Speed Flex Quality Report Ressurs Streaming Events SAS Event Stream Processing Model Event Actions Continuous Query SAS In-Memory Pattern detection at event stream source Offline, data at rest identifies emerging trends Feedback new insights back into event streams Dynamically update queries into live stream SAS-generated Insights Copyr i g ht 2015, SAS Ins titut e Inc. All rights res er ve d. Enrichment Data Analytic Models Business Rules

21 SAS EVENT STREAM PROCESSING HIGH END STREAMING AND QUALITY ANALYTICS Speed Flex Quality Report Ressurs Analytics on data at rest dynamically updated to live, in-motion event detection Extends existing SAS Solution investment into streaming environments Scoring events - Models developed on data at rest Machine learning - Models defined in-stream Text analytics - Extract entities, classify and identify sentiment Multi-phase analytics deep analysis with high-end analytics Time pattern analysis Business rules data quality and policy definitions Filter, aggregate and correlate events Reference historic data Lambda architecture SAS Data Quality SAS Text Analytics NLP methods K-Means, DBSCAN SAS DataStep and DS2 Open source integration SAS business solutions integration

22 SAS EVENT STREAM PROCESSING RAPPORTERING Speed Flex Quality Report Ressurs ESP har innebygget støtte for rapportering og varsler Send SMS eller e-post ved avvik Lag rapportfiler som kan sendes Monitorering av ressursbruk etc. Vel så viktig er at ESP kan holde datagrunnlaget løpende oppdatert slik at alle rapporterings- og analyseverktøy kan prestere sitt beste

23 SAS EVENT STREAM PROCESSING UTNYTT SERVERPARKEN BEDRE Speed Flex Quality Report Ressurs Tradisjonell ETL mottar data samlet opp gjennom hele dagen på et gitt tidspunkt, gjerne kl. 00:00 All prosessering må da foregå i løpet av små nattestimer Peak serverbelastning må bli høy Dersom kilden kan levere data oftere, vil ESP tilby muligheten for prosessering av dataene når de tilgjengeliggjøres Prosessering kan således spres utover døgnet Dårlige data filtreres bort før de lagres internt Peak serverbelastning vil kunne reduseres Nye data kan tilgjengeliggjøres internt løpende eller ved gitte tidspunkt Kan settes i Grid eller i en sky for STOR skalering The daily midnight tsunami Local, but smaller waves

24 Extract Transform Load (virtualization) Metadata Metadata Server Server apps User apps REFERANSE- ARKITEKTUR Office integration RealTime Desision Mng Enterprise Miner Enterprise Guide Forecast Studio Other Business Objects Visual Analytics Data + Execution Office Add-in RTDM EM EG FS Other BO VA Load Publishing Real-time Processing data Live Feedback Private data for personal/work group Event Stream Custom views (on disk) In-memory, custom views Quality controll & correction Data lake Pre-save queries, Combine sources Område A Område B Område C Fed.Server Pre-stored SQL-queries Sentralt Sentralt datalager Mange Én sannheter Mask, encrypt, decrypt, verify Data Integration Quality controll & correction Datamarts (on disk) Admin client In-memory, Datamarts Data Integration Look-up Skytjenester WWW CSV 1,2,3

25 PRODUKTREFERANSER SAS Federation Server. SAS Event Stream Processing. SAS Office Analytics (for SharePoint, Excel, Outlook etc.).