Bilag 3 - Kundens tekniske plattform

Transkript

1 Bilag 3 - Kundens tekniske plattform Tilbudsgrunnlag Umair Rasool Ivar Østhassel Ivar Østhassel Revisjon: Dato: Utgivelseshensikt Utarbeidet av: Kontrollert av: Godkjent av:

2 Innholdsfortegnelse 1 INNLEDNING TEKNISK INFRASTRUKTUR FOR COGNOS/DVH (STATSBYGGS BI-LØSNING) DATAFANGST ETL-VERKTØY OG DATALAGRING I DATAVAREHUS BI-PLATTFORM IBM COGNOS TM STØTTEVERKTØY FLERE OPPSETT MIGRERING MELLOM MILJØER ØVRIG IT-INFRASTRUKTUR I STATSBYGG INNLEDNING NÅVÆRENDE TEKNOLOGI / DRIFTSMILJØ Oversiktskart Intern infrastruktur Nettverk Sentral infrastruktur Overvåkning Terminalserverfarm Applikasjonsvirtualisering Eksterne tilgangsløsninger Databaser Integrasjonsplattformen Virtualisert servermiljø E-post EMC Documentum og SharePoint Backup og SAN Backup Sentral lagring Identity Management Kobling mot Agresso for å lese ut brukerdata Kobling mot Active Directory Gradert nett Side 2 av 19

3 1 Innledning Statsbyggs BI-løsning er basert på en teknisk infrastruktur fra Oracle Inc. og fra IBM Cognos. Rådata behandles gjennom en logisk verdikjede for å kunne benyttes som informasjon i Statsbyggs interne arbeids- og beslutningsprosesser. Figur: Sammenhengen mellom verdikjede og teknisk infrastruktur. De ulike behandlingslagene i verdikjeden er nærmere beskrevet i Bilag 1, mens den tekniske infrastrukturen (verktøy, teknologiplattformer, etc.) som understøtter verdikjeden, utdypes i de påfølgende kapitlene i dette bilaget. Datavarehus databasen i Statsbygg er i størrelsesorden 100 GB etter over ett års drift og vokser. Det er over 300 brukere som bruker ca. 77 faste rapporter. I tillegg, finnes det rapporter som avanserte brukere lager selv. 2 Teknisk infrastruktur for Cognos/DVH (Statsbyggs BI-løsning) I dette kapittelet beskrives teknologien som er benyttet i Statsbygg for å understøtte den verdikjeden som er beskrevet i foregående kapittel. Cognos består av trelags tekniskarkitektur webserver, applikasjonsserver og dataserver i form database i bunn (Cognos repository og datavarehus). Data flyter fra datavarehus til lagene over. Se figuren under. Oracle Data Integrator brukes for å hente data fra kildesystemer med hjelp av nattlig last. Repository databaser inneholder objekter for Cognos og Oracle Data Integrator. IBM Cognos TM1 baserer seg på minnebasert teknologi og brukes for budsjettering og prognostisering i Statsbygg. TM1 også har trelags arkitektur som figuren under viser. Side 3 av 19

4 Figur: Overordnet teknisk infrastruktur for datavarehus og Cognos-løsning. 2.1 Datafangst Kildesystemer som leverer data til datavarehus har data lagret enten på Oracle Database System eller SQL Server Database System. Data fra kildesystemer hentes gjennom views i kildesystemdatabaser. Views i kildesystemer representerer hovedsakelig normalisert datamodell i datavarehus. Det er kildesystemer som er ansvarlige for vedlikehold av views og for å levere data til datavarehus gjennom disse. De fleste kildesystemer følger standard format for viewene sine etter spesifikasjon fra datavarehuset. Det har blitt opprettet separate brukere med leserrettigheter til disse viewene i kildesystemer. Datavarehus bruker disse brukeridenter for å koble til view i kildesystemer for å lese data. Statsbyggs Integrasjonsplattform ( ), brukes for utveksling av data mellom forskjellige kildesystemer. Det finnes mulighet for datavarehus å bruke Integrasjonsplattform for å hente data fra kildesystemer istedenfor views. 2.2 ETL-verktøy og datalagring i datavarehus Statsbygg benytter Oracle Data Integrator (ODI) versjon som sitt ETL-verktøy. Som det fremgår av figuren under henter ODI data fra kildesystemer og laster data i datavarehus. Alle lag i verdikjeden nevnt i tidligere avsnitt er implementert i form av forskjellige skjema i datavarehus databasen. ETL i ODI er designet for å flytte data mellom disse skjemaene. ETL-ene er videre pakket i pakker som kjører gjennom lastplanen hver natt. Nattlig kjøringer forsikrer at fersk data er tilgjengelig for rapportering hver dag. Teknisk sett ODI-agenten er en prosess som kjører på samme maskin som kjører datavarehus databaseprosess. ODI-agenten kobler seg til datavarehus databasen og kjører ETL-er lest Side 4 av 19

5 fra ODI repository på mål database. ODI-bruker på datavarehus databasen henter da data fra kildesystemer og bearbeider data videre i verdikjeden. Figur: Teknisk infrastruktur ODI og datavarehus. ODI repositorier er installert på tre forskjellige miljøer. Utviklingsrepository på utviklingsdatabase, testrepository på testdatabase og produksjonsrepository på produksjonsmiljø. Ved nye releaser så eksporteres ETL og andre objekter fra et ODI-repository og importeres til andre. Statsbygg benytter Oracle RDMS som sin standard plattform for datalagring, deriblant BI-løsningens datavarehus, repository osv. Se for informasjon om databaseversjon som benyttes, samt installasjonsinformasjon. 2.3 BI-plattform Statsbygg benytter IBM Cognos BI versjon , som sitt BI-verktøy. IBM Cognos har lagdelt arkitektur og informasjon flyter fra datavarehus og Cognos repository til Cognos applikasjonsserver og videre gjennom Cognos webserver til bruker. Som figuren under viser, bruker logger seg på Cognos gjennom Citrix sesjon. Det er Cognos applikasjonsserver som kobler seg til repository database eller datavarehus. Repository database inneholder definisjoner av objekter som brukes for rapportgenerering, f.eks. pakker, kuber, rapporter osv. De finnes også utviklede objekter i Cognos som ikke lagres i Cognos repository f. eks. Framework Manager modell og IBM Cognos Cube Designer modell som eksisterer som filer. Side 5 av 19

6 Figur: Overordnet teknisk infrastruktur for Cognos. Her er liste over produkter fra Cognos BI Suite som brukes i Statsbygg: IBM Cognos Connection IBM Cognos Add-in for Microsoft Office IBM Cognos Workspace IBM Cognos Workspace Advanced IBM Cognos Reportstudio IBM Cognos Query Studio IBM Cognos Analysis Studio IBM Cognos Framework Manager IBM Cognos Administration IBM Cognos Cube Designer/Dynamic Query Analyzer De fleste produktene nevnt over er tilgjengelig i IBM Cognos Connection, dvs. i Cognos webportalen. men Framework Manager og Cube Designer/Dynamic Query Analyser eksisterer som selvstendige installasjoner. 2.4 IBM Cognos TM1 IBM Cognos TM1 baserer seg på minnebasert teknologi og brukes for budsjettering og prognostisering i Statsbygg. Som figuren under viser, henter TM1 data fra datavarehus og leverer data til datavarehus. Data last fra datavarehus skjer daglig men eksport av data fra TM1 gjøres manuelt når nye budsjett/prognose versjoner skal legges inn i datavarehuset. Data i TM1 dataserver finnes i minne og Side 6 av 19

7 backup av disse dataene tas i filserver. Utveksling av data fra og til datavarehus skjer gjennom database skjema opprettet for disse formål. Brukere bruker IBM Cognos Insight installert på Citrix for å kommunisere med TM1. Figur: Overordnet tekniskarkitektur over TM1 i Statsbygg. 2.5 Støtteverktøy Utviklingsoppgaver utføres ved bruk av verktøy som er installert på en VM maskin hvor forskjellige utviklere kan logge seg inn. Det brukes Oracle SQL Developer versjon 4 og oppover, Oracle Data Modeller versjon 4 og oppover og TOAD 12.1 fra Quest Software for utvikling. 2.6 Flere oppsett I Statsbygg har vi tre miljøer for datavarehus dvs., utviklingsmiljø, testmiljø og produksjonsmiljø. Utviklingsmiljø henter data fra kildesystemenes QA miljøer mens de andre to miljøene henter data fra kildesystemenes produksjonsmiljøer. Testmiljø i datavarehus brukes for både systemtest og akseptansetest av nye releaser. 2.7 Migrering mellom miljøer Det følges en release prosess for nye releaser for datavarehus løsning. Flere endringer og feilfiks pakkes i en release og migreres fra utvikling til test for systemtest/akseptansetest. Etter at en release er godkjent for produksjonssetting så migreres den til produksjon. Releaser er ofte delt i fem Side 7 av 19

8 hovedkomponenter, database, ETL, Cognos metalag (Cognos pakker og kuber), rapporter og TM1. En release kan inneholde én eller flere hovedkomponenter. Release prosess i datavarehus/cognosløsning ligger under streng kontroll og alle endringer i produksjonsmiljø må godkjennes av Release Manager/Change Manager. Fig: Grovskisse over migrering av hovedkomponenter til forskjellige miljøer i datavarehus. Side 8 av 19

9 3 Øvrig IT-infrastruktur i Statsbygg Bilag 3 - Kundens tekniske plattform Dato: Innledning I dette kapittelet ligger en kort teknisk beskrivelse av Statsbyggs IT-infrastruktur. Infrastrukturen er i stadig utvikling, så enkelte endringer må medregnes før implementasjonen begynner. Dokumentasjonen består av en enkel beskrivelse av eksternt og internt nett, samt en enkel oversikt over backup og SAN-funksjonalitet. 3.2 Nåværende teknologi / driftsmiljø Oversiktskart Statsbygg er en stor organisasjon med flere avdelinger, disse avdelingene er koblet mot samme ITinfrastruktur via IPVPN til lokalnettet (LAN) på hovedkontoret. IPVPN benyttes hovedsakelig mellom regionskontorene og hovedkontoret (WAN). Driftsansatte og mobile brukere som bl.a. jobber hjemmefra benytter ekstern tilgangsløsning via Internett. Figur 10 Oversiktskart for infrastruktur Side 9 av 19

10 3.2.2 Intern infrastruktur Nettverk Tegningen under viser en oversikt over hvordan infrastrukturen for nettverket på primærlokasjonen (hovedkontoret) og sekundærlokasjonen (E7) er bygd opp. E7 er bygget opp for å speile alle viktige systemer slik at de er katastrofesikret. Figur 11 Intern infrastruktur Sentral infrastruktur Servermiljøet er i stor grad bygget rundt Microsoft Active Directory (AD). All brukerautentisering skjer mot AD. Forefront Identety Management (FIM) benyttes for å administrere brukere. Automatiserte oppgaver kjøres fra MS Orchestrator. Side 10 av 19

11 Overvåkning Overvåkingen av det lokale nettverket gjøres med Cisco LMS og NCS. Windows-serverne og VMware miljøet overvåkes av vcenter operations manager. Oracle Enterprise manager ops center 12c benyttes for å overvåke Solaris serverne. For å overvåke Oracle databasene benyttes Dbwatch Terminalserverfarm Statsbyggs IKT strategi er å sentralisere applikasjoner og levere IKT som en tjeneste ut til brukerne. Mest mulig av applikasjoner skal bort fra brukernes endepunkter og inn på serverrommet, dvs. sentralisering av IKT tjenester. Dette gir mange fordeler som økt sikkerhet, enkel administrasjon og mer stabilitet. Minst mulig logikk skal ligge ute på arbeidsstasjonen til brukeren, slik at mest mulig kan styres sentralt. Statsbygg benytter i dag Citrix-løsninger for sentralisering av applikasjoner på terminalservere på serverrommet. Målet er at brukerne skal få tilgang til sine applikasjoner fra en hvilken som helst PC/Enhet fra hvor som helst. Statsbygg benytter Citrix XenApp 6.0 på en Windows 2008 R2 plattform for sine applikasjoner og brukerne trenger kun en Citrix Receiver for å få tilgang til disse. Citrix-løsningen er virtualisert og kjører på Citrix XenServer og Citrix Provisioning services for et «golden» image. RES Powerfuse benyttes for å administrere desktopen til brukerne, dvs. for eksempel mapping av printere, disker, tilgang til applikasjoner og nedlåsing av Citrix desktop. På brukersiden benyttes det både tykke og tynne klienter. Vanlige kontorbrukere og brukere uten spesielle tunge/krevende applikasjoner skal benytte tynne klienter, Dell Wyse terminaler, og dette utgjør en stor andel av Statsbyggs totale brukere. Krevende brukere og såkalt kunnskapsbrukere benytter tykke klienter, eller Dell Wyse og bærbar PC. De som benytter tykke klienter kjører MS Windows 7 med Office Statsbygg har planer om siste Windows- og Office-versjoner i løpet av 2016, dvs. Windows 10 på tykk klientene slik det ser ut nå. Statsbygg har et pågående prosjekt med ny Citrix løsning som skal gi støtte for å kjøre mer krevende applikasjoner, bl.a. 3d applikasjoner sentralisert. Med den nye Citrix løsningen vil vi ha mulighet for VDI, men vil fortsatt hovedsakelig benytte terminalserver teknologi, dvs Citrix XenApp. Den nye Citrix løsning pr dato dette dokument ble laget er XenApp 7.6 og siste versjoner tilgjengelig på provisioning services og XenServer. Til diskkryptering benyttes McAfee Endpoint Encryption. Internet Explorer (versjon 11) er standard nettleser for Statsbygg. Statsbygg IKT baserer seg på sentralisering og virtualisering av applikasjoner samt infrastruktur, og benytter Citrix provisioning services og Citrix XenServer for å forenkle administrasjon og virtualisere Citrix-løsningen. Alle IKT Tjenester og applikasjoner skal kunne sentraliseres og virtualiseres vha Citrix teknologi Applikasjonsvirtualisering Statsbygg jobber mot å virtualisere alle applikasjoner sentralisert på Citrix. Vi benytter App-V 5 sp3 og det er derfor viktig at nye applikasjoner lar seg virtualisere med denne løsningen. Applikasjonene må kunne kjøres på Citrix og siste versjon av Windows server som p.t. er Windows server 2012 R2, og virtualiseres med siste versjon av Microsoft App-V. Side 11 av 19

12 Eksterne tilgangsløsninger Av Statsbyggs totale brukere på ca personer befinner ca. halvparten av disse seg på eksterne lokasjoner, og de kobler seg opp mot Statsbyggs sentrale IKT-løsning via Citrix Access Gateway / Netscaler Gateway. Med denne løsningen kan man koble seg opp mot Statsbygg fra hvor som helst så lenge man har en lokal internettoppkobling. Trafikken sikres vha. SSL-kryptering, og dette fungerer som en portalløsning for ekstern tilgang til Statsbyggs systemer. Brukere som har behov for ekstern tilgang benytter denne løsningen, enten det måtte være hjemmekontor eller driftslokasjoner eller eksterne brukere i prosjekter som f.eks. samarbeidspartnere, prosjektdeltagere og entreprenører. Statsbygg benytter Citrix Access Gateway / Netscaler Gateway på to Netscaler appliances i HA mode for tilgangsløsningen. Det gjøres en sikkerhetsscan av PC-en før tilkobling til vårt nettverk. Alle interne tjenester som skal være tilgjengelige eksternt fra internett benytter Citrix Access Gateway / Netscaler Gateway. RSA benyttes for to-faktor autentisering mot løsningen. Netscaler skal også brukes for å integrere interne tjenester og sky baserte tjenester ute på internett. Interne tjenester som Statsbygg publiserer eksternt skal hovedsakelig benytte seg av Citrix XenApp terminalserver teknologi. Citrix Netscaler Citrix Netscaler er tungt benyttet i Statsbygg. Netscaler benyttes for lastbalansering og HA på kritiske tjenester og avlasting av webservere og sikring av trafikk og tjenester. Benyttes også for tilgang til interne tjenester fra eksternt som beskrevet ovenfor Databaser Det brukes i hovedsak Oracle 11g, spesielt for produksjonskritiske databaser. Disse kjøres på Oracle Solaris 11 servere. I tillegg benyttes Microsoft SQL Server 2008 databaser, som kjøres på x64 med Windows Server 2008 R2 og MS SQL Server 2012 på Windows Server For kritiske databaser benyttes «Always on». Vi har også en database på postgresql Integrasjonsplattformen Integrasjonsplattformen inngår som en viktig komponent i teknologi-laget i Statsbyggs arkitekturlandskap. Fra 2015 skal alle integrasjoner mellom applikasjoner fortrinnsvis benytte denne som overføringsmedium. Plattformen er omfattende og benytter blant annet køteknologi for sikker og konsistent overføring av meldinger. Plattformen er basert på Oracle Service Bus 11gR11. Figuren viser Statsbygg prinsippskisse for integrasjonsplattform. Stikkord: Basert på J2EE Enterprise Service Bus Løs kopling mellom tjenester eller applikasjoner (Asynkrone) Punkt-til-punkt som synkrone meldinger Beskrivelse av tjenester gjennom WSDL, REST og SOAP etc. Side 12 av 19

13 technology SOA arkitektur SOA arkitektur (Integrasjonsplattform) Service A Send request Wait for response Receive respons J2EE 5 Application Server Enterprise ServiceBUS Request Asynkrone meldinger Response Synkrone meldinger Service B (Provider) Service A (Consumer) Database Transformasjon Domenemodell Transaksjonslogging Push/Pull Subscribe Figur 3 Figurene viser Statsbyggs prinsippskisse for integrasjonsplattform. Plattformen håndterer både asynkrone og synkrone meldinger Integrasjonsgrensesnittet er i hovedsak implementert som asynkrone og synkrone tjenester i SOA plattformen. I tillegg er det noen databaselinker for Oracle og ODBC koplinger (punkt til punkt integrasjon). Statsbygg har gjennom 2014 implementert Enterprise Service Bus i henhold til offentlig satsning for IKT- arkitektur. For dette benyttes Oracles SOA plattform på Sparc Solaris 11 servere. Dette er satt i produksjon fra Virtualisert servermiljø. Statsbygg kjører alle sine servere virtuelt. Vi benytter tre virtualiseringsplattformer. XenServer benyttes kun for virtualisering av XenApp serverne. Oracle VM for Sparc benyttes for alle Sparc maskinene. Her går i hovedsak Oracle databaser, men også Oracle Financials og Oracles SOA plattform. For alle applikasjonsservere og MS-SQL servere benyttes VMware. Siden vi baserer oss på virtualiserte servere godtar vi ikke å benytte dongler som lisensieringsløsning E-post Som e-post server benyttes Microsoft Exchange 2010 i en redundant løsning med 2 stk. CAS-servere og 2 stk. mailboks-servere. Vi vil i løpet av 2015 oppgradere til Exchange Design for denne Side 13 av 19

14 løsningen er foreløpig ikke satt. I tillegg benyttes EMC SourceOne 7.0 for å arkivere epost eldre enn 30 dager. Vi har tre SourceOne servere hvorav to står i cluster. Vi bruker SourceOne offline access client plugin på Outlook. Oppgraderingen til Exchange 2013 er nå I gang. SourceOne er på vei ut EMC Documentum og SharePoint Statsbygg benytter MS Sharepoint 2013 som virksomhetsportal. EMC Documentum 7 benyttes for Enterprise Content Management. SharePoint er tett integrert mot Documentum, samt andre systemer som Fabel og Doculive gjennom webservices. SharePoint benytter MS SQL Server 2012 databaser med SQL AlwaysON HA løsning der vi benytter 2 clustrede databaseservere. Documentum benytter også MS SQL Server 2012 og dens applikasjoner gjør sine koblinger mot databasene ved å benytte ODBC driver. Documentum benytter også SQL AlwaysON. Documentum lagrer metadata på databaser og dokumenter på filservere, og til sammen utgjør de en repository. Vi benytter en klynge på 4 noder med MS Storage Server 2008 R2 for lagring av dokumenter. Vi prøver å innføre redundans på alle våre kritiske delkomponenter og har nå redundans på applikasjons- og frontend servere til både Sharepoint og Documentum. Vi benytter Netscaler for å fordele last mellom webserverne som benyttes av Sharepoint (IIS) og Documentum (Tomcat). Sharepoint- og Documentumbrukere autentiserer seg mot AD og de benytter Kerberos for Single-Sign-On. MS Forefront Identety Management (FIM) benyttes til å administrere gruppemedlemskap og de synkroniseres videre til Sharepoint og Documentum baser gjennom AD. Vi benytter videre Documentum sin Federated Search service for søk i eksterne kilder, som blant annet Sharepoint. Vi bruker en tilpasset søkeadapter for søk etter personer og Sharepointinnhold gjennom Documentum FS2. For søk etter dokumenter så benyttes det Documentum sin egen søkemotor xplore. Side 14 av 19

15 3.2.3 Backup og SAN Backup Det benyttes Symantec Veritas Netbackup 7.6 til å ta backup av data på serverne. Oracle basene tas det backup av med Oracles RMAN, som dumper backupene til et filområde. MS SQL Server dumper sine backuper til et filområde som blir deduplisert. Netbackup benytter to stk. Dell ML6000 taperoboter og to stk. Exagrid (dedupliseringsbokser) for å legge backup på. Figur 12 - Backup Side 15 av 19

16 Sentral lagring Det benyttes et SAN til sentral lagring. Her lagres alle brukerdata. Det vil si at databaser, mailstore og filområder ligger her. De virtuelle VMware-maskinene ligger også lagret her. Lagringsskapene som benyttes er en primær Compellent som står speilet med en sekundær Compellent på en annen lokasjon. Compellent Compellent EMC EMC EMC EMC EMC EMC EMC EMC SPB SPA SPB SPA Port 0 Port 1 Port 0 Port 1 Port 0 Port 1 Port 0 Port 1 Port 18 10GB link 8. etg 10GB link 5. etg E7 HK Side 16 av 19

17 3.2.4 Identity Management Statsbygg har valgt Microsoft Forefront Identity Manager 2010 R2, heretter kalt FIM, som sitt Identity Management system. Veldig forenklet kan Identity Management med FIM illustreres med følgende tegning. Figur 13 - Automatisk identitetshåndtering med FIM FIM vil administrere brukere og grupper i Active Directory. Basert på de regler og prosesser som implementeres i FIM vil FIM basert på data fra Agresso (og kanskje en prosjektportal eller andre sekundære kilder) opprette, vedlikeholde og slette brukere og grupper i Active Directory automatisk. For systemer som er avhengig av at brukere er medlemmer i gitte grupper i Active Directory for å få tilgang, vil FIM kunne styre dette automatisk, gitt at man kan sette opp entydige regler for hvem som skal ha denne tilgangen. Dette automatiserer store deler av brukeradministrasjonen for f.eks. Statsbyggportalen, som er basert på SharePoint og Documentum. Begge disse systemene implementeres med Active Directory som brukerlager, og baserer mesteparten av tilgangsstyringen sin på medlemskap i Active Directory grupper. FIM leser data fra HR systemet (Agresso), og evaluere disse dataene opp mot de reglene som er implementert. Basert på dette vil brukere opprettes, endres og slettes. I den grad det er mulig vil også tilganger (gruppemedlemsskap) automatiseres. Side 17 av 19

18 3.2.5 Kobling mot Agresso for å lese ut brukerdata FIM leser brukerdata fra Agresso. Agresso vil være autoritativ kilde for brukere Kobling mot Active Directory Figur 14 - Sammenheng mellom kildedata, FIM, applikasjonslogikk og forretningslogikk Side 18 av 19

19 3.2.7 Gradert nett Statsbygg er i ferd med å etablere to graderte nettverk (B og K) som skal sikre tilgang til begrenset og konfidensielt dokumentasjon. Dette innebærer at løsningen som velges også må kunne implementeres som en frittstående løsning uten kopling til eksternt nettverk som f. eks. internett og e-post og andre tjenester. De graderte nettene blir helt isolert fra hverandre og omverdenen og blir underlagt meget strengt sikkerhetsregime og kontroll. Systemer som skal kunne fungere i et slikt miljø må kunne fungere i et helt lukket miljø (uavhengig av internett), med lokal lisensserver. Det vil også i framtiden bli aktuelt å kjøre Citrix på den graderte plattformen. Side 19 av 19