2 site server-/lagringssystem basert på FC-SAN

Transkript

1 2 site server-/lagringssystem basert på FC-SAN Orientering Arnt Richard Rørvik, HiST SPO IKT, februar 2007

2 Bakgrunn Org 2002/Admin 2003: Gjennomløpende tjenester Server-OS valg 2004: Windows 2003/AD Strategisk plan : E-læring etc. HS 020/2005: Gjennomløpende tjenester, /2006): server-os- inkl. epost 2006/2007: Web, trådløst etc. Noahs ark kompetanseoppbygging.

3 Hva ønsket HiST? Skalerbarhet mhp. lagringsmengde, servere osv. En robust og pålitelig plattform for utvikling av tjenester En klart spesifisert og verifisert ytelse i kontrakt med HP (1 en leverandør): Lagringssystem HP EVA: Mindre enn 2 timers ikke tilgjengelig tjeneste per år ( ) Mindre enn 4 timers samlet uplanlagt reduksjon i tjenestekvaliteten i maksimalt 4 hendelser , max. 3 ganger reduksjon i ytelse Servere: Tilsvarende som over, men 4/15 timer

4 Mer fra SSA, Bilag 1, Kundens spesifikasjon HiST har vedtatt.. et felles tjenestetilbud for innloggings-, fil- og printtjenester samt programvaredistribusjon/ applikasjonshåndtering.. (stasjonære og bærbare, innenfor og utenfor campus) basert på Windows 2003 Server. Jfr. HS-sak 020/2005, jfr. tjenestetilbudet [skal] enkelt kunne skalere opp til flere tjenester (for eksempel mail, web etc.).. basert på valgt server-os. Det legges vekt på god oppetid, sikkerhet, ytelse og skalerbarhet.

5 Hva har HiST fått Generelt: Konsolidering, langt færre servere, mer homogent Sentralisert robust server-/lagringssystem med to speilede lokasjoner God kapasitet, hastighet Grei bestyrbarhet God skalerbarhet En seriøs leverandør med rikelig til relevant kompetanse. Underleverandører

6 Løsningsstruktur Tett kopling mellom redundant lagringssystem og serverclustre Serverclustre Ansatt-cluster og studentcluster: 5 servere hver. Virtuelle tjenester i Windows-cluster. Forhåndsdefinert hvilke VT på hvilke servere, nærmest brukerne. Automatisk (eller manuell) failover for VT ene. Lokal failover først. Dernest til andre site. Cluster Extensions integrerer inn mot SAN

7 Løsningsstruktur (2) SAN lagringssystem Massivt redundante: Enkeltfeil på komponenter i lagringssystem: Berører ikke driften, ikke nødvendig med failover. Ved alvorlig feil f.eks. på lagringsskap: Motsatt site tar over all lagringshåndtering (forutsatt speiling definert for angjeldende data) Styres (delvis) av Cluster Extensions inn mot MS Cluster Services feiltre-strukturer.

8 Cluster for Ansatte og Fag Distribuert server-/lagring ansatte 16 Port Switch CWDM 10km 16 Port Switch Site interconnect via mørkfiber For SAN, LAN og Cluster interconnect Alternativ SAN tilkn. Som foreløpig ikke er impl. 16 Port Switch 16 Port Switch Cluster for student Terminalserverfarmer over to lokasjoner. Distribuert server-/lagring stud. Fordeling på Ansatte/ Fag og Student Basert på HP Blade teknologi Project Name : Felles serversystem Customer Name : Høgskolen i Sør-Trøndelag Location : Gunnerus gate 1 og Ranheimsveien 10 Owner : Haakon K. Østlund Date : Rev : 3.10 By Thor Muggerud

9 Hva overlever systemet? Windows fil/print serverfeil som detekteres av clustertjenesten. Kritisk: Antivirus etc. CLX som gir enkel operatørtilgang og mulighet for forhåndsdefinering av håndtering av ulike scenarier. Ikke alltid at antivirussystem osv. går godt samme med clusterfunksjonene. Kan gi flip-flop. Brukerne tilnærmet skadesløse (åpne filer..) Feil på ett lagringsskap (synkron dublering), en fiber (flere fiberveier), en FC-svitsj (dublerte svitsjer) etc. Gir ingen konsekvens

10 Worst Case scenario Totalt kommunikasjonsbrudd Har i dag reservesamband, bl.a. DSL-samband med heartbeat Om alt samband svikter, medfører dette at halve clusteret går ned Ønsker: Reservesamband i egen grøft (fiber) Brann i serverrom Medfører også at halve clusteret går ned, men kan få opp brukerne igjen relativt raskt når komm. utstyr på plass igjen.

11 Tekspek EVA 6000 (2 stk.) 1 TB 120 TB hver, evt. netto synkronisert ( GB disker i dag, senere 750 GB, 1 TB osv.). I dag: 16.8 TB FC-tilknyttet 10 km. synkron oppkopling: 2 Gb/s (HiST). Noe kortere avstand: Kan kjøre 4 Gb/s. 100 km. synkron oppkopling: 1 Gb/s Max. 2 TB per VDISK (begrensning i SCSI-protokollen) Støtter VRAID 5 osv. Støtter iscsi via egen kontroller (på ønskelista ) Støtter asynkron replikering hvis ønskelig CLX for Linux, HP UX, Windows Server. Integrerer med clusterfilsystem (AFS) på HP Tru64.

12 Funksjoner, bl.a. synkron replisering: Går mellom to VDISK er Ved brudd på kommunikasjonen starter transaksjonslogging. Oppdateringer buffres, når det andre skapet er på lufta synkroniseres dataene. Fare for inkonsistens ved failback Filsystemer med unike filer OK med auto failback (CLX) Typisk manuell failback for databaser inkl. Exchange.

13 Funksjoner (forts..) Snapshot/snapclone-funksjonalitet viktig! Gjør det mulig å skape ulike kopier underveis som alternativ eller supplement til backup. NB! Lisensiering for å få disse funksjonene. Kan presentere en VDISK sine volumer for en annen server enn originalserver for evt. inspeksjon av filsystemer, databaser osv. i et reparasjonscenarie. Boot av servere fra FC-volumer God integrasjon med bl.a. VMware ESX (failover mellom virtuelle servere via SAN-volum).

14 Styring av HP SAN Via management-maskin (prog f. UNIX eller Windows) CLX for bl.a. Linux, Windows Server og Exchange Bestemmer manuell eller automatisk failover/failback under ulike scenarier Webgrensesnitt SMI-S protokoller (standardisert) SNMP SSSU (Storage Scripting Software Utility) EVA PerfMon Command View kommandolinjegrensesnitt

15 Planlagt reservesamband Innstikksservere Gunnerusgate 1 Ranheimsveien 10 Nortel Blade Switch Blade hylle Catalyst 6509 Gunnerus gate MTFS HK NTNU Moholt Sec. Heart beat line Site interconnect via mørkfiber Ranheims veien Catalyst 6509 IP Nortel Blade Switch Blade hylle Fiber Channel Passthru Nortel Blade Switch Mux Mørk fiber Mux Nortel Blade Switch Fiber Channel Passthru Mørk fiber 16 Port Switch Mux Mux For SAN, LAN og Cluster interconnect 16 Port Switch Fiber Channel 16 Port Switch 16 Port Switch HP EVA Project Name : Felles serversystem, Nettverk & SAN Design Customer Name : Høgskolen i Sør-Trøndelag Location : Gunnerus gate 1 og Ranheimsveien 10 Owner : Haakon K. Østlund Date : Rev : 3.10 By Thor Muggerud Rev : 3.20 Arnt Richard Rørvik

16 MS-Clustre 2 cluster, ett for ansatte og ett for studenter 5 noder i hvert cluster, 4 i produksjon og 1 majority set chorum-node/ avstemmingsnode, lokal chorumdisk. Virtuelle fil/print-server fordelt på serverene i produksjon Ved feil på clustre -> automatisk failover til tilgjengelige servere Ved feil på EVA -> automatisk failover til tilgjengelig SAN-lagring Ved feil på mørk fiber -> heartbeat med keep alive, logging av endringer av data som senere skal repliseres til motsatt side av SAN-lagring

17 Utfordringer Ressurser: Bemanning Kompetanseplanlegging. Kursing, sertifisering. Økonomi Bør ha årlige tildelinger til fornying / skalering Bør innføre en årlig avsetning (% del av reinvestering) Geografi, organisering, historikk Full kontroll over nettet. St. Olav, UNINETT, NTNU, HIST.

18 Kravspek (åpen utgave) SOSimp: kravspek.doc/kravspek.doc

19 Cluster Extension The difference Fully automates necessary storage interaction like failover failsafe override status checking... No server reboot during failover Uses internal database to decide whether application should come online or not according to the EVA and CLX settings and the current disk status SAN is setup to limit host access to the local EVA on each site relieving the intersite links from unnecessary host IO. Extending cluster to Metro/Continental distances

20 Physical Disk CLX Resource Dependency Trees Example Virtual File Share File Share Network Name IP Address All Physical Disk resources of one Resource Group depend on a CLX resource Very smooth integration

21 Cluster Extension EVA with Exchange Storage Failure EXC A EXC B EXC A Quorum Quorum EXC A EXC B 2005 Høgskolen i Sør-Trøndelag EXC B Quorum EXC A Continuous Access EVA Sist oppdatert: EXC B

22 Cluster Extension EVA for Windows - Value Summary Host-based software that seamlessly integrates Continuous Access EVA remote mirroring and management with Microsoft Cluster Service for Windows Server 2003 Extends a local cluster beyond a single data center, enabling reliable metropolitan and WAN node-level failover/failback operation Automatic failover/failback and redirection of mirrored pairs No reboots and LUN presentation/mapping changes necessary during failover Offloads the host from data replication tasks

23 Presentasjon slutt. Spørsmål?