Konfigurasjonsstyring, automatisering, endringskontroll og overvåking. Jarle Bjørgeengen University of Oslo / USIT

Transkript

1 Konfigurasjonsstyring, automatisering, endringskontroll og overvåking Jarle Bjørgeengen University of Oslo / USIT November 9, 2011

2 Agenda Om USIT Motivasjon / bakgrunn Automatisering Tilordning av roller til maskiner Overvåking

3 Nøkkelopplysninger om USIT Tjenesteleverandør for Universitet og Høgskolesektor. Tett samarbeid med Uninett om nasjonale oppgaver. Ca fil, print, e-post og web-app brukere ved UiO, med forskjellige privilegier. Utv. og drift av FS/Studentweb: benyttes Universiteter og Høgskoler. Utv. og drift av Cerebrum: gruppemedlemskap, DNS, autorisering, import. og eksport.

4 Nøkkelopplysninger om USIT Utv og drift av den nasjonale autentiseringstjenesten "Moria". Drift av DB, file og e-post for Classfronter i Norden. Tier 1 lagring for LHC i Cern. Drift av flere HPC-klynger til forskning og tallknusing. Preferanse for fri programvare og åpne standarder

5 Motivasjon / bakgrunn / perspektiv Vi leverer infrastruktur. Maskiner, nett, lagring, redundans, skalering = infrastruktur Hvorfor trenger vi dette? For å kjøre tjenester / applikasjoner for brukere. Applikasjoner trenger ressurser for å virke. Brukeropplevelsen blir dårlig hvis applikasjoner ikke virker. For bedrifter: tap på bunnlinjen: tapt tid er tapte penger.

6 Motivasjon / bakgrunn / perspektiv Kost/nytte vurdering: skalering, redundans, kompleksitet...vs... viktighet Systemadministrasjon involverer mange forskjellige oppgaver. Det er mange innfallsvinkler til oppgavene. Vår er å automatisere så mye som mulig

7 Hvorfor automatisere?

8 Hvorfor automatisere? Manuell drift har noen ulemper KJEDELIG - Hvorfor ikke la maskiner gjøre de kjedelige oppgavene Høy sannsynlighet for feil Skalerer ikke Lang leveransetid på endringer.

9 Hvorfor automatisere? Manuell drift har noen ulemper KJEDELIG - Hvorfor ikke la maskiner gjøre de kjedelige oppgavene Høy sannsynlighet for feil Skalerer ikke Lang leveransetid på endringer. Automatisering krever Tid til å utvikle fremfor å slukke branner. Langsiktig satsning Større kostnad i starten. Eneste mulighet for oppnå stabilitet og skalering når miljøet vokser.

10 Verktøy vi bruker ifm. automatisering Cfengine - Modell-drevet konfigurasjonsstyring Script - shell / perl PXE-boot - Pre-boot execution Environment Kickstart - Automatisert installasjon av RedHat EL Git / svn - Revisjonskontroll Gerrit - Endringskontroll og kode-vurdering (Cfengine) Koji - byggesystem for rpm-pakker. Jenkins - Automatisk testing av ny kode (Cfengine). Kommer: Host-policy / roller i Cerebrum.

11 Cfengine - konfigurasjonsstyring Eget språk som uttrykker løfter om tilstand (policy) Cfengine-komponenter leser løftene..... og beholder systemet i beskrevet tilstand. Hvert løfte verifiseres og repareres om nødvendig. Sjekkes default hvert 5 minutt. Veldig lav ressursbruk ved sjekking. Community = fri. Nova = komersielle utvidelser

12 Cfengine - konfigurasjonsstyring

13 Cfengine - konfigurasjonsstyring

14 PXE / Kickstart Boot stack innebygget i nett-kortets firmware Maskin får IP fra DHCP Kjerne og initiell ramdisk lastes over tftp Kjerne booter og får IP på nytt fra DHCP. Installer starter og leser kickstart-fil. Maskinen installeres med bl. a. Cfengine bootstrap Cfengine laster ned resten av konfigen og konvergerer maskinen til beskrevet tilstand. Maskin er klar til bruk

15 Endringskontroll / git / gerrit / jenkins Cfengine-kode vedlikeholdes i Gerrit Gerrit: Kommer fra Android-prosjektet Lar ikke-overlappende endringer flyte parallelt uavhengig. Egen ssh-server, web-server, og git-implementasjon git clone ssh://cfengine-scm.uio.no:29418/cfengine/unix git push origin ref HEAD:refs/for/master Endring testes automatisk av jenkins Vurdering av endring med kommentar i web-gui. Publisering og produksjonssetting av endring.

16 Oversiktsbilde

17 Demo-video

18 Egen programvare: KOJI Brukes til å bygge Fedora og RHEL Bygging og release-håndtering av rpm-pakker. Utrulling av pakker til yum-repo. Cfengine sørger for at pakker er installert..... gitt at de er tilgjengelig via yum KOJI sørger for at de er tilgjengelig via yum

19 KOJI tags / targets

20 KOJI tags / targets kilde-filder og.spec-fil vedlikeholdes i git-repo Tilgang til git-rep administreres vha. gitosis Autentisering med ssh-nøkler Bygging av nye versjoner med koji kommandoer Koji autentiserer med ssl (x509) sertifikater. koji build <build-target> git://<git-server>/<repo-navn><commit-id> koji koji move-pkg uio-el6-free-testing uio-el6-free uio-thunderbird el6

21 Host-policy modul i cerebrum Vi har allerede et maskinregister for registrering av dns-navn. Ny modul for å knytte maskinroller (policy) kommer snart. Eksempelvis: web-server samba-server fysikk-maskin oracle-server Atomer definer hva som skal gjøres Roller inkluderer atomer og andre roller Roller defineres ut fra hvor de er relevant. Roller knyttes til maskiner i cerebrum. Roller blir til klasser i Cfengine Automatisk generert dokumentasjon for policy

22 Roller illustrert

23 Overvåking: Nagios Gir beskjed hvis noe ikke er som det skal Kjører aktiv sjekk-kommando hvert 5 minutt Hvilke sjekker som kjøres detekteres automatisk Cfengine genererer roller som definerer om en maskin skal overvåkes og hvordan. Eksempler: hw-overvåking (forskjellig avhengig av leverandør) kritiske prosesesser Fyllingsgrad av filsystemer Filsystem-kvoter Nettverksinterface (bonding) Cluster status Manglende backup

24 Overvåking: Collectd Samler inn ytelsesdata og lagrer i rrd-filer og csv-filer Forskjellige grafe-verktøy for å visualisere data collectd-web graphite visage-app rrdtool graph Cfengine konfigurerer collectd hvis de er registrert i tjenesteregisteret.