Innhold Dokumentasjon IKT-Servicefag Sander Haukelidsæter Introduksjon...1 Fysisk...1 CJH...2 Gullhaugveien...2 Nettverk...2 IP Nett...2 Switch config...2 Proxmox host...3 Installasjon...3 Patisjoner:...3 Sikre maskin...3 Installere Proxmox...4 Sette opp Proxmox...5 Storage host...5 Installasjon...5 Patisjoner...5 Sikre maskin...6 Sette opp lagring...6 Bruk av Proxmox...7 Sette opp første container...7 Backup...7 Vokse LVM storage...7 Endringer...8 Introduksjon Denne dokumentasjon skal ta for seg hvordan denne løsning, i henhold til oppgaven er satt opp både fysisk og logisk samt detaljer og forklaring av rutiner. Dokumentasjonen går ut ifra at brukeren er kjent litt kjent med hvordan Linux fungerer og kjenner til løsninger for nettverk og redundans som bl.a RAID fra før av. Tar utgangpunkt i å jobbe meg oppover i OSI modellen før jeg avslutter med rutiner. Fysisk Denne løsning tar i bruk 2 fysiske maskiner lokalisert på vår site: CJH og Gullhaugveien. 1
CJH Det står en 4U Supermicro GPU server med 2 CPU, 2x1TB SSD og 64Gib med ram i rack 10 på CJH. Den er koblet opp i patchepanel i rackunit 46, port 4 i varm sone som da er patchet videre i sbcjh-osl Gi0/9 som står i skap 20. Gullhaugveien I Gullhaugveien står det en Supermicro workstation med 2CPU, 2x4TB disker + 2x250Gib SSD er og 32Gib med ram. Denne står da patchet rett inn i sb-gul-osl Gi2/0/10. Nettverk Jeg har fått utlevert en offentlig /24 (185.152.33.0/24) som jeg har delt opp i 2 /25. Disse er terminert på hver sin switch i CJH og GUL. IP ene annonseres over BGP på kantrutere og rutes intern i nettet distribueres med OSPF. IP Nett Ipene er satt opp slik: 185.152.33.0/25 sb-cjh-osl Gi0/9 185.152.33.128/25 sb-gul-osl Gi2/0/10 Gateway er alltid på første IP i nettet og så er boksene nest første i nettet: 185.152.33.1 sb-cjh-osl gateway 185.152.33.2 Debian 8 Proxmox 185.152.33.3 IPMI IPMI 185.152.33.4-126 SATT AV CONTAINER SATT AV CONTEINER 185.152.129 sb-gul-osl gateway 185.152.130 Ubtuntu 16.04 NFS Share 185.152.131-254 IKKE I BRUK IKKE I BRUK Switch config Her er dump av portconfig på switchene: sb-cjh-osl: interface GigabitEthernet0/9 description Cust: 10000 Sander Fagprove no switchport ip address 185.152.33.1 255.255.255.128 ip access-group cust10000-fagpr out End! Extended IP access list cust10000-fagpr 1 permit tcp any any established 10 permit ip host 91.205.187.42 any 20 deny ip any host 185.152.33.3 30 permit ip any any 2
sb-gul-osl: Proxmox host Installasjon Denne maskinen ble installert med en USB flashdisk som inneholdt Debian 8. Den kjører mdraid og lvm på toppen av mdraid og er partisjonert slik: Patisjoner: 2x1TB: Physical volume for RAID 1TB md0: Physical volume for LVM pv: md0 vg: pve lv: data (100Gib), root (30Gib), swap (8Gib) Diskene er mountet slik: data: /var/lib/vz root: / swap: swap Sikre maskin interface GigabitEthernet2/0/10 description Cust: 10000 Sander Fagprove no switchport ip address 185.152.33.129 255.255.255.128 power inline never storm-control broadcast level 2.00 storm-control action shutdown spanning-tree portfast end Vi installerte allerede SSH Server under install. By default så tillater den ikke root login over SSH med passord. Vi lagde også en «blixadmin» bruker som vi skal bruke til å logge inn på maskinen med. Under install satt vi passordet til noe usikkert som vi bare skal huske en liten periode (skal ikke brukes). Som standard tar vi da å logger inn på vår jumpstation og legger SSH nøkler over slik at vi kan logge inn på maskinen uten passord. Deretter så må vi installere sudo. su - apt install sudo Etter dette er gjort så endrer vi sudo ers filen slik at vi kan logge inn på root bruker fra blixadmin bruker uten passord. Dette gjøres med kommando en «visudo». Legg til følgende linje i bunnen av sudoers filen: 3
visudo blixadmin ALL=(ALL:ALL)NOPASSWD: ALL Når du er sikker på at du har lagt inn SSH nøkkel og endret sudo ers riktig så kan vi låse blixadmin brukeren. passwd -l blixadmin Vi tar også å endrer passordet på root brukeren i samme slengen som er den brukeren som skal brukes til å logge inn i Proxmox panelet. passwd root Passordet settes til: IoNur4pahthooheX Installere Proxmox Først må vi endre /etc/hostname og /etc/hosts slik at vår offentlige IP peker mot vårt hostname: blixadmin@proxmox:~$ cat /etc/hostname proxmox Etter dette så endrer vi /etc/host til å matche med vårt hostname: blixadmin@proxmox:~$ cat /etc/hosts 127.0.0.1 localhost 185.152.33.2 proxmox.blix.com proxmox # The following lines are desirable for IPv6 capable host ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters Nå kan vi starte med installering av Proxmox software. Dette er hentet rett fra Proxmox sin egen dokumentasjon. Legg til Proxmox sin pakkebrønn: echo "deb http://download.proxmox.com/debian jessie pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list Proxmox sin dokumentasjon tar for seg installasjoner på x86 32bit systemer som krever ekstra steg her. Dette hopper vi over. Legg til pakkebrønn nøkkelen: wget -O- "http://download.proxmox.com/debian/key.asc" apt-key add - Nå må vi oppdatere pakkebrønnen og kjøre en systemoppgradering for å få Proxmox sin modifiserte linux versjon: apt-get update && apt-get dist-upgrade 4
Nå er vi nesten ferdig og vi kan installere resten av pakkene før vi starter maskinen på nytt: apt-get install proxmox-ve ssh postfix ksm-control-daemon open-iscsi systemd-sysv Og så en reboot: reboot Sette opp Proxmox Etter en reboot så kan vi nå maskinen ved å koble oss til IP en + port 8006, slik: Husk https! https://185.152.33.2:8006 Nå har vi installert Proxmox, nå skal vi gå over til å konfigurere den. Start med å gå tilbake til shellet og installer openvswich apt install openvswitch-switch Når du er logget inn kan du bla til nettverksfanen på den fysiske maskinen. Trykk «Create» og velg «OVS Bridge». Fyll så inn alle de samme detaljene som på eth0 untatt gateway og sett eth0 som bridgeport. Når du er ferdig så kan du trykke «Create» etterfulgt av at du henter gateway adressen på eth0 og setter den på bridgen. Når alt dette er gjort er det bare å restarte boksen igjen. Når boksen er kommet tilbake så skal det være mulig å koble seg til den på nytt. Logg inn som vanlig og så bla til lokal lagring. Den skal hete «local (proxmox)» med ett lite diskikon. Trykk så på content og så template helt øvest. Last ned det template du ønsker eller det kunden trenger, jeg valgte Ubuntu Server 16.04 LTS. Maskinen er nå klar til å fyre opp en conteiner. Storage host Installasjon Storage hosten kjører Ubuntu 16.04 LTS. Den kjører 2x250GB SSD disker i raid 1 og 2x4TB disker i raid 1. Alt er software «mdraid» Patisjoner 2x4TB Physical for raid md2 4TB raid1 2x250Gib Physical for raid md0 16Gib swap md1 234Gib root De er så mountet slik: 5
md0 swap md1 / md2 /media/storage Sikre maskin Akkuratt som Proxmox maskinen så er det lagt inn en blixadmin bruker og en root bruker. Denne gangen låser vi både blixadmin og root brukeren da vi ikke har bruk for root brukeren. Følg guide for låsing av brukeren som tidligere beskrevet i Proxmox delen. Vi skal senere bruke en egen bruker (som ikke har root tilgang) som grensesnitt mot storage. Lag en storage bruker, vi setter samme passord som root brukeren på Proxmox maskinen for å gjøre det lettere for oss. Denne skal uansett låses senere. adduser storage Sette opp lagring Jeg har valgt å bruke sshfs for lagring av backup. Vi sender data over fiber som er ukryptert derfor sikkrer vi oss mot eventuell avlytting ved å kjøre lagring over kraftig ssh kryptering. Vi eier all infrastruktur selv så om vi i fremtiden kan ta i bruk linespeed macsec kryptering så kan man se på å ta i bruk ukrypterte protokoller. Om du ikke har kontroll eller eier kablene data en sendes over så anbefaler jeg uansett L7 kyptering av data. Vi lager folder hvor brukeren «storage» har skriverettigheter. Dette skal gjøres i /media/storage cd /media/storage mkdir backup Nå kan vi gjøre storage bruker eier av denne mappen slik at han kan skrive til den. chown storage:storage backup Nå er vi egentlig ferdig på backup serveren, vi går tilbake til Proxmox maskinen for å gjøre siste bit før vi er klare til å gjøre vår første backup. For å mounte storage server over ssh trenger vi å støtte sshfs, ta derfor å installer pakken: apt install sshfs Lag også en mappe i /media/ slik som på storage serven, for ordens skyld. cd /media/ mkdir backup Denne mappen kan godt være eid av root. Ta nå i bruk sshfs med å først kopiere nøkler til storage maskinen. Om du ikke har generert nøkkler start med dette: ssh-keygen Og så kopiere dem: 6
ssh-copy-id storage@185.152.33.130 Logg inn med passordet som vi satt senere. Når nøkkler er kopiert så kan vi låse brukeren. Logg inn via blixadmin bruker på jumpstation og lås storage brukeren med som vi har gjort før. Nå kan vi mounte sshfs mappen på Proxmox maskinen: sudo sshfs -o allow_other,identityfile=~/.ssh/id_rsa storage@185.152.33.130:/media/storage/backup /media/backup Når dette er gjort er vi ferdig med å sette opp selve storage koblingen. Vi går nå over til å sette opp autmatisk backup. Bruk av Proxmox Sette opp første container Vi kan nå sette opp en container for leveranse eller til testing. I web panelet velg «Create CT» for container og fyll inn informasjon som du ønsker. Velg en template, jeg velger Ubtuntu 16.04 som jeg lastet ned tidligere. Velg så alt av disk, cpu og memory etter avtale med kunde. På nettverks delen kan du fyller jeg ut 185.152.33.4/25 som addresse og 185.152.33.1 som gateway. Etter dette er det bare å fullføre. Backup Vi har nå lagt til alt, klappet og klart til å at vi kan sette opp backup av en container. Først må vi legge til /mount/backup mappen som en ledig storage mappe i Proxmox. Trykk på «Datacenter» og velg storage. Trykk «Add» og så «Directory». ID velger jeg bare backup, dette er bare navnet. Directory skal vøre «mount/backup». Content skal være VZDump backup file. Max backups kan vi sette til 14 for 14 backups før den skriver over. Nå som vi har lagt til storage så kan vi sette opp den automatiske jobben. Velg «Backup» i samme vindu, under «Storage» som du allerede har valgt. Trykk «Add» for å lage en ny backup jobb. Vi setter opp en veldig enkel backup jobb hver dag kl 05:00 med gzip komprimering og snapshot som backup type. Etter dette er vi ferdig med oppsett av backup. Vokse LVM storage I dag er det 100Gib med lagring av Conteiner disker, om det i fremtiden skal være bruk for å ha mer plass må vi øke størrelsen på diskene våre. Start med å øke størrelsen på data lv en. lvextend /dev/pve/data/ -L 100G Dette øker disken sin størrelse med 100Gib. Nå må vi vokse filsysstemet på den logiske disken. resize2fs /dev/pve/data 7
Med dette skal nå data partisjonen være 100Gib større. Husk at det er lettere å vokse en partisjon enn å krympe den, om det skal gjøres noen endringer i fremtiden så er det bra å bare ha nok. Endringer I syn av kost/nytte så jeg jeg tatt noen snarveier på grunn av tid og enkel proof on consept. I dag skrives backup fra maskinen til storage serveren og det burde i best practice å ha en backup server som logger inn på serveren og henter ut data slik at komprimering av hypervisor ikke kan skrive over backup filer. Det er også tatt i bruk root bruker med passord på et webinterface som er åpent mot internett, dette kan løses ved å lage en ny bruker og gjøre han til sudoer og administrator i Proxmox panelet. Kan også legge panel IP en i ACL en som allerede kjører på porten for å avgrense adgang fra VPN server. 8