Av Helge Skrivervik Utgitt av Team Mellvik as, Postboks 155, 1556 SON T

Transkript

1 Cloud Storage mymayday.com Av Helge Skrivervik Utgitt av Team Mellvik as, Postboks 155, 1556 SON T info@mymayday.com Redaksjonen avsluttet: Oktober 2011 Copyright 2011 Team Mellvik as ISBN Cloud Storage: Tidstriktig, tilgjengelig, nødvendig! ISBN ! Copyright 2011 Team Mellvik as/mymayday.com Reproduksjon, overføring og/eller redistribusjon uansett form og metode uten utgivers samtykke er ikke tillatt. Mer informasjon på

2 Cloud Storage mymayday.com mymayday.com fagportal for IT-profesjonelle Pragmatisk IT siden 1993! Rapporter Analyser Kommentarer Foredrag Workshops Rådgivning Trender, innsikt, analyser og kommentarer hver måned levert via en støyfri, effektiv og enkel web-tjeneste. Unik uavhengighet og bredde. Teknologi og trender med en lettlest og tilgjengelig form. Attraktive gruppe- og firma-avtaler. Besøk for detaljer.

3 Cloud Storage mymayday.com Executive Summary Cloud Computing er over alt i IT-hverdagen. Pussig i 2008, spennende i 2009, akseptert i 2010, omfavnet i 2011 og en selvfølge i hektiske år rekord i etableringstid for en ny plattform. Plattformen og endringen den representerer utgjør både en formidabel utfordring og et like formidabelt potensiale på mange fronter. Allerede i 2011 representerer den nærmere 100 mrd. USD i omsetning. Føderale myndigheter i USA har annonsert at de forventer å kanalisere en fjerdedel av IT-budsjettet over til Cloud Computing i løpet av noen år. Alene 20 milliarder USD årlig. Mer enn nok til å vekke alles interesse fra leverandører og utviklere til profesjonelle miljøer og sluttbrukere. Samtidig med at en mobilitets-tsunami skyller over markedet, står en ny plattform klar til å håndtere utfordringer som var ukjente for et år siden og uhåndterbare med gammel tankegang og ditto plattformer. Data er én av disse utfordringene. Ikke bare galopperende mengder, men total avhengighet. Uten data stopper verden. Tradisjonelle mekanismer, teknologier og regimer skalerer ikke verken teknisk eller økonomisk. Selvgjort er ikke lenger velgjort, men i mange tilfeller umulig. Lagring, arkivering og backup som tjenester, drevet av spesialister, konsolidert, sikret og optimalisert, er ingen opsjon. Det er en nødvendighet nå eller i nær fremtid. Med denne virkeligheten som bakteppe og utallige diskusjoner med brukermiljøer, leverandører i inn- og utland, presenterer denne rapporten trender, markedsstatus, produkter, leverandører, utfordringer og muligheter. Vi sammenstiller internasjonale trender med norske unikiteter, og etablerer basis for å forstå utviklingen, manglene og mulighetene. Hvorfor og når er Cloud Storage å foretrekke? Hvor er nyvinningene og hva byr de på? Og mest av alt: Hvilke strategiske føringer får forandringene, hvordan påvirker de hvilke valg som er riktige i dag og i morgen? Vi diskuterer myter og realiteter, teknologi, økonomi og muligheter og trekker konklusjoner: Strategiske, taktiske, økonomiske: What s in it for you and when? Vi kombinerer lokale markedskarakteristika med internasjonale trender og modne produkter som demonstrerer hvor vi er på vei. Ut i den andre enden kommer nettopp muligheter på kort sikt og på lengre sikt. For ITmiljøer med ambisjoner og å være pådrivere og aktive støttespillere for virksomheten de betjener. For oppdateringer se En rapport fra mymayday.com Av Helge Skrivervik Utgitt av Team Mellvik as, Postboks 155, 1556 SON T info@mymayday.com Redaksjonen avsluttet: Oktober 2011 Copyright 2011 Team Mellvik as ISBN

4 Cloud Storage mymayday.com Unikt perspektiv unik uavhengighet mymayday.com har fulgt det norske, europeiske og internasjonale Cloud Computingmarkedet tett siden I løpet av perioden har vi deltatt på internasjonale konferanser, hatt løpende dialoger med flere titalls leverandører, undersøkt mer enn 300 tjenester, produsert 50 analyser og kommentarer. Og ikke minst en 90-siders spesialrapport som hengte bjella på katten satte Cloud Computing på agendaen for alvor ved inngangen til Vi har sett på tjenester og nivåer, prisutvikling og konkurranseforhold, karakteristika og forvirring, og analysert en lang rekke utviklinger og trender. Kontinuerlig og over hele Cloudspekteret. I dette bildet har Cloud Storage en spesiell plass og en like spesiell rolle. Uten at markedet har vært klar over det, vokser løsningen på et uhåndterlig problem frem, som resultat av og bygget på en rekke andre samvirkende trender og erkjennelser. Utfordringen er datamengdene og konsekvensene av dem. Løsningen er tjenester, spesialiserte tjenester, og forståelse. Aksept av at data ikke har implisitt verdi, men tilhører en lang rekke kategorier med like ulike behov og karakteristika. Forståelsen av forandringen er like viktig som løsningen og interessant nok en del av den.

5 Cloud Storage mymayday.com Innhold 1: Innledning 7 Lagring, Cloud og pragmatisme 7 Over til Cloud Storage 7 Mer enn pragmatisme 8 En smaksprøve 8 Målsetting 9 2: Lagring i Begreper og historisk avklaring 10 Har backup gått ut på dato? 11 Arkivering 12 Fra kostbar mulighet til billig tilgjengelighet 13 Trender, teknologier og forandring 16 Virtuell aksellerator 16 Frigjøring på billigsalg 17 Mulighet for nykommere, utfordring for etablerte 18 Fra skepsis til aksept 18 Amazon Web Services fra selvterapi til verdenstjeneste og trendsetter 19 Fra trender til business en oppsummering 20 3: Markedsoversikt 22 Innledning 22 Internasjonal energi 23 Historiske hemninger 23 Myldring i underskogen 24 Backup som overlever: Klienter, brukere og small business 24 Hvor trygt er trygt nok? 26 Båndbredde- (ADSL-) faktoren 26 Low end: Leverandører og tjenester 28 Business med nettskyen som plattform 28 Holde hjulene i gang 29 Internasjonale lagringstrender 29 Nasjonale trender 31 Tapte muligheter 32 4: Leverandører, tjenester og verktøy 34 Introduksjon 34 Forståelse først, valg etterpå 35 Leverandørtrender 35 Leverandører og tjenester 36 Gruppe 1: Cloud Storage lagring som tjeneste 37 Google: Trendsettende fravær 37 AWS: Fortsatt rollemodell og markedsleder 38 Nirvanix store data, store kunder 40 Mezeo: Lagringsplattform for tjenesteleverandører og enterprises 41 Gladinet: Allsidig vindusåpner for Windows 42 Microsoft: Omstendelig (u)tilgjengelighet 43

6 Cloud Storage mymayday.com OpenStack: Standarder for en industrialisert IT-verden 43 Andre leverandører 44 Gruppe 2: Backup og Business Continuity verktøy og tjenester 46 Zmanda Cloud Backup 46 OnLineBackupCompany 46 Nasuni: Trendsettende enkelhet 47 Analyse 47 Vembu 48 Andre leverandører 49 Gruppe 3: Arkivering 50 RainStor big data retention 51 CommVault Simpana 51 Autonomy 52 Andre leverandører 53 Hvor er tjenestene? 53 Magert i Norge 54 Oppsummering: Fra arkiv til ressurs 54 5: What s next? 56 Business Continuity 57 Forståelse 57 Referansemateriale mymayday.com 58 Appendiks A: Goodbye filsystem 59 Appendiks B: Når disker krasjer ukentlig 61 Appendiks C: Lønnsom loftsrydding 65 Appendiks D: Katastrofesikring på billigsalg 68 Appendiks F: Data uten bakkekontakt i nettskyen? 70

7 Cloud Storage mymayday.com 1: Innledning Lagring, Cloud og pragmatisme Pragmatisme er et overforbrukt og underforstått begrep. Overforbrukt fordi alle vet at pragmatisme er positivt og nødvendig, underforstått fordi vi sjelden tar oss tid til å stoppe opp, tenke etter, være pragmatiske. I stedet lar vi oss styre av forstyrrelser og avbrytelser hendelser, spontane behov og ureflekterte muligheter. Cloud Computing passer inn i denne virkelighetserkjennelsen fordi konseptet inviterer til nettopp pragmatisme. En naturlig evolusjon, en ny plattform, et enormt forenklingspotensiale, og ikke minst lavere kostnader. Vel og bra, men hvordan kommer vi dit? At nystartede selskaper kan komme i gang med minimale investeringer fordi de ikke har historie å ta vare på, er rimelig. Tilsvarende for utviklingsmiljøer som trenger infrastruktur og andre ressurser i kort tid med veldefinerte omgivelser og uten historie. Lavthengende frukter i ordets beste forstand. Og en situasjon som er langt fra virkeligheten for de fleste IT-miljøer. De har en running business. Hovedoppgaven er å holde tjenester og systemer i gang. Endringer og optimaliseringer er nødvendige og viktige, men de kommer i 2. rekke. Tankegangen er den samme som vi diskuterte i analysen Sikkerhet er aldri viktigst på mymayday.com for en tid siden. Sikkerhet er alltid viktig og aldri viktigst fordi maksimal sikkerhet hemmer tilgangen, og uten tilgang er sikkerhet irrelevant. Derfor sørger vi for (kontrollert) tilgang først, sikkerhet deretter. Running business først, forandring og videreutvikling deretter. Dette havner i kategorien business as usual. Dette er hva vi har gjort i årevis. Pragmatisme? Udiskutabelt. Det er ikke den hverdagslige pragmatismen vi er ute etter i denne sammenheng, men den fremsynte. Evnen og viljen til å se fremover, se muligheter og utfordringer samtidig og i sammenheng. Uten å la utfordringene hemme mulighetene. Se at en god idé fortsatt er god selv om den må modifiseres eller virkelighetstilpasses for å bli anvendelig. Se på behovene som dynamiske, ikke konstante. Se at de har forandret seg siden sist vi sjekket. Vise åpenhet for forandringer uten halsløst å kaste seg over dem, og uten først å tilpasse dem til en virkelighet som i realiteten er historisk. Over til Cloud Storage Hva har alt dette med Cloud Storage å gjøre? En hel del. Cloud Storage spesielt og Cloud Computing generelt har vært med oss lenge nok til at vi har et forhold til konseptene. Mer enn halvparten av alle virksomheter og organisasjoner har tatt i bruk Cloud-baserte tjenester i en eller annen grad, erfart fordelene, lært om noen av ulempene og fått innsikt nok til å ønske å gå videre på enkelte områder. I takt med hva daglige behov tillater, og samtidig raskt nok til ikke å gå glipp av viktige muligheter. Hvilket bringer oss til lagring generelt. Og Cloud Storage.

8 Cloud Storage mymayday.com Det IT-miljø finnes knapt som ikke vil karakterisere lagring som en utfordring. Muligens under kontroll i øyeblikket, men ingen tror det varer. Vi vet at mengdene fortsetter å vokse med minst samme hastighet. At avhengigheten av tilgang til data og systemer er total. Vi tåler kanskje litt nedetid, men der vi for noen år siden kunne akseptere timer, snakker vi i dag om minutter. IT-miljøer flest trenger et oppdatert lagringsregime som tar hensyn til en virkelighet som har lite til felles med den vi hadde for 5 år siden, både med hensyn til muligheter og behov. Et egnet grunnlag for dagens systemer, løsninger, regimer og strategier og ikke minst de vi er i ferd med å bygge. Det betyr blant annet at Cloud Storage, Cloud Backup, Cloud Archiving og flere i en eller annen kombinasjon er en del av det nye regimet. Det er hva denne rapporten handler om: Endringene, mulighetene, trendene, markedet, leverandørene og utfordringene. Skape forståelse for hva som skjer i markedet, hvordan trendene og behovene harmonerer, og hvordan vi kan konvertere muligheter til løsninger som fungerer for oss. Mer enn pragmatisme Det handler åpenbart om mye mer enn pragmatisme, men det er der det begynner. Åpenhet for å tenke annerledes. Aksept av at 'i dag' er forskjellig fra 'i går'. Allerede her kommer en pragmatisk innstilling og den sunne fornuft oss til unnsetning. Bidrar til at blikket løftes tilstrekkelig til at vi ser muligheter i stedet for problemer. At vi starter med mulighetene og arbeider oss bakover mot behov og virkelighet i stedet for motsatt, som resulterer i klassisk symptomkurering og økt kompleksitet. Et banalt, men relevant eksempel: Vi trenger mer lagringskapasitet. Datamengden vokser raskere enn ventet. Vanen tro 'kaster' vi kapasitet på problemet og går videre. Fordi kapasitet er billig i alle fall tilsynelatende. Alternativet er å analysere årsaken til at datamengdene vokser så raskt, om veksten er rimelig og behovet for lagring reelt. Samtidig analyserer vi hvordan selve lagringen kan optimaliseres: Hva har skjedd de siste 5 årene som kan komme oss til unnsetning? Både teknologitrendene og data-analysene diskuteres i denne rapporten. Sammen med erfaringer og markedsstatus fra inn- og utland. En smaksprøve Før vi gir oss i kast med detaljene, her er noen smakebiter på hva vi skal belyse. Hva markedet generelt står overfor og trenger avklaring på: Lagring er en basistjeneste, en støttetjeneste for applikasjoner og høyere-nivå tjenester. Når markedet i akselererende takt tar i bruk eksterne tjenester (nettsky-tjenester), forsvinner både dataene og behovet for støttefunksjoner rundt dem. De blir ikke borte, men ansvaret og funksjonene flyttes. Hvordan påvirker dette vår lagringsstrategi, muligheter og langtidsplaner? Videre: Backup er en lagringsrelatert funksjon eller tjeneste som tjener to hovedformål: Katastrofesikring (der disk- og/eller maskin-havari kategoriseres som små katastrofer) og arkivering. Gitt dagens muligheter, teknologispekter og kostnadsbilde, er backup i tradisjonell forstand i det hele tatt meningsfylt? Spørsmålet provoserer, men blir ikke mindre relevant av den grunn.

9 Cloud Storage mymayday.com Vi kan trekke frem flere eksempler, men tegningen er tydelig allerede: Ikke ødelegg nye muligheter ved å presse dem inn i gamle behov. Det blir som å kjøpe en topp PC og bruke den som skrivemaskin. Faretruende ofte er behovene vi legger til grunn for evaluering av løsninger og alternativer, definert ut fra virkeligheten som fantes 2, 5 eller 10 år bakover i tid byr på ganske andre muligheter som verken oppdages eller utnyttes uten å endre innfallsvinkel. For lagring er den tradisjonelle innfallsvinkelen 'har mye data' -> 'trenger mer kapasitet'. Vi håndterer mengden i stedet for å analysere årsaken og ta hensyn til forandringer og nyvinninger som ikke kan unngå å påvirke muligheter og marked i nær fremtid. Hvilket bringer oss til teknologi-pragmatismens første bud: Å starte med nye muligheter i stedet for gamle behov. Målsetting Målsettingen med denne rapporten er å stimulere den alternative angrepsvinkelen. Vise at lagring generelt trenger nye øyne og nye briller, og videre at nettsky-baserte tjenester ikke er universalmedisin for lagringsrelaterte utfordringer, men endel av løsningen. Et supplement, et alternativ og en overgangsordning til en ny plattform og til en annen måte å tenke på. Videre vil vi se at nettskyens eksistens påvirker både spillereglene og banen det spilles på. Som for Cloud Computing generelt handler det i stor grad om å løfte fokus fra teknologi og systemer til tjenester. Vi oppdager etterhvert at alternativene og mulighetene ikke bare er flere, men ofte annerledes enn hva vi hadde ventet og var klar over. Det passer bra. For om mange kanskje vegrer seg for å si det høyt, er ingen ITprofesjonelle blinde for at behovene har forandret seg dramatisk. At volumet fortsetter å vokse er så sin sak, men bare én av mange faktorer. Mobilitet, SaaS, deling og samarbeid er nøkkelord i den forbindelse. Vi kommer tilbake til disse og mange flere i rapporten, og observerer hvordan gamle sannheter havner på sidelinjen og blir erstattet av nye. Tiden er riktig for forandring. Forandringen er ingen trussel, men en mulighet til forbedring, forenkling, optimalisering og større fleksibilitet. Velkommen ombord - vi lover en spennende reise.

10 Cloud Storage mymayday.com 2: Lagring 2012 I dette kapitlet: Markedets omfokusering mot tjenester forandrer både terrenget og kartet for alle typer lagring. Lagring, backup, arkivering, synkronisering historiske begreper som ikke lenger betyr det samme og heller ikke spiller de samme rollene. Tradisjonell backup har utspilt sin rolle. Muligheter for rimelig arkivering av data on-line har gjort gamle, statiske data verdifulle, ikke bare for forskning, men for business. Tradisjonell katastrofesikring går ut på dato når Business Continuity blir en implisitt del av tjenesteleveransen. Nettskyen blir verdens mest effektive deduplikator: Én kopi av hvert objekt i stedet for én kopi for hver kunde. Én for verden istedet for én for hver. I 2011 overinvesterer IT-miljøer flest i kostbare lagringssystemer de ikke trenger. Vi håndterer mengder i stedet for å analysere årsaker. RAID har gått ut på dato som teknologi, men ikke som tankegang: Rimelig og effektiv Cloud-lagring er basert på mange og billige enheter. Robust, raskt, rimelig (RRR). Om 5 år vil filsystemer og direkte-administert lagring være unntaket, ikke regelen. Filsystemer er lavnivå-lagring, ute av syne for brukere, implisitt i tjenester. Dataene, behandlingen og sikringen av dem blir en del av tjenestene. Begreper og historisk avklaring Vi starter med å spenne opp lerretet, en oppfrisking og nyansering av begreper, definisjoner og et fundament for felles forståelse. Behovet blir innlysende med det samme: Lagring er ikke backup. Og backup er ikke lagring. Lagring kan brukes til backup, men ikke motsatt. Korttids-arkivering er en variant av lagring. Langtidsarkivering er (tradisjonelt) en del av eller variant av backup. Begrepsforvirring? Først og fremst begrepsblanding en påminnelse om at mens romslige begreper er nyttige, er en 'spissing' nødvendig når vi skal på detaljnivå. Konseptuelt eller teknisk.

11 Cloud Storage mymayday.com 3: Markedsoversikt I dette kapitlet: Cloud Computing fikk et spark bak av finanskrisen. En rekke av verdens største økonomier, inklusive USA og Japan, har langt fremskredne prosesser for innføring av Cloud Computing i offentlig sektor. Backup som tjeneste overlever inntil videre for low-end segmentet: Klienter og konsumenter. On-line lagringstjenester krever mer båndbredde og passer på kort sikt dårlig med den asymmetriske båndbredde-modellen i ADSL og andre tilknytningsteknologier. Det norske markedet endret karaktér i 1. halvår 2011, og startet opphentingen av det internasjonale markedet, med markant interesse-økning for Cloudtjenester generelt. Norske tjenesteleverandører har mistet et tidsvindu i markedet. Nye kontrakter går like gjerne til internasjonale som til norske leverandører. En viktig årsak er at norske leverandører fokuserer på teknologi i stedet for behov, muligheter og marked. Som tilfellet er i andre sektorer, har råvarer (ressurser) små marginer som krever enorme volumer for å gi god business. Derfor eksploderer kreativiteten blant tjeneste-integratorer internasjonalt, og etterhvert nasjonalt. Innledning Om markedet driver trendene eller trendene driver markedet, kommer an på innfallsvinkelen. Bak forandring og utvikling ligger alltid en rekke faktorer noen forutsigbare, andre tilfeldigheter. For eksempel observerte vi ovenfor at Cloud Computing fikk et ekstra spark bak av finanskrisen i 2008 og 2009: Alle i praksis store deler av verden fikk et akutt behov for kostnadsoptimalisering samtidig med at et nytt alternativ ble modent og tilgjengelig. Per ultimo 2011 er Cloud Computing en varm potet internasjonalt og nylig stuerent i Norge. Latterliggjøringen og avvisningene er borte, erstattet av nøktern interesse og nye strategier på kundesiden, gryende roadmaps etter internasjonal modell hos et voksende antall leverandører.

12 Cloud Storage mymayday.com 4: Leverandører, tjenester og verktøy I dette kapitlet: Vi diskuterer leverandører i 3 distinkte segmenter (grupper): Klassisk lagring, backup/bc og arkivering. I alle grupper trekker vi frem både verktøy- og tjeneste-leverandører. Vi legger vekt på å illustrere utvikling, trender og muligheter fremfor å kartlegge konkrete alternativer for det norske markedet. Leverandører som diskuteres er Google, Amazon AWS, Microsoft, Nirvanix, Nasuni, RainStor, CommVault, OnLineBackupCompany, Zmanda, Mezeo, Vembu, CasDEX, Iron Mountain, Zantaz, Autonomy, HP, IBM, RackSpace, CloudFiles. Vi er også innom en liten håndfull Open Source prosjekter: OpenStack, TierraCloud, Hadoop, Zmanda og Eucalyptus. Spesielt Open Source prosjektene er viktige for etableringen av standarder i markedet, standarder som er essensielle for den industrialiserings-prosessen IT-markedet er inne i. Arkivering kvalifiseres av ediscovery, som konverterer enorme statiske datamengder fra belastning til ressurs. Introduksjon Mens internasjonale aktører som AWS, Google og RackSpace er spennende som trendsettere, premissleverandører og inspiratorer, er en annen gruppe like viktig. 'Myldringen i underskogen', som vi kalte det ovenfor: Produksjonsverktøy. For mens tjenestene er resultatet, er verktøyene produksjonsapparatet som konverterer råvarer til anvendelige ressurser, og spenner fra grunnleggende tjenesteproduksjon via administrasjon og styring til avregning, aksesskontroll og mye mer. En raskt voksende flora av leverandører har i løpet av de siste 3 årene funnet seg til rette i dette segmentet. De utvikler verktøy for tjenesteleverandører i nettskyen. For lagring og backup, og for en lang rekke andre tjenester på ulike nivåer. Enkelte spesialiserer seg på hele stakken : Det som trengs for å gjøre en eksisterende infrastruktur til IaaS-ready