The Akamai Network: A Platform for High-Performance Internet Applications. Erik Nygren Ramesh K. Sitaraman Jennifer Sun.

Transkript

1 The Akamai Network: A Platform for High-Performance Internet Applications Erik Nygren Ramesh K. Sitaraman Jennifer Sun Published 2010

2 Internet Challenges Congestion Routing protocols Unreliable networks Communication protocols Scalability Slow rate of adoption Congestion: Middle-mile; null-inntekts knutepunkt hvor nettverk tvinges til å samarbeide med konkurrerende virksomheter. => bottlenecks. Routing protocols: BGP = Border Gateway Protocol; hop-count mellom Autonome Systemer (AS). Tar ikke høyde for latency, real-time congestion for underliggende nettverk Unreliable networks: Best-effort, ingen ende-til-ende garanti. F.eks. DDoS, jordskjelv, strømbrudd, osv. Communication protocols: TCP: Bygget for pålitelighet og for å unngå congestion, men skaper overhead i trafikkerte middle-mile nettverk hvor pakketap trigger re-transmission av pakker og øker trafikken ytterligere. TCP krever også ACK per. vindu med pakker, og RTT kan bli høy når kilde og sluttbruker er langt unna hverandre og det sendes store filer/streames video. Scalability: Etterspørsel (demand) er ofte spiky. Å skalere infrastruktur for å forberede på peaks/spikes er dyrt. For lite forberedelse: taper penger (business) For mye forberedelse: kaster bort penger Slow rate of adoption: Selv om en endring tydelig har fordeler for sluttbrukeren kan det ta tid før 100% av brukermassen har adoptert endringen.

3 Ref. IE 6 - en av de mest populære browserne i 2009 (åtte år gammel) IPv6 ble foreslått i 1996, men har ikke blitt brukt i særlig grad inntil de siste årene Oppsummering: Alt dette gjør det vanskelig å oppnå ønsket ytelse, pålitelighet og skalerbarhet. De fleste bottlenecks er utenfor rekkevidde, og oppstår som en følge av hvordan internett fungerer.

4 Motivation Impatient users High-performance websites Google experiment on latency % of consumers will wait no more than 3 seconds for a page to load before abondoning a site Users on high-performance websites were 15% more likely to complete a purchase and 9% less likely to abandon the website Lost 20% of its traffic with a 0.5 seconds delay. A page with 10 result took 0.4 seconds to generate and a page with 30 took 0.9 seconds to generate. This delay resulted in a 20% traffic decrease

5 Content Delivery Network (CDN) Akamai introduserte CDN på slutten av 90-tallet. Cachet statisk innhold nær sluttbrukeren for å unngå middle-mile bottlenecks.

6 Requirements for Akamai Reliability with close to 100% availability Scalability to 200,000+ servers Automatic deployments Designed for performance - Reliability with close to 100% availability Scalability to more than (2014) ( ) machines, and growing Have to be as automatic as possible Designed for performance. Want to achieve low response times, high cache hit rates and be energy efficient

7 Akamai CDN Virtual Network as a software layer over the Internet Deployed on widely distributed hardware At the true edge of the Internet Same architecture is tailored to different content The Akamai Network consists of multiple Delivery Networks Hva? Virtual network i software for å gjøre underliggende nettverk mer pålitelig og bedre ytelse (som et lag oppå internett) I bruk på høyt distribuert hardware. Alternativet: Å bygge om internett og dets arkitektur. Problem: adoption. Ref.: IPv6 Hvor distribuert? Akamai vil være på the true edge of the Internet, med servere helt ned i sluttbrukeres ISPer. Flere tusen lokasjoner. CON: Mer komplekst PRO: Minimere effekten av middle-mile congestion, latency, network outages (sjø-kabel) Hvorfor ikke Peer-to-Peer? Distribuert, ja, men mangler styrings- og kontrollfunksjoner. Akamai-kunder behandler Akamai-nettverket som en forlengelse av deres eget, i form av at de har kontroll og innsikt i innholdet i nettverket. The Akamai Network består av flere Delivery Networks, tilpasset innholdet det skal levere

8 Architecture Communication & Control System Data Collection & analysis System Management Portal Use case: - En klient taster inn en URL - Mapping System: - Oversetter domenenavnet til en Edge Server og router dit - Edge Serveren må (kanskje) hentet data fra Original Serveren - Det finnes også en Tiered Distribution som har flere nivåer av Cache, kalt Parents - Transport Systemet overfører data mellom Edge Servers og Original Serveres. Andre systemer: - Communication and control system - Sprer status-informasjon, kontroll-meldinger og konfigurasjons-oppdateringer - Data collection and analysis system - Samler og prosesserer data fra flere kilder (logger) som brukes til å overvåke og analysere - Management portal - Gir bedriften kontroll over hvordan innholdet distribueres og innsikt i hvordan sluttbrukeren interagerer med applikasjoner eller innhold.

9 Streaming & CDN Metrics Historie: - Streaming er MYE av internett: i millioner samtidige streams (fra Obamas innsettelse i det Hvite Hus) = 2 Tbps - Det krever throughput for hele stien fra encoder til server til sluttbruker. (IP-layer multicast for streaming fungerer ikke. Resulterer i sårbarheter (sikkerhetsmessig)) Overlay network: - Live stream sendes til flere Entrypoints. Herfra kan Edge Servers abonnere på streams. Streamen sendes via Reflectors. Med dette laget kan en stream spres til flere Edge Servers kjapt. Det gjør også at det finnes flere alternative stier fra Entrypoint til Edge Server, og Transport Systemet velger den beste. Om det ikke finnes en bra sti bruker den flere stier og kompenserer for pakketap med de alternative stiene. Transport Systemet benytter også prebursting, for å redusere startup tid. - Å finne stier i et overlay network kan sees på som et komplekst optimaliseringsproblem.

10 Application Delivery Network EdgeComputing => Distributed application Optimize transport system To strategier - Øk hastigheten over Middle-Mile med Overlay Network - Flytt applikasjonslogikk til Edge n EdgeComputing - Sider uten databaser - Statiske databaser - Datainnsamling (batch) - Kompliserte applikasjoner (transporter rå-data, sett sammen på EdgeServer (ESI)) Transport system for application acceleration - Optimalisere stien - Flere stier = mer robust - Redusere pakketap - TCP vil re-sende, bruk flere stier og forward error correction - Optimaliser TCP (fordi vi VET noe om det underliggende nettverket) - Pools med åpne connections (slippe setup og teardown) - Øke vindu-størrelsen når throughput er god. Reduserer antall ACK - Bedre re-sending av pakker. Mer aggressiv timeout når throughput er høy

11 Other Solutions Fastly YouTube Fastly tilbyr en tjeneste hvor man kan invalidere cache i løpet av 150 ms. Dette kan de fordi de heller har færre større datasenter plassert ved de store knutepunktene. Ved å ha færre datasenter er det lettere å invalidere cache fort Når man ser på en YouTube film så hender det at man må vente noen sekunder lengre enn før filmen kan vises. Dette er fordi videon bare er tilgjengelig i et datasenter langt unna. For å bøte på problemet flytter først YouTube video en til et datasenter som er nærmere brukeren. Deretter så lastes filmen til brukeren fra det datasenteret som er nærmest.

12 Summary Akamai pioneered CDN Tailored Delivery Network for content (stream, application) Microservices & Distributed systems Missing further work and evaluation Questions?