TJENESTEAVBRUDD OVER MOBILT BREDBÅND I NORGE av Olav Lysne, Ahmed Elmokashfi, Amund Kvalbein, Jie Xiang og Kristian Evensen* Sammendrag Digitale kommunikasjonsnettverk inntar en stadig mer sentral rolle i moderne samfunn. Faktorer som kompleksitet i teknologi og eierskapsforhold, nettets totale størrelse og hemmelighold gjør imidlertid at en nasjons kommunikasjonsinfrastruktur bare i begrenset grad kan studeres som en syntese av sine bestanddeler. Den bør i stedet studeres gjennom målinger av dens egenskaper. I denne artikkelen gir vi et eksempel på et forskningsoppsett hvis mål det er å gi innsikt i stabilitetsbildet for mobilt bredbånd (MBB) i Norge. Målingene er utført over tre forskjellige nettverk for mobilt bredbånd. Vi har foretatt aktive målinger over en 4-måneders periode fra 90 stemmelokaler som ble benyttet til elektronisk prøvevalg i ved lokalvalgene i Norge høsten 2011. Målestasjonene våre er spredt ut over hele Norge, og gir derfor en oversikt over stabiliteten til landets infrastruktur på en måte som tidligere ikke har vært tilgjengelig. 1 Introduksjon Digitale kommunikasjonsinfrastrukturer spiller en stadig mer kritisk rolle i moderne samfunn. Fra en sped begynnelse i forskningsprosjekter på 70-tallet, har de gradvis inntatt en posision som hjørnesten i de fleste viktige samfunnsfunksjoner. Man har nå eksempler hvor feilende kommunikasjonsløsninger har truet vannforsyning, stoppet tog, satt fly på bakken, hindret helse- og politifunksjoner og hindret befolkningen å * Olav Lysne er tilknyttet Simula Research Laboratory og Institutt for informatikk, Universitetet i Oslo. De øvrige forfatterne er tilknyttet Simula Research Laboratory.
218 Det Norske Videnskaps-Akademi Årbok 2012 komme i kontakt med nødetater. Videre er det ingen tegn til at data - nettverkenes utvikling mot økende samfunnsviktighet vil stoppe opp. Fremtidsvisjoner knyttet til muligheter for eldre, syke og funksjons - hemmede til å bo hjemme, knyttet til smart energiproduksjon og -forbruk, og knyttet til en mer effektiv bruk av arbeidsstokken, har det til felles at de har digitale kommunikasjonsinfrastrukturer som forutsetning. Vår kunnskap om nettene står imidlertid i skarp kontrast til deres viktighet. Den digitale nettinfrastrukturen er nemlig eid av mange forskjellige organisasjoner. De fleste av disse er rene kommersielle aktører, andre er helt eller delvis offentlig eid og drevet. Disse organisasjonene teleoperatørene står dels i et konkurranseforhold til hverandre hvor de konkurrerer om sluttbrukere. Samtidig har de samarbeidsavtaler med hverandre om videresending av datatrafikk til og fra hverandres kunder. Dette konkurranse/samarbeidsforholdet avføder for retnings hemmeligheter, noe som gjør at avtalene de forskjellige operatørene imellom er hemmeligholdt. Sikkerhetshensyn er en annen kilde til hemmelighold. En person med onde hensikter og med detaljkunnskaper om kommunikasjons - nettverket, kunne lett sette det ut av spill. Derfor er nettverkstopologiene til de forskjellige operatørene konfidensielle, hvilke stier data pakkene tar internt hos hver operatør og mellom flere operatører, er hemmelige, og hvilke policies hver operatør har implementert for samhandling med omkringliggende operatører, er klassifisert. Innen Informasjonsteknologi har studier av robusthet som regel bestått i å forstå de teknologiske detaljene, og deretter sette disse sammen til et hele. Inntil nylig har dette også vært den altoverskyggende tilnærmingen for forskere innen kommunikasjonsteknologi. Diskusjonen vi fører ovenfor, gjør det imidlertid klart at en slik tilnærming ikke er mulig for en hel nasjonal infrastruktur, i og med at det ikke er noen enkeltforskere eller enkeltorganisasjoner som sitter på alle detaljene. 1 Denne tilnærmingen har heller ikke vist seg skalerbar til den kompleksitet og nettverksstørrelser som man vil finne i en nasjon på f.eks. Norges størrelse. 1. Man kunne tenkt seg at organisasjoner som Post- og Teletilsynet i Norge samlet inn fullstendig teknologisk detaljinformasjon om nettverkene, og hadde forskere som arbeidet med dette datasettet. Dette er imidlertid ikke tilfelle i dag. Det er videre tvilsomt om slik innsats ville gitt mer enn en overfladisk innsikt gitt nettenes størrelse og kompleksitet.
Den fjerde ITK-bølgen 219 Vi vil derfor argumentere for at en mer fruktbar tilnærming til kunnskap om en nasjons kommunikasjonsinfrastruktur vil være å studere den ved hjelp av målinger. På den måten får man innsikt i fenomenets oppførsel uten at man behøver tilgang til informasjon om hver enkelt detalj i dets oppbygging. Metoden er imidlertid krevende, da den fordrer en stor distribuert måleinfrastruktur med mange målepun kter som holdes ved like over en lengre periode. I denne artikkelen presenterer vi et eksempel på et slikt eksperimentoppsett, og vi gir noen tidlige eksempler på hvilke resultater den har gitt. Resultatene våre stammer fra en fire måneder lang måleperiode. I denne perioden har vi målt mobile bredbånd-forbindelser over tre forskjellige nettverksoperatører i Norge. Målingen har blitt foretatt fra 90 lokasjoner i 10 forskjellige kommuner. På hvert målepunkt har vi plassert en monitor som har foretatt ping og traceroute til to forskjellige servere plassert henholdsvis på Fornebu og i Brønnøysund. Disse målingene ble utført i samarbeid med prosjektet for Elektronisk Prøvevalg 2011 ved Kommunal og Regionaldepartementet, og alle målepunktene er således plassert i valglokaler. Antallet valglokaler i hver kommune varierer mellom 4 og 15. Stemmelokalene er geografisk distribuert i henhold til befolkningsmønstrene i de deltakende kommunene. Kommunene varierer både i størrelse og i befolkningstetthet. Oppsummert så har målingene våre følgende egenskaper: De er tatt fra et stort antall målepunkter som er geografisk og demografisk spredt. Figur 1: Distribusjon av målenoder.
220 Det Norske Videnskaps-Akademi Årbok 2012 De gir således et representativt bilde av den brukeropplevde kvaliteten på MBB-forbindelser i Norge. De er foretatt over en sammenhengende periode på fire måneder. De fanger derfor inn både kortvarige og langvarige variasjoner i opplevd kvalitet. De er foretatt samtidig over tre forskjellige nettverk. Dette gir muligheter til direkte å sammenligne karakteristika til de forskjellige nettene, samt en innsikt i hvordan deres oppførsel er korrelert. I denne artikkelen presenterer vi måleoppsettet. Videre studerer vi det innsamlede datasettet med fokus på tjenesteavbrudd. Vi undersøker hvordan tjenesteavbruddene fordeler seg per målested og per operatør, og vi undersøker stabiliteten til hvert enkelt målepunkt over tid. Videre gir vi en kort diskusjon av hvor mye det vil være å vinne i for bindelsesstabilitet dersom et målepunkt kunne flytte en forbindelse mellom operatørene etter behov. 2 Måleoppsett Vi har bygget en infrastruktur som består av 90 monitorer i 10 kommuner spredt rundt i Norge (Figur 1). Våre målenoder, kalt monitorer, er lokalisert på forskjellige steder i kommunene, og innenfor hver kommune er gjennomsnittsavstanden mellom målepunktene 7,7 km. Infrastrukturen inkluderer også to servere, hvorav en er lokalisert i Brønnøysund og en er lokalisert på Fornebu. Kjernen i monitoren består av en Dell Latitude E6510 laptop som kjører Ubuntu 10.04. Som vist i Figur 2 er hver node multi-homet til fire ISPer. Tre av disse er MBB- tilbydere, og den fjerde er den fastlinjeforbindelsen som tilfeldigvis måtte finnes i lokalet. Fastlinjeforbindelsen vil ha svært varierende kvalitet. Noen steder er det høyhastighets fibertilknytning, mens det enkelte andre steder ikke er trådbasert tilknytning i det hele tatt. Telenor og Netcom tilbyr en High Speed Packet Access (HSPA)-basert tjeneste, noe som er en videre utvikling av Wide-band Code Division Multiple Access (WCDMA). Der hvor HSPA-tjenesten ikke er tilgjengelig, vil forbindelsen reduseres til EDGE/GPRS. Den tredje operatøren ICE tilbyr en CDMA2000 1xEV-DO (Evolution-Data Optimized) tjeneste.
Den fjerde ITK-bølgen 221 Figur 2: Hver målenode er koblet til fire operatører. Monitoren vår kobler seg til disse MBB-operatørene på følgende måte. Mot Telenor ble det benyttet et Dell built-in wireless 5540 HSPA mobile broadband mini-card. Mot Netcom ble det benyttet et ZTE MF636 USB-modem og mot ICE ble det benyttet Huawei EC506 wireless router. Et kontrollert eksperiment ble gjennomført for å forstå i hvilken grad de forskjellige modemene ville påvirke måleresultatene. Dette eks - perimentet avslørte en moderat forskjell i forsinkelse modemene imellom, men ingen forskjell i forbindelsesstabilitet. Da denne artikkelen kun omhandler forbindelsesstabilitet, har vi ikke her korrigert resultatene for forskjellige modemer. Hver monitor har gjennomført periodiske ping - og traceroute-tester gjennom hvert av sine fire interfacer, og til de to serverne på Fornebu og i Brønnøysund. En ping-pakke ble sendt hvert sekund over fastlinjeforbindelsen, og hvert femte sekund over hver av de trådløse for - bindelsene. Traceroute- målinger blir gjennomført hvert 10. minutt. Vi har benyttet en modifisert versjon av Paris traceroute [2], hvor vi har lagt til støtte for spesifikasjon av hvilket interface som skulle benyttes i hver kjøring. I tillegg til dette kjører vi også AT-kommandoer hvert mi nutt for å måle den mottatte signalstyrken. Målingene vi benytter i denne artikkelen dekker perioden fra mai til august 2011. Omfanget og kompleksiteten i måleinfrastrukturen har stilt oss overfor utfordringer knyttet til drift av strukturen. For å minimere den administrative overheaden har vi designet monitorene våre slik at de i
222 Det Norske Videnskaps-Akademi Årbok 2012 størst mulig grad er selvadministrerende. Hver monitor vedlikeholder en SSH- sesjon med serveren på Fornebu. Denne blir benyttet til å laste opp måledata, til å laste ned nye konfigurasjoner og til vedlikehold når det er nødvendig. Hver monitor lagrer måledata lokalt, og laster denne opp til serveren på Fornebu hver natt klokken 0300. Hver monitor vil periodisk sjekke statusen til SSH- forbindelsen og til de fire nettverksinterfacene, og vil automatisk forsøke å restarte et interface som er nede. IT-personell i kommunene har på frivillig grunnlag hjulpet til når fysisk intervensjon har vært nødvendig. Når en monitor trenger omstart, har det derfor ofte tatt lang tid å få det gjennomført. En siste utfordring knyttet til målingene er at USB-modemet vi har benyttet til Netcoms nettverk har vist seg å trenge fysisk ut og innplugging ved flere anledninger. For at slike hendelser ikke skal påvirke resultatene våre, har vi filtrert ut dataserier og perioder hvor disse problemene har oppstått. 3 Observasjoner og resultater I denne seksjonen går vi gjennom de viktigste observasjonene vi har gjort med hensyn på tjenestestabilitet. Tjenesteavbrudd per operatør og per monitor For å angi stabiliteten målt på hver enkelt monitor over hver enkelt operatør har vi først filtrert ut all nedetid som varer lenger enn én time. Deretter delte vi hele perioden opp i 5-minutters intervaller. I hvert 5- minuttersintervall regnet vi forbindelsen som nede om mindre enn 20 % av pingene ble besvart. Denne måten å presentere resultatene på fil trerer ut tjenesteavbrudd som er korte, og det filtrerer ut tjenesteavbrudd som skyldes større vedlikeholdsoperasjoner, slik som for eksempel bytte av basestasjoner. Det er en rekke andre måter å presentere dataene på, hvor man kunne fokusere på kortere feil, lengre feil og tider på døgnet for å nevne noe. Plasshensyn tillater ikke at vi går i detalj på disse, men hovedtrekkene i resultatene vi presenterer i denne artikkelen, er stabile uavhengig av hvordan vi har filtrert måledataene. Resultatene for hvert enkelt målepunkt og operatør er illustrert i Figur 3. For hver operatør har vi sortert målepunktene etter stigende nedetid. Den viktigste observasjonen her er at svært mange av målepunktene har tjenesteavbrudd på mer enn 10 minutter per døgn. Videre er oppførselen for ICE og Netcoms forbindelser sammenlignbare, mens Te-
Den fjerde ITK-bølgen 223 lenors forbindelser gjennomgående er svakere. Medianen angir noe mer enn dobbelt så mye tjenestebrudd over Telenors nettverk som over de to andre. 2 F Figur 3: Nedetid fordelt på operatør og monitor. Monitorene er sortert med økende registrert tjenesteavbrudd innenfor hver operatør. En nedetid på 0,7 % betyr 10 minutter per døgn. Forbindelseskvalitet som funksjon av sted Det er en vanlig antakelse at oppetiden til et MBB-nettverk er avhengig av sted, men at den på samme sted er forholdsvis stabil over tid. For å undersøke dette har vi delt måleperioden vår opp i uker, og deretter for hver uke og hver operatør rangert målepunktene våre som henholdsvis grønne (blant de 50 % beste), røde (blant de 25 % dårligste) og gule (resten). I Figur 4 har vi illustrert resultatene for Telenors forbindelser. Målepunktene er sortert etter hvor mange uker de var rangert som grønne, og vi har én søyle per målepunkt. Resultatene for Netcom og ICE er helt tilsvarende. Den viktigste og noe overraskende observasjonen er at ingen av målepunktene er stabilt dårlige eller stabilt gode. Med noen svært få un- 2. De målepunktene med mest tjenesteavbrudd kan i hovedsak forklares med dårlig signalstyrke. Medianen er derfor et bedre mål enn gjennomsnitt når det er driftstabiliteten til nettet vi er ute etter å fange inn.
224 Det Norske Videnskaps-Akademi Årbok 2012 Fraction of time 1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25 30 35 40 45 Monitor Figur 4: Operatørene er nede på forskjellige tidspunkt, og på forskjellige steder. Figur 4: Operatørene er nede på forskjellige tidspunkt, og på forskjellige steder. Rank 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 2 4 6 8 10 12 14 16 18 Week Rank 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 2 4 6 8 10 12 14 16 18 Week Figur 5: Operatørene har forskjellige har forskjellige feilmønstre. feilmønstre. ICE til venstre ICEog til Telenor venstre til høyre. og Telenor til høyre. b n tak har alle målepunktene uker hvor de er blant de 50 % beste over sin operatør, og uker hvor de er blant de 25 % dårligste. Når vi kombinerer dette med det faktum at signalstyrken på hvert enkelt målepunkt er forholdsvis stabil, tegnes det et bilde av at sammenhengen mellom signalstyrke og nettstabilitet er mindre absolutt enn det har vært vanlig å anta. Videre reiser dette spørsmål knyttet til hvilke muligheter en operatør har for å sikre høy oppetid på utvalgte steder, f.eks. i befolkningssentra. En annen illustrasjon av samme fenomen finner vi i Figur 5. Her har vi én søyle for hver av ukene vi har målt. For hver uke har vi sortert målepunktene fra de beste (nederst i ukesøylen) til de dårligste (øverst i ukesøylen). Videre har vi latt hvert målepunkt få beholde den fargen (rød, gul, grønn) som den ble tildelt i den første uken. Figuren viser et noe forskjellig mønster for ICE i forhold til Telenor (Netcom viser den samme effekten som Telenor). For Telenors forbindelser kan vi ikke se noen tendens til at de monitorene som er gode i en uke også er gode
Den fjerde ITK-bølgen 225 den neste. For ICEs forbindelser kan vi skjelne en slik tendens, men den er langt mindre dominerende enn vi på forhånd hadde antatt 3. Bruk av flere operatører samtidig En av hovedmotivasjonene for denne studien har vært å undersøke i hvilken grad man kan forvente høyere tjenestestabilitet dersom man kobler en terminal til flere forskjellige MBB-nett. Studien vår viser at de forskjellige nettene i noen grad feiler korrelert. Det betyr at når en av ope ra - tørene ikke er oppe, er det en forhøyet sjanse for at de andre operatørene også har problemer. Denne korrelasjonen er imidlertid svak. Dersom man kunne velge fritt mellom eksisterende nettoperatører, ville målepunktene våre hatt en median oppetid på 99,98 %. Det betyr en reduksjon i tjenesteavbrudd på mer enn en størrelsesorden sammenlignet med hva en enkelt operatør er istand til å oppnå. Dette peker i retning av at multihoming er det mest kraftfulle grepet en sluttbruker kan ta for å sikre seg en stabil nettforbindelse over mobilt bredbånd. Det er videre vanskelig å se for seg at en enkelt operatør vil kunne oppnå en tilsvarende robusthet uten svært store investeringer. 4 Relatert arbeid Det forefinnes noen tidligere arbeider som omhandler egenskaper til MBB- nettverk. Flere av disse, som [1], [3] og [6], analyserer forsinkelse over slike forbindelser. Vi har også foretatt en analyse av forsinkelse basert på det samme datasettet som vi benytter i denne artikkelen [4]. Videre finnes det noen studier som studerer forskjellige ytelsesmetrikker over MBB-nettverk, slike som TCP- og UDP-ytelse, gjennomstrømning og ressursallokering [5] [7]. Så vidt vi kjenner til, foreligger ingen tidligere studier av forbindelsesstabilitet. 5 Konklusjon I denne artikkelen presenterer vi et måleeksperiment som har samlet data om tre norske MBB-nettverk over en periode fra mai til august 2011. Vi har 3. Vi har gjennomført tilsvarende eksperimenter hvor vi har startet med utgangspunkt fra en annen uke enn uke nummer 1. Bildet forblir det samme.
226 Det Norske Videnskaps-Akademi Årbok 2012 studert datane med hensyn på tjenestestabilitet, og vi har vektlagt stabilitet over enkeltoperatører, og stabilitet over geografi og tid. De viktigste funnene våre er at det er tildels store forskjeller operatørene imellom. Videre har vi sett at det i liten grad finnes geografiske lokasjoner som er stabilt gode eller stabilt dårlige, selv om den målte signalstyrken varierer lite. Til sist slår vi fast at operatørene feiler tilstrekkelig ukorrelert til at det er mye å vinne på å la en nettbruker roame fritt mellom nettverkene. Akkumulert median oppe tid for alle operatørene ligger på 99,98 %. Multihoming fremstår derfor som det mest kraftfulle grepet en sluttbruker kan ta for å sikre seg en stabil nett - forbindelse over mobilt bredbånd. References [1] Patrik Arlos and Markus Fiedler. Influence of the packet size on the oneway delay in 3G networks. In PAM, pages 61 70, 2010. [2] Brice Augustin, Zavier Cuvellier, Benjamin Orgogozo, Fabian Viger, Timur Friedman, Matthieu Latapy, Clémence Magnien, and Renata Teixeira. Avoiding traceroute anomalies with paris traceroute. In Internet Measurement Conference, pages 153 158, 2006. [3] José Manuel Cano-García, Eva González-Parada, and Eduardo Casilari. Experimental analysis and characterization of packet delay in UMTS networks. In NEW2AN, pages 396 407, 2006. [4] Ahmed Elmokashfi, Amund Kvalbein, Jie Xiang, and Kristian R. Evensen. Characterizing delays in norwegian 3G networks. In PAM 2012, 2012. [5] Marko Jurvansuu, Jarmo Prokkola, Mikko Hanski, ans Pekka H.J. Perälä. HSDPA performance in live networks. In ICC, pages 467 471, 2007. [6] Markus Laner, Philipp Svoboda, Eduard Hasenleithner, and Markus Rupp. Dissecting 3G uplink delay by measuring in an operational HSPA network. In PAM, pages 52 61. [7] Wee Lum Tan, Fung Lam, and Wing Cheong Lau. An empirical study on the capacity and performance of 3G networks. IEEE Transactions on Mobile Computing, 7(6):737 750, June 2008.