Rapport etter utfallet i mobilnettet til Telenor 30. oktober desember 2014

Transkript

1 Rapport etter utfallet i mobilnettet til Telenor 30. oktober desember 2014

2 Innhald 1 Innleiing Hendingsgangen Konsekvens av hendinga Tenestekonsekvens Samfunnskonsekvens Årsaksanalyse Kjend svakheit i programvare for provisjonering Ordinær feilhandteringsprosess Menneskeleg svikt Propagering av kritisk feil Utfall PTs vurdering Vurdering av risiko knytt til retting av provisjoneringsfeil Skadeførebyggande tiltak Skadereduserande tiltak Oppfølging Oppfølging mot Telenor Tiltak retta mot alle mobiltilbydarar Post- og teletilsynet 2

3 1 Innleiing I medhald av forskrift om elektronisk kommunikasjonsnett og elektronisk kommunikasjonstjeneste (ekomforskrifta) 8-5 skal tilbydar av slike nett og tenester varsle Post- og teletilsynet (PT) om hendingar som vesentleg kan redusere eller har redusert tilgjengelegheita til ekomtenester. Alvorlege hendingar blir følgt opp av PT, både under hendinga og i etterkant. PTs oppfølging i etterkant er avhengig av omfang og karakter. Dersom hendinga indikerer muleg brot på tilbydarane sine sikkerheits- og beredskapsplikter, eller indikerer nye eller ukjende sårbarheiter, så ber PT dei aktuelle tilbydarane om hendingsrapport. På kvelden den 30. oktober 2014 opplevde Telenor eit omfattande utfall av sine mobiltenester i litt over tre timar. Den 11. november 2014 tok PT imot rapport om hendinga frå Telenor. Vidare gjennomførte PT eit telefonmøte med Telenor den 21. november 2014, der PT fikk ei nærmare utgreiing av enkelte av forholda nemnt i Telenors rapport. På bakgrunn av opplysningane frå Telenor har PT granska hendinga. Kapittel 2 og 3 samanfattar høvesvis hendingsgangen, tenestekonsekvensane og dei samfunnsmessige konsekvensane hendinga fikk. Kapittel 4 ser på årsak til utfallet. PT si vurdering av hendinga kjem fram av kapittel 5 medan kapittel 6 peiker på vidare oppfølging. 2 Hendingsgangen På dagen torsdag 30. oktober 2014 gjennomfører Telenor ei feilretting på sin abonnentsdatabase i mobilnettet. Databasen inneheld abonnementsdata som det må gjerast oppslag i ved etablering av telefonsamtale, ved sending av SMS, og ved oppsett/endring av ein datasesjon (datatrafikk). Denne type feilretting blir gjennomført av Telenor jamleg. Feilen er kjend og oppstår av og til når Telenor, skal gjere endringar i abonnentsdatabasen i samband med at ein eksisterande abonnent skal ha nytt SIM-kort. Feilen består i at data om abonnenten i databasen blir korrumpert under denne prosessen, Abonnenten det gjeld kan deretter nytte Telenors mobiltenester som normalt. Kl. 18:58 same dag, gjennomfører Telenor på Denne gongen blir det ved ein feil sletta feil data i databasen. Ca. kl får Telenor, 3

4 gjennom alarmar og rapportar, indikasjonar på alvorleg feil i mobilnettet. Telenor byrja med det same feilsøking. Kl. 19:30 kallar operasjonsleiar inn Telenors kriseleiing, og kl. 19:31 får PT varsel frå Telenor om feil gjennom vårt ordinære varslingsgrensesnitt (e-post). Kl. 20:15 er Telenors kriseleiing etablert. Kl. 21:23 blir feilen retta. Då feilrettinga er gjennomført får dei fleste kundane mobiltenestene sine tilbake. Telenor identifiserer ein følgjefeil på ein server i Bergen som fører til at abonnentane som er knytt til denne serveren ikkje har fått tilbake tenestene sine. Følgjefeilen blir retta kl. 22:21 og abonnentane kan då igjen bruke tenestene. Kl. 23:40 gjennomfører Telenor siste verifikasjon på at nett og tenester er stabile. Telenors kriseleiing blir formelt avslutta. Kl. 07:30 og kl den 31. oktober får PT verifikasjonar frå Telenor om at nett og tenester er stabile. Under utfallet sendte PT situasjonsrapportar til Samferdselsdepartementet, Direktoratet for samfunnstryggleik og beredskap (DSB), Noregs vassdrags- og energidirektorat (NVE) og Nasjonalt tryggingsorgan (NSM). PT formidla òg bodskap på PTs nettsider og gjennom intervju med pressen, at brukarar som er råka kan ta ut SIM-kort og ringe naudnummer 112 ved behov for akutt hjelp. Tilsvarande informasjon vart av DSB lagt ut på Post- og teletilsynet 4

5 3 Konsekvens av hendinga 3.1 Tenestekonsekvens Feilen skjedde i abonnentsdatabasen i mobilnett til Telenor. Feilen var landsomfattande og råka Telenors eigne sluttkundar og kundane til vidareseljarane som nyttar Telenors mobiltenester. Tenestene som var råka var tale og SMS på 2G og 3G. Det er nær seks millionar abonnement for mobiltelefoni i Norge, og Telenor har nær 50 prosent av desse. Utfallet ramma difor om lag tre millionar abonnement, i tidsrommet frå kl. 18:58 til kl. 21:23, dvs. 2 timar og 25 minutt. Følgjefeilen i serveren i Bergen gjorde at om lag ein halv million av abonnentane som var knytt til denne serveren ikkje fikk tilbake tenestene før kl. 22:21. Desse opplevde då eit utfall på 3 timar og 23 minutt. Datatrafikk vart i noko mindre grad råka av feilen. Dette er trafikk som ikkje krev oppslag/autentisering i abonnentsdatabasen dersom det allereie var etablert ein dataseksjon før utfallet, og med mindre nettet måtte gjere lokasjonsoppdatering eller abonnenten slo av og/eller på mobiltelefonen i tidsperioden utfallet varte. Også prioritetsabonnentar vart råka av utfallet. På same måte som ved internasjonal gjesting, er ein avhengig av at gjestenettet er i stand til å kontakte abonnentsdatabasen i heimenettet til abonnenten. Når abonnentsdatabasen til Telenor ikkje var tilgjengeleg den 30. oktober, medførte dette at prioritetsabonnentane til Telenor heller ikkje kunne gjeste i andre nett. 3.2 Samfunnskonsekvens Det samfunnsmessige skadepotensialet for ei slik hending er stort, både i forhold til fare for liv og helse, for økonomisk tap og for samfunnsstabilitet. PT er likevel ikkje kjend med at dette utfallet hadde større negative samfunnsmessige konsekvensar. At utfallet skjedde på kveldstid, og at det, så vidt PT kjenner til, ikkje falt saman i tid med større alvorlege hendingar, har nok medverka til dette. 4 Årsaksanalyse PT har analysert årsaken til hendinga på bakgrunn av informasjon motteke av Telenor. Denne kjem fram av hendingstreet i figur 1. Dei enkelte delar av hendingstreet er forklart under figuren. Post- og teletilsynet 5

6 8 Følgjefeil på server i Bergen Utfall 7 Landsomfattande utfall av tenestene i Telenors mobilnett Propagering av kritisk feil 6 Menneskeleg svikt 5a Ny provisjonering, inkonsistens i database retta 5b Feil data blir sletta i abonnentsdatabasen 100 % av tilfella Feilen 30. oktober b Leverandør må gå inn å slette inkonsistente abonnentsdata 4a Inkonsistens i abonnentsdatabase retta 5-10 % av tilfella % av tilfella Ordinær feilhandteringsprosess 3 Telenor køyrer provisjonering på nyt 2 Inkonsistens i databasen etter provisjonerin 1 gong per dag Kjend feilsituasjon 1 Svakheit i system for provisjonering av eksisterande abonnement Figur 1. Hendingstre utløysing av feilen 6

7 4.1 Kjend svakheit i programvare for provisjonering Når nye abonnentar skal leggast til i abonnentsdatabasen i mobilnettet, eller ved endringar på eksisterande abonnement, gjennomførast det ein såkalla provisjonering. Prosessen som ligg til grunn for provisjonering av eksisterande abonnentar (nytt SIM-kort til eksisterande abonnent) er kompleks. Feil kan oppstå i samband med t.d. spesielle kombinasjonar av abonnentdata eller feil/brot på transmisjon mellom nodene under provisjoneringsprosessen. Dette kan føre til at det blir liggande inkonsistente data om abonnenten i abonnentsdatabasen. Dette fører til at abonnenten det gjeld ikkje kan ringe ut eller ta imot samtaler verken på gammalt eller nytt SIM-kort. Telenor har identifisert ein svakheit i programvaren i ein av provisjoneringsnodane som gjer at det av og til oppstår inkonsistens i abonnentsdatabasen. I følgje Telenor er dette ei kjend problemstilling innanfor mobil verdikjede. Etter innføring av 4G vart problemet forsterka, fordi løysinga skal handtere abonnentsdata i både 2G-, 3G- og 4Gdomena. 4.2 Ordinær feilhandteringsprosess Feilsituasjonen har oppstått i snitt om lag ein gong per dag. Når desse feilsituasjonane har oppstått har kundebehandlaren køyrt provisjoneringsprosessen på nytt. I dei aller fleste tilfella (ca %) har dette retta opp i inkonsistensen knytt til den aktuelle abonnenten i abonnentsdatabasen. I dei resterande tilfella (ca %) har det blitt liggande igjen «restar» av feil data som ikkje har latt seg slette For å løyse desse feila må leverandø inkonsistente data. Leverandør har utarbeidd eigen prosedyre for å slette dei relevante data til abonnenten, og prosedyren er gjennomgått og testa i testanlegg. Når leverandør har fullført denne jobben, gjennomfører Telenor provisjonering på ny. Denne type feilretting blir meldt inn i medhald av Telenors endringshandteringsprosess. På bakgrunn av at dette har vore eit feilrettingsarbeid som er utført gjennom mange år i samsvar med uttesta prosedyre, har den blitt kategorisert som «minor». Dette inneber at risiko og kundekonsekvens er vurdert som låg (endring på abonnentsdata til ein abonnent). Denne type jobb er ikkje gjenstand for same 7

8 godkjennings- og kontroll-, og verifikasjonsregime som endrings-/feilrettingsarbeid kategorisert med høgare risiko. 4.3 Menneskeleg svikt På torsdag den 30. oktober 2014 gjennomførte leverandør feilretting i abonnentsdatabasen to gonger, i samsvar med den ordinære feilhandteringsprosessen. Som følgje av den første feilrettinga, på dagen, vart dei inkonsistente data knytt til abonnenten sletta, og provisjonering kunne gjennomførast på ny. Ved den andre feilrettinga, kl. 18:58, vart det ved eit mistak i tillegg sletta data som ikkje skulle bli sletta. Dette førte til at abonnentane ikkje fikk oppdatert seg opp mot nettet. At feil data var sletta i abonnentsdatabasen vart ikkje oppdaga på dette tidspunkt. 4.4 Propagering av kritisk feil Abonnentsdatabasen til Telenor har redundans. Det vil seie at databasen er replikert på ulike geografiske stader, slik at dersom abonnentsdatabasen på ein av desse stadene skulle bli utilgjengeleg (fiberbrot, brann, teknisk svikt osv.), så vil oppslag bli ruta til redundant database. I tilfellet 30. oktober, kor feil data vart sletta, vart denne feilen også replikert. Med andre ord hadde redundansen inga skadeførebyggande effekt på denne feilen. 4.5 Utfall Telenor fikk gjennom alarmar indikasjon på alvorleg feil i nettet, ca. kl. 19:00. Deretter vart det arbeidd med å finne årsak til feilen. Når utfallet vart identifisert å vere knytt til sletting av feil data i abonnentsdatabasen, vart feilen retta ved å installere ein sikkerheitskopi av dei data som var feilaktig sletta (kl. 21:23). Seinare vart det identifisert ein følgjefeil på ein server i Bergen. Som følgje av høg signaleringslast på serveren når hovudfeilen var retta og telefonane igjen skulle koplast til nettet, så slo overbelastningsmekanismen på serveren inn («congestion control»). Når signaleringa var normalisert vart ikkje denne mekanismen oppheva, slik den skulle. Telenor måtte difor gjennomføre ein restart av serveren. 8

9 5 PTs vurdering I følgje PTs marknadsstatistikk for første halvår utgjorde trafikken frå mobiltelefonar i underkant av 80 prosent av den totale genererte taletrafikken i fast- og mobilnetta. Telenors marknadsdel på både ordinære mobilabonnement er om lag 50 prosent. Telenors marknadsdel for maskin-til-maskin-kommunikasjon (M2M), målt i talet på SIM-kort, er på om lag 90 prosent. Om lag halvparten av all generert datatrafikk i mobilnettet var knytt til dei ordinære mobilabonnementa, kor Telenor har om lag 50 prosent marknadsdel. Telenors marknadsdel på særskilte abonnement for mobilt breiband er også på om lag 50 prosent. Kvart samtaleoppsett og kvar SMS krev tilgang til Telenors abonnentsdatabase. Det same gjeld oppsett av ein datasesjon 2. I tillegg til at Telenors abonnentar var direkte råka, påverka feilen også alle andre som ringte eller sendte SMS til Telenors abonnentar. Abonnentsdatabasen til Telenor er difor ein svært kritisk innsatsfaktor for å få gjennomført ein stor del av taletrafikken, SMS-trafikken og mobildatatrafikken i Noreg. Telenor reduserer fysiske og tekniske sårbarheiter knytt til abonnentsdatabasen mellom anna gjennom fysisk sikring og redundans. I denne rapporten vurderer ikkje PT desse tiltaka. PTs vurdering avgrensar seg her berre til risikovurderinga og dei sårbarheits- og konsekvensreduserande tiltaka Telenor har gjennomført knytt til retting av provisjoneringsfeilen som er omtalt i kapittel Vurdering av risiko knytt til retting av provisjoneringsfeil Telenor opplyser at det er utarbeidd prosedyre for dei tilfella av feilretting knytt til provisjonering Denne prosedyren er gjennomg tt og testa i testanlegg. Feilrettingsarbeidet er gjennomført av ekspertressursar i medhald av denne prosedyren gjennom mange år. Dette har gjort at Telenor, før 30. oktober, har kategorisert denne type arbeid som «minor» (låg risiko, låg kundekonsekvens). At det berre er svært erfarne ekspertressursar som utfører denne type arbeid medverkar til å redusere sannsynet for feil. Etter PTs meining har risikovurderinga til Telenor likevel betydelege svakheiter. bidrar til å auke sannsynet for utilsikta feil under feilrettingsarbeidet. Sjølv om feilrettingsarbeidet utførast i medhald av ei 1 «Det norske markedet for elektroniske kommunikasjonstjenester 1. halvår 2014», PT, Ein ny datasesjon opprettast normalt når mobiltelefonen blir slått på, og ved lokasjonsoppdatering. 9

10 prosedyre, inneber arbeidet likevel ei manuell analyse av dei aktuelle data. Kva data som skal slettast varierer frå sak til sak. Når denne typen arbeid i tillegg gjennomførast forholdsvis ofte (to til tre gonger per månad i snitt), meiner PT at sannsynet for at det kan oppstå feil under arbeidet er større enn det som ligg til grunn for Telenors risikovurdering. Halde saman med skadepotensialet meiner PT at Telenor i forkant av hendinga 30. oktober betydeleg undervurderte risikoen knytt til denne type feilrettingsarbeid. 5.2 Skadeførebyggande tiltak Telenor hadde på det tidspunktet feilen skjedde, ikkje rutinar for kontroll under, og verifikasjon etter arbeidet. Dette har samanheng med at arbeidet var kategorisert som «minor». I etterkant av hendinga 30. oktober har Telenor gjennomført operasjonelle tiltak for å redusere risikoen for feil og lagt desse fram for PT. PT vurderer desse tiltaka som hensiktsmessige. I tillegg til tiltaka knytt til kontroll og verifikasjon, arbeider Telenor med å finne ei løysing for å kunne rette provisjoneringsfeil PT vil òg understreke at Telenor, som ledd i dette arbeidet, også må finne løysingar for å unngå, eller redusere, feilsituasjonar ved provisjonering (rotårsaken). 5.3 Skadereduserande tiltak Den 30. oktober tok det nærmare 2,5 timar frå Telenor fikk indikasjonar på alvorleg feil, til at det var installert ein sikkerheitskopi Den forholdsvis lange feilsøkingstida skuldast mangel på oppfølging og verifikasjon av det opphavlege feilrettingsarbeidet, som igjen skuldast at arbeidet var feilkategorisert i forhold til risiko. Gjennom dei operasjonelle tiltaka som Telenor har gjennomført, går PT ut frå at tilsvarande feil vil bli identifisert og retta betydeleg raskare. Dette føreset at det føreligg rutinar som sørgjer for at tilstanden til abonnentsdatabasen tilbakestillast straks (roll-back/sikkerheitskopi), dersom verifikasjonen etter feilrettingsarbeidet indikerer at det kan ha oppstått nye feil. 6 Oppf ølging Etter PTs vurdering har hendinga 30. oktober avdekt alvorlege svakheiter i Telenors risikovurdering knytt til planlagt arbeid på kritiske komponentar, og svakheiter knytt til kontroll og verifikasjon av slikt arbeid. Det har dei siste åra skjedd fleire alvorlege hendingar som har sitt utspring i planlagt arbeid. Dette vart mellom anna trekt fram i sårbarheitsanalysa av mobilnetta i Noreg 3 frå PT ser difor behov for å følgje opp denne hendinga i to ulike 3 «Sårbarhetsanalyse av mobilnettene i Norge», PT,

11 spor. Det eine sporet er den direkte oppfølginga av Telenor og den konkrete hendinga 30. oktober. Det andre sporet er ei meir generell oppfølging av mobiltilbydarane si risikovurdering og rutinar ved planlagt arbeid på kritiske komponentar. 6.1 Oppfølging mot Telenor Hendinga 30. oktober avdekte alvorlege svakheiter knytt til risikovurdering, kontroll og verifikasjon av feilrettingsarbeid på abonnentsdatabasen. Sett opp mot krava som ekomlova sett til forsvarleg sikkerheit og nødvendig beredskap vil PT vurdere eventuell reaksjon mot Telenor. Telenor innførte kort tid etter hendinga fleire skadeførebyggande tiltak som PT vurderer som hensiktsmessige. Desse var knytt til sjølve feilrettingsarbeidet. PT meiner også det er svært viktig å arbeide for 1) å førebygge at provisjoneringsfeila oppstår og 2) at dersom dei oppstår, så kan feilretting utførast Telenor vil bli pålagt å legge fram for PT ei konkret plan for dette arbeidet. 6.2 Tiltak retta mot alle mobiltilbydarar Det aktuelle feilrettingsarbeidet 30. oktober vart gjennomført av leverandøren til Telenor. I slike og liknande tilfelle føreset PT at tilbydar av mobilnett utfører felles risikovurderingar saman med leverandør for å sikre at tilbydaren har ei klar forståing for leverandørens vurdering av sannsyn for feil knytt til sjølve arbeidet som skal gjennomførast, og at leverandør har ei klar forståing for konsekvensane som slike feil kan medføre. PT vil rette seg mot alle tilbydarane av mobilnett der dette blir presisert ytterlegare. 11