Ekomutfall i Ålesund 6. mars 2014 2. april 2014
1 Beskrivelse av hendelsen Natt til torsdag 6. mars mottok Telenors operasjonssenter en alarm som indikerte at et aggregat i Ålesund sentral hadde startet opp. Telenor oppgir at en forstyrrelse i strømnettet kl.01.06 resulterte i at aggregatet i sentralen startet opp. En ny alarm ble utløst grunnet lav batterispenning på noe teknisk utstyr noen få minutter etter kl. 01.06, men denne alarmen ble ikke tolket til å være indikasjon på at det var noe unormalt på driftstaus på sentralen. Telenor oppgir at det ikke oppsto noen ytterligere alarmer før kl. 04.43. Disse alarmene viste at batteriene i Ålesund sentral var i ferd med å gå tomme. Dette medførte at operasjonssenteret på Fornebu begynte å analysere alarmene og eventuelle konsekvenser. Entreprenør ble da bestilt av operasjonsleder, men grunnet utfall av mobil/telefoni i Ålesund tok det lang tid å få kontakt. I tillegg virket ikke kortleser på døren inn til bygget pga strømutfallet. Kl. 08.39 fikk PT/ekomvarsling melding fra Telenor om en kraftfeil i Møre og Romsdal, men at de foreløpig ikke hadde full oversikt på konsekvenser dette ga for området. Kl. 08.45 klarte entreprenør å komme seg inn i bygget og strøm ble koplet inn slik at batteriene begynte å lade. Telenor avholdt situasjonshåndteringsmøte kl. 09.00, og PT fikk ny status kl. 09.47. Telenor antar at nettbryteren som kobler om fra nettstrøm til aggregatstrøm ble ødelagt av forstyrrelsen i strømnettet kl. 01.06. Aggregatet startet som normalt, men feilen i nettbryteren medførte at batteriene ikke ble forsynt med strøm. Telenor har ikke avdekket noen andre følgeskader annet enn utfall på tjenester. 2 Konsekvenser 2.1 Telenor Fra kl. 05.30 oppsto det utfall på mobil, bredbånd og fasttelefoni i Møre og Romsdal og Sogn og Fjordane. 162 basestasjoner ble berørt. Videre var 7000 bredbåndskunder og 5000 fasttelefonikunder berørt. Ålesund, Haram, Hareid, Volda, Ørsta og Giske var sterkest berørt. Det oppsto også konsekvenser for andre operatører som er kunder hos Telenor. Politiet i Ålesund var uten ekomtjenester og reserveløsning for 112 ble aktivert. Anrop til 112 ble rutet til nødsentral i nabofylket som var operativt. Hovedutfordringen var allikevel at publikum ikke kunne ringe fordi mobildekning og fasttelefoni ikke var tilgjengelig. Telenor har ikke en fullstendig oversikt over hvordan andre samfunnsviktige aktører ble berørt. 6. mars kl. 11.00 var feilen rettet i Telenors sentral og tjenestene ble koblet inn fortløpende. 2
2.2 TeliaSonera TeliaSoneras tjenester falt ut kl. 04.47. Klokken 05.30 sendte vakthavende på operasjonssenteret ut entreprenør for å bistå Telenor, samt å feilsøke på eget utstyr. Første varsel til PT ble sendt kl.09.22. TeliaSonera leier det meste av transmisjonen fra Telenor på Nord-Vestlandet. Strømbruddet på Ålesund sentral medførte derfor utfall på over 500 av TeliaSoneras basestasjoner og førte til problemer på 2G og 3G i Møre og Romsdal, Sogn og Fjordane, og deler av Hordaland. Klokken 11.08 registrerer TeliaSonera at strømmen er tilbake på sentralen i Ålesund, men de opplevde at mange basestasjoner ikke kom på lufta. Tekniske problemer med å få kontakt med transmisjonsnodene (SDH) som styrer intern transmisjon medførte at TeliaSonera kom i normalsituasjon først rundt kl. 17.00. 2.3 Broadnet Kl. 05.00 registrerte Broadnet utfall i sitt nett for kunder i Ålesund og nærliggende kommuner. Berørte tjenester var kapasitets- og IP-tjenester. Broadnet opplevde også at det oppsto følgefeil som resultat av utfallet. Totalt ble 1400 kundesamband berørt og de siste kundene fikk tjenestene tilbake kl. 15.26. 2.4 Norkring Norkring rapporterte at de hadde utfall fra kl. 06.14 til kl. 09.56. Konsekvenser var at datanettet (WAN) og videokontribusjonstjenestene var nede for NRKs distriktskontorer i Ålesund, Molde og Kristiansund. 2.5 TDC TDC hadde 82 kundemeldte saker i sitt feilhåndteringssystem. Ingen tiltak ble iverksatt da TDC anså saken som mindre alvorlig. 3 PTs vurdering Hendelsen i Ålesund har avdekket flere sårbarheter og svakheter som tilbyderne må følge i sitt videre sikkerhets- og beredskapsarbeid. Telenor har beskrevet i sin hendelsesrapport flere aktuelle tiltak for å redusere sårbarhet og risiko. 3.1 Risiko- og sårbarhetsvurdering 3
I henhold til ekomloven 2-10 skal tilbyder av elektronisk kommunikasjonsnett og -tjeneste tilby nett og tjeneste med forsvarlig sikkerhet for brukerne i fred, krise og krig. Tilbyder skal opprettholde nødvendig beredskap. Ekomforskriften 8-2 pålegger tilbyder å utarbeide og vedlikeholde planer og gjennomføre tiltak for å opprettholde forsvarlig sikkerhet i elektroniske kommunikasjonsnett. Tilbyder skal på forespørsel fra PT utlevere planer etter første ledd, samt ROS-vurderinger som ligger til grunn for planer og tiltak. Krav om ROS-vurdering fremkommer også av klassifiseringsforskriften, som er en operasjonalisering av ekomloven 2-10 første ledd, hva gjelder sikring av fysiske anlegg i ekomnettene. I henhold til klassifiseringsforskriften skal nettilbydere klassifisere alle anlegg ut fra hvor viktig eget nettutstyr i anleggene er for offentlige ekomtjenester. Sentralt i forskriften er bestemmelsen som krever at nettilbyder skal gjennomføre en helhetlig risiko- og sårbarhetsvurdering for sine anlegg, og sørge for at anleggene er forsvarlig sikret i samsvar med denne vurderingen. Sikringstiltakene skal minst oppfylle nærmere definerte krav til blant annet skallsikring, tilgangskontroll, brannsikring og reservestrøm. Klassifiseringsforskriften ble fastsatt 1. januar 2013, og fristen for å implementere sikringstiltakene er 1. juli 2014. Krav til ROS-vurdering fremkommer av klassifiseringsforskriftens 5: «Nettilbydar skal på forsvarleg måte sikre nettutstyr i anlegg mot uønskt ytre fysisk påverknad. Omfanget av sikringstiltak skal vere basert på ei dokumentert heilskapleg risiko- og sårbarheitsvurdering.» Det er opp til nettilbyder om det gjennomføres en individuell ROS-vurdering per anlegg, eller om det gjennomføres en overordnet ROS-vurdering. En overordnet ROS-vurdering må imidlertid ta hensyn til at det kan være knyttet ulike typer risiko og sårbarheter på de ulike typer anlegg. Nettilbyder plikter å gjennomføre ROS-vurdering også i tilfeller der eget nettutstyr er innplassert i anlegg hvor de selv ikke har driftsansvar for sikkerhetstiltakene, reservestrøm osv. Dette gjelder bl.a. for TeliaSonera, som har eget nettutstyr i sentralen i Ålesund. Da er spesielt sårbarheter knyttet til avhengigheten til andre leverandører relevant å vurdere. Dette følger også av 13, hvor det fremkommer at «Der andre aktørar på vegne av nettilbydar utfører tiltak etter 5-12 på anlegg i klasse A, B eller C, er nettilbydar ansvarleg for at det ligg føre skriftlege avtalar som sikrar utføringa av desse tiltaka.» PT har forespurt Telenor og TeliaSonera om det var gjennomført ROS-vurdering av sentralen i Ålesund. I følge Telenor er det ikke gjennomført ROS-analyser av objektet den seneste tiden. Telenor opplyser imidlertid at det pågår et internt prosjekt i Telenor, hvor ROS-vurdering av sentralen i Ålesund vil inngå. TeliaSonera svarer at det ikke er gjennomført ROS-analyse for 4
denne type avhengighet av andre leverandører/tilbydere. Imidlertid opplyser TeliaSonera at de i løpet av året vil gjennomføre ROS-analyser for alle kritiske anlegg hvor avhengigheten til andre leverandører blir lagt inn som et element. Mangelfulle ROS-vurderinger kan ha bidratt til at vesentlige sårbarheter ikke var avdekket. Gitt den regionale betydningen som anlegget i Ålesund har, ser PT alvorlig på at det ikke foreligger oppdaterte ROS-vurderinger. Blant annet skal sikringstiltakene etter klassifiseringsforskriften, med implementeringsfrist 1. juli 2014, være basert på nettopp på en slik ROS-vurdering. 3.2 Alarmhåndtering og respons Det fremgår av Telenors rapporter at de relevante enkeltalarmene kom frem til Telenors operasjonssenter. Alarm for aggregatdrift kom kl. 01.06 og få minutter seinere ble «en alarm grunnet lav batterispenning på noe teknisk utstyr» utløst. At hendelsen fikk et så stort omfang har sammenheng med at Telenor feiltolket alarmbildet i perioden fra aggregatdrift startet til batteriene gikk tomme kl. 04.43. Dersom alarm nummer to kunne ha flere årsaker enn lav batterispenning, burde, etter PTs vurdering, anlegget hatt en entydig og direkte alarm for manglende ladning av batteriene. PT kjenner ikke til hvor tydelige alarmindikasjonene på operasjonssenteret er og ikke hvor omfattende det totale alarmbildet som overvåkes er. Gitt de store konsekvensene manglende batteriladning ventelig ville ha, og også viste seg å få, skulle en alarmkombinasjon av aggregatdrift og manglende ladning av batteriene utløst en svært tydelig alarm. Ved strømbrudd skal aggregatene starte automatisk og systemet legge over til aggregatdrift, uavhengig av tid på døgnet. Slik PT forstår rutinene innebærer dette at det normalt ikke rekvireres feltpersonell utenfor normalarbeidstid dersom aggregater starter automatisk. At et anlegg går over til aggregatdrift, innebærer en økt driftsrisiko. Når kritiske anlegg går over på aggregatdrift, forutsetter PT at tilbyder forsikrer seg om at driften opprettholdes, enten gjennom bekreftelse via driftsovervåking eller fysisk besiktelse. 3.3 Adgangskontroll Normalt vil adgangskontrollsystemet virke ved avbrudd av normal strømforsyning, så lenge anleggets reservestrømløsning er operativt. Siden nettbryteren sviktet kunne ikke aggregatet lade batteriene. Da batteriene var tomme sluttet adgangskontrollsystemet å virke. 5
Tilgang til reservenøkkel er avhengig av strømforsyning og samband til Telenors alarmsentral. Dette sambandet er knyttet til anlegget i Ålesund. Da sambandet gikk ned som følge av strømbruddet, forårsaket dette at både adgangskontrollsystemet sluttet å virke, og at man mistet tilgang til reservenøkkel. Denne avhengigheten representerer en sårbarhet i adgangskontrollsystemet, med videre konsekvens for sikkerheten til nett og tjenester. I henhold til klassifiseringsforskriften 7 fjerde ledd, skal nettilbyder ha dokumenterte drifts- og vedlikeholdsrutiner for adgangskontrollsystemene som inkluderer rutiner for å håndtere systemsvikt og strømbrudd. PT forutsetter at Telenor, gjennom en risikovurdering, tar stilling til om den identifiserte sårbarheten i adgangskontrollsystemet skal fjernes, eller om det etableres alternative tiltak for å håndtere sårbarheten dersom en tilsvarende hendelse oppstår. I alle tilfeller skal dette gjenspeiles i rutinene for å håndtere systemsvikt og strømbrudd, jf 7. PT forutsetter videre at både Telenor og andre nettilbydere tar lærdom av hendelsen, ved vurdering av adgangskontrollsystemene i øvrige kritiske anlegg. 3.4 Varsling og samhandling Tidlig varsling til myndighetene om alvorlige hendelser i ekomnett anses som særlig viktig. PT skal varsles så raskt som mulig etter at hendelsen har skjedd. Dette for å kunne koordinere eventuelle tiltak, informere overordnet myndighet samt styre informasjonsflyten mellom de som er involvert i og omfattet av hendelsen. Hjemmelsgrunnlag for å kreve at tilbyder varsler myndighetene finnes i ekomforskriftens 8-5: Tilbyder skal varsle Post- og teletilsynet om hendelser som vesentlig kan redusere eller har redusert tilgjengeligheten til elektroniske kommunikasjonstjenester. Post- og teletilsynet kan fastsette nærmere prosedyrer for varsling. PT har fastsatt følgende om terskelen for når tilbyder skal iverksette varsling: «Hendelser som vesentlig kan redusere, eller har redusert, tilgjengeligheten til elektroniske kommunikasjonstjenester skal varsles til PT uten ubegrunnet opphold. Varslingen skal omfatte hendelser som tilbyder selv kategoriserer til alvorlighetsgrad alvorlig eller kritisk. Dette kan være hendelser som påvirker: et betydelig antall sluttkunder samfunnsviktige funksjoner, eller andre tilbyderes tjenestekvalitet» Det er også fastsatt eget standard rapporteringsskjema som er tilgjengeliggjort for tilbyderne. 6
3.4.1 TeliaSonera TeliaSoneras tjenester falt ut kl. 04.47. Klokken 05.30 sender vakthavende ut feltapparat for å bistå Telenor, samt å feilsøke på eget utstyr. Klokken 07.16 informerer TeliaSonera på Facebook om utfallet. Klokken 08.21 publiserer TeliaSonera ny melding på Facebook. Først klokken 09.22, 4 timer og 35 minutter etter tjenestene falt ut blir PT varslet. Innholdet i varselet er identisk med informasjonen lagt ut på Facebook ca. en time tidligere. Neste varsel til PT ble sendt 10.39. Denne var identisk med meldingen lagt ut på Facebook kl. 09.26. Det er PTs vurdering at et utfall av 500 basestasjoner klart overstiger terskelen for pålagt varsling etter ekomforskriften 8-5. PT skal varsles uten ubegrunnet opphold. Ved denne hendelsen kom det første varselet fra TeliaSonera 4 timer og 35 minutter etter utfallet, og ca. en time etter at de hadde informert om utfallet på Facebook. Gjennomgående ble PT varslet sent. I tillegg var informasjon mangelfull i forhold til retningslinjene for varsling til PT. TeliaSonera har etter PTs vurdering ikke oppfylt plikten til varsling etter ekomforskriften 8-5 og tilhørende prosedyrer. 3.4.2 Telenor Telenors tjenester falt ut fra kl. 05.30. Varsel til PT ble først sendt kl. 08.39. Her ble PT informert om at sen varsling skyldtes svikt i de etablerte interne rutinene hos Telenor. Neste varsel fra Telenor ble sendt 0845. Dette inneholdt detaljert informasjon iht. etablerte retningslinjer for varsling. PT vurderer at det er uheldig at Telenor informerte PT først 3 timer og 9 minutter etter utfallet oppstod. Telenor har normalt gode varslingsrutiner og rettidige varslinger mot PT. PT vil likevel be Telenor gjennomgå sine varslingsrutiner for å unngå tilsvarende rutinesvikt i fremtiden. 3.5 Oppfølging PT ser alvorlig på at det ikke foreligger oppdaterte ROS-vurderinger. Blant annet skal sikringstiltakene etter klassifiseringsforskriften, med implementeringsfrist 1. juli 2014, være basert på nettopp på en slik ROS-vurdering, jf. 5. PT ber derfor om at Telenor og 7
TeliaSonera gjennomfører disse ROS-vurderingene og oversender disse til PT innen 1. juli 2014. TeliaSonera har etter PTs vurdering ikke oppfylt plikten til varsling etter ekomforskriften 8-5, som krever at PT skal varsles uten ubegrunnet opphold. PT vil pålegge TeliaSonera å implementere og dokumentere rutiner for varsling til PT, i samsvar med ekomforskriften. PT vil påpeke og følge opp at nettilbyderne gjennomgår og sikrer forsvarlig alarmhåndtering ved kritiske anlegg i lys av ROS-vurderinger som gjennomføres iht. klassifiseringsforskriften 5. PT skal i 2014 føre tilsyn med nettilbyderes overholdelse av klassifiseringsforskriften. I planleggingen av disse tilsynene, vil PT ta hensyn til svakhetene rundt ROS-vurderinger og tilgangskontroll som har blitt identifisert som følge av denne hendelsen. 8