Helsetjenestens driftsorganisasjon for nødnett HF (HDO) Møte med AMK ledere 3. november 2016

Størrelse: px

Begynne med side:

Download "Helsetjenestens driftsorganisasjon for nødnett HF (HDO) Møte med AMK ledere 3. november 2016"

Edmund Frantzen
7 år siden
Visninger:

1 Helsetjenestens driftsorganisasjon for nødnett HF (HDO) Møte med AMK ledere 3. november 2016

2 Agenda Hovedelementene i nødnettleveransen Hva og hvordan leverer HDO Utfordringsbilde ICCS problemer ved overgang fra sommer til vintertid

3 Hovedelementer i Nødnett leveransen

4 Drift av nødnett - HDOs rolle Mottak av endringsønsker Mottak av feilmeldinger Koordinering av planlagt arbeid/vedlikehold hos Motorola/Telenor Koordinering og gjennomføring av vedlikehold og oppgraderinger av kontrollromløsningen Koordinering og gjennomføring av vedlikehold og oppgraderinger av radioterminaler

5 Driftstjenester kunder - volum HDO leverer: Bemannet driftssenter 24/7/365 Brukerstøtte og driftsleveranser direkte til primærhelsetjenesten og spesialisthelsetjenesten Drift til pilotbrukere i hjemmesykepleien, intern kommunikasjon i sykehus og beredskapsbrukere i helse (i den akuttmedisinske kjeden) Drift av nasjonalt legevaktsnummer HDOs driftssenter på Gjøvik Driftsvolum: Drifter nå 152 av 189 kontrollrom (AMK, Akuttmottak og legevaktsetraler) Drifter ca 7500 radioterminaler (ambulansetjenesten og legevaktsleger) Drifter 3 nasjonale testanlegg Drifter 2 nasjonale opplæringssenter for kontrollrom (Stavern og Gardermoen, 30 plasser) Drifter 5 flyttbare opplæringssett for kontrollrom (50 plasser) Drifter 3 maskinhaller (Gjøvik, Stavanger og Tromsø)

6 Ny hendelser pr måned

7 Ny hendelser pr måned

8 Hendelser pr mnd 2016

9 Åpne hendelser ved månedslutt

10 Fordeling av saker

11 Dokument unntatt offentlighet O.ffl. 21 RAPPORTERING NETT September 2016

12 HDO`s håndtering av feil i Tetra nettet Løpende driftsinformasjon publiseres på Web portal som er tilgjengelig for alle AMK`er Ved større hendelser (utfall av mange basestasjoner i et geografisk område) kontaktes HDO pr telefon fra Motorola. Informasjonen loggføres som en feil hos HDO og formidles videre til aktuell AMK sentral Meldinger om manglende dekning fra brukere loggføres fortløpende hos HDO Kan noen ganger spores tilbake til planlagte utfall Kan noen ganger spores til konkrete feilsituasjoner som fortløpende rettes av Motorola Kan noen ganger avdekke områder som ikke er planlagt med dekning

13 Kontrollrom

14 SW feil kontrollrom pr operatørplass

15 HW feil kontrollrom pr operatørplass

16 SW feil pr operatørplass pr AMK i 2016 AMK Oslo og AMK Innlandet har flere feil enn alle andre Basert på statistikk har øvrige AMK sentraler stort sett lav feilrate og stabil driftsituasjon stemmer dette? Har noen mistanker om store mørketall som HDO bør være kjent med og ta tak i?

17 Kjente feil som løses nå Problem-ID Forenklet forklaring Løsning Alvorlighe PRM Manglende innloggingsfelter PCdispatcher eller eller timeout under pålogging (prosesserer pålogging blir stående i flere minutter). FR4P4 PRM Brukere kan ikke regulere monitorert og aktiv radiolyd. Gjelder også telefonilyd. FR4P4 SL3 PRM Ressursregisteret hopper til toppen når man skal velge ressurs. FR4P4 SL2 PRM Overføringsknappen og hurtigkonferanseknappen er gråe FR4P4H2 SL2 "Avslutt utalarmering" er grå. Får ikke kvitteringer fra radioer i PRM utalarmseringsbildet FR4P4H2 SL2 PRM "Send utalarmering" er grået ut. FR4P4H2 SL2 Treghet og manglende informasjon på nummeroppslag i FR4 ("name" vises i PRM stede for faktisk navn) FR4P4 PRM Operatør får ikke plukket opp felles parkert samtale FR4P4 SL3 PRM Kan ikke besvare anrop med F2 FR4P4 SL3 PRM Får ikke åpnet lydinnstillinger for PCDispatcher da det er grået ut. FR4P4H3 SL2

18 Kjente feil som løses i fremtidig SW Problem-ID Forenklet forklaring Løsning Alvorlighe PRM Predefinerte talegrupper slutter å fungere ved editering. FR6 SL3 Kontrollrom mottar ikke statusmeldinger eller sikkerhetsalarm (eks. callback PRM request, fremme hos pas. osv) FR4_P4_HF1SL3 PRM Alle brukere kan slette oppføringer i telefonkatalog, uansett rolle FR6 SL3 PRM Gamle statusmeldinger dukker oppi AMIS når det logges ut fra PC Dispatcher. Analyse pågsl2 PRM Roaming og replikering av ressurser fungerer ikke FR5 SL2 PRM Stun/kill kommer ikke med i statistikk FR5 SL3 PRM Ingen varsling om at SDS-tjenesten ikke fungerer før etter at SDS er sendt. FR5 SL3 Utalarmering og ringelyd slutter å fungere på kontrollrom ved overgang PRM sommer- til vintertid FR5 SL2 PRM Lyden ved avspilling av hurtiglydlogg er lav. Får ikke justert den. FR5 SL3 Innkommende telefonsamtaler rutes direkte til reserveapparat i stede for PRM ICCS. Analyse pågsl2 PRM Reporting mangler statistikk for enkelte besvarte samtaler. Analyse pågsl2

19 Feilrettinger fra leverandør Feil skal rettes i henhold til Nødnett kontrakten basert på sakens alvorlighetsgrad Historisk har ikke leverandør evnet å overholde disse kravene, men HDO opplever sakte men sikkert en forbedring Størst frustrasjon antas det er knyttet til saker som HDO klassifiserer som Severity 3 som er den laveste alvorlighetsgrader. Disse feilene skal i henhold til kontrakt først rettes ved neste hovedrelease som kan være 1-2 år frem i tid HDO ser en forbedring hos leverandør vedrørende retting av nye Severity 1 og 2 feil i henhold til kontrakt Fremdeles utfordringer knyttet til om en feil skal rettes i gjeldende programvare dersom implementering av nyere versjoner er nært forestående Det finnes dessverre igjen et fåtall gamle saker med alvorlighetsgrad 2 som leverandør (og DNK) har valgt å rette i fremtidige versjoner på tross av dette bryter med Nødnett kontrakten (feil ved overgang fra sommer til vintertid er et eksempel på dette)

20 Utfordringsbildet i drift Hvor alvorlig er en feil innmeldt fra kunde? Kvalitet på SW fra leverandør er under forventet nivå ved overlevering HDO som medfører lange og ressurskrevende test og godkjennelsesprosesser (mange iterasjoner før HDO er fornøyd) Når er en ny SW god nok? Hvilken typen feil og mangler er det akseptabel å leve med for å få fortgang i nye programvareversjoner? Mange kunder medfører at også HDO trenger en del tid på å tilgjengeliggjøre ny funksjonalitet og feilrettinger etter godkjenning Gamle saker som ikke løses av leverandør Kombinasjonen av flere versjoner av programvaren til ICCS og tilsvarende på Amis/Transmed er krevende å teste/godkjenne Periodevis mye planlagt arbeid i Tetra nettet HDOs driftssenter på Gjøvik

21 Overgang til Vintertid - Bakgrunn Dette ble første gang meldt av AMK ene, hvor ringelyd og utalarmering sluttet å fungere. Kontrollrom hadde på daværende tidspunkt software versjon FR2. Leverandøren meldte at feilen var løst med FR3MT FR3MT ble installert på kontrollrommene i august/september Kontrollrommene opplevde samme feil ved overgang til vintertid i 2015 med FR3MT Leverandøren melder at pga kompleksiteten av feilen kan den ikke løses før FR6 HDO eskalerer saken i 2015 og 2016, men leverandøren opprettholder status om at rettelser ikke kommer før FR6 HDO eskalerer saken i driftslinjen til nivå som inkluderer DNK, samt melder inn saken til Driftssamarbeidsmøtet og Samarbeidsrådet DNK aksepterer at leverandør ikke retter i henhold til kontrakt, og hensyntar ikke HDOs krav om rettelse til den produksjonssatte software-versjonen. Det finnes heller ingen midlertidig løsning Reproduksjon utført og dokumentert av leverandøren på HDO s testanlegg viser at feilen er rettet i FR5 Med unntak av noen små uregelmessigheter som rettes i FR6.

22 Overgang til Vintertid HDO utarbeider informasjonsskriv til kontrollrommene når DNK bekrefter at det aksepteres at rettelse kommer først i FR5 HDO Drift forbereder ekstra bemanning og automatikk for å kunne håndtere alle kontrollrom samtidig Overgangen til Vintertid kl 03:00 Ingen kontrollrom kontakter HDO i perioden 03:00-02:00-03:00. HDO verifiserer at automatikken fungerer i forhold til aktivitet som kan fremskynde normal driftsituasjon for kontrollrommene HDO ringer samtlige AMK er og sjekker status fra kl 03:05-03:30 Kun 2 AMK hadde problemer med statusmeldingen «Oppkall» som kom dobbelt. Disse ble verifisert til å fungere etter endring av konfig og restart av tjenesten. Ekstra bemanning avsluttet arbeidet kl 04:00, ServiceDesk sendte ut status til samtlige kunder. 4 AMK meldte om doble «Oppkall» kl 07:00-09:00 Disse ble løst av ny restart av tjenesten, med unntak av tidspunktet som var forskjøvet. Mandag ble dette verifisert Ok av AMK operatørene uten at HDO endret konfigurasjon. Forskyvningen kan ha vært forårsaket av TETRA nettverket.

23 HDOs håndtering av hendelsen Problemet burde aldri eksistert i 2016 det beklager HDO Men Hvordan håndterte HDO den situasjonen vi alle viste ville komme Tilstrekkelig informasjon? For mye informasjon? Tidsnok informasjon? Tilstrekkelig oppfølging underveis?

Like dokumenter

Helsetjenestens driftsorganisasjon for nødnett HF. Geir Henning Joten Teamleder ServiceDesk

Helsetjenestens driftsorganisasjon for nødnett HF Geir Henning Joten Teamleder ServiceDesk HDO Drift og Endringer HDO eies i fellesskap av de fire regionale helseforetakene Kort om HDO Drift og Endringer