28. Oktober 2017-02-09T18:55:52+00:00

Teknisk utfallsrapport – Utfall 28.10.2016

 

Kort beskrivelse:

Flere virksomheter ble 28.oktober 2016 rammet av problemer som er bekreftet skyldtes et kritisk strømbrudd i en datahall i Oslo fredag morgen.

Dette førte til et betydelig utfall av tjenester på ICE en av to kjernenettlokasjoner.

Rot-årsak: Kraftforsyning sviktet på en av kjernenettlokasjonene til ICE.

Kraftforsyningsbrudd har igjen skapt problemer med viktige fiberforbindelser, som har påvirket våre servere og systemer.

Tidspunkt: kl: 04:07

Konsekvens:

Svikt i kraftforsyning trigget mekanismer som automatisk flytter kritisk funksjonalitet over til annen kjernenett lokasjon.

Dette fungerte etter hensikten for den overveiende majoritet av tjenester og sikret at tjenesteproduksjon ble opprettholdt for privatkunder, mens bedriftskunder ble hardere rammet.

Berørte sluttbrukertjenester:

  • MobilBedrift (alle tjenester inkl tale og sentralbordtjenester)
  • SMS, MMS og Voicemail (alle kunder)
  • no
  • Selvbetjeningsportaler
  • Salgsportaler
  • En rekke interne systemer som ikke direkte berører sluttbrukere

Tidslinje (28.10.2016):

04:04    Strømutfall i lokasjon

04:30    Tjenesteutfall

06:50    Intern eskalering

08.15    SMS bekreftet ok

08:48    Eskalering til leder av leverandørs support organisasjon

10:15    Normalisering av taletjenester begynner

10:45    Tale- og sentralbordtjenester MobilBedrift normalisert

12:00    Ny rapport om problemer på tale for enkelte privat og bedriftskunder

12:27    Core team rapporterer om Critical alarms på produksjonsplattformene for taletjenester

12:36    Egne og leverandørs spesialistressurser samarbeider om feilhåndtering

14:20    Restart av signalleringsnode identifisert som feilårsak - løser problemet. 30-40% av taletrafikk har vært berørt

 

Relevante myndigheter er holdt løpende orientert gjennom hendelsesforløpet.