Braathe experienced a notice incident on January 26, 2021 affecting Driftsstatus - Operational Status, lasting 3h 58m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Jan 26, 2021, 06:15 PM UTC
Vi har for tiden problemer med en eller flere av våre tjenester. Vi undersøker saken og kommer tilbake med mer informasjon. We are experiencing problems with some of our services. We are investigating these issues and will update with more information as soon as possible.
- investigating Jan 26, 2021, 06:23 PM UTC
We are continuing to investigate this issue.
- identified Jan 26, 2021, 06:35 PM UTC
Feilen er identifisert og vi jobber med å rette den. The problem is identified and we are working to correct it
- monitoring Jan 26, 2021, 08:16 PM UTC
Vi har rettet en nettverksfeil og følger opp eventuelle følgefeil. A network problem has been corrected and we are monitoring consequential errors.
- resolved Jan 26, 2021, 10:13 PM UTC
Feilen er rettet og systemene er gjennomgått. Mer informasjon legges ut senere. The incident has been resolved. Further information will be published later.
- postmortem Jan 27, 2021, 09:21 AM UTC
**Avviksrapport** Type avvik: Nettverksfeil med følgefeil på virtuell infrastruktur Dato/tidspunkt for avvik: 26.1.2021 kl.18:52–ca.19:20 Rapportansvarlig: Direktør Infrastrukturtjenester Utførende avdeling\(er\): Nettverk, Infrastrukturtjenester, Digital Arbeidsplass, Operasjoner **1 Hendelse** Feilkonfigurasjon i nettverket i forbindelse med utvidelser førte til utilsiktet nettverksloop og påvirkning på virtualiseringsplattform. **2 Konsekvens** Kundeservere \(Virtuell Maskin\) kunne opplevekortvarig ustabilitet/bortfall av lagringssystem med påfølgende ustabilitet. VM må sartes om for å gjenopprette stabil kommunikasjon med lagring. Dette fikk også konsekvens med kortvarige bortfall av innloggingsportaler **3 Øyeblikkelige feilrettingstiltak** Feilkonfigurasjon i nettverk ble rettet etter utrykning ca 30 minutter etter hendelse. VM’er med indikasjon om lagringsfeil ble startet på nytt snarest etter nettfeil ble rettet. **4. Utbedrende tiltak** Nærmere gjennomgang og evaluering av hendelsen med påfølgende gjennomgang av rutiner i forbindelse med denne typen nettverkskonfigurasjon. Gjennomgang av arkitektur i nettverk for å redusere sannsynlighet for denne typen feil og reduksjon av konsekvens/omfang av følgefeil\(lagringsbortfall\). **English:** **Incident Report** Customers: Common system error–Multiple Customers Incidenttype: Network error with follow on impact to virtualization Date/time of incident: 26.1.2021 kl.18:52–ca.19:20 Reporting manager: Director Infrastructure Services Responsible departments: Networking, Infrastructure Services, Digital Workplace, Operations **1 Event description** Network configuration error during capacity expansion resulted in an unintentional loop which impacted virtualization infrastructure. **2 Impact** Customer servers \(Virtual Machines VM\) may have experienced short term loss of communication, or unstable communication with storage resources. VM’s haveto be restarted to ensure stable communications with storage layer. Login portals were also impacted during network outage. **3 Immediate response** Network error was resolved within approximately 30 minutes. VM’s with indications of storage errors were rebooted as soon as possible after network error resolved. **4 Remediation** A thorough Root Cause Analysis will be conducted to identify necessary changes to routines, procedures and systemarchitecture to reduce risk of recurrence and impact.