epyc296 outage

Update timeline

1. investigating Jan 23, 2025, 12:14 PM UTC

   There is an error in the VLAN at epyc296, we are working on identifying the error.

2. identified Jan 23, 2025, 12:14 PM UTC

   We suspect a fault in the internal network due to the move to the new rack. We are in the process of rectifying the fault.

3. resolved Jan 23, 2025, 06:10 PM UTC

   Solved Problem

4. postmortem Jan 23, 2025, 06:10 PM UTC

   # English: On January 23, 2025, at 09:00 CET, a server relocation was carried out within the maincubes FRA01 data center, during which the EPYC cluster was to be moved to a new server rack. During the relocation, the internal network was disrupted, causing the cluster's firewall to crash and block all traffic. The outage was identified at 13:14 CET, and the error analysis revealed an issue with the VLAN configuration. To resolve the incident, the VLAN of the cluster was thoroughly scanned to identify and eliminate potential error sources. After no further issues were found, the firewall was successfully restored through a reset. The issue was fully resolved at 17:25 CET, and the EPYC cluster has been operational since that time. The EPYC cluster has been running stably since the resolution of the issue at 17:25 CET, and the incident has been successfully closed. ‌ # German: Am 23. Januar 2025 wurde um 09:00 Uhr CET ein Server-Umzug innerhalb des Rechenzentrums maincubes FRA01 durchgeführt, bei dem der EPYC-Cluster in ein neues Server-Rack verlagert werden sollte. Während des Umzugs wurde das interne Netzwerk beeinträchtigt, was dazu führte, dass sich die Firewall des Clusters aufhängte und keinen Traffic mehr durchließ. Der Ausfall wurde um 13:14 CET erkannt, und bei der Fehleranalyse stellte sich heraus, dass ein Problem in der VLAN-Konfiguration vorlag. Um den Vorfall zu beheben, wurde zunächst das VLAN des Clusters vollständig gescannt, um mögliche Fehlerquellen zu identifizieren und auszuschließen. Nachdem keine weiteren Probleme festgestellt wurden, konnte die Firewall durch einen Reset erfolgreich wieder in Betrieb genommen werden. Das Problem wurde schließlich um 17:25 CET vollständig behoben, und der EPYC-Cluster war ab diesem Zeitpunkt wieder einsatzbereit. Der EPYC-Cluster läuft seit der Behebung des Problems um 17:25 CET wieder stabil, und der Vorfall konnte erfolgreich abgeschlossen werden.