Serversteuerung von Gameservern und vServern beeinträchtigt

Update timeline

1. investigating Dec 26, 2023, 04:59 PM UTC

   Uns erreichen Meldungen, dass Gameserver und vServer nur träge oder gar nicht auf Befehle über unseren Kundenbereich reagieren würden. Ebenso würden Aktionen wie Start/Stops sehr lange dauern und scheinbar gar nicht enden. Wir untersuchen das Problem aktuell und beheben es umgehend, auch heute am Feiertag.

2. identified Dec 26, 2023, 05:27 PM UTC

   Unser Rechenzentrum in Wolfsburg ist über zwei Glasfaserverbindungen mit unserem Rechenzentrum in Frankfurt verbunden. Diese redundante Verbindung wird über jeweils vier Router geführt. Einer dieser Router (eine Strecke verbinden immer zwei Router) verwarf einen Teil der Pakete auf der Rückroute von unserem Kundenbereich zu den Hostnodes. Dadurch kam es zum trägen Verhalten und der teilweise Nichtsteuerbarkeit.

3. monitoring Dec 26, 2023, 05:28 PM UTC

   Als schnelle Lösung heute am Feiertag haben wir diese fehlerhafte Glasferverbindung soeben deaktviert und dadurch das Problem gelöst. Die Verbindung ist nun wieder stabil. Wir behalten die Situation weiter im Blick und werden das Problem auf der nun deaktivierten Glasfaserstrecke morgen näher analyisieren.

4. monitoring Dec 27, 2023, 04:18 PM UTC

   Aufgrund eines Dammbruches (Hochwasser) bei Northeim nahe der A7 war unsere Datenleitung von Wolfsburg nach Frankfurt gestört und unterbrochen. Binnen Millisekunden wurde das Signal über eine Alternativroute umgeleitet, wobei aber auf einer der beiden Leitungen, welche sich beide in einem LCAP Bond befinden, dies nicht einwandfrei funktionierte. Dadurch kam es zu Paketverlust, der letzlich zur Störung der Serversteuerung geführt hat. Wir analyisieren aktuell noch, wieso die Umschaltung auf der zweiten Leitung nicht erfolgte und implementieren einen Fix. Die Störung ist seit gestern behoben. Es kann aber durch Umstellungen noch einmal zu 1-10 Sekunden Downtime kommen.

5. resolved Jan 05, 2024, 09:24 AM UTC

   This incident has been resolved.