Ekco experienced a major incident on September 13, 2024 affecting IaaS Alkmaar, lasting 6d 20h. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Sep 13, 2024, 01:38 PM UTC
Momenteel ervaren we problemen op het IaaS platform in Amsterdam. Hierdoor kunt u mogelijk hinder ondervinden. De oorzaak hiervan wordt momenteel onderzocht. Wij streven ernaar u zo snel mogelijk te voorzien van een nieuwe update.
- monitoring Sep 13, 2024, 03:32 PM UTC
The problemen zijn opgelost en de dienst is sinds 16:30 stabiel. De oorzaak was een netwerk verstoring. Helaas hebben we nog geen oorzaak kunnen achterhalen en hebben hier contact over met de leverancier. We zullen de dienst dan ook nauwlettend in de gaten houden totdat duidelijk is dat de oorzaak is weggenomen. Onze excuses voor het ongemak.
- resolved Sep 20, 2024, 10:01 AM UTC
Hierbij willen wij jullie informeren over de oorzaak van de verstoring op het IaaS platform op vrijdag 13 september. Bij een wijziging in de configuratie is een netwerkloop ontstaan bij de internet leverancier. Dit heeft dermate veel verkeer gegenereerd, wat ook impact heeft gehad op de netwerk backbone. Hierdoor is de DDOS protectie geactiveerd, wat vervolgens impact heeft gehad in het hele netwerk. Vanuit de internet leverancier zijn meteen Engineers naar twee datacenters gestuurd om de problemen op te lossen. Het netwerk is gefaseerd weer online gebracht en uiteindelijk was alles om 16:55 uur weer volledig operationeel. Naar aanleiding van eerdere verstoringen is een verbeterplan gemaakt door de internet leverancier, hierbij worden het ontwerp van het netwerk en redundantie-protocollen aangepast. Er is de afgelopen maanden al gewerkt aan de verbeteringen, echter is dit nog niet volledig afgerond. De verwachting is wel dat dit voor het eind van het jaar opgeleverd zal zijn. Namens Ekco en de internet leverancier bieden wij onze excuses aan voor de impact die deze verstoring heeft opgeleverd. Wij streven er gezamenlijk naar om de performance te verbeteren en stabiel te houden.