Ekco Outage History

Started Jun 29, 2025, 09:48 PM UTC· resolved Jun 29, 2025, 10:02 PM UTC

1. identified Jun 29, 2025, 09:48 PM UTC

   Momenteel ervaren we problemen op het IAAS platform in Ijsselstein. Hierdoor kunt u mogelijk hinder ondervinden zoals het heel traag of helemaal niet meer reageren van servers. De oorzaak is inmiddels gevonden, er wordt hard gewerkt aan een oplossing. Wij streven ernaar u zo snel mogelijk te voorzien van een nieuwe update.

2. resolved Jun 29, 2025, 10:02 PM UTC

   De storing op het IAAS platform is opgelost, alle servers zijn weer volledig beschikbaar. Het incident heeft plaatsgevonden tussen 22:00 en 23:50. De oorzaak van het incident was een storing op een host. Hierdoor kon de host het storage systeem niet meer goed bereiken. Engineers van Ekco hebben de servers van deze host verplaatst en de host uit het cluster verwijderd voor nader onderzoek. Tijdens de storing kunnen sommige servers problemen hebben ervaren met de toegang tot hun storage. Mocht u naar aanleiding van deze storing nog problemen ervaren met de server kan een reboot mogelijk helpen. Indien u hierna toch nog problemen ervaart, verzoeken wij u vriendelijk om contact met ons op te nemen. Wij danken u vriendelijk voor uw geduld.

Read the full incident report →

Started Jun 11, 2025, 06:54 AM UTC· resolved Jun 12, 2025, 06:54 AM UTC

1. investigating Jun 11, 2025, 06:54 AM UTC

   Momenteel ervaren we problemen op de Secure File Sync omgeving. Hierdoor kunt u mogelijk hinder ondervinden. De oorzaak hiervan wordt momenteel onderzocht. Wij streven ernaar u zo snel mogelijk te voorzien van een nieuwe update.

2. investigating Jun 11, 2025, 08:00 AM UTC

   Ekco engineers hebben vastgesteld dat er problemen zijn met het dataopslag systeem. De leverancier van dit systeem is opgeschakeld om te assisteren in het onderzoek. Wij streven ernaar u zo snel mogelijk te voorzien van een nieuwe update.

3. investigating Jun 11, 2025, 09:29 AM UTC

   Engineers van Ekco en de leverancier hebben vast weten te stellen dat het storage systeem geheel in orde is en de data integriteit gewaarborgd is. Wel is er een probleem met de connectiviteit tussen het diensten platform en het storage systeem. De oorzaak hiervan wordt verder onderzocht. We zullen uiterlijk 12:30 een update plaatsen over de voortgang van dit onderzoek.

4. identified Jun 11, 2025, 10:34 AM UTC

   Inmiddels is duidelijk waardoor er geen connectiviteit meer is tussen het Storage systeem het het platform. Er worden acties uitgezet om dit probleem te herstellen. We zullen uiterlijk 13:30 een update plaatsen over de voortgang van dit herstel.

5. monitoring Jun 11, 2025, 11:30 AM UTC

   Engineers van Ekco hebben herstel werkzaamheden uitgevoerd en de connectiviteit is daarmee hersteld. De dienst is nagelopen en is weer online.

6. resolved Jun 12, 2025, 06:54 AM UTC

   Uit onderzoek is gebleken dat de storing van 11 juni het gevolg was van een suboptimale configuratie-instelling. Hierdoor kon in bepaalde situaties de connectiviteit tussen het platform en het opslagsysteem wegvallen. In samenwerking met de leverancier is dit grondig onderzocht en zijn er aanpassingen doorgevoerd. Deze maatregelen moeten voorkomen dat een vergelijkbare situatie zich opnieuw voordoet. Onze excuses voor het ongemak.

Read the full incident report →

Started May 26, 2025, 08:47 AM UTC· resolved May 26, 2025, 08:47 AM UTC

1. resolved May 26, 2025, 08:47 AM UTC

   Vanochtend is er een storing geconstateerd op de Ahsay dienstverlening. Ekco engineers zijn een onderzoek gestart en de storing is inmiddels opgelost. De Ahsay dienstverlening is weer volledig beschikbaar. Indien u toch nog problemen ervaart, verzoeken wij u vriendelijk om contact met ons op te nemen. Onze excuses voor het ongemak.

Read the full incident report →

Started May 06, 2025, 10:25 AM UTC· resolved May 06, 2025, 11:49 AM UTC

1. investigating May 06, 2025, 10:25 AM UTC

   We have received reports of issues connecting to the IAAS platform. This is currently being investigated. The next update will be at 13:00.

2. investigating May 06, 2025, 11:01 AM UTC

   We are continuing to investigate this issue. We have escalated the issue with the manufacterer. The next update will be at 13:30

3. investigating May 06, 2025, 11:34 AM UTC

   platform should be up and running. We are contacting customers to verify

4. investigating May 06, 2025, 11:49 AM UTC

   This incident has been resolved. We will continue to monitor the situation. Root cause is still under investigation.

5. resolved May 06, 2025, 11:56 AM UTC

   This incident has been resolved. We will continue to monitor the situation. Root cause is still under investigation.

6. postmortem May 16, 2025, 03:38 PM UTC

   **Datum incident: 01-05-2025** **Start tijd incident: 16:27** **Eind tijd incident: 17:20** **Totale tijd incident: 53 minuten** **Datum incident: 02-05-2025** **Start tijd incident: 11:53** **Eind tijd incident: 13:00** **Totale tijd incident: 67 minuten** **Datum incident: 06-05-2025** **Start tijd incident: 12:00** **Eind tijd incident: 13:00** **Totale tijd incident: 60 minuten** **Betrokken diensten: IAAS Edge Gateway Firewall** **Impact op de dienst: Volledige uitval van de firewall functionaliteit** **Samenvatting** Op 1 mei is er een storing ontstaan in het Vmware Edge Gateway cluster. Dit cluster is verantwoordelijk voor het functioneren van de aanwezige Edge Gateway firewalls in de IAAS omgeving. Als gevolg van deze verstoring ontstond er een complete uitval van de Firewalls die gebruikt worden in de IAAS omgeving. Direct na de eerste storing is met Broadcom Vmware een rootcause analyse gestart. Op 6 mei is oorzaak gevonden en hotfix geadviseerd. Deze is onder change control dezelfde avond geïmplementeerd. De storing is sindsdien niet meer opgetreden. **Root cause** Na uitvoerig onderzoek vanuit Vmware is gebleken dat een software bug de oorzaak was van de problemen. Dit onderzoek bracht naar voren dat er een probleem was waarbij bepaalde processen in het systeem vastliepen, wat de verwerking van netwerkverkeer belemmerde. Dit gebeurde wanneer het systeem onder hoge belasting stond en geheugen “gelocked” werd. Hierdoor ontstond een blokkade binnen verschillende processen. Broadcom \(leverancier VMWARE\) heeft om die reden een hotfix geadviseerd om dit probleem te adresseren, welke nog diezelfde avond is toegepast. De ontwikkelingsafdeling van Broadcom heeft de bug en de toegepaste remedie bevestigd. Na een periode van intensief monitoren gaat Ekco in deze conclusie mee. Na implementatie van de hotfix heeft de storing zich niet meer voorgedaan. Als Ekco willen we onze welgemeende excuses aanbieden voor het ongemak dat deze verstoringen hebben veroorzaakt. We begrijpen de impact die dit zal hebben gehad en stellen je geduld en begrip zeer op prijs. Als je vragen hebt of verdere toelichting nodig hebt, aarzel dan niet om contact met ons op te nemen. We zijn er om je te helpen en eventuele zorgen weg te nemen.

Read the full incident report →

Started Mar 21, 2025, 10:47 AM UTC· resolved Mar 21, 2025, 10:47 AM UTC

1. resolved Mar 21, 2025, 10:47 AM UTC

   Beste IT-partner, Er is recent een kritieke kwetsbaarheid vastgesteld in VEEAM Backup & Replication. Wanneer deze server is aangesloten op een domein, kunnen kwaadwillenden misbruik maken van de kwetsbaarheid. Dit vormt een direct risico voor de veiligheid en beschikbaarheid van jullie backup omgevingen. Wij adviseren dringend om op korte termijn jullie systemen te controleren en wanneer nodig de beschikbare patches toe te passen. Meer details over de kwetsbaarheid en de aanbevolen maatregelen zijn te vinden via de officiële VEEAM-security advisories: https://www.veeam.com/kb4724 Indien jullie ondersteuning nodig hebben bij de controle of implementatie van beveiligingsmaatregelen, neem dan contact met ons op. CVE-2025-23120 Bedankt!

Read the full incident report →

Started Feb 18, 2025, 09:50 AM UTC· resolved Feb 28, 2025, 08:24 PM UTC

1. identified Feb 18, 2025, 09:50 AM UTC

   Microsoft stopt deze maand met bepaalde functionaliteiten. Hierbij kunt u mogelijk problemen ervaren bij het starten van een restore job op de Ekco Portal. Dit heeft geen gevolgen op de integriteit en de bruikbaarheid van de backup data. Heb je problemen met het herstellen van bestanden? Neem dan direct contact met ons op, bel 088 – 070 06 25 of stuur een mail naar [email protected]. Wij zijn op de hoogte van de situatie en hebben een aantal alternatieve oplossingen om je te helpen. We begrijpen dat dit ongemak kan veroorzaken. Wij doen er alles aan om een passende oplossing te bieden. Dank voor jullie geduld en vertrouwen in ons.

2. resolved Feb 28, 2025, 08:24 PM UTC

   We willen u graag laten weten dat de problemen met het starten van restore jobs via de Ekco Portal is opgelost. Ons team heeft de situatie onderzocht en een oplossing geïmplementeerd, zodat alles weer naar behoren werkt. Mocht u nog verdere vragen hebben of tegen iets aanlopen, laat het ons gerust weten – we helpen u graag verder.

Read the full incident report →

Started Jan 22, 2025, 11:44 AM UTC· resolved Jan 22, 2025, 12:10 PM UTC

1. monitoring Jan 22, 2025, 12:22 PM UTC

   A fix has been implemented and we are monitoring the results.

2. resolved Jan 22, 2025, 12:57 PM UTC

   This incident has been resolved.

Read the full incident report →

Started Dec 19, 2024, 11:47 AM UTC· resolved Dec 20, 2024, 07:37 AM UTC

1. investigating Dec 19, 2024, 11:47 AM UTC

   Momenteel ervaren we problemen op de Secure File Sync omgeving. Hierdoor kunt u mogelijk hinder ondervinden. De oorzaak hiervan wordt momenteel onderzocht. Wij streven ernaar u zo snel mogelijk te voorzien van een nieuwe update.

2. monitoring Dec 19, 2024, 11:58 AM UTC

   De dienst is hersteld na een herstart en kan weer gebruikt worden. Ekco zal nog controles uitvoeren om herhaling te voorkomen. Onze excuses voor het ongemak.

3. resolved Dec 20, 2024, 07:37 AM UTC

   Controles zijn uitgevoerd en de omgeving is stabiel bevonden.

Read the full incident report →

Started Dec 16, 2024, 02:48 PM UTC· resolved Dec 16, 2024, 02:59 PM UTC

1. investigating Dec 16, 2024, 02:48 PM UTC

   Momenteel is vCenter issue in Alkmaar, hierdoor is het niet mogelijk om backups te maken of wijzigingen door te voeren op de VM's, zoals het starten/stoppen en het aanpassen van resources. De VM's draaien wel door. Hiervoor is een prio 1 ticket aangemaakt bij Vmware, wij streven ernaar dit probleem zo snel mogelijk op te lossen.

2. resolved Dec 16, 2024, 02:59 PM UTC

   This incident has been resolved.

Read the full incident report →

Started Nov 19, 2024, 10:25 PM UTC· resolved Nov 21, 2024, 07:11 AM UTC

1. investigating Nov 19, 2024, 10:25 PM UTC

   We ervaringen op dit moment problemen met de internet toegang richting het platform. Er kan hierbij traagheid ervaren worden op de omgeving. Ekco engineers hebben de storing in onderzoek.

2. monitoring Nov 19, 2024, 11:42 PM UTC

   Na onderzoek is gebleken dat er een probleem is bij onze transit provider. Engineers van Ekco hebben het verkeer kunnen herrouteren waarna de traagheid verdwenen is. Wij zullen samen met de transit provider verder onderzoeken wat de oorzaak is van deze problemen.

3. resolved Nov 21, 2024, 07:11 AM UTC

   Na onderzoek bij onze transit provider is de oorzaak gevonden en verholpen. Woensdag avond is de routering weer naar de normale situatie hersteld en zijn er succesvol performance testen uitgevoerd.

Read the full incident report →

Started Oct 30, 2024, 09:50 AM UTC· resolved Oct 30, 2024, 04:17 PM UTC

1. investigating Oct 30, 2024, 09:50 AM UTC

   Momenteel is er een storing op de IaaS omgeving in Alkmaar. Het probleem is in onderzoek en wij zullen zo snel mogelijk een update geven.

2. investigating Oct 30, 2024, 09:55 AM UTC

   We are continuing to investigate this issue.

3. investigating Oct 30, 2024, 11:02 AM UTC

   We are continuing to investigate this issue.

4. investigating Oct 30, 2024, 11:38 AM UTC

   De storing wordt veroorzaakt door internetproblemen aan de kant van de leverancier, wij zijn continu in gesprek met de leverancier hierover. Wij doen er alles aan om de problemen zo snel mogelijk op te lossen en een nieuwe update te geven.

5. identified Oct 30, 2024, 01:02 PM UTC

   Hoewel de verbinding op dit moment stabiel lijkt vanaf 13:30, is er nog steeds een storing aan fiber-optic connections in een deel van het netwerk. Hier wordt door de leverancier momenteel aan gewerkt.

6. resolved Oct 30, 2024, 04:17 PM UTC

   De storing is opgelost. Er volgt nog een onderzoek naar de oorzaak van het incident.

Read the full incident report →