Investigating increased error rate

Update timeline

1. investigating Jun 29, 2024, 03:11 PM UTC

   We are currently investigating this issue.

2. investigating Jun 29, 2024, 03:24 PM UTC

   We identified a problem with backend database. Onder investgation. Use offline client to continue.

3. monitoring Jun 29, 2024, 03:38 PM UTC

   Point of sales operational

4. resolved Jun 29, 2024, 03:50 PM UTC

   Problem is solved. More info about the incident will be shared.

5. postmortem Jul 02, 2024, 04:35 AM UTC

   \(English version located after Dutch\) In dit bericht meer informatie over de serviceonderbreking van Tilroy e-commerce- en kassafunctionaliteiten op 30/06/2024 tussen 17:11 en 17:30. We bieden onze oprechte excuses aan voor het ongemak en de verstoring van je winkel en webshop die dit heeft veroorzaakt. **Samenvatting van het Incident** De uitval werd veroorzaakt door een storing in een SQL database \(AWS MSSQL\), dat cruciaal is voor het beheren van de configuratie. Deze database aanvaarde geen nieuwe connecties meer waardoor andere componenten niet meer werkten. **Genomen Stappen** Onmiddellijke acties werden ondernomen om de functionaliteit te herstellen door ingrepen op de database, en onze systemen werden systematisch weer online gebracht. Volledige service werd hervat na 20 minuten downtime. De dag nadien werden er bijkomende monitor tools geactiveerd om dit onverwachte gedrag verder op te volgen. **Over de Offline Modus** We zien dat vele klanten de offline modus gebruikt hebben om de verkopen te registreren. Deze verkopen waren automatisch verwerkt om 19:50. We merkten ook dat niet iedereen zich bewust was van deze optie of in staat was om deze functie te gebruiken tijdens de uitval. De offline modus is ontworpen om de continuïteit van uw verkoopactiviteiten tijdens dergelijke onvoorziene onderbrekingen te waarborgen. We raden al onze klanten aan om de offline modus te testen en zich vertrouwd te maken. Zorg ervoor dat alle medewerkers worden geïnstrueerd over hoe deze modus te activeren en te bedienen mocht dit nodig zijn. Blijf Geïnformeerd Om tijdige updates en statusmeldingen over ons platform te ontvangen, controleer en abonneer op [http://status.tilroy.com](http://status.tilroy.com) In het geval van een aanzienlijke pannen kunnen we onmogelijk u telefonisch te woord staan. Door u te abonneren op de statuspagina, zorgt u ervoor dat u direct op de hoogte wordt gebracht van eventuele problemen en updates. **Focus op Betrouwbaarheid** We willen u verzekeren dat we blijven streven naar het onderhouden en verbeteren van de betrouwbaarheid van onze diensten. Onze toewijding aan betrouwbaarheid van Tilroy blijft onze hoogste prioriteit en we nemen extra stappen om toekomstige incidenten te voorkomen. Komende dagen zullen we aanpassingen doorvoeren om het probleem van vandaag te voorkomen. We begrijpen het kritieke belang van onze diensten voor uw bedrijfsvoering en waarderen uw begrip in dit incident. Met vriendelijke groet, Peter De Ranter CEO --------- In this message more information about the service interruption of Tilroy e-commerce and checkout functionalities on 30/06/2024 between 17:11 and 17:30. We sincerely apologize for the inconvenience and disruption to your store and webshop this caused. **Summary of Incident** The outage was caused by a failure in a SQL database \(AWS MSSQL\), which is critical for managing configuration. This database was no longer accepting new connections. **Steps Taken.** Immediate actions were taken to restore functionality through interventions on the database, and our systems were systematically brought back online. Full service was resumed after 20 minutes of downtime. Additional monitoring tools were activated the following day to further track this unexpected behavior. **About Offline Mode** We see that many customers used the offline mode to register sales. These sales had been processed at 19:50. We also noticed that not everyone was aware of this option or able to use this feature during the outage. The offline mode is designed to ensure continuity of your sales activities during such unforeseen outages. We encourage all our customers to test and familiarize themselves with the offline mode. Ensure that all employees are instructed on how to activate and operate this mode should the need arise. Stay Informed To receive timely updates and status notifications about our platform, check and subscribe to [http://status.tilroy.com](http://status.tilroy.com) In the event of significant panning, it is impossible for us to reach you by phone. By subscribing to the status page, you ensure that you will be notified immediately of any issues and updates. **Focus on Reliability** We want to assure you that we continue to strive to maintain and improve the reliability of our services. Our commitment to Tilroy reliability remains our highest priority and we are taking additional steps to prevent future incidents. In the coming days, we will make adjustments to prevent today's problem. We understand the critical importance of our services to your business operations and appreciate your understanding in this incident.