Whaller incident
Certains événements ne sont plus affichés dans les messages et les calendriers
Whaller experienced a major incident on September 12, 2024 affecting Main application, lasting 1h 25m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- identified Sep 12, 2024, 10:38 AM UTC
Certains événements ont été supprimés.
- identified Sep 12, 2024, 10:42 AM UTC
Nous avons identifié le problème qui est dû à une mauvaise implémentation de code qui a supprimé un grand nombre d'événements de la base de données. Les événements sont en cours de restauration.
- monitoring Sep 12, 2024, 11:35 AM UTC
Les événements supprimés ont été restaurés. Il s'agissait d'anciens événements (plusieurs années en arrière), l'impact utilisateur est donc réduit puisqu'a priori aucun événement en cours ou futur n'a été supprimé. Nous monitorons la production.
- resolved Sep 12, 2024, 12:03 PM UTC
L'incident est entièrement résolu.
- postmortem Sep 12, 2024, 12:09 PM UTC
Chers utilisateurs, Le 12 septembre 2024, un incident majeur a affecté notre plateforme, entraînant la suppression en masse d'environ 18 000 événements. Cet incident a été causé par un problème dans le traitement des événements suite à une mise en production. ### Détails de l'incident : Lorsqu'un événement était supprimé, une requête incorrectement implémentée a tenté de supprimer l'ensemble des événements dans la base de données. Heureusement, la suppression complète ne s'est pas produite grâce à un timeout, mais un grand nombre d'événements anciens ont été affectés. ### Actions menées : Dès que l'incident a été détecté via les logs, nos équipes ont rapidement déployé à 12h47 un correctif temporaire pour circonscrire le problème et stopper les suppressions en masse. Par la suite, nous avons réimporté les tables concernées pour restaurer les événements supprimés. Enfin, un correctif final a été déployé à 13h50 pour résoudre définitivement le problème. Cependant, certains utilisateurs ont pu être affectés par des acceptations ou refus d'événements non liés, ce qui a également été corrigé. ### Impact et rétablissement : Bien que l'incident ait affecté un grand nombre d'événements, ceux-ci étaient principalement des événements anciens. Aucun événement récent n'a été supprimé. L'incident a été résolu et l'ensemble des fonctionnalités est désormais pleinement opérationnel. Nous avons également renforcé nos tests pour éviter que ce type d'incident ne se reproduise. Nous nous excusons pour la gêne occasionnée et vous remercions de votre compréhension. L'équipe Whaller