Whaller experienced a major incident on January 17, 2025 affecting Discussions, lasting 1h 6m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Jan 17, 2025, 04:32 PM UTC
We are currently investigating this issue.
- monitoring Jan 17, 2025, 04:35 PM UTC
A fix has been implemented and we are monitoring the results.
- resolved Jan 17, 2025, 05:38 PM UTC
This incident has been resolved.
- postmortem Jan 22, 2025, 01:53 PM UTC
### Rapport de Postmortem - Incident du 16 au 19 janvier 2025 #### Résumé Un incident de performance a été détecté après la mise en production d'une nouvelle version du service Discussions, résultant en des temps de chargement excessifs lors de la création de discussions. Plusieurs tentatives de correction ont été menées sans succès avant qu’une solution définitive ne soit mise en place le 19 janvier 2025. #### Chronologie des événements * **16 janvier 2025 à 16:00** : Mise en production de la nouvelle version du service Discussions. * **17 janvier 2025 à 18:00** : Rollback d’un composant sans impact sur le problème. * **18 janvier 2025 à 18:00** : Mise en production d’un correctif ajoutant un throttle \(limitation du débit de traitement des messages\) sur la récupération des messages, sans effet. * **19 janvier 2025 à 14:00** : Mise en production d’un correctif final corrigeant le problème. #### Difficultés rencontrées * Difficulté à reproduire le problème sur les environnements de test. * Synchronisation défaillante entre les différents onglets du navigateur, provoquant une surcharge et un blocage du navigateur. #### Cause de l'incident Une mauvaise gestion de la communication entre onglets a entraîné une surcharge du navigateur. #### Perte de données Aucune perte de données utilisateur n’a été détectée. #### Mesures de remédiation * Correction de la gestion des onglets pour éviter les communications redondantes. * Amélioration de la gestion des débits de messages entrants. * Mise à jour du core pour stabiliser l’interface avec le serveur ejabberd.