Whaller experienced a minor incident on September 26, 2024 affecting Search engine, members directories, members management, lasting 1h 27m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- identified Sep 26, 2024, 10:08 AM UTC
The issue has been identified and a fix is being implemented.
- resolved Sep 26, 2024, 11:35 AM UTC
This incident has been resolved.
- postmortem Sep 26, 2024, 06:13 PM UTC
#### Résumé Le 26 septembre 2024, un incident a impacté la mise à jour des index des annuaires des membres et des sphères sur notre plateforme. Cet incident une fois identifié par les équipes techniques ont immédiatement commencé à analyser le problème. L'origine de l'incident a été rapidement identifiée, et des actions correctives ont été mises en place. La situation a été résolue dans les deux heures suivant la détection. #### Chronologie des événements * **11:36** : Une alerte est lancée en interne concernant la non-mise à jour des index dans plusieurs sphères. * **11:39** : Le problème est escaladé à l'équipe technique, et un ticket critique est créé pour résoudre l'incident. * **12:00** : Les équipes techniques commencent l’analyse des causes probables de l’incident. * **12:08** : L’incident est officiellement déclaré. * **12:10** : L'origine de l’incident est identifiée : elle est liée aux actions de bots exécutées pendant la nuit. * **12:20** : Une réindexation est lancée. * **13:20** : La réindexation se termine, et des vérifications sont effectuées pour s'assurer que tout fonctionne correctement. * **13:35** : L’incident est clôturé. #### Difficultés rencontrées L'une des principales difficultés a été l'identification rapide de la cause exacte de l'incident. Le problème provenait d'actions de maintenance et d’amélioration de la sécurité effectuées durant la nuit, ce qui a rendu l'analyse initiale plus complexe. #### Cause de l'incident L'incident a été causé par des actions de maintenance et d’amélioration de la sécurité effectuées pendant la nuit, qui ont altéré le fonctionnement des index des annuaires des membres et des sphères. Ces actions ont conduit à des incohérences dans les données affichées, nécessitant une réindexation complète. #### Perte de données Aucune perte de données n'a été constatée. Les données des utilisateurs étaient toujours présentes, mais n'étaient pas correctement indexées, ce qui a temporairement empêché leur affichage correct. #### Mesures de remédiation Pour éviter que ce type d'incident ne se reproduise, les mesures suivantes ont été mises en place : * Amélioration des processus d'alerte afin de détecter plus rapidement les incohérences dans l'indexation des données. * Automatisation du processus de réindexation pour réduire le temps de réaction en cas d’incident similaire. Les équipes techniques restent mobilisées pour s'assurer que ces incidents soient traités de manière préventive à l'avenir.