[CLOUDGOUV-EU-WEST-1] OOS Degraded Performance

Update timeline

1. investigating Oct 13, 2025, 09:35 AM UTC

   Bonjour, Nous rencontrons depuis le 08/10/2025 à 15:00 une augmentation de la latence sur la région cloudgouv. Les équipes sont activement mobilisées et travail avec toutes les parties prenantes pour identifier et corriger la cause de ces ralentissements. La dégradation n’est pas continue. En fonction des périodes horaires, elle peut atteindre 2 à 5 fois la latence optimale de la plateforme. Nous ne notons pas de dégradation significative du nombre d’erreur http.

2. investigating Oct 14, 2025, 04:22 PM UTC

   Nous continuons à travailler activement sur le sujet. Plusieurs pistes sont explorées en parallèle pour améliorer la situation. Pour le moment aucune action ne nous a permis de soulager la plate-forme. Les dérives de latences restent variables entre 2 et 5 fois la normale sur les mauvaises périodes horaires (Aujourd’hui plutôt concentrées sur la matinée). Un épisode réduit d'erreurs 50X (40/min) a eu lieu hier soir entre 20:00 et 20:30.

3. investigating Oct 15, 2025, 02:03 PM UTC

   L'incident reste ouvert. A date, nous travaillons sur deux principales orientations : la qualité des échanges réseau entre les composants OOS et les activités de gateways spécifiques d'une AZ. Les difficultés ne sont pas franches, fluctuantes et rendent les investigations complexes. L’ensemble des équipes et l’éditeur de la solution sont pleinement mobilisés sur la problématique.

4. investigating Oct 20, 2025, 05:19 PM UTC

   L'incident est toujours en cours. Nous avons isolé une root cause possible et des actions sont en cours pour traiter les éléments identifiés. Les différentes équipes impliquées sont pleinement mobilisées pour aboutir à une amélioration rapide de la situation.

5. monitoring Oct 21, 2025, 04:31 PM UTC

   Les actions programmées ont été terminées dans l’après-midi. La situation semble sable mais reste sous étroite surveillance et le sera notamment demain pendant la période de relance d’activité du début de journée. L’incident reste ouvert et les équipes pleinement mobilisées.

6. monitoring Oct 22, 2025, 03:35 PM UTC

   Des actions complémentaires ont été réalisées dans la matinée. Un début de dérive des temps de réponse pour les verbes PUT et GET a été contenu. Depuis 11:30, le temps de réponse est nominal et stable. Le monitoring de la plateforme demeure actif et les équipes mobilisées. L’incident reste ouvert.

7. monitoring Oct 23, 2025, 04:25 PM UTC

   Les performances sont stables et dans les normes depuis hier 11:30. Le monitoring de la plateforme reste actif et l’incident ouvert, en phase d’observation.

8. identified Oct 24, 2025, 08:42 AM UTC

   Nos équipes ont identifié la cause de l’incident affectant OOS. Une solution est actuellement en cours de mise en œuvre. Nous vous tiendrons informés de l’évolution de la situation dès que possible.

9. monitoring Oct 24, 2025, 08:53 AM UTC

   A fix has been implemented and we are monitoring the results.

10. monitoring Nov 03, 2025, 09:52 AM UTC

    Le 30 octobre à 21:00 une nouvelle capacité réseau a été ajoutée en entrée du service OOS sur la région cloudgouv. Quelques ajustements complémentaires ont été réalisés le 31 octobre à 11:45 sur le Net Access Point puis à 13:20 sur un équilibrage de charge. La situation semble stable et demeure sous observation. L’incident reste ouvert.

11. resolved Nov 10, 2025, 12:34 PM UTC

    Les dernières opérations, et notamment l’ajout de nouvelles capacités réseau, ont permis de stabiliser les performances. Nous clôturons cet incident. Plusieurs actions complémentaires sont en cours de planification et s’inscrivent dans le plan d’amélioration des capacités et de stabilité du service.