INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions

Update timeline

1. identified Dec 14, 2024, 10:56 AM UTC

   FR Nous avons identifié des difficultés sur la plateforme de paiement entre 11h18 et 11h36 avec une hausse de transactions en 5006. Il reste un léger flux de 5006 depuis. L'incident est en cours d'analyse. EN We have identified difficulties on the payment platform between 11.18am and 11.36am with an increase of 5006 errors. We still observe couple impacted transactions since then. An investigation is in progress.

2. monitoring Dec 14, 2024, 11:33 AM UTC

   FR Le problème d'augmentation des transactions en erreur 5006 a été résolu aujourd'hui à 12h12. Nous sommes en phase de surveillance pour valider la résolution de l'incident. EN The issue of the increase in transactions with error 5006 was resolved today at 12:12 PM. We are in the monitoring phase to confirm the resolution of the incident.

3. resolved Dec 14, 2024, 11:56 AM UTC

   FR Nous vous confirmons que l'incident est résolu. Un post-mortem sera publié EN We confirm that the incident has been resolved. A post-mortem will be published

4. postmortem Dec 18, 2024, 02:08 PM UTC

   _English version below_ # Post Mortem **Référence incident** TSR-1008 **Service concerné** Paiement in-store et e-commerce. **Impact client** Service non disponible pendant 62 minutes. **Synthèse de l’incident** * **14 décembre - 11h10 : début de l’incident**. * **14 décembre - 11h21 :** remontées d’alertes. * **14 décembre - 11h30 :** appel de l’astreinte. * **14 décembre - 11h36 :** création de la cellule incident majeur. * **14 décembre - 11h45 :** compréhension que l’incident est lié à des timeouts lors de l’appel au service d’autorisation acquéreur d’un prestataire. * **14 décembre - 11h50 :** appel et escalade de la demande auprès de l’astreinte de notre prestataire. * **14 décembre - 12h01 :** redémarrage des serveurs chez notre prestataire. * **14 décembre - 12h12 : reprise du service et fin de l’incident.** **Contexte** N/A **Root cause** Deux incidents ont eu lieu sur des serveurs d'autorisation chez un prestataire. ‌ **Actions à entreprendre par Payplug** ‌ | **Symptôme** | **Action** | | --- | --- | | Compréhension tardive de la root cause externe. | Ajout d’un monitoring réseau indépendant avec le prestataire. | | Délai de contact avec le prestataire pas optimal. | Revue de la matrice d’escalade. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1008 **Payment services affected by the incident** E-commerce & in-store payments. **Client impact** Unavailable service during 62 minutes. **Incident Overview** * **December 14 - 11:10am : incident begins.** * **December 14 - 11:21am :** alerts raised. * **December 14 - 11:30am :** on-call personnel called. * **December 14 - 11:36am :** major incident response team created. * **December 14 - 11:45am :** understanding that the incident is linked to timeouts during a call to a service provider's purchasing authorization service. * **December 14 - 11:50am :** call and escalation of the request to our service provider's on-call team. * **December 14 - 12:01pm :** servers restarted at our service provider. * **December 14 - 12:12pm : service restored and incident resolved.** **Context** N/A **Root cause** Two incidents occurred on authorization servers at a service provider. ‌ **Actions to be taken by Payplug** | **Symptom** | **Action** | | --- | --- | | Late understanding of the root cause. | Addition of independent network monitoring with the service provider. | | Contact time with service provider not optimal. | Review of the escalation matrix. |