INCIDENT PROCESSING | Perturbations paiements magasin NEXO / NEXO instore payments disruptions

Update timeline

1. identified Feb 24, 2025, 02:15 PM UTC

   FR Nous avons identifié des difficultés sur les paiements en magasin NEXO. Le service a été perturbé entre 14h40 et 15h04. Des actions ont été déjà été prises. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on NEXO instore payments. Service was disrupted between 2.40pm and 3.04pm. Actions have already been taken. An investigation is in progress.

2. monitoring Feb 24, 2025, 02:37 PM UTC

   TSR-1362 - Début / Start : 24/02/2025 14h40 CET - Fin / End : 24/02/2025 15h04 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR Une des instances traitant les paiements magasin NEXO a été dégradée, occasionnant une perturbation du service. Cette instance a été écartée afin de rétablir le service nominal. Nous travaillons à rétablir cette instance, écarter tout risque avant de la réintroduire. EN One of the instances handling NEXO in-store payments experienced a degradation, causing a service disruption. This instance has been removed to restore normal service. We are working on restoring this instance and eliminating any risks before reintegrating it.

3. resolved Feb 24, 2025, 04:45 PM UTC

   TSR-1362 - Début / Start : 24/02/2025 14h40 CET - Fin / End : 24/02/2025 15h04 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR La situation est maintenant nominale. EN The situation is now nominal

4. postmortem Feb 26, 2025, 01:23 PM UTC

   # _English version below_ # Post Mortem **Référence incident** TSR-1362 **Service concerné** Paiements en magasin Nexo **Impact client** Indisponibilité partielle de la plateforme Nexo. **Synthèse de l’incident** * **24 février - 11h06 :** première remontée concernant une erreur sur une instance mais sans impact sur le processing. * **24 février - 11h10 :** diverses actions menées pour rétablir un état nominal. * **24 février - 14h45 :** début des perturbations sur le trafic Nexo. **Début de l’incident**. * **24 février - 15h05 :** désactivation de l’instance défectueuse. * **24 février - 15h06 :** fin de la perturbation, **service rétabli.** * **24 février - 15h09 :** diverses actions menées pour rétablir un service nominal avec trois instances. * **24 février - 17h :** récupération d’une instance défectueuse. * **24 février - 17h14 :** redémarrage d’une seconde instance. * **24 février - 17h35 :** récupération de la seconde instance. * **24 février - 17h41 :** trois instances opérationnelles. **Fin de l’incident.** **Contexte** Le service est basé sur plusieurs instances permettant d’assurer une continuité du service. Une première instance est tombée en erreur sans occasionner d’impact. Les impacts ont commencé lorsqu’une deuxième instance a eu des problèmes. **Root cause** Root cause non formellement identifiée. Plusieurs pistes en cours d’investigations \(saturation mémoire suite au lancement d’un autre processus, mauvaise synchronisation\). ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Non identification de la root cause. | Désactivation temporaire du patch management pour se prémunir d’une nouvelle occurrence. Investigation priorisée pour déterminer la root cause. | | Impact marchand malgré une architecture redondée. | Plusieurs actions à l’étude \(augmentation du nombre d’instances, changement d’infrastructure\). | | Presque trois heures pour revenir en nominal. | Faire une procédure pour remettre les instances en place plus rapidement. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1362 **Payment services affected by the incident** In-store Nexo payments. **Client impact** Partial unavailability of the Nexo platform. **Incident Overview** * **February 24 - 11:06 AM**: first report of an error on an instance, but no impact on processing. * **February 24 - 11:10 AM**: various actions taken to restore a nominal state. * **February 24 - 2:45 PM**: start of disruption in Nexo traffic. **Incident beginning**. * **February 24 - 3:05 PM**: deactivation of the defective instance. * **February 24 - 3:06 PM**: end of disruption, **service restored**. * **February 24 - 3:09 PM**: various actions taken to restore nominal service with three instances. * **February 24 - 5:00 PM**: recovery of a defective instance. * **February 24 - 5:14 PM**: restart of a second instance. * **February 24 - 5:35 PM**: recovery of the second instance. * **February 24 - 5:41 PM**: three operational instances. **Incident resolved**. **Context** The service is based on multiple instances to ensure continuity of service. A first instance failed without causing any impact. Impacts started when a second instance failed. **Root cause** Root cause not formally identified. Several potential causes under investigation \(memory saturation due to the launch of another process, poor synchronisation\). **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | The root cause was not identified. | Temporary deactivation of patch management to prevent a recurrence. Prioritised investigation to determine the root cause. | | Merchant impact despite a redundant architecture. | Various actions under review \(instances number increase, infrastructure change\). | | It took almost three hours to return to normal operation. | Create a procedure to restore instances more quickly. |