Incident paiement magasin / In-store payment incident

Update timeline

1. investigating Dec 07, 2024, 04:42 PM UTC

   FR Nous avons identifié des difficultés sur certains terminaux de paiement. Cet incident concerne une route d'acquisition spécifique et vous n'êtes pas tous concernés. Nous vous invitons à utiliser la demande de paiement, accessible depuis votre portail PayPlug : https://support.payplug.com/hc/fr/articles/360021504031-Comment-envoyer-une-demande-de-paiement L'incident est en cours d'analyse. EN We have identified ongoing difficulties on some payment terminals. This incident affects one acquisition route, not all of you are affected. We invite you to use the payment request form, accessible from your PayPlug portal: https://support.payplug.com/hc/fr/articles/360021504031-Comment-envoyer-une-demande-de-paiement An investigation is in progress.

2. monitoring Dec 07, 2024, 05:04 PM UTC

   FR Nous actions ont permis de restaurer une pleine capacité d'encaissement en magasin / Nexo. Nous monitorons avant d'annoncer une pleine résolution. EN Our actions have restored full in-store / Nexo checkout capacity. We are monitoring before announcing a full recovery.

3. resolved Dec 07, 2024, 05:38 PM UTC

   FR Nos services sont à nouveau pleinement opérationnels. Un post mortem sera publié lundi. EN Our services are fully operational again. A post-mortem will be published on Monday.

4. postmortem Dec 11, 2024, 09:32 AM UTC

   # Post Mortem **Référence incident** TSR-965 **Service concerné** Paiements en magasin NEXO **Impact client** Indisponibilité du paiement en magasin via TPE NEXO. **Synthèse de l’incident** * **5 décembre 14h34 :** activation de la nouvelle brique d’acquisition. * **7 décembre - 16h45 : début de l’incident.** * **7 décembre - 16h58 :** remontées d’alertes. * **7 décembre - 17h17 :** création de la cellule incident majeur. * **7 décembre - 17h35 :** actions pour purger des files de messages bloquant le trafic. * **7 décembre - 18h00 : Reprise du service et fin de l’incident.** **Contexte** Plan de transformation en cours impliquant un changement de brique d’acquisition, pour se rendre plus indépendant, réactif et résilient qu’avec la brique actuelle. **Root cause** Le timeout d’une requête d’autorisation n’a pas été géré correctement par une instance de notre nouvelle brique d’acquisition. L’instance est restée en attente de réponse à cette requête, sans passer aux requêtes suivantes. La file d’attente de cette instance s’est engorgée jusqu’à ne plus répondre et a fini par faire échouer les deux autres instances, coupant par la même occasion l’intégralité du trafic NEXO. Les tests n’ont pas permis de reproduire ce cas en amont du déploiement et de s’en prémunir. **Actions à entreprendre par Payplug** | **Symptôme** | **Action** | | --- | --- | | Robustesse de la nouvelle brique insuffisante. | Switch sur l’ancienne brique tant qu’on n’a pas suffisamment fiabilisé la nouvelle. **Aucun risque ne sera pris avant la fin des soldes.** | | Mauvaise gestion des requêtes d’autorisations en erreur. | Changement structurant sur les applicatifs utilisés par cette nouvelle brique priorisé en amont du redéploiement de cette nouvelle brique. | | Délai de résolution important. | Mise à jour de la documentation à destination de l’astreinte. |