INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions / Perturbazioni della piattaforma di pagamento

Update timeline

1. investigating Mar 05, 2025, 11:54 AM UTC

   FR Nous avons identifié des difficultés sur le processing de paiements. Des liens de paiements envoyés sont fonctionnels pendant les 15 premières minutes. Ensuite, ils tombent en abandon. Les investigations sont en cours. EN We have identified ongoing difficulties on the payment processing. Payment links are sent and are functional for the first 15 minutes. After that, they are abandoned. An investigation is in progress. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti. I link di pagamento vengono inviati e funzionano per i primi 15 minuti. Dopodiché, vengono abbandonati. L'incidente è in fase di analisi.

2. identified Mar 05, 2025, 12:38 PM UTC

   FR Le problème a été identifié et un correctif est en cours de mise en œuvre. EN The issue has been identifed and a fix is being implemented. IT Il problema è stato identificato e si sta provvedendo a risolverlo.

3. resolved Mar 05, 2025, 04:50 PM UTC

   TSR-1418 - Début / Start : 04/03/2025 18h00 CET - Fin / End : 05/03/2025 16h11 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P3 FR Cet incident a été résolu. EN This incident has been resolved. IT L'incidente è stato risolto.

4. postmortem Mar 07, 2025, 09:13 AM UTC

   # _English version below_ # Post Mortem **Référence incident** TSR-1418 **Service concerné** Demandes de paiement. **Impact client** Impossibilité pour les marchands de payer 15 minutes après l’envoi du lien. **Synthèse de l’incident** * **04 mars - 09h32 :** déploiement d’une mise en production de nettoyage de requêtes expirées. **Début de l’incident.** * **04 mars - 18h14 :** premières remontées marchandes d’expiration immédiates de liens de demandes de paiements. * **04 mars - 18h16 :** tests pour tenter de reproduire le problème mais on ne reproduit pas la situation. * **05 mars - 11h11 :** nouvelles remontées marchandes. * **05 mars - 11h12 :** contact avec le marchand pour détailler l’erreur et notamment l’expiration après 15 minutes et non immédiate. * **05 mars - 12h02 :** demande d’escalade du ticket. * **05 mars - 12h15 :** différents tests sont menés pour reproduire le bug. * **05 mars - 12h38 :** confirmation d’un incident généralisé. * **05 mars - 12h40 :** création d’une cellule de crise dédiée. * **05 mars - 12h55 :** identification d’une mise en production qui pourrait impacter l’expiration des liens de paiements. * **05 mars - 13h50 :** tentatives de fix mais blocage au niveau des tests. * **05 mars - 16h11 :** rollback de la mise en production. **Fin de l’incident.** **Contexte** N/A **Root cause** Une mise en production a causé l’expiration des liens de paiements après 15 minutes et rendait les paiements impossibles. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Erreur de configuration dans une mise en production. | Revue complète du processus de déploiement. | ‌ ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1418 **Payment services affected by the incident** Payment requests. **Client impact** Merchants unable to pay 15 minutes after the link has been sent. **Incident Overview** * **March 4 - 09:32 AM:** deployment of a production update for cleaning expired queries. **Start of the incident.** * **March 4 - 06:14 PM:** first merchant reports of immediate expiration of payment request links. * **March 4 - 06:16 PM:** tests conducted to try to reproduce the issue, but the situation cannot be replicated. * **March 5 - 11:11 AM:** new merchant reports. * **March 5 - 11:12 AM:** contact with the merchant to explain the error and in particular the fact that the link expired after 15 minutes rather than immediately. * **March 5 - 12:02 PM:** ticket escalation. * **March 5 - 12:15 PM:** various tests carried out to reproduce the bug. * **March 5 - 12:38 PM:** confirmation of a widespread incident. * **March 5 - 12:40 PM:** creation of a dedicated crisis unit. * **March 5 - 12:55 PM:** identification of a production update that might impact the expiration of payment links. * **March 5 - 01:50 PM:** attempted fixes but blocked at the testing stage. * **March 5 - 04:11 PM:** rollback of the production update. **End of the incident.** **Context** N/A **Root cause** A production update caused payment links to expire after 15 minutes, making payments impossible. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Configuration error in a production deployment. | Complete review of the deployment process |