PayPlug incident
INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions
PayPlug experienced a critical incident on December 17, 2024, lasting 3h 1m. The incident has been resolved; the full update timeline is below.
Update timeline
- identified Dec 17, 2024, 01:30 PM UTC
FR Nous avons identifié des difficultés sur le processing des paiements e-commerce. Pas d'impact sur les paiements sur TPE. Une action est en cours pour rétablir le service EN We have identified ongoing difficulties on the e-commerce payment processing. No impact on the POS terminals payments. An action is ongoing to resume service
- monitoring Dec 17, 2024, 01:42 PM UTC
FR Le service reprend progressivement Nous continuons à surveiller la reprise du service. EN Service is gradually resuming. Service recovery is under monitoring.
- monitoring Dec 17, 2024, 01:49 PM UTC
TSR-1026 - Début / Start / Inizio : 17/12/2024 14h16 CET. - Fin / End /fine : 17/12/2024 14h37 CET. - Catégorie / Category / Categoria: Production - Processing - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità: P1. FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring. IT L'incidente è stato risolto e il servizio è stato ripristinato. Continuiamo a monitorare la ripresa del servizio.
- resolved Dec 17, 2024, 04:31 PM UTC
This incident has been resolved.
- postmortem Dec 20, 2024, 04:01 PM UTC
_English version below_ # Post Mortem **Référence incident** TSR-1026 **Service concerné** Paiements e-commerce. **Impact client** Service interrompu durant 20 minutes. **Synthèse de l’incident** * **17 décembre - 14h08 :** mise en production de la première partie d’une évolution. * **17 décembre - 14h17 : début de l’incident.** * **17 décembre - 14h18 :** création de la cellule incident majeur. * **17 décembre - 14h24 :** mise en production de la seconde partie d’une évolution. * **17 décembre - 14h37 : reprise du service et fin de l’incident.** **Contexte** Déploiement d’une évolution impactant la structure d’une base de données. **Root cause** Erreur dans la mise en production d’une évolution. Seul le changement structurel a été déployé dans un premier temps et pas l’applicatif lié. Durant l’incident, l’ancien applicatif n’était pas adapté à ce changement structurel. **Actions à entreprendre par Payplug** | **Symptôme** | **Action** | | --- | --- | | Déploiement partiel. | Blocage temporaire de tous les changements de ce type pouvant mener à un déploiement partiel. Revue du processus d’application de changement ayant un impact structurel \(capacité de déploiement des changements structurels séparément des changements applicatifs sans impact\). Découpe des déploiements de gros sujets en plus petits afin d’améliorer la maîtrise lors de leur validation | | Correctif lent à appliquer \(lié au délai actuel nécessaire pour mettre en production\). | Revue complète du processus de déploiement pour le raccourcir drastiquement. Action déjà en cours. | ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1026 **Payment services affected by the incident** E-commerce payments. **Client impact** Service interrupted for 20 minutes. **Incident Overview** * **17th of December - 14h08 :** Deployment of the first part of an update. * **17th of December - 14h17 : Incident beginning.** * **17th of December - 14h18 :** Major incident unit opened. * **17th of December - 14h24 :** Deployment of the second part of the update. * **17th of December - 14h37 : Service restored. Incident ending.** **Contexte** Deployment of an update impacting the structure of a database. **Root cause** Error in the deployment of an update. Only the structural change was deployed initially, and the associated application update was not deployed. During the incident, the old application was incompatible with the structural change. **Actions to be taken by Payplug** | **Symptom** | **Action** | | --- | --- | | Partial deployment. | Temporary block on all similar changes that could lead to a partial deployment. Review the change implementation process for structural impacts \(ability to deploy structural changes separately from application updates without impact\). Break down large deployments into smaller parts to improve control during validation. | | Slow corrective measures \(due to the current time required for deployment\). | Comprehensive review of the deployment process to drastically reduce its duration \(action already underway\). |