Dalenys Outage History

# _English version below_ # Post Mortem **Référence incident** TSR-3211 **Service concerné** Paiements e-commerce, 3DS et E-terminal. **Impact client** Des erreurs d'affichage sur les formulaires rendaient les paiements impossibles. **Synthèse de l’incident** * **16 avril 14h40 :** modification de configuration. * **16 avril 15h34 : début de l’incident.** * **16 avril 15h47 :** création d’une cellule de crise dédiée. * **16 avril 15h48 :** détection d’erreurs d’affichages sur un formulaire. * **16 avril 15h52 :** identification d’un code d’erreur spécifique liée à Cloudflare. * **16 avril 15h54 : identification de l’origine de l’incident.** Rollback d’une mise en production. Amélioration immédiate de l'affichage du formulaire pour certains utilisateurs. * **16 avril 16h08 :** extension du rollback sur les autres URLs. * **16 avril 16h12 :** remontée progressive du taux d’acceptation. * **16 avril 16h35 : fin de l’incident.** ‌ **Contexte** N/A **Root cause** Une mise en production visant à modifier une configuration a entraîné un incident chez Clouflare qui n’arrivait plus à gérer certaines URLs malgré les tests réalisés au préalable. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Incident chez Clouflare. | Ouverture d’un ticket chez Clouflare pour savoir pourquoi ils n’ont pas pu gérer différentes URLs. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3211 **Payment services affected by the incident** E-commerce payments, 3DS, and E-terminal. **Client impact** Display errors on the forms made payments impossible. **Incident Overview** * **16 April 2:40pm:** configuration change. * **16 April 3:34pm: start of the incident.** * **16 April 3:47pm:** dedicated crisis cell set up. * **16 April 3:48pm:** display errors detected on a form. * **16 April 3:52pm:** identification of a specific error code related to Cloudflare. * **16 April 3:54pm: root cause identified.** Rollback of a production deployment. Immediate improvement of form display for some users. * **16 April 4:08pm:** rollback extended to other URLs. * **16 April 4:12pm:** gradual increase in the acceptance rate. * **16 April 4:35pm: end of the incident.** ‌ **Context** N/A **Root cause** A production deployment intended to modify a configuration caused an incident at Cloudflare, which was unable to handle certain URLs despite prior testing. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Incident at Cloudflare. | A support ticket has been opened with Cloudflare to determine why they were unable to handle different URLs. |

# _English version below_ # Post Mortem **Référence incident** TSR-3152 **Service concerné** Reversement des paiements e-commerce et magasin. **Impact client** Non reversement des transactions. **Synthèse de l’incident** * **1er avril :** mise en production. * **1 avril 17h34 :** non réception d’un fichier. Dépassement du cutoff pour envoyer les fonds le lendemain. **Début de l’incident.** * **2 avril 9h :** analyses qui montrent que seule une partie des transactions a pu être reversée. * **3-6 avril** : jours fériés bancaires qui reportent les reversements. * **7 avril :** reversement de l’intégralité des transactions. **Fin de l’incident.** ‌ **Root cause** Une mise en production a entraîné le blocage de l’envoi d’un fichier indispensable au mécanisme de reversement des transactions. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Mise en production l’avant-veille d’un jour férié bancaire. | Révision de l’agenda des mises en production pour éviter tout déploiement avant un jour férié bancaire. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3152 **Payment services affected by the incident** E-commerce & in-store payments settlement. **Client impact** Inability to process the reversal of transactions during the incident period, resulting in a delay in merchant settlement. **Incident Overview** * **1 April:** production deployment. * **1 April 5:34pm:** file not received. Cut-off time for next-day fund settlement exceeded. **Start of the incident.** * **2 April 9:00am:** analysis shows that only part of the transactions could be settled. * **3–6 April:** bank holidays delaying settlements. * **7 April:** all transactions settled. **End of the incident.** ‌ **Root cause** A production deployment caused the blocking of a file essential to the transaction settlement process. **Actions taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Production deployment carried out two days before a bank holiday. | Review of the production deployment schedule to avoid any deployments ahead of bank holidays. |

# _English version below_ # Post Mortem **Référence incident** TSR-3149 **Service concerné** Paiements e-commerce, 3DS moyens de paiements alternatifs. **Impact client** Impossibilité pour les porteurs d’effectuer des paiements. **Synthèse de l’incident** * **1 avril 5h30 :** déploiement d’une mise en production. * **1 avril 7h42 : début de l’incident.** Début des analyses. * **1 avril 8h18 :** identification d’une hausse des échecs ACS.depuis 7h43. * **1 avril 8h21 - 8h42 :** analyses pour voir si l’incident est consécutif au déploiement de la mise en production. * **1 avril 8h45 :** lancement du rollback. * **1 avril 8h51 : fin de l’incident.** ‌ **Contexte** Suite à une communication, une mise en production contenant l’ajout de blocs IPs dans la liste des adresses autorisées a été lancée. **Root cause** L’incident a été causé par le non whitelisting des adresses IPs par CB. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Échecs des paiements passant par le réseau CB. | Contact et analyse en cours avec CB pour assurer le whiteslistage des IPs. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3149 **Payment services affected by the incident** E-commerce payments, 3DS, and alternative payment methods. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **1 April 5:30am:** production deployment. * **1 April 7:42am: start of the incident.** Investigation begins. * **1 April 8:18am:** identification of an increase in ACS failures since 7:43am. * **1 April 8:21am–8:42am:** analysis to determine whether the incident is linked to the production deployment. * **1 April 8:45am:** rollback initiated. * **1 April 8:51am: end of the incident.** ‌ **Context** Following a communication, a production deployment containing the addition of IP blocks to the list of authorised addresses was initiated. **Root cause** The incident was caused by CB not whitelisting the IP addresses. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Payment failures occurring via the CB network. | Ongoing contact and analysis with CB to ensure IP whitelisting. |

# _English version below_ # Post Mortem **Référence incident** TSR-3011 **Service concerné** Paiements e-commerce, 3DS et en magasins. **Impact client** Impossibilité pour les porteurs d’effectuer des paiements. **Synthèse de l’incident** * **2 mars 12h26 :** déploiement d’une mise en production. * **2 mars 12h28 : début de l’incident.** * **2 mars 12h29 :** première remontée d’alerte. * **2 mars 12h33 :** création d’une cellule de crise dédiée. Début des investigations. * **2 mars 12h37 :** identification d’erreurs sur un service. * **2 mars 12h56 : identification de l’origine de l’incident.** * **2 mars 13h :** mise en place d’actions correctives. * **2 mars 13h01 : reprise du trafic e-commerce & 3DS.** * **2 mars 13h38 :** remontée d’erreurs sur certains paiements en magasins. Poursuite des investigations. * **2 mars 13h50 :** identification et redémarrage des services en erreur. **Fin de l’incident.** ‌ **Contexte** N/A **Root cause** Une mise en production a entraîné la mise en pause des points d’entrées des services acceptant les transactions. Ces points d’entrées étant en pause, ils n’acceptaient plus les transactions et ont causé l’interruption du trafic. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Déploiement d’une mise en production sur un horaire critique. | Rappel du processus de déploiement pour éviter les mises en production sur un horaire critique. | | Monitoring défaillant sur les points d’entrées des services acceptant les transactions. | Renforcement du monitoring sur les points d’entrées et sur les services répartissant les transactions. | | Absence de contrôle sur un certificat spécifique suite déploiement d’une mise en production. | Ajout de contrôle pour vérifier l’état du certificat après déploiement d’une mise en production. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3011 **Payment services affected by the incident** E-commerce payments, 3DS and in-store payments. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **2 March 12:26pm:** production deployment. * **2** **March 12:28pm:** **start of the incident.** * **2 March 12:29pm:** first alert raised. * **2 March 12:33pm:** dedicated crisis team established. Investigations begin. * **2 March 12:37pm:** errors identified on a service. * **2 March 12:56pm:** **root cause of the incident identified.** * **2 March 1:00pm:** corrective actions implemented. * **2 March 1:01pm: resumption of e-commerce and 3DS traffic.** * **2 March 1:38pm:** errors reported on certain in-store payments. Investigations continue. * **2 March 1:50pm:** identification and restart of the affected services. **End of the incident.** ‌ **Context** N/A **Root cause** A production deployment resulted in the pausing of the entry points of the services handling transactions. As these entry points were paused, they no longer accepted transactions, which caused the interruption of traffic. ‌ **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Production deployment carried out during a critical time window. | Reminder of the deployment process to avoid production deployments during critical time windows. | | Insufficient monitoring on the entry points of the services accepting transactions. | Strengthening of monitoring on the entry points and on the services distributing transactions. | | Lack of verification of a specific certificate following a production deployment. | Addition of checks to verify the status of the certificate after a production deployment. |

# _English version below_ # Post Mortem **Référence incident** TSR-2999. **Service concerné** Sandbox. **Impact client** Service hosted field indisponible en sandbox. **Synthèse de l’incident** * **25 février 14h27 :** signalement d’un problème dans un premier environnement de test inaccessible aux marchands. * **25 février 16h22 : début de l’incident en sandbox.** * **25 février 16h55 :** première alerte sur l’indisponibilité du service hosted field en sandbox. * **25 février 17h10 :** divers marchands remontent le problème qui semble généralisé. * **25 février 17h27 :** création d’une cellule de crise dédiée. * **25 février 17h34 :** communication Statuspage. **Identification du problème** dans un premier environnement de test qui impacterait également la sandbox accessible aux marchands. * **25 février 17h41 :** annulation d’une mise en production. * **25 février 17h56 :** redémarrage des services. * **25 février 18h02 : fin de l’incident.** **Contexte** N/A **Root cause** Le déploiement d’une mise en production dans un premier environnement de test a provoqué une interruption du service Hosted Field. Cet environnement et la sandbox accessible aux marchands étant synchronisé, le problème a été répercuté dans la sandbox. ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2999. **Payment services affected by the incident** Sandbox. **Client impact** Hosted fields service unavailable in the sandbox environment. **Incident Overview** * **25 February 2:27pm:** a problem reported in an initial test environment inaccessible to merchants. * **25 February 4:22pm: start of the incident in the sandbox environment.** * **25 February 4:55pm:** first alert regarding the unavailability of the hosted fields service in sandbox. * **25 February 5:10pm:** several merchants report the issue, which appears to be widespread. * **25 February 5:27pm:** dedicated crisis team established. * **25 February 5:34pm:** Statuspage communication issued. **Identification of an issue** in an initial test environment also impacting the sandbox accessible to merchants. * **25 February 5:41pm:** rollback of a production deployment. * **25 February 5:56pm:** services restarted. * **25 February 6:02pm: end of the incident.** **Context** N/A **Root cause** The deployment to production in an initial test environment caused an interruption to the Hosted Fields service. As this environment and the sandbox accessible to merchants are synchronised, the issue was replicated in the sandbox.

# _English version below_ # Post Mortem **Référence incident** TSR-2981 **Service concerné** Paiements E-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. **Synthèse de l’incident** * **21 février 5h : début de l’incident.** * **21 février 6h23 :** remontée d’alerte. Le seuil d’erreur est trop faible à ce stade pour déclencher l’astreinte. * **21 février 8h32 :** création d’une cellule de crise dédiée par l’astreinte. Début des investigations. * **21 février 8h34 :** identification d’échecs de paiements provenant d’un réseau bancaire spécifique. * **21 février 9h-13h :** poursuite des analyses. * **21 février 13h30 : fin de l’incident.** * **21 février 14h41 :** confirmation par le réseau d’un incident chez eux. **Contexte** N/A **Root cause** Incident externe provenant d’un réseau bancaire. ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2981 **Payment services affected by the incident** E-commerce payments & 3DS. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **21 February 5:00am: start of the incident.** * **21 February 6:23am:** alert raised. The error threshold is too low at this stage to trigger the on-call escalation team. * **21 February 8:32am:** dedicated crisis team established by the on-call team. Investigations begin. * **21 February 8:34am:** payment failures identified originating from a specific banking network. * **21 February 9:00am – 1:00pm:** ongoing analysis. * **21 February 1:30pm: end of the incident.** * **21 February 2:41pm:** confirmation from the network of an incident on their side. **Context** N/A **Root cause** External incident originating from a banking network.