Dalenys incident

INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions

Critical Resolved View vendor source →

Dalenys experienced a critical incident on July 29, 2025 affecting Processing e-commerce / E-commerce processing and Authentification 3DS / 3DS authentication and 1 more component, lasting 1h 25m. The incident has been resolved; the full update timeline is below.

Started
Jul 29, 2025, 12:51 PM UTC
Resolved
Jul 29, 2025, 02:17 PM UTC
Duration
1h 25m
Detected by Pingoru
Jul 29, 2025, 12:51 PM UTC

Affected components

Processing e-commerce / E-commerce processingAuthentification 3DS / 3DS authenticationPaiement en magasin - CB2A / Instore paymentPaiement en magasin - NEXO / Instore paymentMoyens de paiements alternatifs / Alternative payment methodsProcessing e-terminal / E-terminal processing

Update timeline

  1. investigating Jul 29, 2025, 12:51 PM UTC

    FR Nous avons identifié des difficultés sur la plateforme de paiement. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on the payment platform. An investigation is in progress.

  2. investigating Jul 29, 2025, 01:13 PM UTC

    TSR-2090 - Début / Start : 29/07/2025 14h43 CEST - Fin / End : En cours / Ongoing - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : A confirmer / To be confirmed - Priorité / Priority : P2 FR Le service revient progressivement en nominal depuis 15h08. Nous continuons de monitorer le service. EN Nominal service has been observed since 3:08pm. We are continuing to monitor the service.

  3. resolved Jul 29, 2025, 02:17 PM UTC

    TSR-2090 - Début / Start : 29/07/2025 14h43 CEST - Fin / End : 29/07/2025 15h08 CEST - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR Un correctif a été appliqué. Le service a été rétabli. EN A fix has been applied. The service has been restored.

  4. postmortem Jul 30, 2025, 07:06 AM UTC

    # _English version below_ # Post Mortem **Référence incident** TSR-2090 **Service concerné** Paiements e-commerce et magasin. **Impact client** Indisponibilité générale. **Synthèse de l’incident** * **23 juillet :** mise hors production du premier groupe de serveurs. * **24 juillet :** mise hors production du deuxième groupe de serveurs. * **29 juillet 14h43** : mise hors production du troisième groupe de serveurs. **Début de l’incident.** * **29 juillet 14h45** : remontées d’alertes. * **29 juillet 14h48 :** création d’une cellule d’incident majeur et début des investigations. * **29 juillet 14h51 :** communication Statuspage. * **29 juillet 14h51 :** redéploiement du service. * **29 juillet 15:05 :** reprise progressive du service. * **29 juillet 15h08** : **fin de l’incident.** ‌ **Contexte** La patch management consiste en une série de correctifs qui sont déployés chaque semaine alternativement sur chacune des trois parties des serveurs de production \(les mardi, mercredi et jeudi\). **Root cause** Le patch management a successivement mis hors production chacun des serveurs. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Défaut de détection de la mise hors production des serveurs. | Ajout de contrôles pour être alerté dès qu’un serveur est mis hors production. | | Mise hors production du dernier serveur. | Ajout de contrôles pour être alerté lorsqu’il ne reste plus qu’un serveur actif en production. Interdiction de la mise hors production automatique du dernier serveur. | | Mises hors production successives de tous les serveurs de production par le patch management. | Désactivation jusqu’à nouvel ordre du patch management. Investigations en cours. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-2090 **Payment services affected by the incident** E-commerce and in-store payments. **Client impact** Widespread unavailability. **Incident Overview** * **July 23:** decommissioning of the first group of servers. * **July 24:** decommissioning of the second group of servers. * **July 29 - 2:43pm:** decommissioning of the third group of servers. **Start of the incident.** * **July 29 - 2:45pm:** alerts triggered. * **July 29 - 2:48pm:** major incident task force created and investigations started. * **July 29 - 2:51pm:** statuspage communication. * **July 29 - 2:51 pm:** service redeployment. * **July 29 - 3:05pm:** gradual service recovery. * **July 29 - 3:08pm: end of the incident.** ‌ **Context** Patch management consists of a series of updates that are deployed weekly in rotation across each of the three groups of production servers \(on Tuesdays, Wednesdays, and Thursdays\). **Root cause** Patch management successively decommissioned each of the servers. ‌ **Actions to be taken by Payplug** | **Symptômes** | **Actions** | | --- | --- | | Failure to detect server decommissioning. | Addition of controls to trigger alerts as soon as a server is decommissioned. | | Decommissioning of the last server. | Addition of controls to trigger alerts when only one active production server remains. Blocking of automatic decommissioning of the last server. | | Successive decommissioning of all production servers by patch management. | Patch management deactivated until further notice. Ongoing investigations. |