PayPlug experienced a critical incident on July 8, 2023, lasting 1h 6m. The incident has been resolved; the full update timeline is below.
Update timeline
- identified Jul 08, 2023, 09:56 PM UTC
Bonjour, Nous avons identifié un incident concernant le traitement des paiements depuis 22h04. Les transactions n’aboutissent pas pour le moment. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement. Buongiorno, Abbiamo identificato un problema riguardante l'elaborazione dei pagamenti a partire dalle 22:04. Al momento le transazioni non vengono completate. Stiamo attivamente cercando una soluzione per risolvere questo malfunzionamento.
- identified Jul 08, 2023, 10:14 PM UTC
Nos équipes techniques ont mis en place des correctifs. La majeur partie du trafic est rétablie mais il reste quelques perturbations. Nous continuons de travailler au rétablissement complet du service.
- resolved Jul 08, 2023, 11:03 PM UTC
Nous vous confirmons que le service est rétabli depuis 0h57. Nos équipes techniques continuent de monitorer pour assurer la continuité du service.
- postmortem Jul 10, 2023, 05:29 PM UTC
**Synthèse de l’incident** 08/07 22h04 : **début de l’incident** 08/07 22h10 : alertes trafic - ouverture de la cellule de crise 08/07 22h34 : compréhension que l’incident est causé par la maintenance d’un partenaire réseau externe et la défaillance du backup automatisé 08/07 22h50 : investigation en vue de la construction d’un lien réseau de secours 09/07 00h57 : **reprise du service** sur le lien réseau de secours 09/07 10h32 : tests réseaux OK, début des opérations pour revenir au lien réseau nominal 09/07 11h07 : retour à l'état nominal. **Fin de l’incident** **Root cause** En cours d’investigation. **Contexte** Maintenance d'un prestataire réseau avec lequel nous travaillons. Le système de backup automatisé mis en place avec ce prestataire n'a pas fonctionné. Nous sommes toujours en cours d'investigation avec le prestataire pour comprendre pourquoi la bascule ne s'est pas opérée automatiquement et les responsabilités. **Actions à entreprendre par Payplug** | **Symptome** | **Action** | | --- | --- | | Lien de backup automatisé non fonctionnel | Monter un lien réseau de backup alternatif actionnable manuellement | | Détection de l’incident rapide via la perte trafic, mais compréhension de la root cause plus longue | Ajouter de la supervision pour détecter ce type de panne du backup principal | | Root cause et responsabilités non déterminées | Poursuivre les échanges avec notre prestataire réseau pour identifier la cause de l'incident | Veuillez nous excuser pour la gêne occasionnée par cet incident.