INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions / Perturbazioni della piattaforma di pagamento

Update timeline

1. identified Jul 04, 2025, 08:07 AM UTC

   FR Nous avons identifié des difficultés sur le processing de paiements en Hosted Fields via Shopify. L'incident est en cours d'analyse. Nous vous conseillons de basculer sur du paiement redirigé en attendant la résolution. EN We have identified issues with payment processing using Hosted Fields via Shopify. The incident is currently under investigation. We recommend switching to redirected payment in the meantime. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti tramite Hosted Fields su Shopify. L'incidente è attualmente in fase di analisi. Consigliamo di passare temporaneamente ai pagamenti reindirizzati in attesa della risoluzione.

2. identified Jul 04, 2025, 08:57 AM UTC

   TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Les investigations sont toujours en cours. Nous reviendrons vers vous d'ici une heure. EN Investigations are still ongoing. We'll get back to you within an hour. IT Le indagini sono ancora in corso. Ti contatteremo entro un'ora.

3. monitoring Jul 04, 2025, 09:37 AM UTC

   TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : 04/07/2025 11h34 CEST. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Un correctif a été appliqué permettant de restaurer le service. Nous continuons de surveiller la reprise du service. EN A fix has been applied, allowing the service to be restored. We are continuing to monitor the service recovery. IT È stata applicata una correzione che ha permesso il ripristino del servizio. Continuiamo a monitorare il recupero del servizio.

4. resolved Jul 04, 2025, 04:10 PM UTC

   TSR-1977 - Début / Start / Inizio : 03/07/2025 18h30 CEST. - Fin / End /fine : 04/07/2025 16h30 CEST. - Catégorie / Category / Categoria: Production Processing - Responsabilité / Responsibility / Responsabilità : A confirmer / To be confirmed / Da confermare. - Priorité / Priority / Priorità: P2. FR Le service a été restauré à 11h30. La plateforme est revenue à l'état nominal à 16h30. L'incident est résolu. EN The service was restored at 11.30 AM. The platform returned to nominal status at 4.30 PM. The incident is resolved. IT Il servizio è stato ripristinato alle 11:30. La piattaforma è tornata in stato nominale alle 16:30. L'incidente è risolto.

5. postmortem Jul 07, 2025, 06:02 PM UTC

   _English version below_ _Versione italiana qui sotto_ # Post Mortem **Référence incident** TSR-1977 **Service concerné** Page de paiement intégrée \(Hosted Fields\) sur Shopify **Impact client** Paiements faits via une page de paiement intégrée \(Hosted Fields\) sur Shopify en erreur. **Synthèse de l’incident** * **2 juillet 18h10** : **début de l’incident**. * **3 juillet 9h37** : remontée d’alerte de perturbations sur la page de paiement intégrée \(Hosted Fields\) sur Shopify. * **3 juillet 9h42** : création d’une cellule incident majeur. * **3 juillet 09h53-10h30** : multiples actions pour tenter de restaurer le service. * **3 juillet 10h30** : mail d’escalade à Shopify. * **3 juillet 10h50 :** identification d’erreurs liées au certificat. * **3 juillet 11h11 :** envoi d’un second mail à Shopify avec plus de détails. * **3 juillet 11h15 :** test impliquant la désactivation du contrôle du certificat. Test concluant. * **3 juillet 11h28 :** désactivation du contrôle du certificat réalisée sur tous les serveurs. **Reprise du service.** * **3 juillet 11h30 :** envoi d’un troisième mail à Shopify. * **3 juillet 11h30-15h :** les investigations continuent pour rétablir la vérification du certificat. * **3 juillet 15h :** compréhension de la root cause. * **3 juillet 16h :** ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur un serveur. Test concluant. * **3 juillet 16h29 :** ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur tous les serveurs. **Fin de l’incident.** **Contexte** Une Certificate Authority a pour but de vérifier l'identité d'un site web et de délivrer un "certificat numérique" pour prouver que ce site est bien ce qu'il prétend être. En 2024, Shopify nous a informé du déploiement d’une nouvelle Certificate Authority qui viendrait remplacer l’ancienne qui expire le 26 octobre 2025. Nous avons déployé la nouvelle Certificate Authority en août 2024 puis désactivé l’ancienne en décembre 2024. **Root cause** Réutilisation de l’ancienne Certificate Authority par Shopify suite à un incident, alors que nous l’avions désactivée. **Actions à entreprendre par Payplug** ‌‌ | **Symptômes** | **Actions** | | --- | --- | | Quiproquo sur la révocation de l’ancienne Certificate Authority \(CA\) par Payplug suite au déploiement de la nouvelle. | Clarifications à mener sur la raison de la révocation de l’ancienne CA. Conservation systématique des anciennes CA jusqu’à la date d’expiration. | | Détection tardive de l’incident. | Réflexion à mener sur des alerting spécifiques à chaque parcours de paiement \(dont celui impacté par cet incident\), ne représentant chacun qu’une faible portion des flux de la plateforme. Améliorer la remontée des erreurs liées à des certificats pour avoir un alerting plus précis sur ce cas. | | Délai de compréhension de la root cause perfectible. | Obtenir un contact d’urgence chez Shopify pour faciliter les investigations. | ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1977 **Payment services affected by the incident** Integrated payment page \(Hosted Fields\) on Shopify **Client impact** Payments made via the integrated payment page \(Hosted Fields\) on Shopify failed. **Incident Overview** * **July 2, 6:10 PM: start of the incident.** * **July 3, 9:37 AM:** alert raised for disruptions on the integrated payment page \(Hosted Fields\) on Shopify. * **July 3, 9:42 AM:** major incident task force created. * **July 3, 9:53–10:30 AM:** multiple recovery actions attempted. * **July 3, 10:30 AM:** escalation email sent to Shopify. * **July 3, 10:50 AM:** errors identified as certificate-related. * **July 3, 11:11 AM:** second email sent to Shopify with more details. * **July 3, 11:15 AM:** test conducted by disabling certificate validation — Successful test. * **July 3, 11:28 AM:** certificate validation disabled on all servers — **Service restored.** * **July 3, 11:30 AM:** third email sent to Shopify. * **July 3, 11:30 AM–3:00 PM:** ongoing investigations to safely re-enable certificate validation. * **July 3, 3:00 PM:** root cause understood. * **July 3, 4:00 PM:** old Certificate Authority \(CA\) re-added and certificate validation reactivated on one server — Successful test. * **July 3, 4:29 PM:** old CA re-added and certificate validation reactivated on all servers — **End of the incident.** **Context** A Certificate Authority \(CA\) verifies the identity of a website and issues a digital certificate to prove its authenticity. In 2024, Shopify informed us about a new CA to replace the current one expiring on October 26, 2025. We deployed the new CA in August 2024 and disabled the old one in December 2024. **Root cause** Reuse of the old Certificate Authority by Shopify following an incident, although we had previously deactivated it. **Actions to be taken by Payplug** ‌ | **Symptoms** | **Actions** | | --- | --- | | Misunderstanding regarding the revocation of the old Certificate Authority \(CA\) by Payplug following the deployment of the new one. | Clarify the reasons for the revocation. Systematic retention of old CA until their expiration date. | | Delayed incident detection. | Consider implementing specific alerts per payment flow \(including the affected one\), even if each represents a small share of platform traffic. Improve alerting mechanisms to detect certificate-related issues more precisely. | | Time to understand the root cause could be improved. | Establish an emergency contact with Shopify to facilitate future investigations. | ==============VERSIONE ITALIANA============== # Post Mortem **Riferimento incidente** TSR-1977 **Servizio interessato** Pagina di pagamento integrata \(Hosted Fields\) su Shopify **Impatto per i clienti** I pagamenti effettuati tramite la pagina di pagamento integrata \(Hosted Fields\) su Shopify sono risultati in errore. **Sintesi dell’incidente** * **2 luglio, ore 18:10: inizio dell’incidente** * **3 luglio, ore 09:37:** allerta per anomalie sulla pagina di pagamento integrata \(Hosted Fields\) su Shopify. * **3 luglio, ore 09:42:** attivazione della task force incidente maggiore. * **3 luglio, 09:53–10:30:** varie azioni tentate per ripristinare il servizio. * **3 luglio, ore 10:30:** primo messaggio di escalation inviato a Shopify. * **3 luglio, ore 10:50:** identificazione di errori legati ai certificati. * **3 luglio, ore 11:11:** secondo messaggio a Shopify con ulteriori dettagli. * **3 luglio, ore 11:15:** test disattivando il controllo del certificato — Esito positivo. * **3 luglio, ore 11:28:** disattivazione del controllo del certificato su tutti i server — **Servizio ripristinato.** * **3 luglio, ore 11:30:** terzo messaggio a Shopify. * **3 luglio, 11:30–15:00:** proseguimento delle analisi per riattivare il controllo del certificato. * **3 luglio, ore 15:00:** identificazione della root cause. * **3 luglio, ore 16:00:** aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su un server — Test riuscito. * **3 luglio, ore 16:29:** aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su tutti i server — **Fine dell’incidente.** **Contesto** Una Certificate Authority \(CA\) ha lo scopo di verificare l’identità di un sito web e di rilasciare un certificato digitale che ne confermi l’autenticità. Nel 2024, Shopify ci ha informato del passaggio a una nuova CA, in sostituzione di quella esistente che scade il 26 ottobre 2025. Abbiamo implementato la nuova CA ad agosto 2024 e disattivato la vecchia a dicembre 2024. **Root cause** Riutilizzo della vecchia Certificate Authority da parte di Shopify a seguito di un incidente, nonostante fosse già stata disattivata da noi. **Azioni da intraprendere da parte di Payplug** | **Sintomi** | **Azioni** | | --- | --- | | Incomprensione sulla revoca della vecchia Certificate Authority \(CA\) da parte di Payplug dopo l’adozione della nuova. | Chiarire le motivazioni della revoca. Conservazione sistematica delle vecchie CA fino alla data di scadenza. | | Rilevamento tardivo dell’incidente. | Valutare l’attivazione di alert specifici per ciascun percorso di pagamento, anche se rappresentano una piccola parte del traffico. Migliorare l’alerting per rilevare più facilmente i problemi di certificato. | | Tempo migliorabile per identificare la root cause. | Ottenere un contatto di emergenza presso Shopify per facilitare le indagini future. |