Authentification 3DS indisponible / 3DS Authentication unavailable

Update timeline

1. identified Jun 01, 2023, 08:50 AM UTC

   - Début / Start / Inizio : 01/06/2023 10h18 CEST - Fin / End / Fine : En cours - Catégorie / Category / Categoria : Authentification 3D Secure / 3DS authentication - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità : P1 ==============VERSION FRANCAISE ============== L'authentification 3DS est actuellement indisponible sur nos services. Toutes les requêtes d'authentification 3DS sont refusées. Nos équipes investiguent pour rétablir le service. ==============ENGLISH VERSION============== 3DS authentication service is currently not available. Every 3DS authentication requests are rejected. Our teams are investigating to resume service Posted 1 minute ago. Jun 01, 2023 - 10:48 CEST ============== ITALIA ============== L'autenticazione 3DS non è attualmente disponibile sui nostri servizi. Tutte le richieste di autenticazione 3DS vengono rifiutate. I nostri team stanno indagando per ripristinare il servizio.

2. identified Jun 01, 2023, 09:46 AM UTC

   FR : Nos équipes techniques ont opéré des correctifs. Depuis 11:25 CET, nous observons un rétablissement partiel des authentifications 3D Secure. Nous continuons surveiller et apportons des correctifs. EN : Our teams have operated some fixes. Since 11:25 CET we observe a recovery of the 3D Secure authentications. We are still actively working on the issues to make some corrections.

3. resolved Jun 01, 2023, 09:57 AM UTC

   FR : Le trafic est entièrement rétabli depuis 11h48. Nous poursuivons la surveillance et vous tiendrons informés de la cause et des actions menées dans un prochain message. Veuillez nous excuser de la gêne occasionnée. EN : Traffic is stable since 11:48. We are still monitoring, an update will be made to explain the root cause and followup actions. We apologize for the inconvenience.

4. postmortem Jun 08, 2023, 03:48 PM UTC

   **Synthèse de l’incident** 01/06 10h18 : Mise en production du service d’authentification 3DS et début incident 01/06 10h22 : Rollback 01/06 10h37 : Ouverture de la cellule de crise 01/06 10h48 : Communication status page 01/06 11h25 : Fin de l’incident et reprise du service 03/06 08h50 : Mise à jour automatique de sécurité \(patch management\) et début de l’incident 03/06 09h44 : Ouverture de la cellule de crise 03/06 10h50 : Fin de l’incident et reprise du service **Root cause** Service d’authentification 3DS démarré avec les dernières configurations industrialisées antérieures à l’incident GCP **Contexte** Lors de l'incident du 26/04 lié à GCP, certaines configurations ont été modifiées manuellement suite à l’inaccessibilité des outils Google permettant d'industrialiser les configurations. Lors du rollback du 1er juin, les services ont été redémarrés avec les dernières configurations industrialisées qui ont écrasé les configurations manuelles. Une mise à jour de sécurité automatique a eu lieu le 3 juin, provoquant le redémarrage du service d’authentification 3DS avec les dernières configurations industrialisées et un deuxième incident similaire au premier. ‌ **Actions à entreprendre par Payplug** | **Symptome** | **Action** | | --- | --- | | Dernière configuration industrialisée pas à jour | Arrêt des mises en production tant que la situation n’est pas stabilisée Répertorier les configurations manuelles et réindustrialiser ces configurations | | Communication status page tardive/absente dans les deux cas | Améliorer l’automatisation du processus incident majeur \(notamment en heure non ouvrée\) Renforcer la formation sur le processus incident majeur Reprendre l’implémentation de monitoring / alerting spécifiques supplémentaires |