Fasterize experienced a major incident on February 16, 2023 affecting Acceleration, lasting 48m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Feb 16, 2023, 04:35 PM UTC
We currently have some issues on our european infrastructure. Being fixed. Speeding-up is disabled but trafic is ok.
- monitoring Feb 16, 2023, 04:49 PM UTC
The issue is identified. It was related to an attack that has been mitigated.
- resolved Feb 16, 2023, 05:00 PM UTC
This incident has been resolved at 17:42. We will provide a post mortem tomorrow (16/02/2023).
- postmortem Feb 17, 2023, 05:27 PM UTC
# Description de l'incident L’incident suivant est relatif à une boucle infinie sur notre plateforme suite à un mauvais paramétrage de configuration. **Impacts** Forts ralentissements des sites clients à cause de la saturation de la plateforme.**Timeline** Début de l’incident : 17h08 Fin de l’incident: 17h40 # Faits et Timeline **17h08-17h43** : Plusieurs perturbations sur la plateforme ont eu lieu à un intervalle d’environ 10 minutes. Chaque perturbation a duré environ 180 secondes. **17h14** : Première alerte en interne émise concernant le problème. **17h27** : Identification de l’origine de l’incident par l’équipe. Mise en place directement d’une réunion d’urgence avec l’équipe technique. **17h31** : Premières actions correctives pour mitiger le problème. **17h35** : Mise à jour du [statut public de la plateforme](https://status.fasterize.com/incidents/lh51wzsdvs1n) \([statuspage.io](https://status.fasterize.com/incidents/lh51wzsdvs1n)\). **17h40** : Résolution du problème. # Métriques * Niveaux de sévérité de l'incident : * Sévérité 2 : dégradation du site, problème de performance et/ou feature cassée avec difficulté de contourner impactant un nombre significatif d'utilisateur * Temps de détection : **6 minutes** * Temps de résolution : **32 minutes** # Analyse Une configuration a été incorrectement paramétrée au niveau de l’origine. L’origine de la configuration pointait sur Fasterize au lieu de pointer sur l’hébergement. La sécurité contre les boucles infinies présentes au niveau de la plateforme n’a pas fonctionné. Cela a conduit à saturer la plateforme et à produire des temps de réponse très dégradés. La détection automatique de la stabilité de la plateforme a détecté à plusieurs reprises les indisponibilités. Cependant, ces instabilités étaient déclenchées à intervalle régulier. Ainsi, les sites web ont été routés vers l’origine puis de nouveau routés vers Fasterize à la fin des différentes boucles. # Plan d'actions **Court terme :** * Correction de l’API pour mieux valider l’origine et ainsi éviter le cas d’une origine pointant vers Fasterize * Correction de la détection des boucles infinies sur le chemin de la requête **Moyen terme :** * Amélioration du système de protection de la plateforme via un système de rate limit.