Wovn Technologies experienced a minor incident on November 28, 2024 affecting WOVN.io dashboard & services and WOVN.video, lasting 4h 48m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Nov 28, 2024, 03:29 AM UTC
[発生日時] 2024/11/28 11:46 - 現在調査中 (JST) [発生事象] ・WOVN管理画面へのログインに時間を要しております。 ・WOVN管理画面へログイン後の管理画面描画が非常に遅い状態です。 新規翻訳の取り込み、WOVN導入サイトへの翻訳適用には影響ございません。 [影響範囲] WOVN.io管理画面、WOVN.app管理画面、WOVN.video管理画面 [対応状況] 現在、調査を進めております。 ご利用中のお客様へは、ご迷惑をおかけしておりますこと、深くお詫び申し上げます。
- identified Nov 28, 2024, 04:26 AM UTC
原因を特定し、現在対応を進めております。 13:00頃に次の事象が改善しております。 ・WOVN管理画面へのログインに時間を要しております。 → 現在復旧済み ・WOVN管理画面へログイン後の管理画面描画が非常に遅い状態です。 → 現在一部復旧済み [復旧していない対象機能] WOVN.io（Webサイトの翻訳サービス）におけるページリスト表示（URLがリストで表示される画面） ※ 当機能以外は通常通りご利用いただけます。
- monitoring Nov 28, 2024, 05:47 AM UTC
関連システムの増強を行いました。 現在、滞留していたリクエストを処理中であり、引き続きページリスト表示のパフォーマンスは低下事象が継続しております。 [パフォーマンス低下が発生している対象機能] - WOVN.io（Webサイトの翻訳サービス）におけるページリスト表示（URLがリストで表示される画面） 当機能以外は通常通りご利用いただけます。 ご利用中のお客様へは、ご迷惑をおかけしておりますこと、深くお詫び申し上げます。
- monitoring Nov 28, 2024, 06:36 AM UTC
関連システムの増強が完了し、15:15頃よりページリスト表示のパフォーマンス低下事象は緩和されております。 引き続き、滞留していたリクエストの処理、システム稼働状況のモニタリングを行います。
- resolved Nov 28, 2024, 08:17 AM UTC
システム稼働状況のモニタリングを行い、現在は問題がないことを確認しております。 本時刻をもちまして、サービス復旧対応を完了とさせていただきます。 ご利用中のお客様へは、ご迷惑をおかけしましたこと、深くお詫び申し上げます。
- postmortem Nov 28, 2024, 08:29 AM UTC
本事象によりWOVN.ioをご利用のお客様へご不便をおかけしましたこと、深くお詫び申し上げます。 以下へ経緯ならびに今後の対応について報告させていただきます。 ------------------------------------------------------------------------ ■事象発生時刻 2024年11月28日（木）11時46分 〜 15時15分 ※ 17:15までシステム稼働状況のモニタリングを行い、問題がないことを確認しております。 ■事象 ・WOVN管理画面へのログインに時間を要していた ・WOVN管理画面へログイン後の管理画面描画が非常に遅い状態だった ■影響範囲 WOVN.io管理画面、WOVN.app管理画面、WOVN.video管理画面 ■発生原因 弊社提供サービスの一つであるファイル翻訳APIにおいて、想定を超えた量のデータがアップロードされた影響で 共通でリソースを利用していたWOVN管理画面において当該事象が発生しました。 ■対応 ・大量にデータアップロードが実施された場合でも、対象リソースへ影響をおよぼさないよう、レイトリミットを再設定しました。 ・大量のインプットデータへ対応できるよう、対象リソースを増強しました。 ■再発防止策 APIにおけるレイトリミットのガイドライン（設定方式やリミット閾値など）を再定義の上、システム全体におけるAPI通信を再確認致します。