obniz experienced a critical incident on April 24, 2022 affecting obnizCloud: Console and Device Connection Request, lasting 47m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- identified Apr 24, 2022, 02:20 AM UTC
We are recognized and fixing bad latency of obniz Cloud
- monitoring Apr 24, 2022, 02:31 AM UTC
We update some system and now monitoring applies of systems updates.
- resolved Apr 24, 2022, 02:47 AM UTC
We are recovered from incident.
- postmortem Apr 24, 2022, 02:48 AM UTC
発生時刻：2022/4/24 10:56\(JST\) 復旧時刻：2022/4/24 11:47\(JST\) 影響範囲： ・obniz.comのWebサイト ・デバイス接続リクエスト 非影響範囲： ・GraphQL API 影響詳細： 上記において非常に悪いレスポンスもしくは無応答やエラーレスポンスが発生しました。 必ず開けない・接続ができないわけではなく、一部のデバイスは正常な接続となっています。 原因：クラウド実行のサーバー負荷上昇 デバイスからの要請によりクラウド実行に多重のリクエストがかかり負荷が大きくなり、デバイス接続を始めとする多くのサービスに影響を与えました。その中には想定していないデバイスからのリクエストが含まれており、ソフトウェアバグにより本来実施検証をする必要がないリクエストに対する検証が行われて負荷が上昇し、その他のリクエストに影響を及ぼしていました。 対策：不要なクラウド実行の削除とソフトウェアバグの対策 負荷軽減のために一時的にクラウド実行のうち一部を全デバイスに対して停止。次に、本来実行する必要のないクラウド実行のみ行わないよう対策を実施。元になる余計なリクエストを生成するソフトウェアバグに関しては今後解消し負荷が上昇しないよう改善を行います。