Karte.io experienced a notice incident on December 31, 2024 affecting イベントトラッキング and 接客の配信, lasting 3h 16m. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Dec 31, 2024, 02:29 PM UTC
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生しています。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 対象機能 - 接客サービス配信機能 ■ 発生している現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加している - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗する 現在、開発チームが原因を調査中です。 約1時間以内に続報を掲載します。
- investigating Dec 31, 2024, 02:59 PM UTC
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。 本障害解消のための対応を行いました。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 対象機能 - 接客サービス配信機能 ■ 発生していた現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した ■ 発生期間 2024年12月31日 22時50分頃 ~ 現在、障害の解決を確認するために監視を続けています。
- monitoring Dec 31, 2024, 03:02 PM UTC
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。 本障害解消のための対応を行いました。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 対象機能 - 接客サービス配信機能 ■ 発生していた現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した ■ 発生期間 2024年12月31日 22時50分頃 ~ 現在、障害の解決を確認するために監視を続けています。
- identified Dec 31, 2024, 03:22 PM UTC
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生しています。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 対象機能 - 接客サービス配信機能 ■ 発生していた現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した ■ 発生期間 2024年12月31日 22時50分頃 ~ 現在、開発チームが原因を調査中です。 約1時間以内に続報を掲載します。
- monitoring Dec 31, 2024, 04:08 PM UTC
一部のイベントでトラッキング完了までに過度に時間がかかる障害が発生していました。 本障害解消のための対応を行いました。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 対象機能 - 接客サービス配信機能 ■ 発生していた現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加していた - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した ■ 発生期間 2024年12月31日 22時50分頃 ~ 現在、障害の解決を確認するために監視を続けています。
- resolved Dec 31, 2024, 05:45 PM UTC
障害が解消したのでご報告します。 ■ 発生期間 -2024/12/31 22時50分頃 〜 2025/1/1 1時40分頃 ■ 対象プロジェクト - KARTE InsightとKARTE Actionを利用中の全プロジェクト ■ 発生していた現象 - イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加し、一部イベントが欠損した（1日あたりに換算すると 約1.5%に該当） - その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した（1日あたりに換算すると 約1.8%に該当） ■ 原因 - KARTE の設定を保持しているデータベースに対して負荷が集中した結果、処理に時間がかかるようになったため ■ 実施した対応 - データベースへのキャッシュを含め、データベースのリソースを増強した ■ 今後の対応 - データベース同時接続のリミットを超えないように素早くリソースの増強処理ができるよう、停止原因の調査と対策を行う - 仮に同時接続数のリミットを超えた場合でも一定時間は稼働できる割合を増やす仕組みの検討を行う この度はご迷惑をおかけし、大変申し訳ございませんでした。
- postmortem Jan 10, 2025, 04:38 AM UTC
この度発生したイベントトラッキング及び接客配信に関する障害について、下記の通りご報告致します。 --- **発生期間** 2024/12/31 22時50分頃 〜 2025/1/1 1時40分頃 **対象のプロジェクト** KARTE InsightとKARTE Actionを利用中の全プロジェクト **発生した現象** * イベントのトラッキング完了までに過度に時間がかかるケースが一時的に増加し、一部イベントが欠損した（1日あたりに換算すると 約1.5%に該当） * その結果、一部のイベントを配信トリガーとする接客サービスの配信・実行が失敗した（1日あたりに換算すると 約1.8%に該当） **発生原因** * KARTEの設定を保持しているデータベースに対して負荷が集中した結果、処理に時間がかかるようになったため **実施した対応** * データベースへのキャッシュを含め、データベースのリソースを増強した **今後の対応** * データベース同時接続のリミットを超えないように素早くリソースの増強処理ができるよう、停止原因の調査と対策を行う * 仮に同時接続数のリミットを超えた場合でも一定時間は稼働できる割合を増やす仕組みの検討を行う --- この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。