Karte.io experienced a critical incident on September 17, 2024 affecting KARTE Message, lasting 1d 20h. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Sep 17, 2024, 05:17 AM UTC
Messageβ機能で障害が発生しています。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE Messageßをご利用中のプロジェクト ■ 発生している現象 - KARTE Messageßのキャンペーン配信開始が遅延しています。 - KARTE Messageßの一部キャンペーンが配信に失敗しております。 現在、開発チームが原因を調査中です。 約1時間以内に続報を掲載します。
- investigating Sep 17, 2024, 06:29 AM UTC
KARTE Message ß のキャンペーン配信機能で障害が発生しています。 現象について詳細が判明したため更新いたします。 ■ 対象プロジェクト - KARTE Messageßをご利用中のプロジェクト ■ 発生している現象 - KARTE Messageßのメール配信キャンペーンで開始が遅延しています。 - KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。 ※なお、メール配信キャンペーンの配信途中でエラーが発生し、一部のユーザーのみに配信がされたという事象は確認されませんでした。 現在も、開発チームが原因の詳細を調査中です。進捗があり次第次第追って記載します。
- monitoring Sep 17, 2024, 08:34 AM UTC
※2024/09/18 08:35頃 「対象キャンペーンの確認方法と再送の方法」について、「実行回数が1回の施策」の場合の追記を行っています 本障害の解決に向けた対応を実施しました。 配信が実行されなかったキャンペーンの再実行が可能になったため、必要に応じてご対応お願いいたします。 ■ 対象プロジェクト - KARTE Messageßをご利用中のプロジェクト ■ 発生した現象 - KARTE Messageßのメール配信キャンペーンで開始が遅延しています。 - KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。 ※なお、メール配信キャンペーンの配信途中でエラーが発生し、一部のユーザーのみに配信がされたという事象は確認されませんでした。 ■ 発生期間 2024年9月17日 11時00分頃 ~ ■ 対象キャンペーンの確認方法と再送の方法 - 確認方法 キャンペーン管理画面にて、キャンペーンのステータスが「停止済み」になっているキャンペーン - 再送方法 - 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施 - 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施 現在、障害の解決を確認するために監視を続けています。 進捗があり次第ご報告いたします。
- resolved Sep 19, 2024, 05:10 AM UTC
障害が解消したのでご報告します。 ■ 発生期間 2024/09/17 12:45頃 ~ 2024/09/17 15:25頃 ■ 対象プロジェクト - KARTE Messageßをご利用中のプロジェクト ■ 発生した現象 - KARTE Messageßのメール配信キャンペーンで開始が遅延していました。 - KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。 ※ なお、「メール配信キャンペーンの配信途中でエラーが発生し一部のユーザーのみに配信がされた」という事象は確認されませんでした。 ■ 原因 - データベースの負荷が一時的に上昇しパフォーマンスが悪化してしまったため ■ 実施した対応 - データベースのパフォーマンスを一時的に引き上げました ■ 対象キャンペーンの確認方法と再送の方法 - 確認方法 - キャンペーン管理画面にて、発生期間内に配信が実行されたキャンペーンのうち、キャンペーンのステータスが「停止済み」になっているキャンペーンをご覧いただくと、当障害の影響で停止されたキャンペーンを確認可能です。 - 再送方法 - 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施 - 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施 この度はご迷惑をおかけし、大変申し訳ございませんでした。 なお、本障害の事後対応については、追って記載します。
- postmortem Sep 26, 2024, 02:06 AM UTC
この度発生したKARTE Message ß のキャンペーン配信機能に関する障害について、下記の通りご報告致します。 --- **発生期間** 2024/09/17 12:45頃 ~ 2024/09/17 15:25頃 **対象のプロジェクト** * KARTE Messageßをご利用中のプロジェクト **発生した現象** * KARTE Messageßのメール配信キャンペーンで開始が遅延していました。 * KARTE Messageßの一部メール配信キャンペーンで配信の実行がされませんでした。 ※ なお、「メール配信キャンペーンの配信途中でエラーが発生し一部のユーザーのみに配信がされた」という事象は確認されませんでした。 **発生原因** * データベースの負荷が一時的に上昇しパフォーマンスが悪化してしまったため **実施した対応** * データベースのパフォーマンスを一時的に引き上げました **対象キャンペーンの確認方法と再送の方法** * 確認方法 * キャンペーン管理画面にて、発生期間内に配信が実行されたキャンペーンのうち、キャンペーンのステータスが「停止済み」になっているキャンペーンをご覧いただくと、当障害の影響で停止されたキャンペーンを確認可能です。 * 再送方法 * 実行回数が「1回」の施策の場合：該当キャンペーンを複製し、再度配信を実施 * 実行回数が「繰り返し」の施策の場合：キャンペーン編集画面にて、再送したいキャンペーンを下書き状態に戻し、再度配信予約を実施 **今後の対応** * 処理を分散しデータベースの負荷が上昇しにくいアーキテクチャに変更します。 --- この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。