Karte.io incident
固定IPアドレスから外部サービスとの連携機能（SFTP連携、Salesforce Marketing Cloud連携、Marketo定期連携）で障害が発生していました
Karte.io experienced a major incident on October 8, 2024 affecting KARTE Datahub, lasting 1d 5h. The incident has been resolved; the full update timeline is below.
Affected components
Update timeline
- investigating Oct 08, 2024, 12:06 AM UTC
固定IPアドレスから外部サービスとの連携機能で障害が発生しています。 想定される主な影響は次の通りです。 ■ 対象プロジェクト - KARTE Datahubをご利用中のプロジェクト ■ 発生している現象 - 固定IPアドレスから外部サービスとの連携機能（SFTP連携、Salesforce Marketing Cloud連携、Marketo定期連携）を使っている場合、ジョブフロー失敗率が上昇することを確認しています。 固定IPアドレスについて： https://developers.karte.io/docs/static-server 現在、開発チームが詳しい状況と原因を調査中です。 進捗があり次第更新します。
- investigating Oct 08, 2024, 01:03 AM UTC
固定IPアドレスから外部サービスとの連携機能で障害が発生しています。 現在も開発チームが原因の詳細を調査中です。詳しい状況と原因が確認でき次第追って記載します。
- investigating Oct 08, 2024, 03:19 AM UTC
固定IPアドレスから外部サービスとの連携機能で障害が発生しています。 高い負荷や処理の遅延が発生していることは確認できていますが、詳しい原因の特定に至っておりません。 現在も開発チームが原因の詳細を調査中です。詳しい状況と原因が確認でき次第追って記載します。
- monitoring Oct 08, 2024, 07:32 AM UTC
本障害の解決に向けた対応を実施しました。 固定IPアドレスから外部サービスとの連携機能で障害が発生しています。 想定される主な影響は次の通りです。 ■ 発生期間 - 2024/10/07 20:00頃 〜 確認中 ■ 対象プロジェクト - KARTE Datahubをご利用中のプロジェクト ■ 発生している現象 - 固定IPアドレスから外部サービスとの連携機能（SFTP連携、Salesforce Marketing Cloud連携、Marketo定期連携）を使用するジョブフローの一部で、処理の進行が著しく遅延し、ジョブフロー失敗率が上昇した。 固定IPアドレスについて： https://developers.karte.io/docs/static-server ■ 該当ジョブ確認方法 ジョブフローが失敗している可能性があるため、以下方法にてご確認ください。 - KARTE Datahub > ジョブフロー一覧画面 > 各ジョブフローのステータス - 「お知らせ・通知機能」から配信されているエラー通知 → 障害解消時点で実行中になっているジョブは、継続して実行されます。 ただし、ジョブ開始から3時間経過した場合ジョブフローの仕様によりエラーになるため、エラーになった場合は手動により再実行をお願いします。また、上記に限らずエラーになっているジョブは、必要に応じて手動による再実行をお願いします。 ■ 実施した対応 - サーバーの再起動 現在、障害の解決を確認するために監視を続けています。 進捗があり次第更新します。
- resolved Oct 09, 2024, 05:41 AM UTC
障害が解消したのでご報告します。 ■ 発生期間 - 2024/10/07 20:00頃 〜 2024/10/08 12:00頃 ■ 対象プロジェクト - KARTE Datahubをご利用中のプロジェクト ■ 発生した現象 - 固定IPアドレスから外部サービスとの連携機能（SFTP連携、Salesforce Marketing Cloud連携、Marketo定期連携）を使用するジョブフローの一部で、処理の進行が著しく遅延し、ジョブフロー失敗率が上昇した ■ 原因 - 負荷の高い処理が突発的に多発し、サーバーの処理が一時的に滞ったため ■ 実施した対応 - サーバーの再起動 この度はご迷惑をおかけし、大変申し訳ございませんでした。
- postmortem Oct 15, 2024, 02:14 AM UTC
この度発生した固定IPアドレスから外部サービスとの連携機能に関する障害について、下記の通りご報告致します。 --- **発生期間** * 2024/10/07 20:00頃 〜 2024/10/08 12:00頃 **対象のプロジェクト** * KARTE Datahubをご利用中のプロジェクト **発生した現象** * 固定IPアドレスから外部サービスとの連携機能（SFTP連携、Salesforce Marketing Cloud連携、Marketo定期連携）を使用するジョブフローの一部で、処理の進行が著しく遅延し、ジョブフロー失敗率が上昇した **発生原因** * 負荷の高い処理が突発的に多発し、サーバーの処理が一時的に滞ったため **実施した対応** * サーバーの再起動 **今後の対応** * ピーク時の必要リソース群を中心に監視するメトリクスの調整と、リソースマネージメントの見直しを行います。 --- この度はご迷惑をおかけしてしまい、誠に申し訳ございませんでした。