PAY.JP experienced a critical incident on January 11, 2024, lasting —. The incident has been resolved; the full update timeline is below.
Update timeline
- investigating Jan 11, 2024, 03:48 PM UTC
2024-01-12 00:40頃～ API等のエラーレートの上昇が確認されています。現在、詳しい状況を調査中です。
- monitoring Jan 11, 2024, 04:14 PM UTC
2024-01-12 01:14 現在は正常にアクセス可能になったことを確認しております。引き続き原因および影響範囲の調査を続けております。
- resolved Jan 11, 2024, 06:25 PM UTC
2024-01-12 03:25 調査の結果、2024-01-12 00:39 〜 2024-01-12 01:02 に PAY.JP の全サービスで障害が発生していたことが確認できました。 原因はデータベースの突発的なクラッシュによるものと判断しております。 上記の事象につきましてはクラウドサービス（ Amazon Web Services ）に確認の上、追加でご報告すべき内容があれば Postmortem にてご報告させていただきます。 この障害の影響を受けた決済につきましては弊社にて不整合なデータの修正をさせていただき、必要に応じて補正内容について別途個別にご連絡を差し上げます。 この度はご迷惑をおかけし、誠に申し訳ありませんでした。
- postmortem Jan 12, 2024, 11:51 AM UTC
## 発生事象 本障害は、AWSの内部的なストレージ障害に起因してDBのフェイルオーバーが発生し、フェイルオーバー完了までの間DBアクセスが不能となったことが原因でした。 通常フェイルオーバーは1～数分程度で終了しますが、本障害ではストレージ障害の影響によりフェイルオーバー完了までの時間が通常より長くなっていたとの報告を受けております。 ## 影響と対応 PAY.JPシステム全体で静的ページを除く全てのリクエストがタイムアウト、またはエラーとなりました。 また、本事象により弊社サービス内の決済データと上流カードネットワークにおけるデータ不整合が数件見られました。 不整合の影響のあったお客様には、必要に応じて個別にご連絡を差し上げております。 この度はご迷惑をおかけし、誠に申し訳ありませんでした。