PAY.JP incident

2023/04/29 18:40 - 04/30 02:00 断続的な上流決済サービス障害によるAPI遅延

Major Resolved View vendor source →

PAY.JP experienced a major incident on April 29, 2023, lasting 15h 39m. The incident has been resolved; the full update timeline is below.

Started
Apr 29, 2023, 09:54 AM UTC
Resolved
Apr 30, 2023, 01:34 AM UTC
Duration
15h 39m
Detected by Pingoru
Apr 29, 2023, 09:54 AM UTC

Update timeline

  1. identified Apr 29, 2023, 09:54 AM UTC

    2023-04-29 18:40 上流決済サービスの遅延の影響で、一部のAPIに高い負荷を検知しています。現在詳しい調査を進めております。

  2. monitoring Apr 29, 2023, 10:23 AM UTC

    2023-04-29 19:14 遅延が回復傾向にあることを確認しました。引き続き監視と状況の確認を行っております。

  3. identified Apr 29, 2023, 01:42 PM UTC

    2023-04-29 22:31 上流決済サービスの遅延が再発しており、この影響でAPIに遅延が発生しております。現在詳しい調査を進めております。

  4. monitoring Apr 29, 2023, 02:21 PM UTC

    2023-04-29 23:05 上流決済サービスより回復傾向の報告があり、PAY.JPでも回復傾向が確認できております。引き続き監視と状況の確認を行っております。

  5. identified Apr 29, 2023, 03:05 PM UTC

    2023-04-29 23:52 上流決済サービスの遅延が再発しており、この影響でAPIに遅延が発生しております。現在詳しい調査を進めております。

  6. identified Apr 29, 2023, 04:02 PM UTC

    2023-04-30 00:57 上流決済サービスの接続障害により、断続的にAPI操作が遅延しています。上流決済サービスからは復旧見込は未定との連絡が入っております。

  7. monitoring Apr 29, 2023, 05:32 PM UTC

    2023-04-30 02:00 上流決済サービスより、障害原因の特定および対策を4/30 2:00ごろに実施した旨の報告を受けております。 PAY.JP上も、同時刻以降問題が発生していないことが確認できております。 当面の間、監視を継続いたします。

  8. resolved Apr 30, 2023, 01:34 AM UTC

    本障害は 2023/04/30 02:00 ごろに収束し、現在は正常に稼働しています。 影響範囲調査とともに監視を続行しておりましたが、再発の兆候はみられないため、監視を終了いたします。 特に、下記の時間帯においてPAY.JPの高負荷を確認しております。 ・14:50〜15:15 ・18:40〜19:15 ・22:30〜23:10 ・23:45〜01:05 ・01:45〜02:00 なお、本障害は https://status.pay.jp/incidents/8tcndwvnjbyz と同一原因となっておりそちらの時間も含んでおります。 本障害の詳細につきましてはPostmortemにて後日ご報告をさせていただきます。 この度はご迷惑をおかけし、申し訳ございませんでした。