PAY.JP incident

サービス全体でレスポンス遅延やタイムアウトなどが発生しております

Notice Resolved View vendor source →

PAY.JP experienced a notice incident on February 20, 2025, lasting 7h 39m. The incident has been resolved; the full update timeline is below.

Started
Feb 20, 2025, 01:51 AM UTC
Resolved
Feb 20, 2025, 09:30 AM UTC
Duration
7h 39m
Detected by Pingoru
Feb 20, 2025, 01:51 AM UTC

Update timeline

  1. investigating Feb 20, 2025, 01:51 AM UTC

    2025-02-20 09:00 頃からサービス全体のレスポンスが遅延する状況が発生しております。 原因は現在調査中です。詳細が分かり次第続報をお出しします。 このたびはご迷惑をおかけし申し訳ございません。

  2. investigating Feb 20, 2025, 02:29 AM UTC

    レスポンス遅延の原因としてはデータベースの負荷上昇が原因となっており、この事象の原因はまだ特定できておりません。 2025-02-20 10:50 頃に暫定処置としてライブモードの Term オブジェクトの charge_count を更新する処理を一時停止させました。 この影響で Term の charge_count はリアルタイムに更新されないようになり、締め処理にて正常な値に戻ります。 また、2025-02-20 10:50 頃から 11:28 頃まで管理画面にログインできない現象が発生しておりました。 この事象については原因を特定し改善しております。 ご利用の皆様にはご迷惑をおかけしますがよろしくお願いします。

  3. monitoring Feb 20, 2025, 07:20 AM UTC

    2025-02-20 15:35 頃よりレスポンス遅延が解消したことを確認いたしました。引き続きモニタリングを行います。

  4. resolved Feb 20, 2025, 09:30 AM UTC

    一定時間のレスポンス速度の安定が確認できたためモニタリングを解除し本件を解消済みといたします。 このたびはご迷惑をおかけし申し訳ございませんでした。 また本件の対応としてリアルタイムの更新を停止している Term の charge_count については、引き続きリアルタイムの更新は停止、締め処理後に正しい数値が取得できる状態とさせていただきます。 本機能の今後については後日改めてご連絡させていただきます。

  5. postmortem Feb 21, 2025, 07:27 AM UTC

    本件の対応として実施している Term オブジェクトの charge\_count の更新についてご連絡いたします。 3月1日から一時停止を取りやめ、Term オブジェクトの charge\_count のリアルタイム更新を再実施いたします。 また、2月中はリアルタイム更新はされず、入金サイクルの締め処理時に正しい値に更新される予定ですので、2月分の値を参照したい場合は締め処理が完了した3月初旬ごろにご確認ください。 この度はご迷惑をおかけし大変申し訳ございませんでした。