本文へ移動

遅い処理をRiverジョブキューへ移行

時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。

15 リクエストを速く保つワーカーモジュール

状況. メール、検索インデックス再構築、文書生成、順位再計算などは、利用者を待たせながら行うべき仕事ではなかった。リクエスト内では求めていない処理の待機表示を見せ、goroutineなら、デプロイ中の再起動で、実行予定だった記録もなく消えてしまう。

課題. 再起動に耐え、失敗を再試行し、未実行を確認できる、永続的なバックグラウンド処理の置き場が必要だった。

行動. 主にPostgreSQL内にキューを持つことからRiverを選んだ。DBはすでに記録の正本なので、ジョブと対象行を一緒にコミット・ロールバックでき、別の基盤を運用して理解する必要がない。15のワーカーモジュールと8定期タスクを設けた。その下では20個のpg_cronジョブが、パーティション削除、ソルト更新、集約更新など、DB自身に適した保守を担う。気になるほど遅い作業を、このどちらかへ移した。

結果. リクエストは早く返り、遅い作業も完了し、未完了なら再試行と履歴が残る。専用ブローカーでなくPostgresに置くのは意図的な限界であり、無限には伸びず、一定量では不適切になる。いずれにせよDBが制約となる基盤では、使わない余力より可動部分を1つ減らすことに価値を置いた。

  • 押し船、はしけ、ドナウ川
    写真: Anestiev / Pixabay
  • ロンドン、イングランド、建物
    写真: 12019 / Pixabay

この経験をお客様のプロジェクトに

「遅い処理をRiverジョブキューへ移行」を、お客様の組織の似た課題を考える出発点にしてください。この実績を支えたサービスを、お客様のプロジェクトにも提供できます。 実際の業務に合った構造を設計し、将来必要になる問いにも答えられるようにします。

サービスを見る お問い合わせ

結果の背景を確かめる

この事例の状況、判断、結果をご覧ください。どの部分がお客様の制約の下でも生かせるか、どこに別の方法が必要かをご相談いただけます。 遅い処理をRiverジョブキューへ移行 — 15 リクエストを速く保つワーカーモジュール

サービスを見る お問い合わせ

より多くの実績の 一つです — そのすべてをこのサイトで公開しています。

どの項目も、状況、課題、実施内容、変化という同じ構成で記載しています。

すべての実績を見る

必要な改善を定める

代表的なデータセット、そこから答えを得たい問い、現在のボトルネックをお知らせください。品質、処理量、復旧の測り方を合意できます。

料金を見る お問い合わせ

遅い処理が利用者を待たせていますか?

「遅い処理をRiverジョブキューへ移行」の判断の背景についてお尋ねください。仕事内容を説明し、お客様のプロジェクトを検討できる担当者が対応します。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。のQRコード
このページを持ち歩くhttps://data.engineer.company/ja/portfolio/moved-slow-work-onto-a-river-job-queue/