本文へ移動

30日分の電力データを180 msで処理

Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。

180 ms 1か月分のメーター値を集計

状況. 同社は複数のソースから来る、形式の異なる大量の電力データを処理していた。報告間隔も1時間ごとから15分ごとまで異なり、不規則な時刻の記録もあった。この違いが、一貫して比較できるデータセットの作成を難しくしていた。正確な電力分析のため、データを一定の時間別消費量へ正規化し、地域ごとに集計する必要があった。

課題. JSONL形式の履歴データにある生のイベントを、1時間・1地域につき1行の、時刻のそろった電力消費量へ変換することが目的だった。具体的な作業は次のとおりだった:

  • 時刻付きデータを厳密な1時間間隔にそろえる。
  • 電源構成の値を加算し、各区間の総発電量を集計する。
  • 輸入を加え輸出を差し引き、国境を越える電力融通を反映する。
  • 続く分析に適した、構造化され拡張可能な形式で結果を出力する。
  • さらに、30日以上の長期間と複数の国・地域にも対応できる処理効率が必要だった。

行動. Python、コマンドラインJSON処理用のJQ、SQLの3通りを実装し、それぞれ異なる状況に合わせて最適化した:

Pythonは、柔軟性、データ操作のしやすさ、メモリー内変換の効率から選んだ。純粋なPython関数を使い、次のパイプラインを構築した:

  • JSONLファイルをデータフレームへ読み込む。
  • 時系列を1時間間隔に再サンプリングする。
  • 発電量を集計し、正味消費量(発電 + 輸入 − 輸出)を計算する。
  • CSVへ出力するか、確認用の軽量SQLiteデータベースへ読み込む。

JQでは、コマンドライン環境向けに、依存関係が少なく素早く使えるフィルターチェーンを構築した。

PostgreSQLではJSONLデータを取り込み、正規化テーブルを作成して一連のSQLクエリを記述した。

性能評価には、各実装で1日分と30日分の履歴データを使用した。

結果. Python実装が最も速く、拡張性も高い結果となった:

  • 1日分の処理は34 ms。
  • 30日分のデータセットは180 ms。

この結果から、1秒未満の性能を保ちながら長期間を扱えることを確認した。コードも明確で保守しやすく、複数地域への拡張やETLパイプラインへの組み込みが容易だった。

複数ツールでの実装を通じ、現実の電力データパイプラインにおける時刻合わせと集計の課題に、柔軟な道具選びと性能最適化をもって対応できることを示した。

  • 送電線、畑、夕日
    写真: Nikiko / Pixabay
  • 時計、壁、時刻
    写真: dimitrisvetsikas1969 / Pixabay

この経験をお客様のプロジェクトに

「30日分の電力データを180 msで処理」を、お客様の組織の似た課題を考える出発点にしてください。この実績を支えたサービスを、お客様のプロジェクトにも提供できます。 年々重くなってきたシステムのクエリと不足するインデックスを調べ、効果のある箇所を改善します。

サービスを見る お問い合わせ

結果の背景を確かめる

この事例の状況、判断、結果をご覧ください。どの部分がお客様の制約の下でも生かせるか、どこに別の方法が必要かをご相談いただけます。 30日分の電力データを180 msで処理 — 180 ms 1か月分のメーター値を集計

サービスを見る お問い合わせ

前の実績: . 次に読む: . すべての実績はこちら: 実績紹介.

お客様には「30日分の電力データを180 msで処理」という事例として紹介しています — 他の事例とあわせて見る.

より多くの実績の 一つです — そのすべてをこのサイトで公開しています。

どの項目も、状況、課題、実施内容、変化という同じ構成で記載しています。

すべての実績を見る

必要な改善を定める

代表的なデータセット、そこから答えを得たい問い、現在のボトルネックをお知らせください。品質、処理量、復旧の測り方を合意できます。

料金を見る お問い合わせ

高速で効率的なデータパイプラインが必要ですか?

「30日分の電力データを180 msで処理」の判断の背景についてお尋ねください。仕事内容を説明し、お客様のプロジェクトを検討できる担当者が対応します。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。のQRコード
このページを持ち歩くhttps://data.engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/