本文へ移動

ETL/ELTパイプライン6本を設計・運用

Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。

6 3種類のDBエンジンにまたがるETLパイプライン

状況. IPsec VPNの背後にある遠隔データウェアハウスから、大量の表形式データを統合・処理する必要があった。社内の分析ダッシュボードと、顧客・協力先が利用する外部向けPython APIを動かす重要なデータだった。

課題. データを安全に取得・変換してGoogle BigQueryへ読み込む、堅実な自動ETL/ELTパイプライン群を設計・実装・保守し、システム全体で精度、性能、拡張性を確保することが目的だった。

行動. Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLにまたがる、一貫したETL/ELTパイプライン6本を設計・実装・管理した。

  • IPsec VPNで保護された遠隔サーバーへ安全に接続し、データ取得を自動化した。
  • Parquet、CSV、.bakを含む圧縮アーカイブのダウンロードを予定・実行した。
  • 形式とスキーマに応じてファイルを抽出・分類するBash・Pythonスクリプトを作成した。
  • .bakはRESTORE DATABASEの手順でローカルMSSQL Serverへ復元し、スキーマの整合性を検証した。
  • 元の形式に応じ、bcp、psql、SSISを用いて、MSSQL・PostgreSQLのステージングスキーマへ表データを読み込んだ。
  • 業務ロジックに沿うクレンジング、正規化、情報追加のため、再利用可能なPL/pgSQL・T‑SQL手続きをモジュール化して作成した。
  • 整備したデータセットとテーブルを中間形式に出力し、gzipで圧縮してGoogle Cloud Storageバケットへ安全に転送した。
  • bq CLIとPythonの取り込みスクリプトで、BigQueryへのアップロードとスキーマ対応付けを自動化した。

結果. 3時間以上の手作業を一連の処理で20分未満へ短縮し、更新頻度も週次から日次同期へ高めた。データを利用するPython APIの性能が30%向上し、可視性の改善によって業務分析担当者が関係者へより早く知見を届けられた。事業の成長に合わせて新たなソースを受け入れられる、拡張性のある構成となった。

  • 石油精製所、石油、産業
    写真: SatyaPrem / Pixabay
  • カマレス水道橋、建築
    写真: dimitrisvetsikas1969 / Pixabay

この経験をお客様のプロジェクトに

「ETL/ELTパイプライン6本を設計・運用」を、お客様の組織の似た課題を考える出発点にしてください。この実績を支えたサービスを、お客様のプロジェクトにも提供できます。 実際の業務に合った構造を設計し、将来必要になる問いにも答えられるようにします。

サービスを見る お問い合わせ

結果の背景を確かめる

この事例の状況、判断、結果をご覧ください。どの部分がお客様の制約の下でも生かせるか、どこに別の方法が必要かをご相談いただけます。 ETL/ELTパイプライン6本を設計・運用 — 6 3種類のDBエンジンにまたがるETLパイプライン

サービスを見る お問い合わせ

より多くの実績の 一つです — そのすべてをこのサイトで公開しています。

どの項目も、状況、課題、実施内容、変化という同じ構成で記載しています。

すべての実績を見る

必要な改善を定める

代表的なデータセット、そこから答えを得たい問い、現在のボトルネックをお知らせください。品質、処理量、復旧の測り方を合意できます。

料金を見る お問い合わせ

複数のソースのデータをまとめる必要がありますか?

「ETL/ELTパイプライン6本を設計・運用」の判断の背景についてお尋ねください。仕事内容を説明し、お客様のプロジェクトを検討できる担当者が対応します。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。のQRコード
このページを持ち歩くhttps://data.engineer.company/ja/portfolio/designed-and-ran-6-etl-elt-pipelines/