ETL/ELTパイプライン6本を設計・運用
Google
BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQL
を用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python
APIで効率的に処理できるようデータを統合した。
2022 – 2024

状況. IPsec
VPNの背後にある遠隔データウェアハウスから、大量の表形式データを統
合・処理する必要があった。社内の分析ダッシュボードと、顧客・協力先が
利用する外部向けPython
APIを動かす重要なデータだった。

課題. データを安全に取得・変換してGoogle
BigQueryへ読み込む、堅実な自動ETL/ELTパイプライン群を設計・実装・保
守し、システム全体で精度、性能、拡張性を確保することが目的だった。

行動. Google
BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQL
にまたがる、一貫したETL/ELTパイプライン6本を設計・実装・管理した。

  * IPsec VPNで保護された遠隔サーバーへ安全に接続し、データ取得を自
動化した。

  * Parquet、CSV、.bakを含む圧縮アーカイブのダウンロードを予定・実行
した。

  * 形式とスキーマに応じてファイルを抽出・分類するBash・Pythonスクリ
プトを作成した。

  * .bakはRESTORE DATABASEの手順でローカルMSSQL Serverへ復元し、ス
キーマの整合性を検証した。

  *
元の形式に応じ、bcp、psql、SSISを用いて、MSSQL・PostgreSQLのステージ
ングスキーマへ表データを読み込んだ。

  *
業務ロジックに沿うクレンジング、正規化、情報追加のため、再利用可能な
PL/pgSQL・T‑SQL手続きをモジュール化して作成した。

  * 整備したデータセットとテーブルを中間形式に出力し、gzipで圧縮して
Google Cloud
Storageバケットへ安全に転送した。

  * bq CLIとPythonの取り込みスクリプトで、BigQueryへのアップロードと
スキーマ対応付けを自動化した。

結果. 3時間以上の手作業を一連の処理で20分未満へ短縮し、更新頻度も週
次から日次同期へ高めた。データを利用するPython
APIの性能が30%向上し、可視性の改善によって業務分析担当者が関係者へよ
り早く知見を届けられた。事業の成長に合わせて新たなソースを受け入れら
れる、拡張性のある構成となった。

カテゴリー:
1データベース	/ja/categories/databases/	data.engineer.company	70
1PostgreSQL	/ja/categories/postgresql/	data.engineer.company	70
1SQL	/ja/categories/sql/	data.engineer.company	70
1データウェアハウス	/ja/categories/data-warehousing/	data.engineer.company	70
1データエンジニアリング	/ja/categories/data-engineering/	data.engineer.company	70
1データパイプライン（ETL/ELT）	/ja/categories/data-pipelines/	data.engineer.company	70
1クラウド	/ja/categories/cloud/	data.engineer.company	70
1自動化・CI/CD	/ja/categories/automation/	data.engineer.company	70
1ネットワーク・VPN	/ja/categories/networking/	data.engineer.company	70
1Python	/ja/categories/python/	data.engineer.company	70

サービス:
1バックエンド・API開発	/ja/services/backend-development/	data.engineer.company	70
1データベース設計・モデリング	/ja/services/database-design/	data.engineer.company	70
1データパイプライン開発（ETL/ELT）	/ja/services/data-pipeline-development/	data.engineer.company	70
1データウェアハウス設計	/ja/services/data-warehousing/	data.engineer.company	70
1AIが使えるデータの整備	/ja/services/ai-data/	data.engineer.company	70

hこのページのウェブ版	URL:https://data.engineer.company/ja/portfolio/designed-and-ran-6-etl-elt-pipelines/	data.engineer.company	70
