# PythonとPL/pgSQLでデータ処理を自動化

Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。

2015 – 2022

状況. 繰り返すデータ処理が継続的に手作業で行われていた。時間を使うだけでなく、同じ作業を何度も手で行えば少しずつ方法が変わり、その違いの一部が誤りになるという、二重の問題があった。

課題. 作業を自動化し、時間を取り戻すとともに、確実に実行できるようにすることを目指した。

行動. 対象のデータベースとシステムをまたいで、仕事に適した道具で自動化した。接続にはShell、データベース内にはPL/pgSQL・Transact‑SQL、SQLだけでは足りない処理にはPythonを用いた。手動工程を毎回同じ動作のジョブへ置き換えた。スクリプトは退屈せず、手順を飛ばさず、金曜の午後だからと方法を変えないことが意味を持った。

結果. 生産性と効率が高まり、人の手作業負担が減った。データ処理は、小さな反復ミスの原因ではなく、一貫して頼れるものになった。

役割: データエンジニア
=> /ja/categories/databases/ カテゴリー: データベース
=> /ja/categories/postgresql/ カテゴリー: PostgreSQL
=> /ja/categories/sql/ カテゴリー: SQL
=> /ja/categories/data-engineering/ カテゴリー: データエンジニアリング
=> /ja/categories/data-pipelines/ カテゴリー: データパイプライン（ETL/ELT）
=> /ja/categories/automation/ カテゴリー: 自動化・CI/CD
=> /ja/categories/python/ カテゴリー: Python
=> /ja/services/database-administration/ サービス: データベース管理（DBA）
=> /ja/services/data-pipeline-development/ サービス: データパイプライン開発（ETL/ELT）
=> /ja/services/devops-cicd/ サービス: DevOps・CI/CD自動化

=> https://data.engineer.company/ja/portfolio/automated-data-processing-in-python-and-pl-pgsql/ このページのウェブ版
