6 pipelines ETL/ELT conçus et exploités
Conçu, mis en œuvre et administré 6 pipelines ETL/ELT avec Google
BigQuery, MSSQL, PostgreSQL, des scripts Shell, PL/pgSQL et
Transact‑SQL, en intégrant les données pour leur traitement efficace
par une API Python.
2022 – 2024

Situation. L'organisation devait réunir et traiter de grandes
quantités de données tabulaires provenant d'un entrepôt distant
accessible derrière un VPN IPsec. Ces données étaient essentielles
aux tableaux de bord analytiques internes et aux API Python externes
utilisées par les clients et partenaires.

Tâche. L'objectif était de concevoir, mettre en œuvre et maintenir
des pipelines ETL/ELT solides et automatisés pour récupérer,
transformer et charger les données dans Google BigQuery en sécurité,
avec une exigence de précision, de performances et de montée en
charge entre systèmes.

Action. 6 pipelines ETL/ELT de bout en bout ont été conçus, mis en
œuvre et administrés avec Google BigQuery, MSSQL, PostgreSQL, des
scripts Shell, PL/pgSQL et Transact‑SQL.

  * Des connexions sécurisées à un serveur distant protégé par VPN
IPsec ont été établies pour automatiser la récupération des données.

  * Les téléchargements d'archives compressées contenant des
fichiers Parquet, CSV et .bak ont été planifiés et exécutés.

  * Des scripts Bash et Python ont été développés pour extraire et
classer les fichiers selon leur type et leur schéma.

  * Les sauvegardes .bak ont été restaurées dans une instance MSSQL
Server locale avec RESTORE DATABASE, puis l'intégrité du schéma a
été validée.

  * Les données tabulaires ont été chargées dans des schémas de
préparation MSSQL et PostgreSQL avec bcp, psql et SSIS, selon le
format source.

  * Des procédures PL/pgSQL et T‑SQL modulaires et réutilisables ont
été écrites pour nettoyer, normaliser et enrichir les données selon
la logique métier.

  * Les jeux et tables préparés ont été exportés dans des formats
intermédiaires, compressés avec gzip et transférés de façon
sécurisée vers un bucket Google Cloud Storage.

  * Les transferts vers Google BigQuery et la correspondance des
schémas ont été automatisés avec bq CLI et des scripts d'ingestion
Python.

Résultat. Ces pipelines ont fortement réduit le travail manuel et la
durée des traitements : 3 heures ou plus de travail manuel sont
devenues moins de 20 minutes de bout en bout, tandis que les
synchronisations sont passées d'hebdomadaires à quotidiennes. Les
API Python consommant ces données ont gagné 30 % de performances et
la meilleure visibilité a permis aux analystes de fournir plus vite
leurs analyses aux parties prenantes. La solution reste évolutive et
extensible pour intégrer de nouvelles sources avec la croissance de
l'entreprise.

Catégories:
1Bases de données	/fr/categories/databases/	data.engineer.company	70
1PostgreSQL	/fr/categories/postgresql/	data.engineer.company	70
1SQL	/fr/categories/sql/	data.engineer.company	70
1Entrepôts de données	/fr/categories/data-warehousing/	data.engineer.company	70
1Ingénierie des données	/fr/categories/data-engineering/	data.engineer.company	70
1Pipelines de données (ETL/ELT)	/fr/categories/data-pipelines/	data.engineer.company	70
1Cloud	/fr/categories/cloud/	data.engineer.company	70
1Automatisation et CI/CD	/fr/categories/automation/	data.engineer.company	70
1Réseaux et VPN	/fr/categories/networking/	data.engineer.company	70
1Python	/fr/categories/python/	data.engineer.company	70

Prestations:
1Développement backend et API	/fr/services/backend-development/	data.engineer.company	70
1Conception et modélisation de bases de données	/fr/services/database-design/	data.engineer.company	70
1Développement de pipelines de données (ETL/ELT)	/fr/services/data-pipeline-development/	data.engineer.company	70
1Conception d'entrepôts de données	/fr/services/data-warehousing/	data.engineer.company	70
1Préparation des données à l'IA	/fr/services/ai-data/	data.engineer.company	70

hCette page sur le Web	URL:https://data.engineer.company/fr/portfolio/designed-and-ran-6-etl-elt-pipelines/	data.engineer.company	70
