Diseño y operación de 6 flujos ETL/ELT
Diseñé, implementé y administré 6 flujos ETL/ELT con Google
BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y
Transact‑SQL, integrando los datos para su procesamiento eficiente
mediante una API en Python.
2022 – 2024

Situación. La organización necesitaba consolidar y procesar grandes
volúmenes de datos tabulares procedentes de un almacén remoto
situado detrás de una VPN IPsec. Estos datos eran esenciales para
los paneles analíticos internos y las API Python externas utilizadas
por clientes y socios.

Tarea. El objetivo consistía en diseñar, implementar y mantener
flujos ETL/ELT sólidos y automatizados para recuperar, transformar y
cargar datos en Google BigQuery de forma segura, manteniendo
precisión, rendimiento y escalabilidad entre sistemas.

Acción. Se diseñaron, implementaron y administraron 6 flujos ETL/ELT
completos con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell,
PL/pgSQL y Transact‑SQL.

  * Se establecieron conexiones seguras con un servidor remoto
protegido por una VPN IPsec para automatizar la recuperación de
datos.

  * Se programaron y ejecutaron descargas de archivos comprimidos
con datos Parquet, CSV y .bak.

  * Se desarrollaron scripts Bash y Python para extraer y clasificar
los archivos según su tipo y esquema.

  * Las copias .bak se restauraron en una instancia local MSSQL
Server mediante procesos RESTORE DATABASE y se validó la integridad
del esquema.

  * Se cargaron datos tabulares en esquemas intermedios de MSSQL y
PostgreSQL con bcp, psql y SSIS, según el formato de origen.

  * Se escribieron procedimientos modulares y reutilizables PL/pgSQL
y T‑SQL para limpiar, normalizar y enriquecer los datos conforme a
la lógica de negocio.

  * Se exportaron las tablas y conjuntos depurados a formatos
intermedios, se comprimieron con gzip y se transfirieron de forma
segura a un bucket Google Cloud Storage.

  * Se automatizaron la carga y la correspondencia de esquemas en
Google BigQuery mediante bq CLI y scripts de ingesta Python.

Resultado. Los flujos automatizados redujeron considerablemente el
esfuerzo manual y el tiempo de procesamiento: de más de 3 horas de
trabajo manual a menos de 20 minutos de principio a fin, mejorando
además la actualidad de los datos al pasar de sincronizaciones
semanales a diarias. Las API Python que consumían los datos
mejoraron su rendimiento un 30 % y la mayor visibilidad permitió a
los analistas de negocio proporcionar información con más rapidez a
las partes interesadas. La solución sigue siendo escalable y
ampliable para incorporar nuevas fuentes a medida que crece el
negocio.

Categorías:
1Bases de datos	/es/categories/databases/	data.engineer.company	70
1PostgreSQL	/es/categories/postgresql/	data.engineer.company	70
1SQL	/es/categories/sql/	data.engineer.company	70
1Almacenes de datos	/es/categories/data-warehousing/	data.engineer.company	70
1Ingeniería de datos	/es/categories/data-engineering/	data.engineer.company	70
1Flujos de datos (ETL/ELT)	/es/categories/data-pipelines/	data.engineer.company	70
1Nube	/es/categories/cloud/	data.engineer.company	70
1Automatización y CI/CD	/es/categories/automation/	data.engineer.company	70
1Redes y VPN	/es/categories/networking/	data.engineer.company	70
1Python	/es/categories/python/	data.engineer.company	70

Servicios:
1Desarrollo de backend y API	/es/services/backend-development/	data.engineer.company	70
1Diseño y modelado de bases de datos	/es/services/database-design/	data.engineer.company	70
1Desarrollo de flujos de datos (ETL/ELT)	/es/services/data-pipeline-development/	data.engineer.company	70
1Diseño de almacenes de datos	/es/services/data-warehousing/	data.engineer.company	70
1Preparación de datos para IA	/es/services/ai-data/	data.engineer.company	70

hEsta página en la web	URL:https://data.engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/	data.engineer.company	70
