Diseño y operación de 6 flujos ETL/ELT
Diseñé, implementé y administré 6 flujos ETL/ELT con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL, integrando los datos para su procesamiento eficiente mediante una API en Python.
Trabajo realizado: 2022 – 2024
6 flujos ETL en tres motores de bases de datos
Situación. La organización necesitaba consolidar y procesar grandes volúmenes de datos tabulares procedentes de un almacén remoto situado detrás de una VPN IPsec. Estos datos eran esenciales para los paneles analíticos internos y las API Python externas utilizadas por clientes y socios.
Tarea. El objetivo consistía en diseñar, implementar y mantener flujos ETL/ELT sólidos y automatizados para recuperar, transformar y cargar datos en Google BigQuery de forma segura, manteniendo precisión, rendimiento y escalabilidad entre sistemas.
Acción. Se diseñaron, implementaron y administraron 6 flujos ETL/ELT completos con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL.
- Se establecieron conexiones seguras con un servidor remoto protegido por una VPN IPsec para automatizar la recuperación de datos.
- Se programaron y ejecutaron descargas de archivos comprimidos con datos Parquet, CSV y .bak.
- Se desarrollaron scripts Bash y Python para extraer y clasificar los archivos según su tipo y esquema.
- Las copias .bak se restauraron en una instancia local MSSQL Server mediante procesos RESTORE DATABASE y se validó la integridad del esquema.
- Se cargaron datos tabulares en esquemas intermedios de MSSQL y PostgreSQL con bcp, psql y SSIS, según el formato de origen.
- Se escribieron procedimientos modulares y reutilizables PL/pgSQL y T‑SQL para limpiar, normalizar y enriquecer los datos conforme a la lógica de negocio.
- Se exportaron las tablas y conjuntos depurados a formatos intermedios, se comprimieron con gzip y se transfirieron de forma segura a un bucket Google Cloud Storage.
- Se automatizaron la carga y la correspondencia de esquemas en Google BigQuery mediante bq CLI y scripts de ingesta Python.
Resultado. Los flujos automatizados redujeron considerablemente el esfuerzo manual y el tiempo de procesamiento: de más de 3 horas de trabajo manual a menos de 20 minutos de principio a fin, mejorando además la actualidad de los datos al pasar de sincronizaciones semanales a diarias. Las API Python que consumían los datos mejoraron su rendimiento un 30 % y la mayor visibilidad permitió a los analistas de negocio proporcionar información con más rapidez a las partes interesadas. La solución sigue siendo escalable y ampliable para incorporar nuevas fuentes a medida que crece el negocio.

Foto: SatyaPrem / Pixabay 
Foto: dimitrisvetsikas1969 / Pixabay
Aplique esta experiencia a su proyecto
Utilice «Diseño y operación de 6 flujos ETL/ELT» como punto de partida para un reto similar en su organización. Los servicios que respaldan este trabajo están disponibles para su proyecto. Una estructura que refleja cómo funciona el negocio para poder responder también a las preguntas que surjan más adelante.
Mire más allá del resultado
Lea la situación, las decisiones y el resultado de este ejemplo. Podemos hablar de qué partes se adaptan a sus restricciones y cuáles necesitan otro enfoque. Diseño y operación de 6 flujos ETL/ELT — 6 flujos ETL en tres motores de bases de datos
Vuelva a ver 1.000 incidencias de datos geográficos resueltas. O eche un vistazo al Portafolio completo.
Una parte de una trayectoria más amplia — y toda ella está en este sitio.
Cada entrada sigue la misma estructura: la situación, la tarea, lo que hicimos y lo que cambió.

