Engineer / Datos / Portafolio
30 días de datos eléctricos en 180 ms
Desarrollé variantes de agregación horaria del consumo eléctrico en Python, SQL y Bash + Jq, con una prueba en Python que procesó un conjunto JSONL de 30 días en 180 ms.
2025
Situación. La empresa procesa grandes volúmenes de datos eléctricos heterogéneos procedentes de varias fuentes, cada una con una frecuencia de comunicación distinta: desde intervalos horarios hasta intervalos de 15 minutos y, en algunos casos, marcas temporales irregulares. Esa variabilidad dificulta la creación de un conjunto de datos coherente y comparable. Para realizar análisis energéticos precisos, es necesario normalizar los datos en valores de consumo horario consistentes, agregados por zona.
Tarea. El objetivo era transformar eventos sin procesar de un conjunto de datos histórico en formato JSONL en cifras de consumo eléctrico alineadas por horas, con una fila por hora y zona. La tarea comprendía, en concreto:
- Alinear los datos con marca temporal a intervalos horarios estrictos.
- Agregar la producción eléctrica total de cada intervalo sumando los valores de la combinación de fuentes.
- Incorporar los intercambios transfronterizos sumando importaciones y restando exportaciones.
- Producir los valores finales en un formato estructurado y escalable, adecuado para análisis posteriores.
- La solución también debía ser suficientemente eficiente para cubrir periodos largos, de 30 días o más, y varios países o zonas.
Acción. Para abordar la tarea se implementaron tres variantes con Python, JQ — para procesar JSON en la línea de órdenes — y SQL, optimizadas para contextos distintos:
Se eligió Python por su flexibilidad, facilidad para manipular datos y capacidad para realizar transformaciones en memoria de forma eficiente. Con funciones de Python puro se construyó un flujo de procesamiento que:
- Analizaba los archivos JSONL y los convertía en estructuras tabulares.
- Remuestreaba las series temporales en intervalos horarios.
- Agregaba la producción y calculaba el consumo eléctrico neto (producción + importaciones − exportaciones).
- Exportaba los resultados a CSV o los cargaba en una base SQLite ligera para inspeccionarlos.
JQ permitió crear una solución rápida y con pocas dependencias para entornos de línea de órdenes mediante una cadena de filtros JQ.
En PostgreSQL se importaron los datos JSONL, se crearon tablas normalizadas y se escribió una serie de consultas SQL.
Para evaluar el rendimiento, se compararon las soluciones con conjuntos históricos de 1 día y de 30 días.
Resultado. La implementación Python resultó la más rápida y escalable, con estos tiempos:
- Procesamiento de 1 día en solo 34 ms.
- Procesamiento de 30 días en 180 ms.
Esto confirmó su idoneidad para periodos más largos manteniendo tiempos inferiores a un segundo. Además, el código era claro y fácil de mantener, ampliar al procesamiento de varias zonas o integrar en un flujo ETL.
En conjunto, el enfoque con varias herramientas demostró flexibilidad en su elección, una optimización eficaz del rendimiento y un tratamiento sólido de los problemas de alineación temporal y agregación en flujos de datos eléctricos reales.