{"canonical_url":"https://engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/","content_markdown":"# 30 días de datos eléctricos en 180 ms\n\nDesarrollé variantes de agregación horaria del consumo eléctrico en Python, SQL y Bash + Jq, con una prueba en Python que procesó un conjunto JSONL de 30 días en 180 ms.\n\n2025\n\n**Situación.** La empresa procesa grandes volúmenes de datos eléctricos heterogéneos procedentes de varias fuentes, cada una con una frecuencia de comunicación distinta: desde intervalos horarios hasta intervalos de 15 minutos y, en algunos casos, marcas temporales irregulares. Esa variabilidad dificulta la creación de un conjunto de datos coherente y comparable. Para realizar análisis energéticos precisos, es necesario normalizar los datos en valores de consumo horario consistentes, agregados por zona.\n\n**Tarea.** El objetivo era transformar eventos sin procesar de un conjunto de datos histórico en formato JSONL en cifras de consumo eléctrico alineadas por horas, con una fila por hora y zona. La tarea comprendía, en concreto:\n\n- Alinear los datos con marca temporal a intervalos horarios estrictos.\n- Agregar la producción eléctrica total de cada intervalo sumando los valores de la combinación de fuentes.\n- Incorporar los intercambios transfronterizos sumando importaciones y restando exportaciones.\n- Producir los valores finales en un formato estructurado y escalable, adecuado para análisis posteriores.\n- La solución también debía ser suficientemente eficiente para cubrir periodos largos, de 30 días o más, y varios países o zonas.\n\n**Acción.** Para abordar la tarea se implementaron tres variantes con Python, JQ — para procesar JSON en la línea de órdenes — y SQL, optimizadas para contextos distintos:\n\nSe eligió Python por su flexibilidad, facilidad para manipular datos y capacidad para realizar transformaciones en memoria de forma eficiente. Con funciones de Python puro se construyó un flujo de procesamiento que:\n- Analizaba los archivos JSONL y los convertía en estructuras tabulares.\n- Remuestreaba las series temporales en intervalos horarios.\n- Agregaba la producción y calculaba el consumo eléctrico neto (producción + importaciones − exportaciones).\n- Exportaba los resultados a CSV o los cargaba en una base SQLite ligera para inspeccionarlos.\n\nJQ permitió crear una solución rápida y con pocas dependencias para entornos de línea de órdenes mediante una cadena de filtros JQ.\n\nEn PostgreSQL se importaron los datos JSONL, se crearon tablas normalizadas y se escribió una serie de consultas SQL.\n\nPara evaluar el rendimiento, se compararon las soluciones con conjuntos históricos de 1 día y de 30 días.\n\n**Resultado.** La implementación Python resultó la más rápida y escalable, con estos tiempos:\n\n- Procesamiento de 1 día en solo 34 ms.\n- Procesamiento de 30 días en 180 ms.\n\nEsto confirmó su idoneidad para periodos más largos manteniendo tiempos inferiores a un segundo. Además, el código era claro y fácil de mantener, ampliar al procesamiento de varias zonas o integrar en un flujo ETL.\n\nEn conjunto, el enfoque con varias herramientas demostró flexibilidad en su elección, una optimización eficaz del rendimiento y un tratamiento sólido de los problemas de alineación temporal y agregación en flujos de datos eléctricos reales.\n\n---\n\n- Función: Ingeniera de plataformas y datos\n- Categorías: [Bases de datos](https://data.engineer.company/es/categories/databases/), [PostgreSQL](https://data.engineer.company/es/categories/postgresql/), [SQL](https://data.engineer.company/es/categories/sql/), [Ingeniería de datos](https://data.engineer.company/es/categories/data-engineering/), [Flujos de datos (ETL/ELT)](https://data.engineer.company/es/categories/data-pipelines/), [Análisis de datos](https://data.engineer.company/es/categories/data-analytics/), [Automatización y CI/CD](https://data.engineer.company/es/categories/automation/), [Optimización del rendimiento](https://data.engineer.company/es/categories/performance/), [Python](https://data.engineer.company/es/categories/python/)\n- Servicios: [Optimización del rendimiento de bases de datos](https://data.engineer.company/es/services/database-performance/), [Desarrollo de flujos de datos (ETL/ELT)](https://data.engineer.company/es/services/data-pipeline-development/), [Análisis de datos y paneles de BI](https://data.engineer.company/es/services/data-analytics-bi/)\n\n\u003chttps://engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/\u003e\n","date_modified":"2026-11-15T19:47:44Z","description":"Agregación eléctrica desarrollada y medida en Python, SQL y Bash + Jq; Python procesó un conjunto de datos JSONL de 30 días en 180 ms.","formats":{"gemtext":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.gmi","gopher":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/gophermap","html":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/","json":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.json","markdown":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.md","pdf":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.pdf"},"kind":"page","language":"es","title":"Agregación eléctrica horaria en 180 ms","url":"https://data.engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/","version":1}