30 dages eldata på 180 ms
Har udviklet varianter til timeaggregering af elforbrug i Python,
SQL og Bash + Jq; i benchmarken behandlede Python ét JSONL‑datasæt
for 30 dage på 180 ms.
2025

Situation. Virksomheden behandler store mængder heterogene eldata
fra flere datakilder, som hver har sin egen rapporteringsfrekvens —
fra timeintervaller til intervaller på 15 minutter og i nogle
tilfælde uregelmæssige tidsstempler. Den variation gør det svært at
skabe et sammenhængende og sammenligneligt datasæt. For at
understøtte præcise energianalyser skal dataene normaliseres til
ensartede forbrugsværdier pr. time, aggregeret pr. zone.

Opgave. Målet var at tage rå hændelsesdata fra et historisk datasæt
(i JSONL‑format) og omdanne dem til elforbrugstal afstemt til hele
timer, struktureret som én række pr. time og pr. zone. Konkret gik
opgaven ud på at:

  * afstemme tidsstemplede data til faste timeintervaller,

  * aggregere den samlede elproduktion i hvert interval ved at
summere værdierne for produktionsmikset,

  * indregne den grænseoverskridende udveksling ved at lægge import
til og trække eksport fra,

  * skrive de endelige værdier ud i et struktureret, skalerbart
format, der egner sig til videre analyse.

  * Løsningen skulle desuden være effektiv nok til at skalere til
store tidsvinduer (30+ dage) og til flere lande/zoner.

Handling. Opgaven blev grebet an med tre forskellige varianter af
løsningen, implementeret i henholdsvis Python, JQ (til
JSON‑behandling på kommandolinjen) og SQL og hver optimeret til sin
egen sammenhæng:

Python blev valgt for sin fleksibilitet, den lette databehandling og
evnen til at håndtere transformationer i hukommelsen effektivt. Med
rene Python‑funktioner blev der bygget en pipeline, som:

  * parsede JSONL‑filerne til strukturerede dataframes

  * samplede tidsseriedataene om til timeintervaller

  * aggregerede produktionen og beregnede nettoelforbruget
(produktion + import − eksport)

  * eksporterede resultaterne som CSV eller indlæste dem i en let
SQLite‑database, så de kunne efterses.

JQ blev brugt til en hurtig løsning med minimale afhængigheder til
kommandolinjemiljøer, bygget som en kæde af JQ‑filtre.

I PostgreSQL blev JSONL‑dataene importeret, normaliserede tabeller
oprettet og en række SQL‑forespørgsler skrevet.

For at vurdere ydeevnen blev hver løsning benchmarket med historiske
datasæt på både 1 dag og 30 dage.

Resultat. Python‑implementeringen viste sig at være den hurtigste og
mest skalerbare løsning og klarede:

  * 1 dags data på blot 34 ms

  * 30 dages datasæt på 180 ms

Det bekræftede, at den egnede sig til længere tidsrum med
behandlingstider under et sekund. Den gav også klar kode, der var
nem at vedligeholde og let kunne udvides til behandling af flere
zoner eller integreres i en ETL‑pipeline.

Samlet set viste tilgangen med flere værktøjer fleksibilitet i
valget af værktøjer, stærk ydeevneoptimering og robust håndtering af
udfordringerne med tidsafstemning og aggregering i rigtige pipelines
for eldata.

Kategorier:
1Databaser	/da/categories/databases/	data.engineer.company	70
1PostgreSQL	/da/categories/postgresql/	data.engineer.company	70
1SQL	/da/categories/sql/	data.engineer.company	70
1Data engineering	/da/categories/data-engineering/	data.engineer.company	70
1Datapipelines (ETL/ELT)	/da/categories/data-pipelines/	data.engineer.company	70
1Dataanalyse	/da/categories/data-analytics/	data.engineer.company	70
1Automatisering & CI/CD	/da/categories/automation/	data.engineer.company	70
1Optimering af ydeevne	/da/categories/performance/	data.engineer.company	70
1Python	/da/categories/python/	data.engineer.company	70

Ydelser:
1Databaseoptimering	/da/services/database-performance/	data.engineer.company	70
1Udvikling af datapipelines (ETL/ELT)	/da/services/data-pipeline-development/	data.engineer.company	70
1Dataanalyse & BI‑dashboards	/da/services/data-analytics-bi/	data.engineer.company	70

hDenne side på nettet	URL:https://data.engineer.company/da/portfolio/a-month-of-meter-readings-in-180-milliseconds/	data.engineer.company	70
