30 dagars eldata på 180 ms
Utvecklade varianter för timvis aggregering av elförbrukning i
Python, SQL och Bash + Jq; Python‑varianten behandlade en
JSONL‑datamängd för 30 dagar på 180 ms i prestandatestet.
2025

Situation. Företaget bearbetar stora volymer heterogena eldata från
flera datakällor, var och en med sin egen rapporteringsfrekvens —
från timintervall till 15‑minutersintervall och i vissa fall
oregelbundna tidsstämplar. Variationen gör det svårt att skapa ett
sammanhängande och jämförbart dataset. För att möjliggöra korrekt
energianalys måste dessa data normaliseras till konsekventa
förbrukningsvärden per timme, aggregerade per zon.

Uppgift. Målet var att ta rå händelsedata från ett historiskt
dataset (i JSONL‑format) och omvandla dem till elförbrukningssiffror
justerade till hela timmar, strukturerade som en rad per timme och
zon. Konkret innebar uppgiften att:

  * justera tidsstämplade data till strikta timintervall,

  * aggregera den totala elproduktionen inom varje intervall genom
att summera värdena i produktionsmixen,

  * ta med gränsöverskridande utbyte genom att lägga till import och
dra av export,

  * leverera slutvärdena i ett strukturerat, skalbart format som
lämpar sig för vidare analys.

  * Lösningen behövde dessutom vara tillräckligt effektiv för att
skala till långa tidsfönster (över 30 dagar) och till flera
länder/zoner.

Handling. För att lösa uppgiften implementerades tre olika varianter
av lösningen, i Python, JQ (för JSON‑bearbetning på kommandoraden)
och SQL, var och en optimerad för olika sammanhang:

Python valdes för sin flexibilitet, sin smidiga datahantering och
sin förmåga att effektivt hantera transformationer i minnet. Med
rena Python‑funktioner byggdes en pipeline som:

  * tolkade JSONL‑filerna till strukturerade dataframes

  * omsamplade tidsseriedata till timintervall

  * aggregerade produktionen och beräknade nettoelförbrukningen
(produktion + import − export)

  * exporterade resultaten som CSV eller läste in dem i en
lättviktig SQLite‑databas för inspektion.

JQ användes för att skapa en snabb lösning med minimala beroenden
för kommandoradsmiljöer, byggd som en kedja av JQ‑filter.

JSONL‑data importerades till PostgreSQL, där normaliserade tabeller
skapades och en serie SQL‑frågor skrevs.

För att utvärdera prestandan benchmarkades varje lösning med
historiska dataset över både 1 dag och 30 dagar.

Resultat. Python‑implementationen visade sig vara den snabbaste och
mest skalbara lösningen och klarade:

  * bearbetning av 1 dags data på bara 34 ms

  * ett dataset på 30 dagar på 180 ms

Det bekräftade att den lämpar sig för längre tidsperioder med en
bearbetningstid under en sekund. Den gav också tydlig och
underhållbar kod som enkelt kunde byggas ut till bearbetning av
flera zoner eller integreras i en ETL‑pipeline.

Sammantaget visade angreppssättet med flera verktyg på flexibilitet
i verktygsvalet, stark prestandaoptimering och robust hantering av
tidsjustering och aggregering i verkliga datapipelines för eldata.

Kategorier:
1Databaser	/sv/categories/databases/	data.engineer.company	70
1PostgreSQL	/sv/categories/postgresql/	data.engineer.company	70
1SQL	/sv/categories/sql/	data.engineer.company	70
1Data engineering	/sv/categories/data-engineering/	data.engineer.company	70
1Datapipelines (ETL/ELT)	/sv/categories/data-pipelines/	data.engineer.company	70
1Dataanalys	/sv/categories/data-analytics/	data.engineer.company	70
1Automatisering och CI/CD	/sv/categories/automation/	data.engineer.company	70
1Prestandaoptimering	/sv/categories/performance/	data.engineer.company	70
1Python	/sv/categories/python/	data.engineer.company	70

Tjänster:
1Optimering av databasprestanda	/sv/services/database-performance/	data.engineer.company	70
1Utveckling av datapipelines (ETL/ELT)	/sv/services/data-pipeline-development/	data.engineer.company	70
1Dataanalys och BI‑dashboards	/sv/services/data-analytics-bi/	data.engineer.company	70

hDen här sidan på webben	URL:https://data.engineer.company/sv/portfolio/a-month-of-meter-readings-in-180-milliseconds/	data.engineer.company	70
