Zum Inhalt springen
EngineerDaten
Menü
Design
Deutsch

Engineer / Daten / Portfolio

30 Tage Stromdaten in 180 ms

Varianten zur stündlichen Aggregation des Stromverbrauchs in Python, SQL und Bash + Jq entwickelt; der Python‑Benchmark verarbeitete einen 30‑Tage‑JSONL‑Datensatz in 180 ms.

Situation. Das Unternehmen verarbeitet große Mengen heterogener Stromdaten aus mehreren Quellen mit unterschiedlichen Meldeintervallen — von stündlichen bis zu 15‑minütigen Abständen, teils mit unregelmäßigen Zeitstempeln. Diese Unterschiede erschweren die Erstellung eines zusammenhängenden, vergleichbaren Datensatzes. Für präzise Energieanalysen müssen die Daten auf einheitliche stündliche Verbrauchswerte normalisiert und je Zone aggregiert werden.

Aufgabe. Rohe Ereignisdaten aus einem historischen Datensatz im JSONL‑Format sollten in stundengenau ausgerichtete Stromverbrauchswerte umgewandelt werden, mit einer Zeile je Stunde und Zone. Die Aufgabe umfasste insbesondere:

  • Daten mit Zeitstempel an exakten Stundenintervallen ausrichten,
  • die gesamte Stromproduktion innerhalb jedes Intervalls durch Summieren der Mix‑Werte aggregieren,
  • grenzüberschreitenden Austausch durch Addition der Importe und Abzug der Exporte berücksichtigen,
  • die Endwerte in einem strukturierten, skalierbaren Format für weitere Analysen ausgeben.
  • Die Lösung musste zudem effizient genug für große Zeitfenster von mindestens 30 Tagen und mehrere Länder beziehungsweise Zonen sein.

Massnahmen. Drei Lösungsvarianten mit Python, JQ für JSON‑Verarbeitung an der Kommandozeile und SQL wurden umgesetzt und jeweils für unterschiedliche Einsatzbedingungen optimiert:

Python wurde wegen seiner Flexibilität, einfachen Datenbearbeitung und effizienten Transformationen im Arbeitsspeicher gewählt. Mit reinen Python‑Funktionen entstand eine Pipeline, die:

  • die JSONL‑Dateien in Dataframes einlas,
  • die Zeitreihen auf Stundenintervalle umrechnete,
  • die Produktion aggregierte und den Nettostromverbrauch berechnete (Produktion + Importe − Exporte),
  • die Ergebnisse als CSV exportierte oder zur Prüfung in eine schlanke SQLite‑Datenbank lud.

JQ diente als schnelle Lösung mit wenigen Abhängigkeiten für Kommandozeilenumgebungen und wurde als Kette von JQ‑Filtern umgesetzt.

In PostgreSQL wurden die JSONL‑Daten importiert, normalisierte Tabellen angelegt und eine Reihe von SQL‑Abfragen geschrieben.

Zur Performancebewertung wurden alle Lösungen mit historischen Datensätzen für 1 Tag und 30 Tage verglichen.

Ergebnis. Die Python‑Implementierung erwies sich als schnellste und am besten skalierbare Lösung mit folgenden Laufzeiten:

  • Verarbeitung der Daten für 1 Tag in nur 34 ms,
  • Verarbeitung des Datensatzes für 30 Tage in 180 ms.

Damit war ihre Eignung für größere Zeiträume bei Laufzeiten unter einer Sekunde belegt. Der Code blieb außerdem klar und wartbar und ließ sich leicht um die Verarbeitung mehrerer Zonen erweitern oder in eine ETL‑Pipeline integrieren.

Insgesamt zeigte der Einsatz mehrerer Werkzeuge einen flexiblen Umgang mit Technologien, gezielte Performanceoptimierung und eine zuverlässige Bewältigung von Zeitraster- und Aggregationsproblemen in realen Stromdatenpipelines.

Kontakt

Sie klären noch, was Sie benötigen?

Erzählen Sie uns, was nicht funktioniert oder was Sie entwickeln möchten. Wir sagen Ihnen, was dafür nötig wäre, was es ungefähr kosten würde und ob wir die Richtigen dafür sind.

Ab 1.400 DKK pro Stunde, zuzüglich Mehrwertsteuer — und weniger pro Stunde bei längerer Buchung.

welcome@engineer.company +45 50 10 61 84 Kopenhagen, Dänemark