Engineer / Daten / Kategorien
Data Engineering
Ein Infrastrukturplan für 14 Abteilungen
Ein umfassendes Infrastrukturrahmenwerk für ein Forschungsinstitut mit 14 Abteilungen entworfen, mit flexiblen Modulen, einheitlichen Datenpipelines und strukturierten Supportstrategien für eine langfristige Nutzung.
Modulares Infrastrukturrahmenwerk für ein Forschungsinstitut mit 14 Abteilungen, gemeinsamen Datenpipelines und Supportstrategien entworfen.
30 Tage Stromdaten in 180 ms
Varianten zur stündlichen Aggregation des Stromverbrauchs in Python, SQL und Bash + Jq entwickelt; der Python‑Benchmark verarbeitete einen 30‑Tage‑JSONL‑Datensatz in 180 ms.
Stromverbrauchsaggregation in Python, SQL und Bash + Jq entwickelt und gemessen; Python verarbeitete einen 30-Tage-JSONL-Datensatz in 180 ms.
Geografische Datenpipeline 50‑mal schneller
Eine 50‑fache Verbesserung der geografischen Datenpipeline bei der Arbeit der Gründerin für Utiligize durch Änderungen an SQL und Datenmodellen in PostgreSQL, MS SQL und Google Cloud BigQuery dokumentiert.
Die Gründerin dokumentiert eine 50-fache Verbesserung der Geodaten-Pipeline bei Utiligize durch SQL- und Datenmodellarbeit in PostgreSQL, MS SQL und BigQuery.
GIS‑Karte mit Postgre 10‑mal schneller
Die Performance einer geografischen Kartenanwendung durch einen gezielten Datenbankwechsel von MSSQL zu PostgreSQL einschließlich Datenumschaltung um das 10‑Fache verbessert und dabei Verarbeitung und Datensicherheit optimiert.
GIS-Karte durch MSSQL-PostgreSQL-Migration 10-mal schneller gemacht: Geodatenabfragen von 2,5 s auf unter 250 ms verkürzt.
1.000 Fehler in geografischen Daten behoben
1.000 Probleme in geografischen Daten und Zeitreihendaten mit GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) und Bash behoben und eine hochwertige Big‑Data‑Verarbeitung sichergestellt.
Über 1.000 Fehler in Geo- und Zeitreihendaten mit GDAL, PostGIS, ArcGIS, Mapbox, QGIS und SQL behoben; Abfragen um 35 % beschleunigt.
6 ETL/ELT‑Pipelines entworfen und betrieben
6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.
6 ETL/ELT-Pipelines (BigQuery, MSSQL, PostgreSQL) entwickelt und betrieben: 3 Stunden Handarbeit auf unter 20 Minuten verkürzt, täglicher Abgleich.
8 Power‑BI‑Projekte mit Handbüchern umgesetzt
8 Power‑BI‑Projekte mit umfassenden Handbüchern umgesetzt und Microsoft Power BI mit einer NodeJS‑API und Python FastAPI für wirksame Datenanalyse und Visualisierung integriert.
8 Power-BI-Analyseprojekte (Node.js-API, Python FastAPI) mit vollständigen Handbüchern umgesetzt und Berichtserstellung um 60 % effizienter gemacht.
100 Postgre/MS‑SQL/BigQuery‑Warehouses
100 Data‑Warehouse‑Datenbanken in PostgreSQL, MS SQL und Google BigQuery mit überwiegend GIS- und Zeitreihendaten konzipiert, aufgebaut und verwaltet sowie Performance und Skalierbarkeit optimiert.
100 PostgreSQL-, MS-SQL- und BigQuery-Warehouses für GIS- und Zeitreihendaten konzipiert und betrieben; Abfragezeiten um 40–60 % verkürzt.
Postgre um das 10‑Fache beschleunigt
PostgreSQL durch gezielte Indizierung, Partitionierung und Abfrageoptimierung um das 10‑Fache beschleunigt und die Datenbankeffizienz für Nutzer-, Mandanten-, Geodaten und Strom‑Zeitreihendaten verbessert.
PostgreSQL für Nutzer-, Mandanten-, Geo- und Zeitreihendaten durch Indizes, Partitionierung und Abfrageoptimierung 10-mal schneller; 40 % weniger Ressourcen.
GIS‑SaaS‑Deployments mit GitHub automatisiert
Bereitstellung, Datenverarbeitung und Berichtswesen einer GIS‑SaaS‑Anwendung mit GitHub Actions CI/CD, Python, Bash und SQL automatisiert.
GIS-SaaS-Bereitstellung, Datenverarbeitung und Berichte mit GitHub Actions CI/CD, Python, Bash und SQL automatisiert: kürzere, verlässliche Releases.
20 GIS‑Datenpipelines automatisiert ausgeliefert
Die Bereitstellung von 20 GIS‑Datenpipelines und ETL‑Prozessen für Anwendungsdaten automatisiert und dadurch Infrastrukturautomatisierung und Berichterstattung vereinfacht.
20 GIS-Datenpipelines und App-Daten-ETL-Prozesse automatisiert: einfachere Infrastrukturautomatisierung und verlässliche, aktuelle Daten.
Prognose- und Investitionsstrategien optimiert
Prognose- und Investitionsstrategien für 11 Stromnetzbetreiber optimiert und die betriebliche Effizienz mit datenbasierten GIS‑Lösungen verbessert.
Prognose- und Investitionsstrategien für 11 Stromnetzbetreiber mit datenbasiertem GIS für verlässliche, zielgerichtete Planung optimiert.
30+ GIS‑Projekte von Entwicklung bis Support
Entwicklung, Bereitstellung und Support von über 30 GIS‑Projekten geleitet und dabei Fachwissen zu PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS und Mapbox eingesetzt.
Entwicklung, Bereitstellung und Support von über 30 GIS-Projekten mit PostgreSQL, Python, GDAL, ArcGIS, PostGIS und Mapbox geleitet.
4.000 Stunden durch GitHub-/GitLab‑CI/CD gespart
Datenanalyse und Softwareentwicklung durch CI/CD‑Praktiken mit GitHub, GitLab, Bash und Python verbessert und 4.000 Stunden eingespart.
Rund 4.000 Stunden durch GitHub-, GitLab-, Bash- und Python-CI/CD gespart; Analyse und Entwicklung beschleunigt und vereinheitlicht.
Ein Datenanalyse‑Berichtssystem entwickelt
Ein Berichtssystem für Datenanalysen entwickelt und den quartalsweisen Softwareumsatz durch Python‑basierte PDF‑Berichte um 400 % erhöht.
Python-Berichtssystem für Datenanalysen entwickelt, dessen klare, termingerechte PDF-Berichte den quartalsweisen Softwareumsatz um 400 % erhöhten.
Datenarbeit mit Python und PL/pgSQL automatisiert
Datenverarbeitungsaufgaben mit Shell‑Skripten, PL/pgSQL, Python und Transact‑SQL automatisiert und Produktivität sowie Effizienz gesteigert.
Datenarbeit mit Shell, PL/pgSQL, Python und Transact-SQL automatisiert, die Produktivität erhöht und kleine wiederkehrende Fehler beseitigt.
600 PL/pgSQL‑ETL/ELT‑Pipelines entwickelt
600 PL/pgSQL‑basierte ETL/ELT‑Pipelines für effizientere komplexe Datenverarbeitung in mehreren PostgreSQL‑Entwicklungs- und Produktivumgebungen entwickelt.
Dokumentierte 600 PL/pgSQL-ETL/ELT-Pipelines in PostgreSQL-Entwicklung und -Produktion einschließlich inkrementellem Laden und Protokollierung entwickelt.
Ein Kartenprodukt durchgängig verantwortet
Infrastruktur, Datenverarbeitung und eine Kartenanwendung über 2 Jahre konzipiert, entwickelt und betreut, einschließlich Softwareauslieferung und betrieblicher Wartung.
Infrastruktur, Datenverarbeitung und Karten-App über zwei Jahre konzipiert, entwickelt und betreut: Softwareauslieferung und betriebliche Wartung.
Zeitlich geordnete Schlüssel für ein wachsendes Datenmodell
Zeitlich geordnete UUID‑v7‑Identifikatoren (PostgreSQL 18) als Entitätsschlüssel eingeführt, um die Fragmentierung von B‑Baum‑Indizes zu verringern und Abfragen zu beschleunigen.
Zeitgeordnete UUID-v7-Entitätsschlüssel in PostgreSQL 18 eingeführt: für weniger B-Baum-Fragmentierung und schnellere Einfügungen und Bereichsabfragen.
348 Tabellen in 34 Postgres‑Schemata modelliert
Die maritime Domäne in 348 normalisierten Tabellen über 34 PostgreSQL‑Schemata modelliert — Fachkräfte, Unternehmen, Schiffe, Stellen, Bewertungen und weitere Bereiche — mit SMALLINT‑Nachschlagetabellen und UUID‑v7‑Schlüsseln.
Maritime Domäne in 348 normalisierten Tabellen und 34 PostgreSQL-Schemata modelliert, mit SMALLINT-Nachschlagetabellen, UUID v7 und einheitlichen Namen.
Eigene Analysen in Postgre entwickelt
Eigene Produktanalysen in PostgreSQL entwickelt — 47 Funktionen über partitionierten Ereignistabellen mit automatischer Bereinigung — pseudonymisiert mit wechselndem Salt und nur mit Einwilligung des Besuchers.
Eigene Produktanalysen in PostgreSQL: 47 Funktionen auf selbstbereinigenden partitionierten Tabellen, pseudonymisiert und mit Einwilligung.