Zum Inhalt springen
EngineerDaten
Menü
Design
Deutsch

Engineer / Daten / Portfolio

6 ETL/ELT‑Pipelines entworfen und betrieben

6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.

Situation. Das Unternehmen musste große Mengen tabellarischer Daten aus einem entfernten Data Warehouse hinter einem IPsec‑VPN zusammenführen und verarbeiten. Diese Daten waren wesentlich für interne Analysedashboards und externe Python‑APIs für Kunden und Partner.

Aufgabe. Belastbare, automatisierte ETL/ELT‑Pipelines sollten entworfen, umgesetzt und gepflegt werden, um Daten sicher abzurufen, zu transformieren und nach Google BigQuery zu laden. Datenrichtigkeit, Performance und systemübergreifende Skalierbarkeit mussten gewährleistet sein.

Massnahmen. 6 durchgängige ETL/ELT‑Pipelines wurden entworfen, umgesetzt und administriert. Sie verbanden Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripte, PL/pgSQL und Transact‑SQL.

  • Sichere Verbindungen zu einem durch IPsec‑VPN geschützten entfernten Server automatisierten den Datenabruf.
  • Downloads komprimierter Archive mit Parquet-, CSV- und .bak‑Dateien wurden geplant und ausgeführt.
  • Bash- und Python‑Skripte entpackten und klassifizierten Dateien nach Typ und Schema.
  • .bak‑Sicherungen wurden mit RESTORE‑DATABASE‑Abläufen in einer lokalen MSSQL‑Server‑Instanz wiederhergestellt; die Schemaintegrität wurde geprüft.
  • Tabellarische Daten wurden abhängig vom Quellformat mit bcp, psql und SSIS in Staging‑Schemata von MSSQL und PostgreSQL geladen.
  • Modulare, wiederverwendbare PL/pgSQL- und T‑SQL‑Prozeduren bereinigten, normalisierten und ergänzten die Daten gemäß der Geschäftslogik.
  • Aufbereitete Datensätze und Tabellen wurden in Zwischenformate exportiert, mit gzip komprimiert und sicher in einen Google‑Cloud‑Storage‑Bucket übertragen.
  • Upload und Schemazuordnung nach Google BigQuery wurden mit der bq‑CLI und Python‑Skripten zur Datenübernahme automatisiert.

Ergebnis. Die automatisierten Pipelines verringerten manuellen Aufwand und Verarbeitungszeit erheblich — von über 3 Stunden Handarbeit auf unter 20 Minuten für den gesamten Ablauf. Zugleich wurden die Daten statt wöchentlich nun täglich abgeglichen. Die Performance der nutzenden Python‑APIs verbesserte sich um 30 %, und die bessere Transparenz half Geschäftsanalysten, Stakeholder schneller mit Erkenntnissen zu versorgen. Die Lösung bleibt skalierbar und erweiterbar, wenn mit dem Unternehmenswachstum neue Datenquellen hinzukommen.

Kontakt

Sie klären noch, was Sie benötigen?

Erzählen Sie uns, was nicht funktioniert oder was Sie entwickeln möchten. Wir sagen Ihnen, was dafür nötig wäre, was es ungefähr kosten würde und ob wir die Richtigen dafür sind.

Ab 1.400 DKK pro Stunde, zuzüglich Mehrwertsteuer — und weniger pro Stunde bei längerer Buchung.

welcome@engineer.company +45 50 10 61 84 Kopenhagen, Dänemark