Hoppa till innehållet
EngineerData
Meny
Design
Svenska

Engineer / Data / Kategorier

Datapipelines (ETL/ELT)

  1. En infrastrukturplan för 14 avdelningar

    Utformade ett heltäckande infrastrukturramverk för ett forskningsinstitut som berörde 14 avdelningar, med flexibla moduler, enhetliga datapipelines och strukturerade supportstrategier för ett långsiktigt införande.

    Utformade ett heltäckande infrastrukturramverk för ett forskningsinstitut med 14 avdelningar — modulärt, med enhetliga datapipelines och supportstrategier.

  2. 30 dagars eldata på 180 ms

    Utvecklade varianter för timvis aggregering av elförbrukning i Python, SQL och Bash + Jq; Python‑varianten behandlade en JSONL‑datamängd för 30 dagar på 180 ms i prestandatestet.

    Byggde och prestandatestade aggregering av elförbrukning i Python, SQL och Bash + Jq; Python behandlade en JSONL-datamängd för 30 dagar på 180 ms.

  3. Gjorde pipelinen för geodata 50 gånger snabbare

    Dokumenterade en förbättring på 50 gånger i en geografisk datapipeline i grundarens arbete hos Utiligize genom SQL- och datamodelländringar i PostgreSQL, MS SQL och Google Cloud BigQuery.

    Grundaren dokumenterar en förbättring på 50 gånger i en geodatapipeline hos Utiligize genom SQL- och datamodellarbete i PostgreSQL, MS SQL och BigQuery.

  4. Gjorde GIS‑kartan 10 gånger snabbare i PostgreSQL

    Förbättrade prestandan i en kartapplikation för geodata 10 gånger genom en strategisk databasövergång från MSSQL till PostgreSQL, inklusive själva omställningen av data, och optimerade bearbetningen och datasäkerheten.

    Gjorde en GIS-kartapplikation 10 gånger snabbare genom migrering från MSSQL till PostgreSQL — spatiala frågor sjönk från 2,5 s till under 250 ms.

  5. Löste 1 000 problem i geodata och tidsseriedata

    Löste 1 000 problem i geodata och tidsseriedata med GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) och Bash, vilket säkrade en högkvalitativ bearbetning av stora datamängder.

    Löste 1 000+ problem i geografisk big data och tidsserier med GDAL, PostGIS, ArcGIS, Mapbox, QGIS och SQL — 35 % snabbare frågor.

  6. Utformade och drev 6 ETL/ELT‑pipelines

    Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.

    Utformade och drev 6 ETL/ELT-pipelines (BigQuery, MSSQL, PostgreSQL) och kortade ett manuellt jobb på 3 timmar till under 20 minuter med daglig synk.

  7. Automatiserade GIS‑driftsättning i GitHub Actions

    Automatiserade driftsättningen av en GIS‑applikation som SaaS, databearbetningen och rapporteringssystemet med GitHub Actions CI/CD, Python, Bash och SQL.

    Automatiserade driftsättning, databehandling och rapportering för en GIS-SaaS med GitHub Actions CI/CD, Python, Bash och SQL — kortare, tillförlitliga releaser.

  8. Automatiserade leveransen av 20 GIS‑datapipelines

    Automatiserade leveransen av 20 GIS‑datapipelines och ETL‑processer för applikationsdata, vilket effektiviserade infrastrukturautomatiseringen och rapporteringen.

    Automatiserade 20 GIS-datapipelines och ETL-processer för appdata, effektiviserade infrastrukturautomatiseringen och levererade tillförlitlig, aktuell data.

  9. Sparade 4 000 timmar med GitHub och GitLab CI/CD

    Effektiviserade processerna för dataanalys och mjukvaruutveckling och sparade 4 000 timmar genom att införa CI/CD‑arbetssätt med GitHub, GitLab, Bash och Python.

    Sparade ~4 000 timmar genom att införa CI/CD med GitHub, GitLab, Bash och Python, vilket snabbade upp dataanalys och utveckling och gav ökad enhetlighet.

  10. Automatiserade databearbetning i Python, PL/pgSQL

    Automatiserade uppgifter inom databearbetning med Shell‑skript, PL/pgSQL, Python och Transact‑SQL och ökade produktiviteten och effektiviteten.

    Automatiserade databehandling med Shell, PL/pgSQL, Python och Transact-SQL, höjde produktiviteten och fick bort små återkommande fel.

  11. Byggde 600 ETL/ELT‑pipelines i PL/pgSQL

    Byggde 600 PL/pgSQL‑baserade ETL/ELT‑pipelines för att effektivisera komplexa arbetsflöden för databearbetning i flera utvecklings- och produktionsmiljöer för PostgreSQL.

    Byggde 600 registrerade ETL/ELT-pipelines i PL/pgSQL för PostgreSQL i utveckling och produktion, med inkrementell laddning och loggning.

  12. En kartprodukt, buren hela vägen

    Utformade, utvecklade och stödde infrastruktur, databearbetning och en kartapplikation under 2 år, med både programvaruleveranser och driftunderhåll.

    Arkitektur, utveckling och stöd för infrastruktur, databehandling och en kartapp under två år, med leveranser och driftunderhåll.

  13. Genererade 495 sidor från en SQLite‑export

    Genererade 495 resultatsidor på tre språk från en skrivskyddad SQLite‑export, med sidadressen angiven som data så att en rättad mening inte längre flyttade sidan och bröt länken.

    Fyrahundranittiofem sidor genereras från en källa, att rätta ett påstående kostar ingenting och de adresser som webbplatsen någonsin har publicerat fortsätter…

Kontakt

Håller ni fortfarande på att reda ut vad ni behöver?

Berätta vad som inte fungerar eller vad ni försöker bygga. Vi säger vad det skulle kräva, ungefär vad det skulle kosta och om vi är rätt personer för uppgiften.

Från 1 400 DKK i timmen, exklusive moms — och mindre per timme vid en längre bokning.

welcome@engineer.company +45 50 10 61 84 Köpenhamn, Danmark