Datapipelines (ETL/ELT)

13 resultater

Filtrer denne listen

Designet et helhetlig infrastrukturrammeverk for et forskningsinstitutt som berørte 14 avdelinger, med fleksible moduler, samlede datapipelines og strukturerte støttestrategier for varig innføring.
Utviklet en pipeline for timesaggregering av strømforbruk i Python / SQL / Bash + Jq som oppnådde 180 ms for datasett på 30 dager fra heterogene JSONL‑kilder.
Økte ytelsen i geografiske datapipelines 50 ganger ved å forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.
Forbedret ytelsen i en geografisk kartapplikasjon 10 ganger gjennom et strategisk databaseskifte fra MSSQL til PostgreSQL, inkludert omleggingen av dataene, og optimaliserte samtidig behandlingen og datasikkerheten.
Løste 1 000 problemer i geografiske data og tidsseriedata med GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, og sikret behandling av stordata med høy kvalitet.
Designet, implementerte og administrerte 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL og Transact‑SQL, og integrerte data for effektiv behandling i et Python‑API.
Automatiserte produksjonssettingen, databehandlingen og rapporteringssystemet for en GIS SaaS‑applikasjon med GitHub Actions CI/CD, Python, Bash og SQL.
Automatiserte leveransen av 20 GIS‑datapipelines og ETL‑prosesser for applikasjonsdata, og effektiviserte infrastrukturautomatisering og rapportering.
Effektiviserte prosessene for dataanalyse og programvareutvikling og sparte 4 000 timer ved å innføre CI/CD‑praksis med GitHub, GitLab, Bash og Python.
Automatiserte databehandlingsoppgaver med Shell‑skripting, PL/pgSQL, Python og Transact‑SQL, og økte produktiviteten og effektiviteten.
Utviklet 600 PL/pgSQL‑baserte ETL/ELT‑pipelines for å effektivisere komplekse arbeidsflyter for databehandling på tvers av flere utviklings- og produksjonsmiljøer i PostgreSQL.
Utformet, utviklet, implementerte og støttet infrastruktur, databehandling og kartapplikasjonen i 2 år uten stopp, uten helger, helligdager eller ferier, 10–14 timer om dagen.
Genererte 495 resultatsider på tre språk fra en skrivebeskyttet SQLite‑eksport, med sideadressen skrevet som data, slik at en rettet setning ikke lenger flyttet siden og brøt lenken.

Er dette arbeidet du trenger gjort, er neste skritt en samtale.

Fortell oss problemet, så sier vi ærlig fra om vi er de rette folkene.

Dette arbeidet er en del av det vi tilbyr som Utvikling av datapipelines (ETL/ELT), GIS- og geodataløsninger, DevOps og CI/CD‑automatisering, Datastyring og datakvalitet, Optimalisering av databaseytelse, Dataanalyse og BI‑dashbord, Design av datavarehus og Databaseadministrasjon (DBA).

Ansiktet til Engineer-maskoten: et vennlig blått og hvitt robothode som ser opp med hånden ved haken og et spørsmålstegn ved siden av Holder du på med noe som krever dette? Ta kontakt.