Gjorde pipelinen för geodata 50 gånger snabbare
Dokumenterade en förbättring på 50 gånger i en geografisk
datapipeline i grundarens arbete hos Utiligize genom SQL- och
datamodelländringar i PostgreSQL, MS SQL och Google Cloud BigQuery.
2022 – 2024

Situation. Organisationen hade betydande förseningar i bearbetningen
av stora mängder geografiska data, vilket påverkade effektiviteten i
datadrivna beslutsprocesser och analytisk rapportering.

Uppgift. Målet var att optimera pipelinen för geografiska data för
att förbättra prestandan och korta bearbetningstiden, så att
dataanalyser kunde utföras effektivare och i realtid.

Handling. De befintliga strukturerna för SQL‑programmering och
datamodellering i PostgreSQL, MS SQL och Google Cloud BigQuery
analyserades noggrant, vilket blottlade flaskhalsar i form av
ineffektiva indexeringsstrategier, suboptimalt utformade SQL‑frågor
och avsaknad av lämpliga integritetsvillkor. För att komma till
rätta med problemen:

  * Datamodellerna gjordes om för att normalisera kritiska dataset,
och partitioneringsstrategier infördes för att korta tiderna för
datahämtning.

  * Tillämpade avancerade indexeringstekniker, bl.a. B‑tree- och
GiST‑index för PostgreSQL, filtrerade index i MS SQL och klustring i
BigQuery.

  * Optimerade komplexa SQL‑frågor genom att refaktorera
underfrågor, minska antalet join‑operationer och använda
materialiserade vyer där det var relevant.

  * Etablerade integritetsvillkor som främmande nycklar och
CHECK‑villkor för att säkerställa datakonsistens utan att ge avkall
på prestandan.

Resultat. Grundarens resultatbeskrivning anger en förbättring på 50
gånger för den geografiska datapipelinen i detta uppdrag. Detta är
det dokumenterade projektresultatet, inte en garanti för andra
datamängder eller system. Den publicerade beskrivningen anger inte
mätningens datamängd, maskinvara eller jämförelsemetod.

Kategorier:
1Databaser	/sv/categories/databases/	data.engineer.company	70
1PostgreSQL	/sv/categories/postgresql/	data.engineer.company	70
1SQL	/sv/categories/sql/	data.engineer.company	70
1Datalager	/sv/categories/data-warehousing/	data.engineer.company	70
1Data engineering	/sv/categories/data-engineering/	data.engineer.company	70
1Datapipelines (ETL/ELT)	/sv/categories/data-pipelines/	data.engineer.company	70
1Datastyrning	/sv/categories/data-governance/	data.engineer.company	70
1Prestandaoptimering	/sv/categories/performance/	data.engineer.company	70
1GIS / geodata	/sv/categories/gis/	data.engineer.company	70

Tjänster:
1GIS- och geodatalösningar	/sv/services/gis-geospatial/	data.engineer.company	70
1Optimering av databasprestanda	/sv/services/database-performance/	data.engineer.company	70
1Utveckling av datapipelines (ETL/ELT)	/sv/services/data-pipeline-development/	data.engineer.company	70
1Design av datalager	/sv/services/data-warehousing/	data.engineer.company	70
1Dataförberedelse för AI	/sv/services/ai-data/	data.engineer.company	70

hDen här sidan på webben	URL:https://data.engineer.company/sv/portfolio/made-a-geographical-data-pipeline-50x-faster/	data.engineer.company	70
