# Har gjort en geodatapipeline 50 gange hurtigere

Har registreret en forbedring på 50 gange i en geografisk datapipeline i stifterens arbejde hos Utiligize gennem SQL- og datamodelændringer i PostgreSQL, MS SQL og Google Cloud BigQuery.

2022 – 2024

Situation. Organisationen oplevede betydelige forsinkelser i behandlingen af store mængder geografiske data, og det gik ud over effektiviteten i de datadrevne beslutningsprocesser og den analytiske rapportering.

Opgave. Målet var at optimere pipelinen for geografiske data, så ydeevnen blev bedre og behandlingstiden kortere, og dataanalyserne kunne udføres mere effektivt og i realtid.

Handling. Den eksisterende SQL‑programmering og de eksisterende datamodeller i PostgreSQL, MS SQL og Google Cloud BigQuery blev analyseret minutiøst. Analysen afdækkede flaskehalse, der skyldtes ineffektive indekseringsstrategier, uhensigtsmæssigt opbyggede forespørgsler og mangel på passende constraints. Problemerne blev afhjulpet med følgende tiltag:
* Datamodellerne blev redesignet, så kritiske datasæt blev normaliseret, og der blev indført partitioneringsstrategier for at gøre datahentningen hurtigere.
* Der blev anvendt avancerede indekseringsteknikker, herunder B‑tree- og GiST‑indeks i PostgreSQL, filtrerede indeks i MS SQL og clustering i BigQuery.
* Komplekse SQL‑forespørgsler blev optimeret ved at omskrive subqueries, skære ned på antallet af joins og tage materialiserede views i brug, hvor det var relevant.
* Der blev indført integritetsregler som foreign keys og check‑constraints, så dataene forblev konsistente, uden at det gik ud over ydeevnen.

Resultat. Stifterens resultatbeskrivelse angiver en forbedring på 50 gange for den geografiske datapipeline i dette forløb. Det er det registrerede projektresultat, ikke en garanti for andre datasæt eller systemer. Den offentliggjorte beskrivelse angiver ikke målingens datasæt, hardware eller sammenligningsmetode.

Rolle: Dataingeniør
=> /da/categories/databases/ Kategorier: Databaser
=> /da/categories/postgresql/ Kategorier: PostgreSQL
=> /da/categories/sql/ Kategorier: SQL
=> /da/categories/data-warehousing/ Kategorier: Data warehousing
=> /da/categories/data-engineering/ Kategorier: Data engineering
=> /da/categories/data-pipelines/ Kategorier: Datapipelines (ETL/ELT)
=> /da/categories/data-governance/ Kategorier: Data governance
=> /da/categories/performance/ Kategorier: Optimering af ydeevne
=> /da/categories/gis/ Kategorier: GIS / geodata
=> /da/services/gis-geospatial/ Ydelser: GIS & geospatiale løsninger
=> /da/services/database-performance/ Ydelser: Databaseoptimering
=> /da/services/data-pipeline-development/ Ydelser: Udvikling af datapipelines (ETL/ELT)
=> /da/services/data-warehousing/ Ydelser: Design af data warehouse
=> /da/services/ai-data/ Ydelser: Klargøring af data til AI

=> https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/ Denne side på nettet
