{"canonical_url":"https://engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/","content_markdown":"# Har gjort en geodatapipeline 50 gange hurtigere\n\nHar registreret en forbedring på 50 gange i en geografisk datapipeline i stifterens arbejde hos Utiligize gennem SQL- og datamodelændringer i PostgreSQL, MS SQL og Google Cloud BigQuery.\n\n2022 – 2024\n\n**Situation.** Organisationen oplevede betydelige forsinkelser i behandlingen af store mængder geografiske data, og det gik ud over effektiviteten i de datadrevne beslutningsprocesser og den analytiske rapportering.\n\n**Opgave.** Målet var at optimere pipelinen for geografiske data, så ydeevnen blev bedre og behandlingstiden kortere, og dataanalyserne kunne udføres mere effektivt og i realtid.\n\n**Handling.** Den eksisterende SQL‑programmering og de eksisterende datamodeller i PostgreSQL, MS SQL og Google Cloud BigQuery blev analyseret minutiøst. Analysen afdækkede flaskehalse, der skyldtes ineffektive indekseringsstrategier, uhensigtsmæssigt opbyggede forespørgsler og mangel på passende constraints. Problemerne blev afhjulpet med følgende tiltag:\n- Datamodellerne blev redesignet, så kritiske datasæt blev normaliseret, og der blev indført partitioneringsstrategier for at gøre datahentningen hurtigere.\n- Der blev anvendt avancerede indekseringsteknikker, herunder B‑tree- og GiST‑indeks i PostgreSQL, filtrerede indeks i MS SQL og clustering i BigQuery.\n- Komplekse SQL‑forespørgsler blev optimeret ved at omskrive subqueries, skære ned på antallet af joins og tage materialiserede views i brug, hvor det var relevant.\n- Der blev indført integritetsregler som foreign keys og check‑constraints, så dataene forblev konsistente, uden at det gik ud over ydeevnen.\n\n**Resultat.** Stifterens resultatbeskrivelse angiver en forbedring på 50 gange for den geografiske datapipeline i dette forløb. Det er det registrerede projektresultat, ikke en garanti for andre datasæt eller systemer. Den offentliggjorte beskrivelse angiver ikke målingens datasæt, hardware eller sammenligningsmetode.\n\n---\n\n- Rolle: Dataingeniør\n- Kategorier: [Databaser](https://data.engineer.company/da/categories/databases/), [PostgreSQL](https://data.engineer.company/da/categories/postgresql/), [SQL](https://data.engineer.company/da/categories/sql/), [Data warehousing](https://data.engineer.company/da/categories/data-warehousing/), [Data engineering](https://data.engineer.company/da/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://data.engineer.company/da/categories/data-pipelines/), [Data governance](https://data.engineer.company/da/categories/data-governance/), [Optimering af ydeevne](https://data.engineer.company/da/categories/performance/), [GIS / geodata](https://data.engineer.company/da/categories/gis/)\n- Ydelser: [GIS \u0026 geospatiale løsninger](https://data.engineer.company/da/services/gis-geospatial/), [Databaseoptimering](https://data.engineer.company/da/services/database-performance/), [Udvikling af datapipelines (ETL/ELT)](https://data.engineer.company/da/services/data-pipeline-development/), [Design af data warehouse](https://data.engineer.company/da/services/data-warehousing/), [Klargøring af data til AI](https://data.engineer.company/da/services/ai-data/)\n\n\u003chttps://engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/\u003e\n","date_modified":"2026-11-15T19:47:44Z","description":"Stifteren registrerer en forbedring på 50 gange i en geodatapipeline hos Utiligize gennem SQL- og datamodelarbejde i PostgreSQL, MS SQL og BigQuery.","formats":{"gemtext":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/index.gmi","gopher":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/gophermap","html":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/","json":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/index.json","markdown":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/index.md","pdf":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/index.pdf"},"kind":"page","language":"da","title":"Har gjort en geodatapipeline 50 gange hurtigere","url":"https://data.engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/","version":1}