# Gjorde en geodatapipeline 50 ganger raskere

Registrerte en forbedring på 50 ganger i en geografisk datapipeline i grunnleggerens arbeid hos Utiligize gjennom SQL- og datamodellendringer i PostgreSQL, MS SQL og Google Cloud BigQuery.

2022 – 2024

**Situasjon.** Organisasjonen opplevde betydelige forsinkelser i behandlingen av store mengder geografiske data, noe som gikk ut over effektiviteten i datadrevne beslutningsprosesser og analytisk rapportering.

**Oppgave.** Målet var å optimalisere den geografiske datapipelinen for å forbedre ytelsen og redusere behandlingstiden, slik at dataanalyser kunne utføres mer effektivt og i sanntid.

**Handling.** De eksisterende strukturene for SQL‑programmering og datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble grundig analysert, noe som avdekket flaskehalser knyttet til ineffektive indekseringsstrategier, lite optimale spørringsdesign og mangel på hensiktsmessige integritetsregler. For å løse disse problemene:
- Datamodellene ble redesignet for å normalisere kritiske datasett, og partisjoneringsstrategier ble innført for å korte ned hentetidene for data.
- Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree- og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og clustering i BigQuery.
- Optimaliserte komplekse SQL‑spørringer ved å refaktorere delspørringer, redusere antall join‑operasjoner og innføre materialiserte visninger der det var relevant.
- Etablerte integritetsregler for data, som fremmednøkler og CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av ytelsen.

**Resultat.** Grunnleggerens resultatbeskrivelse oppgir en forbedring på 50 ganger for den geografiske datapipelinen i dette oppdraget. Dette er det registrerte prosjektresultatet, ikke en garanti for andre datasett eller systemer. Den publiserte beskrivelsen angir ikke målingens datasett, maskinvare eller sammenligningsmetode.

---

- Rolle: Dataingeniør
- Kategorier: [Databaser](https://data.engineer.company/nb/categories/databases/), [PostgreSQL](https://data.engineer.company/nb/categories/postgresql/), [SQL](https://data.engineer.company/nb/categories/sql/), [Datavarehus](https://data.engineer.company/nb/categories/data-warehousing/), [Data engineering](https://data.engineer.company/nb/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://data.engineer.company/nb/categories/data-pipelines/), [Datastyring](https://data.engineer.company/nb/categories/data-governance/), [Ytelsesoptimalisering](https://data.engineer.company/nb/categories/performance/), [GIS / geodata](https://data.engineer.company/nb/categories/gis/)
- Tjenester: [GIS- og geodataløsninger](https://data.engineer.company/nb/services/gis-geospatial/), [Optimalisering av databaseytelse](https://data.engineer.company/nb/services/database-performance/), [Utvikling av datapipelines (ETL/ELT)](https://data.engineer.company/nb/services/data-pipeline-development/), [Design av datavarehus](https://data.engineer.company/nb/services/data-warehousing/), [Klargjøring av data for AI](https://data.engineer.company/nb/services/ai-data/)

<https://engineer.company/nb/portfolio/made-a-geographical-data-pipeline-50x-faster/>
