# Gjorde en geodatapipeline 50 ganger raskere

Registrerte en forbedring på 50 ganger i en geografisk datapipeline i grunnleggerens arbeid hos Utiligize gjennom SQL- og datamodellendringer i PostgreSQL, MS SQL og Google Cloud BigQuery.

2022 – 2024

Situasjon. Organisasjonen opplevde betydelige forsinkelser i behandlingen av store mengder geografiske data, noe som gikk ut over effektiviteten i datadrevne beslutningsprosesser og analytisk rapportering.

Oppgave. Målet var å optimalisere den geografiske datapipelinen for å forbedre ytelsen og redusere behandlingstiden, slik at dataanalyser kunne utføres mer effektivt og i sanntid.

Handling. De eksisterende strukturene for SQL‑programmering og datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble grundig analysert, noe som avdekket flaskehalser knyttet til ineffektive indekseringsstrategier, lite optimale spørringsdesign og mangel på hensiktsmessige integritetsregler. For å løse disse problemene:
* Datamodellene ble redesignet for å normalisere kritiske datasett, og partisjoneringsstrategier ble innført for å korte ned hentetidene for data.
* Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree- og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og clustering i BigQuery.
* Optimaliserte komplekse SQL‑spørringer ved å refaktorere delspørringer, redusere antall join‑operasjoner og innføre materialiserte visninger der det var relevant.
* Etablerte integritetsregler for data, som fremmednøkler og CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av ytelsen.

Resultat. Grunnleggerens resultatbeskrivelse oppgir en forbedring på 50 ganger for den geografiske datapipelinen i dette oppdraget. Dette er det registrerte prosjektresultatet, ikke en garanti for andre datasett eller systemer. Den publiserte beskrivelsen angir ikke målingens datasett, maskinvare eller sammenligningsmetode.

Rolle: Dataingeniør
=> /nb/categories/databases/ Kategorier: Databaser
=> /nb/categories/postgresql/ Kategorier: PostgreSQL
=> /nb/categories/sql/ Kategorier: SQL
=> /nb/categories/data-warehousing/ Kategorier: Datavarehus
=> /nb/categories/data-engineering/ Kategorier: Data engineering
=> /nb/categories/data-pipelines/ Kategorier: Datapipelines (ETL/ELT)
=> /nb/categories/data-governance/ Kategorier: Datastyring
=> /nb/categories/performance/ Kategorier: Ytelsesoptimalisering
=> /nb/categories/gis/ Kategorier: GIS / geodata
=> /nb/services/gis-geospatial/ Tjenester: GIS- og geodataløsninger
=> /nb/services/database-performance/ Tjenester: Optimalisering av databaseytelse
=> /nb/services/data-pipeline-development/ Tjenester: Utvikling av datapipelines (ETL/ELT)
=> /nb/services/data-warehousing/ Tjenester: Design av datavarehus
=> /nb/services/ai-data/ Tjenester: Klargjøring av data for AI

=> https://data.engineer.company/nb/portfolio/made-a-geographical-data-pipeline-50x-faster/ Denne siden på nettet
