Gjorde en geodatapipeline 50 ganger raskere
Registrerte en forbedring på 50 ganger i en geografisk datapipeline
i grunnleggerens arbeid hos Utiligize gjennom SQL- og
datamodellendringer i PostgreSQL, MS SQL og Google Cloud BigQuery.
2022 – 2024

Situasjon. Organisasjonen opplevde betydelige forsinkelser i
behandlingen av store mengder geografiske data, noe som gikk ut over
effektiviteten i datadrevne beslutningsprosesser og analytisk
rapportering.

Oppgave. Målet var å optimalisere den geografiske datapipelinen for
å forbedre ytelsen og redusere behandlingstiden, slik at
dataanalyser kunne utføres mer effektivt og i sanntid.

Handling. De eksisterende strukturene for SQL‑programmering og
datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble
grundig analysert, noe som avdekket flaskehalser knyttet til
ineffektive indekseringsstrategier, lite optimale spørringsdesign og
mangel på hensiktsmessige integritetsregler. For å løse disse
problemene:

  * Datamodellene ble redesignet for å normalisere kritiske
datasett, og partisjoneringsstrategier ble innført for å korte ned
hentetidene for data.

  * Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree-
og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og
clustering i BigQuery.

  * Optimaliserte komplekse SQL‑spørringer ved å refaktorere
delspørringer, redusere antall join‑operasjoner og innføre
materialiserte visninger der det var relevant.

  * Etablerte integritetsregler for data, som fremmednøkler og
CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av
ytelsen.

Resultat. Grunnleggerens resultatbeskrivelse oppgir en forbedring på
50 ganger for den geografiske datapipelinen i dette oppdraget. Dette
er det registrerte prosjektresultatet, ikke en garanti for andre
datasett eller systemer. Den publiserte beskrivelsen angir ikke
målingens datasett, maskinvare eller sammenligningsmetode.

Kategorier:
1Databaser	/nb/categories/databases/	data.engineer.company	70
1PostgreSQL	/nb/categories/postgresql/	data.engineer.company	70
1SQL	/nb/categories/sql/	data.engineer.company	70
1Datavarehus	/nb/categories/data-warehousing/	data.engineer.company	70
1Data engineering	/nb/categories/data-engineering/	data.engineer.company	70
1Datapipelines (ETL/ELT)	/nb/categories/data-pipelines/	data.engineer.company	70
1Datastyring	/nb/categories/data-governance/	data.engineer.company	70
1Ytelsesoptimalisering	/nb/categories/performance/	data.engineer.company	70
1GIS / geodata	/nb/categories/gis/	data.engineer.company	70

Tjenester:
1GIS- og geodataløsninger	/nb/services/gis-geospatial/	data.engineer.company	70
1Optimalisering av databaseytelse	/nb/services/database-performance/	data.engineer.company	70
1Utvikling av datapipelines (ETL/ELT)	/nb/services/data-pipeline-development/	data.engineer.company	70
1Design av datavarehus	/nb/services/data-warehousing/	data.engineer.company	70
1Klargjøring av data for AI	/nb/services/ai-data/	data.engineer.company	70

hDenne siden på nettet	URL:https://data.engineer.company/nb/portfolio/made-a-geographical-data-pipeline-50x-faster/	data.engineer.company	70
