Gjorde en geodatapipeline 50 ganger raskere
Registrerte en forbedring på 50 ganger i en geografisk datapipeline i grunnleggerens arbeid hos Utiligize gjennom SQL- og datamodellendringer i PostgreSQL, MS SQL og Google Cloud BigQuery.
Arbeidet utført: 2022 – 2024
50x raskere pipelines for geografiske data
Situasjon. Organisasjonen opplevde betydelige forsinkelser i behandlingen av store mengder geografiske data, noe som gikk ut over effektiviteten i datadrevne beslutningsprosesser og analytisk rapportering.
Oppgave. Målet var å optimalisere den geografiske datapipelinen for å forbedre ytelsen og redusere behandlingstiden, slik at dataanalyser kunne utføres mer effektivt og i sanntid.
Handling. De eksisterende strukturene for SQL‑programmering og datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble grundig analysert, noe som avdekket flaskehalser knyttet til ineffektive indekseringsstrategier, lite optimale spørringsdesign og mangel på hensiktsmessige integritetsregler. For å løse disse problemene:
- Datamodellene ble redesignet for å normalisere kritiske datasett, og partisjoneringsstrategier ble innført for å korte ned hentetidene for data.
- Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree- og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og clustering i BigQuery.
- Optimaliserte komplekse SQL‑spørringer ved å refaktorere delspørringer, redusere antall join‑operasjoner og innføre materialiserte visninger der det var relevant.
- Etablerte integritetsregler for data, som fremmednøkler og CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av ytelsen.
Resultat. Grunnleggerens resultatbeskrivelse oppgir en forbedring på 50 ganger for den geografiske datapipelinen i dette oppdraget. Dette er det registrerte prosjektresultatet, ikke en garanti for andre datasett eller systemer. Den publiserte beskrivelsen angir ikke målingens datasett, maskinvare eller sammenligningsmetode.

Foto: jpdvg / Pixabay 
Foto: FrankBender / Pixabay
Bruk erfaringen i prosjektet deres
Bruk «Gjorde en geodatapipeline 50 ganger raskere» som utgangspunkt for en lignende utfordring i organisasjonen deres. Tjenestene bak arbeidet er tilgjengelige for prosjektet deres. Finne spørringene og de manglende indeksene bak et system som har blitt tyngre for hvert år, og rette dem som betyr noe.
Se bak resultatet
Les om situasjonen, beslutningene og resultatet i eksemplet. Vi kan drøfte hva som passer deres rammer, og hva som krever en annen tilnærming. Gjorde en geodatapipeline 50 ganger raskere — 50x raskere pipelines for geografiske data
Les videre: Gjorde GIS‑kart 10 ganger raskere på PostgreSQL. Eller ta en titt på hele porteføljen.
Ett stykke av en lengre oversikt — og den ligger i sin helhet her.
Hver oppføring er skrevet på samme måte: situasjonen, oppgaven, hva vi gjorde, og hva som endret seg.

