# Økte ytelsen i geografiske datapipelines 50 ganger ved å forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery. 2022 – 2024 **Situasjon.** Organisasjonen opplevde betydelige forsinkelser i behandlingen av store mengder geografiske data, noe som gikk ut over effektiviteten i datadrevne beslutningsprosesser og analytisk rapportering. **Oppgave.** Målet var å optimalisere den geografiske datapipelinen for å forbedre ytelsen og redusere behandlingstiden, slik at dataanalyser kunne utføres mer effektivt og i sanntid. **Handling.** De eksisterende strukturene for SQL‑programmering og datamodellering i PostgreSQL, MS SQL og Google Cloud BigQuery ble grundig analysert, noe som avdekket flaskehalser knyttet til ineffektive indekseringsstrategier, lite optimale spørringsdesign og mangel på hensiktsmessige integritetsregler. For å løse disse problemene: - Datamodellene ble redesignet for å normalisere kritiske datasett, og partisjoneringsstrategier ble innført for å korte ned hentetidene for data. - Tok i bruk avanserte indekseringsteknikker, blant annet B‑tree- og GiST‑indekser for PostgreSQL, filtrerte indekser i MS SQL og clustering i BigQuery. - Optimaliserte komplekse SQL‑spørringer ved å refaktorere delspørringer, redusere antall join‑operasjoner og innføre materialiserte visninger der det var relevant. - Etablerte integritetsregler for data, som fremmednøkler og CHECK‑regler, for å sikre datakonsistens uten å gå på bekostning av ytelsen. **Resultat.** Disse omfattende optimaliseringene gjorde den geografiske datapipelinen 50 ganger raskere og reduserte behandlingstiden for data betydelig. Forbedringen muliggjorde sanntidsanalyse, styrket rapporteringsmulighetene og ga interessentene rettidig, datadrevet innsikt, noe som til syvende og sist bidro til bedre informerte strategiske beslutninger. --- - Rolle: Dataingeniør - Kategorier: [Databaser](https://data.engineer.company/nb/categories/databases/), [PostgreSQL](https://data.engineer.company/nb/categories/postgresql/), [SQL](https://data.engineer.company/nb/categories/sql/), [Datavarehus](https://data.engineer.company/nb/categories/data-warehousing/), [Data engineering](https://data.engineer.company/nb/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://data.engineer.company/nb/categories/data-pipelines/), [Datastyring](https://data.engineer.company/nb/categories/data-governance/), [Ytelsesoptimalisering](https://data.engineer.company/nb/categories/performance/), [GIS / geodata](https://data.engineer.company/nb/categories/gis/) - Tjenester: [GIS- og geodataløsninger](https://data.engineer.company/nb/services/gis-geospatial/), [Optimalisering av databaseytelse](https://data.engineer.company/nb/services/database-performance/), [Utvikling av datapipelines (ETL/ELT)](https://data.engineer.company/nb/services/data-pipeline-development/), [Design av datavarehus](https://data.engineer.company/nb/services/data-warehousing/)