# Utformet, opprettet og administrerte 100 databaser for datavarehus i PostgreSQL, MS SQL og Google BigQuery, hovedsakelig med GIS- og tidsseriedata, og optimaliserte ytelse og skalerbarhet. 2022 – 2024 **Situasjon.** I et raskt voksende teknologiselskap var det et kritisk behov for å opprette, forvalte og optimalisere en variert portefølje på 100+ databaser i PostgreSQL, Microsoft SQL Server og Google BigQuery. Disse databasene håndterte hovedsakelig komplekse datasett, blant annet data fra geografiske informasjonssystemer (GIS) (f.eks. romlige koordinater og stedsbasert analyse) og tidsseriedata (f.eks. sensoravlesninger, logger og sanntidsmetrikker). Den eksisterende infrastrukturen hadde utfordringer med skalerbarhet, spørringsytelse og datakonsistens, særlig etter hvert som datamengden økte eksponentielt. Organisasjonen trengte en robust arkitektur for å sikre datapåliteligheten og redusere driftskostnadene. **Oppgave.** Hovedmålet var å designe, implementere og forvalte et skalerbart datavarehusøkosystem med høy ytelse, skreddersydd for GIS- og tidsseriedata. Dette innebar: - Løse ytelsesflaskehalser i komplekse romlige og tidsbaserte spørringer. - Sikre skalerbarhet for å håndtere voksende datamengder og samtidig holde kostnadene nede. - Samarbeide med tverrfaglige team (f.eks. dataforskere, produktledere) for å tilpasse databasedesignet til forretningsbehovene. **Handling.** For å nå disse målene: 1. Designet skalerbare arkitekturer: - Laget normaliserte og denormaliserte skjemaer for PostgreSQL og SQL Server, med romlig indeksering (f.eks. PostGIS for PostgreSQL) og tidsseriepartisjonering for å optimalisere spørringsytelsen. - Brukte BigQuerys tidspartisjonerte og klyngede tabeller for effektiv håndtering av storskala tidsseriedata. 2. Implementerte optimaliseringsstrategier: - Innførte teknikker for spørringsoptimalisering, som indeksering, materialiserte visninger og caching, for å redusere latensen for GIS- og tidsseriespørringer. - Tok i bruk datakomprimering og kolonnebasert lagring i BigQuery for å minimere lagringskostnadene og øke skannehastigheten. 3. Samarbeidet om integrasjon på tvers av plattformer: - Dokumenterte beste praksis for datamodellering av GIS- og tidsseriedata som veiledning for teamene i framtidige prosjekter. **Resultat.** Tiltakene førte til betydelige forbedringer: - Ytelsesgevinster: Svartidene for spørringer mot GIS- og tidsseriedata gikk ned med 40–60 %, noe som ga raskere analyser og beslutninger. - Driftspålitelighet: Automatisert overvåking reduserte nedetiden med 50 %, mens standardiserte prosesser økte teamets produktivitet og reduserte antall feil. - Forretningseffekt: Den optimaliserte infrastrukturen gjorde det mulig for selskapet å lansere nye datadrevne produkter (f.eks. dashbord med sanntidsanalyse) og oppfylle regulatoriske krav til datastyring. Dette arbeidet styrket organisasjonens evne til å håndtere komplekse datautfordringer. --- - Rolle: Databaseingeniør - Kategorier: [Plattformarkitektur](https://data.engineer.company/nb/categories/platform-architecture/), [Databaser](https://data.engineer.company/nb/categories/databases/), [PostgreSQL](https://data.engineer.company/nb/categories/postgresql/), [SQL](https://data.engineer.company/nb/categories/sql/), [Datavarehus](https://data.engineer.company/nb/categories/data-warehousing/), [Data engineering](https://data.engineer.company/nb/categories/data-engineering/), [Datastyring](https://data.engineer.company/nb/categories/data-governance/), [Pålitelighet og sikkerhetskopier](https://data.engineer.company/nb/categories/reliability/), [Ytelsesoptimalisering](https://data.engineer.company/nb/categories/performance/), [GIS / geodata](https://data.engineer.company/nb/categories/gis/) - Tjenester: [GIS- og geodataløsninger](https://data.engineer.company/nb/services/gis-geospatial/), [Databasedesign og datamodellering](https://data.engineer.company/nb/services/database-design/), [Databaseadministrasjon (DBA)](https://data.engineer.company/nb/services/database-administration/), [Optimalisering av databaseytelse](https://data.engineer.company/nb/services/database-performance/), [Design av datavarehus](https://data.engineer.company/nb/services/data-warehousing/)