Har automatiseret leveringen af 20 GIS‑pipelines
Har automatiseret levering af 20 GIS‑datapipelines og ETL‑processer
til appdata og strømlinet infrastrukturautomatisering og
rapportering.
2022 – 2024

Situation. Platformen var afhængig af mange GIS‑datapipelines og
ETL‑processer for applikationsdata, og de blev leveret og overvåget
manuelt. Manuelt kørte pipelines skaber flaskehalse, de glider
efterhånden ud af trit med hinanden, og værst af alt rummer de en
konstant lille risiko for, at en af dem fejler i stilhed, uden at
nogen opdager det, før dataene allerede er forkerte længere nede i
kæden.

Opgave. Opgaven var at automatisere leveringen af de pipelines og
ETL‑processer, så dataene flød pålideligt og forudsigeligt, uden at
nogen skulle holde dem i hånden.

Handling. Tyve GIS‑datapipelines og ETL‑processerne for
applikationsdata kom under automatiseret levering fra ende til
anden. Planlægning, logning og fejlhåndtering blev standardiseret,
så alle pipelines opførte sig ens, og — det afgørende — man kunne se
det, når en af dem ikke gjorde. En stille fejl er kun stille, hvis
intet holder øje. Alle pipelines blev også lagt ind i den
eksisterende infrastrukturautomatisering og rapportering, så de
indgik i ét sammenhængende system i stedet for at være en skuffe
fuld af scripts, som nogen skulle huske at køre.

Resultat. Alle tyve pipelines og deres ETL kørte automatisk og
forudsigeligt, og hele billedet af infrastrukturautomatisering og
rapportering blev mere overskueligt. Forretningen fik pålidelige,
aktuelle data, uden at nogen skulle føre dem igennem manuelt — og
uden risikoen for stille fejl hængende over sig.

Kategorier:
1Data engineering	/da/categories/data-engineering/	data.engineer.company	70
1Datapipelines (ETL/ELT)	/da/categories/data-pipelines/	data.engineer.company	70
1DevOps	/da/categories/devops/	data.engineer.company	70
1Automatisering & CI/CD	/da/categories/automation/	data.engineer.company	70
1Driftssikkerhed & backup	/da/categories/reliability/	data.engineer.company	70
1Overvågning & observerbarhed	/da/categories/observability/	data.engineer.company	70
1GIS / geodata	/da/categories/gis/	data.engineer.company	70

Ydelser:
1GIS & geospatiale løsninger	/da/services/gis-geospatial/	data.engineer.company	70
1Udvikling af datapipelines (ETL/ELT)	/da/services/data-pipeline-development/	data.engineer.company	70
1DevOps & CI/CD‑automatisering	/da/services/devops-cicd/	data.engineer.company	70

hDenne side på nettet	URL:https://data.engineer.company/da/portfolio/automated-delivery-of-20-gis-data-pipelines/	data.engineer.company	70
