Flujo de datos geográficos 50 veces más rápido
Registré una mejora de 50 veces en el flujo de procesamiento de datos geográficos en el trabajo de la fundadora para Utiligize mediante cambios en SQL y en los modelos de datos en PostgreSQL, MS SQL y Google Cloud BigQuery.
Trabajo realizado: 2022 – 2024
50x más rapidez en los flujos de procesamiento de datos geográficos
Situación. La organización sufría retrasos importantes al procesar grandes conjuntos de datos geográficos, lo que afectaba a la eficiencia de los procesos de toma de decisiones basadas en datos y de los informes analíticos.
Tarea. El objetivo consistía en optimizar el flujo de procesamiento de datos geográficos para mejorar el rendimiento y reducir el tiempo de procesamiento, de modo que los análisis de datos pudieran realizarse con mayor eficacia y en tiempo real.
Acción. Se analizaron minuciosamente la programación SQL y las estructuras de modelado de datos existentes en PostgreSQL, MS SQL y Google Cloud BigQuery. Se identificaron cuellos de botella relacionados con estrategias de indexación ineficientes, diseños de consultas poco óptimos y falta de restricciones adecuadas. Para resolver estos problemas:
- Se rediseñaron los modelos de datos para normalizar los conjuntos de datos críticos y se implementaron estrategias de particionamiento para mejorar los tiempos de recuperación de datos.
- Se aplicaron técnicas avanzadas de indexación, incluidos índices B‑tree y GiST en PostgreSQL, índices filtrados en MS SQL y agrupación en clústeres en BigQuery.
- Se optimizaron consultas SQL complejas mediante la refactorización de subconsultas, la reducción de operaciones de unión y la incorporación de vistas materializadas donde resultaban pertinentes.
- Se establecieron restricciones de integridad de datos, como claves externas y restricciones de comprobación, para garantizar la coherencia de los datos sin comprometer el rendimiento.
Resultado. El registro de logros de la fundadora comunica una mejora de 50 veces en el flujo de procesamiento de datos geográficos en este encargo. Es el resultado registrado del proyecto, no una garantía para otros conjuntos de datos o sistemas. El registro publicado no especifica el conjunto de datos de la prueba de rendimiento, el hardware ni el procedimiento de comparación.

Foto: jpdvg / Pixabay 
Foto: FrankBender / Pixabay
Aplique esta experiencia a su proyecto
Utilice «Flujo de datos geográficos 50 veces más rápido» como punto de partida para un reto similar en su organización. Los servicios que respaldan este trabajo están disponibles para su proyecto. Detectar las consultas y los índices que faltan en un sistema cada año más pesado y corregir lo que realmente importa.
Mire más allá del resultado
Lea la situación, las decisiones y el resultado de este ejemplo. Podemos hablar de qué partes se adaptan a sus restricciones y cuáles necesitan otro enfoque. Flujo de datos geográficos 50 veces más rápido — 50x más rapidez en los flujos de procesamiento de datos geográficos
Lea a continuación: Mapas GIS 10 veces más rápidos con PostgreSQL. O eche un vistazo al Portafolio completo.
Una parte de una trayectoria más amplia — y toda ella está en este sitio.
Cada entrada sigue la misma estructura: la situación, la tarea, lo que hicimos y lo que cambió.

