Saltar al contenido

Flujo de datos geográficos 50 veces más rápido

Registré una mejora de 50 veces en el flujo de procesamiento de datos geográficos en el trabajo de la fundadora para Utiligize mediante cambios en SQL y en los modelos de datos en PostgreSQL, MS SQL y Google Cloud BigQuery.

50x más rapidez en los flujos de procesamiento de datos geográficos

Situación. La organización sufría retrasos importantes al procesar grandes conjuntos de datos geográficos, lo que afectaba a la eficiencia de los procesos de toma de decisiones basadas en datos y de los informes analíticos.

Tarea. El objetivo consistía en optimizar el flujo de procesamiento de datos geográficos para mejorar el rendimiento y reducir el tiempo de procesamiento, de modo que los análisis de datos pudieran realizarse con mayor eficacia y en tiempo real.

Acción. Se analizaron minuciosamente la programación SQL y las estructuras de modelado de datos existentes en PostgreSQL, MS SQL y Google Cloud BigQuery. Se identificaron cuellos de botella relacionados con estrategias de indexación ineficientes, diseños de consultas poco óptimos y falta de restricciones adecuadas. Para resolver estos problemas:

  • Se rediseñaron los modelos de datos para normalizar los conjuntos de datos críticos y se implementaron estrategias de particionamiento para mejorar los tiempos de recuperación de datos.
  • Se aplicaron técnicas avanzadas de indexación, incluidos índices B‑tree y GiST en PostgreSQL, índices filtrados en MS SQL y agrupación en clústeres en BigQuery.
  • Se optimizaron consultas SQL complejas mediante la refactorización de subconsultas, la reducción de operaciones de unión y la incorporación de vistas materializadas donde resultaban pertinentes.
  • Se establecieron restricciones de integridad de datos, como claves externas y restricciones de comprobación, para garantizar la coherencia de los datos sin comprometer el rendimiento.

Resultado. El registro de logros de la fundadora comunica una mejora de 50 veces en el flujo de procesamiento de datos geográficos en este encargo. Es el resultado registrado del proyecto, no una garantía para otros conjuntos de datos o sistemas. El registro publicado no especifica el conjunto de datos de la prueba de rendimiento, el hardware ni el procedimiento de comparación.

  • Desierto, carretera
    Foto: jpdvg / Pixabay
  • Fráncfort del Meno, Alemania, tren de alta velocidad, estación
    Foto: FrankBender / Pixabay

Aplique esta experiencia a su proyecto

Utilice «Flujo de datos geográficos 50 veces más rápido» como punto de partida para un reto similar en su organización. Los servicios que respaldan este trabajo están disponibles para su proyecto. Detectar las consultas y los índices que faltan en un sistema cada año más pesado y corregir lo que realmente importa.

Explore nuestros servicios Póngase en contacto

Mire más allá del resultado

Lea la situación, las decisiones y el resultado de este ejemplo. Podemos hablar de qué partes se adaptan a sus restricciones y cuáles necesitan otro enfoque. Flujo de datos geográficos 50 veces más rápido — 50x más rapidez en los flujos de procesamiento de datos geográficos

Explore nuestros servicios Póngase en contacto

Una parte de una trayectoria más amplia — y toda ella está en este sitio.

Cada entrada sigue la misma estructura: la situación, la tarea, lo que hicimos y lo que cambió.

Vea la trayectoria completa

Defina la mejora que necesita

Traiga un conjunto de datos representativo, las preguntas que debe responder y el cuello de botella actual. Podemos acordar cómo medir la calidad, la capacidad de procesamiento y la recuperación.

Vea cuánto cuesta Póngase en contacto

¿Necesita acelerar sus flujos de datos?

Pregunte por las decisiones detrás de «Flujo de datos geográficos 50 veces más rápido». Hablará con las personas que pueden explicar el trabajo y valorar su propio proyecto.

Explore nuestros servicios
welcome@engineer.company +45 50 10 61 84 Copenhague, Dinamarca
Código QR de Registré una mejora de 50 veces en el flujo de procesamiento de datos geográficos en el trabajo de la fundadora para Utiligize mediante cambios en SQL y en los modelos de datos en PostgreSQL, MS SQL y Google Cloud BigQuery.
Llévese esta páginahttps://data.engineer.company/es/portfolio/made-a-geographical-data-pipeline-50x-faster/