Traitements lents confiés à une file River
Sorti les traitements lents du chemin des requêtes pour les confier
à une file de tâches River — 15 modules de traitement, 8 tâches
planifiées et 20 tâches pg_cron — afin de répondre aux requêtes
pendant la poursuite du travail en arrière‑plan.
2025

Situation. Certains traitements ne devraient pas s'exécuter pendant
qu'un utilisateur attend : envoyer du courrier, reconstruire un
index de recherche, générer un document ou recalculer des
classements. Les faire dans la requête impose de regarder un
indicateur de chargement pour une opération que la personne n'a pas
demandé à voir. Les lancer dans une goroutine les fait disparaître
au redémarrage du processus, inévitable pendant un déploiement, sans
trace de ce qui devait être fait.

Tâche. Le travail de fond avait besoin d'un emplacement durable :
une file survivant aux redémarrages, réessayant après un échec et
permettant de comprendre pourquoi une opération n'a pas eu lieu.

Action. River a été choisi en grande partie parce que sa file réside
dans PostgreSQL. La base étant déjà la référence, une tâche et les
lignes qu'elle modifie sont validées ou annulées ensemble, sans
seconde infrastructure à exploiter et à comprendre. Elle s'appuie
sur 15 modules de traitement et 8 tâches planifiées. En dessous, 20
tâches pg_cron effectuent la maintenance que la base peut mieux
réaliser elle‑même : purge des partitions, renouvellement des sels
et actualisation des agrégats. Tout traitement assez lent pour être
perceptible a quitté le chemin des requêtes pour l'un de ces deux
mécanismes.

Résultat. Les requêtes répondent rapidement et le travail lent
s'achève tout de même, avec de nouvelles tentatives et un historique
visible en cas d'échec. Garder la file dans Postgres plutôt que dans
un courtier dédié constitue une limite délibérée : elle ne montera
pas indéfiniment en charge et deviendra inadaptée au‑delà d'un
certain volume. Pour une plateforme dont la base est déjà le goulot
d'étranglement, un composant à gérer de moins valait davantage
qu'une marge qui n'allait pas être utilisée.

Catégories:
1Ingénierie backend	/fr/categories/backend/	data.engineer.company	70
1Bases de données	/fr/categories/databases/	data.engineer.company	70
1PostgreSQL	/fr/categories/postgresql/	data.engineer.company	70
1Automatisation et CI/CD	/fr/categories/automation/	data.engineer.company	70
1Fiabilité et sauvegardes	/fr/categories/reliability/	data.engineer.company	70
1Optimisation des performances	/fr/categories/performance/	data.engineer.company	70

Prestations:
1Développement backend et API	/fr/services/backend-development/	data.engineer.company	70
1Outils pour agents d'IA et serveurs MCP	/fr/services/ai-tools/	data.engineer.company	70
1Conception et modélisation de bases de données	/fr/services/database-design/	data.engineer.company	70
1Fiabilité des services et supervision	/fr/services/site-reliability/	data.engineer.company	70

hCette page sur le Web	URL:https://data.engineer.company/fr/portfolio/moved-slow-work-onto-a-river-job-queue/	data.engineer.company	70
