代码之家 › 专栏 › 技术社区 › buxizhizhoum

以redis作为代理和结果后端的芹菜使用了太多redis连接

celery redis

0

buxizhizhoum · 技术社区 · 6 年前

我们有一个芹菜集群,以redis作为代理和结果后端,大约有100多台服务器,200多个队列,目前redis连接(9000+个)已经接近最大连接阈值(10000个),当集群中添加新的服务器时,它还在逐渐增加。

我们依赖芹菜中的任务状态来执行更多的检查,因此无法设置 ingore_result=True (这种方法可以快速减少redis连接,但考虑到其他函数的限制,我们无法使用) BROKER_POOL_LIMIT 已经设置为0,但是没有太大的影响,有没有其他方法来减少redis连接?

0 回复 | 直到 6 年前

1

3

Japneet Singh Chawla 6 年前

我也曾在redis作为代理和结果后端时遇到过这个问题,由于单线程的特性,redis的负载非常大,而且对于每个任务,它都必须将结果保存为一个单独的键。看看这篇文章,它解释得很好 http://techscouter.blogspot.com/2018/05/celery-with-heavy-workloads.html