代码之家 › 专栏 › 技术社区 › buxizhizhoum

有没有办法动态修改芹菜工人在气流中的并发性?

airflow celery

0

buxizhizhoum · 技术社区 · 6 年前

我用气流来安排任务,执行者是芹菜。我的问题是:

有些任务会占用大量CPU时间,而有些任务则不会,有没有办法根据服务器的负载动态修改celery worker的并发性? 例如,如果任务现在占用大量CPU,并且服务器负载很重,则celery worker的并发性应该动态收缩,否则并发性应该会增长。

0 回复 | 直到 6 年前

1

0

y2k-shubham 6 年前

我没用过 Airflow CeleryExecutor ,

(不确定是否有风险/反模式)