代码之家 › 专栏 › 技术社区 › Rob

为多种环境设置气流

airflow python

1

Rob · 技术社区 · 7 年前

设置气流的惯用方法是什么?因此,如果您有两个环境(如东生产环境和西生产环境),则只有这些环境中的每个环境中的DAG显示,但它们可以生活在一个存储库中?

2 回复 | 直到 7 年前

1

2

Meghdeep Ray 7 年前

实现这一点的理想方法是使用命名队列。有多个工人 Production-East Production-West 环境。这样,两个DAG都显示在UI中,但它们仅在具有特定环境的工作机上执行。

从 documentation for queues

使用芹菜执行器时,可以指定任务发送到的芹菜队列。queue是BaseOperator的一个属性,因此任何任务都可以分配给任何队列。环境的默认队列在 airflow.cfg celery -> default_queue . 这定义了未指定任务时分配给的队列,以及启动时Airflow workers侦听的队列。

工人可以监听一个或多个任务队列。启动工作进程时(使用命令 airflow worker ),可以指定一组逗号分隔的队列名称(例如。 airflow worker -q spark ). 然后,此工作进程将只拾取连接到指定队列的任务。

2

1

joebeeson 7 年前

将每个组的文件放入子文件夹中,然后设置 dags_folder