代码之家 › 专栏 › 技术社区 › Adam Hopkinson

使用gcloud CLI设置composer(气流)存储桶

gcloud-cli google-cloud-composer gcloud airflow

1

Adam Hopkinson · 技术社区 · 7 年前

我一直在使用控制台界面创建composer环境,然后使用cli设置三个变量(使用QuickStart文档中的示例):

gcloud composer environments run etl --location europe-west1 variables -- --set gcp_project projectname
gcloud composer environments run etl --location europe-west1 variables -- --set gcs_bucket gs://bucketname
gcloud composer environments run etl --location europe-west1 variables -- --set gce_zone europe-west1-b

出于某种原因,这不会设置bucket,但所有三个变量都显示在下面 Admin > Variables

我希望将所有这些结合到一个步骤中,并设置composer bucket-因此构建了以下CLI命令:

gcloud composer environments create etl --location=europe-west1 --env-variables=gcp_project=projectname,gcs_bucket=gs://bucketname,gce_zone=europe-west1-b --service-account=serviceemail --zone=europe-west1-b

但这并没有设置bucket,甚至没有创建变量。

如何在设置了bucket名称和变量的情况下从CLI启动composer环境?

1 回复 | 直到 7 年前

1

Feng Lu 7 年前

Composer不支持用户提供的GCS bucket,每个新创建的环境都有自己的GCS bucket。