代码之家 › 专栏 › 技术社区 › Shlomi Schwartz

AWS SageMaker管道xcom替代方案

airflow-xcom amazon-sagemaker pipeline amazon-web-services

0

Shlomi Schwartz · 技术社区 · 3 年前

我目前正在SageMaker Pipelines工作,有一个关于步骤间通信的问题。在像Apache Airflow这样的系统中,有一个XCom的概念,它允许任务交换小的数据工件或消息。我想知道SageMaker Pipelines中是否有一个等效的功能,允许我们在步骤之间直接传递变量或小数据工件,而无需向S3存储桶写入和读取?如有任何帮助,我们将不胜感激。

0 回复 | 直到 3 年前

1

0

Ram Vegiraju 3 年前

通过不同的步骤,您可以获取上一步的输出,并将其作为下一步的输入。例如,如果您有一个培训步骤,您定义如下:

training_step = TrainingStep(
    name="Training",
    step_args=train_args,
)

您可以使用以下代码获取此培训作业生成的模型工件。

model_data=training_step.properties.ModelArtifacts.S3ModelArtifacts