代码之家 › 专栏 › 技术社区 › Shlomi Schwartz

AWS SageMaker管道xcom替代方案

airflow-xcom amazon-sagemaker pipeline amazon-web-services

Shlomi Schwartz · 技术社区 · 3 年前

我目前正在SageMaker Pipelines工作,有一个关于步骤间通信的问题。在像Apache Airflow这样的系统中,有一个XCom的概念,它允许任务交换小的数据工件或消息。我想知道SageMaker Pipelines中是否有一个等效的功能,允许我们在步骤之间直接传递变量或小数据工件,而无需向S3存储桶写入和读取?如有任何帮助,我们将不胜感激。

0 回复 | 直到 3 年前

Ram Vegiraju 3 年前

通过不同的步骤,您可以获取上一步的输出,并将其作为下一步的输入。例如,如果您有一个培训步骤,您定义如下:

training_step = TrainingStep(
    name="Training",
    step_args=train_args,
)

您可以使用以下代码获取此培训作业生成的模型工件。

model_data=training_step.properties.ModelArtifacts.S3ModelArtifacts

推荐文章

Mchief · Azure数据工厂:“引用所有文本”在“复制数据”活动中处于非活动状态

2 年前

Majesty · Gitlab:手动运行管道时是否可以传递SQL脚本?

2 年前

sana abhi · 如何在Jenkins中捕获请求体

2 年前

Martin · 调用sklearn Pipeline对象上的方法时,Python引发AttributeError

2 年前

MrLister · 从两个连接的文档中获取电话和电子邮件的途径是什么?

2 年前

zett42 · 如何确保可分级管道使用的文件即使在出现异常的情况下也已关闭?

3 年前

doraemon · 是否有使用管道运算符命名数据帧的列的方法?[副本]

3 年前

Will · 是否可以从SQL Server调用Azure管道

3 年前

Matheus Brito · 调用外部python脚本

3 年前

Shlomi Schwartz · AWS SageMaker管道xcom替代方案

3 年前