代码之家 › 专栏 › 技术社区 › Ash

步骤函数中的AWS粘合作业依赖项

aws-step-functions aws-glue amazon-web-services

Ash · 技术社区 · 6 年前

我创建了两个粘合作业(GlueJob1、GlueJob2)。

我希望创建一个依赖项,因为GlueJob2只应在GlueJob1完成后运行。

为了协调这一点,我创建了一个具有以下定义的步骤函数:

 {
  "gluejob1": {
    "Type": "Task",
    "Resource": "gluejob1.Arn",
    "Comment": "Glue job1.",
    "Next": "gluejob2"
  },

  "gluejob2": {
    "Type": "Task",
    "Resource": "gluejob2.Arn",
    "Comment": "TGlue job2.",
    "Next": "Gluejob2 Finished Loading"
  },
  "Gluejob2 Finished Loading": {
    "Type": "Pass",
    "Result": "",
    "End": true
  }
}

当我执行这个步骤函数时,状态函数 在触发GlueJob1时称之为成功 然后继续触发GlueJob2。

我想知道只有在GlueJob1完成后,是否有可能运行GlueJob2。

2 回复 | 直到 6 年前

Yuriy Bondaruk 6 年前

你可以 invoke Glue job from StepFunction synchronously 以便等待作业完成:

{
  "StartAt": "gluejob1",
  "States": {
    "gluejob1": {
      "Type": "Task",
      "Resource": "arn:aws:states:::glue:startJobRun.sync",
      "Parameters": {
        "JobName.$": "ETLJobName1"
      },
      "Next": "gluejob2"
    },
    "gluejob2": {
      "Type": "Task",
      "Resource": "arn:aws:states:::glue:startJobRun.sync",
      "Parameters": {
        "JobName.$": "ETLJobName2"
      },
      "Next": "Gluejob2 Finished Loading"
    },
    "Gluejob2 Finished Loading": {
      "Type": "Pass",
      "Result": "",
      "End": true
    }
}

Sandeep Fatangare 6 年前

为什么不在glue中使用触发器来处理依赖项?

推荐文章

hallibut · Lambda功能不工作的SST热重新加载

5 月前

Tim · 在java中,有没有更快的方法将字节数组写入文件?

5 月前

Tom McLean · 如何使用证书管理器制作的证书在AWS上创建到mongodb实例的TLS/SSL连接?健康检查失败

6 月前

Nuñito Calzada · AWS SDK 1.12.780 Java版的凭据

7 月前

Sampgun · CDN调用与lambda调用的巨大差异

7 月前

Mario MateaÈ · 无法从Elastic Beanstalk的EC2实例访问外部MongoDB Atlas数据库

7 月前

Tiago · 如何允许从一个安全组到另一个组的所有流量?

11 月前

Ercan Koc · 使用EKS和RDS Aurora在My VPC中努力切换到IPv6

11 月前

Andrew · CloudWatch错误:规则JobFailureRule应在堆栈范围内创建,但找不到堆栈

11 月前

explorer · AWS SageMaker项目模板创建失败

11 月前