代码之家  ›  专栏  ›  技术社区  ›  Ary Jazz

云编写器任务失败,没有原因或日志

  •  0
  • Ary Jazz  · 技术社区  · 7 年前

    我跑 Airflow 在管理中 Cloud-composer environment (版本1.9.0),whic运行在 Kubernetes 1.10.9-GKE.5集群。

    我每天早上3:00或4:00的时候都会跑。但在早上的某个时候,我看到一些任务在晚上毫无理由地失败了。

    • 当使用ui检查日志时-当检查gcs bucket中的日志文件夹时,我看不到日志,也看不到日志。 enter image description here

    • 在实例详细信息中,它读取“依赖项阻止任务获得计划”,但依赖项是dagrun本身。 enter image description here

    • 尽管DAG设置了5次重试和一封电子邮件,但它看起来并没有发生任何重试,而且我还没有收到有关失败的电子邮件。

    • 我通常只清除任务实例,它在第一次尝试时成功运行。

    有人遇到过类似的问题吗?

    1 回复  |  直到 7 年前
        1
  •  2
  •   Iñigo    7 年前

    空日志通常意味着气流工作者吊舱被逐出(即,它在将日志刷新到GCS之前死亡),这通常是由于内存不足造成的。如果你去你的GKE集群(作曲家兜帽下的集群),你可能会看到确实有一个被驱逐的POD(GKE>工作负载>“气流工作者”)。

    您可能会在“任务实例”中看到,所述任务没有 Start Date 也不 Job Id 或工人(工人) Hostname )分配,这,添加到没有日志,是一个证明吊舱死亡。

    由于这种情况通常发生在高度并行的DAG中,避免这种情况的一种方法是减少工作者并发性或使用更好的机器。

    编辑:我把这个归档了 Feature Request 代表你在失败的情况下收到电子邮件,即使豆荚被驱逐。

    推荐文章