代码之家 › 专栏 › 技术社区 › Ramprakash

我们可以在TEZ中对生成的DAG计划施加自定义DAG计划吗?如果可能,怎么做?

tez directed-acyclic-graphs hive

0

Ramprakash · 技术社区 · 8 年前

我想使用我自己创建的自定义DAG计划,而不是在Hive中使用TEZ生成的DAG计划。可能吗?如果是,有人能解释一下吗?

1 回复 | 直到 8 年前

1

0

leftjoin 8 年前

如果使用配置单元运行查询,则不能使用自定义DAG。如果您使用API对Tez应用程序进行低级编程,您可以。请参阅此处的高级文档: https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class) 
and so on...

推荐文章

Sebastien · spark sql over hive的目的是什么?

8 年前

Ramprakash · 我们可以在TEZ中对生成的DAG计划施加自定义DAG计划吗?如果可能,怎么做?

8 年前

Shruf · 拼花警告在Amazon EMR上的Hive MapReduce中填充日志

8 年前