代码之家 › 专栏 › 技术社区 › Ramprakash

我们可以在TEZ中对生成的DAG计划施加自定义DAG计划吗?如果可能,怎么做?

tez directed-acyclic-graphs hive

Ramprakash · 技术社区 · 8 年前

我想使用我自己创建的自定义DAG计划,而不是在Hive中使用TEZ生成的DAG计划。可能吗?如果是,有人能解释一下吗?

1 回复 | 直到 8 年前

leftjoin 8 年前

如果使用配置单元运行查询,则不能使用自定义DAG。如果您使用API对Tez应用程序进行低级编程,您可以。请参阅此处的高级文档: https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class) 
and so on...

推荐文章

Victor Wong · 如何迭代列A以有条件地对列B求和?

1 年前

StripyTiger · 从配置单元中的列表检索元素

2 年前

mfcss · SQL:使用年/月/日分区查询某个时间段的数据

2 年前

MOMO · 配置单元重命名具有分区的表中的列

2 年前

Minnu · json结构类型加载到配置单元

2 年前

PPSATO · 替代在AWS Athena中使用last_value和first_value

2 年前

te time · 按组获取完整的行集

2 年前

MattRgx · 配置单元中的Regexp将一列拆分为3列

4 年前

mishalhaneef · 如何更新蜂箱颤振数据

4 年前

Bhanuchander Udhayakumar · 为什么spark sql的cpu利用率高于hive?

8 年前