代码之家 › 专栏 › 技术社区 › Ramprakash

我们可以在TEZ中对生成的DAG计划施加自定义DAG计划吗?如果可能,怎么做?

tez directed-acyclic-graphs hive

Ramprakash · 技术社区 · 8 年前

我想使用我自己创建的自定义DAG计划,而不是在Hive中使用TEZ生成的DAG计划。可能吗?如果是,有人能解释一下吗?

1 回复 | 直到 8 年前

leftjoin 8 年前

如果使用配置单元运行查询,则不能使用自定义DAG。如果您使用API对Tez应用程序进行低级编程,您可以。请参阅此处的高级文档: https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class) 
and so on...

推荐文章

MattRgx · 配置单元中的Regexp将一列拆分为3列

3 年前

mishalhaneef · 如何更新蜂箱颤振数据

3 年前

Bhanuchander Udhayakumar · 为什么spark sql的cpu利用率高于hive?

7 年前

sectechguy · Radoop出现拒绝访问问题。将RapidMiner与Cloudera Quickstart虚拟机连接

7 年前

Nabil · 配置单元查询数组作为字段

7 年前

Pat Doyle · HiveQL-连接在Select语句上创建的列

7 年前

Parth Shiras · 在HQL中,如何基于百分位数筛选表,然后再根据随机样本筛选表?

7 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

7 年前

user · 失败:SemanticException组织。阿帕奇。hadoop。蜂箱ql.metadata。HiveException:java。lang.RuntimeExcept

7 年前

N_M · 主键和外键约束在配置单元中如何工作?

7 年前