代码之家 › 专栏 › 技术社区 › Rubiks

重用两个MapReduce作业的输出并将结果连接在一起

mapreduce hadoop python

Rubiks · 技术社区 · 6 年前

我想加入两个不同的MapReduce作业的输出。我希望能够像下面这样做,但我不知道如何重用以前工作的结果并加入它们。我怎么能这么做?

Job1: 
Andrea Vanzo, c288f70f-f417-4a96-8528-25c61372cae7, 125 

Job2:
c288f70f-f417-4a96-8528-25c61372cae7, 071e1103-1b06-4671-8324-a9beb3e90d18, 25

Result:
Andrea Vanzo, c288f70f-f417-4a96-8528-25c61372cae7,  25

1 回复 | 直到 6 年前

HbnKing 6 年前

你可以用 JobControl MultipleInputs )也能解决你的问题。

使用不同的处理方法,根据数据的路径写入数据。

制图器

job1data==job1.path=>拆分写入键数据[1],值数据[0]+“tagjob1”

job2data==job2.path=>拆分写入键数据[0],值数据[0]+“tagjob2”

每个键都有它的值集。

按“标记”将值分为两个列表组

写出键和两个列表的每个笛卡尔积。

希望

推荐文章

ÐÐ½Ð´ÑÐµÐ¹ Ð¡Ð¼Ð¸ÑÐ½Ð¾Ð² · 通过xplpath从xml加载字段时出现问题

3 年前

Mayank Bandral · pig中下面提到的数据的模式应该是什么?

7 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

7 年前

OOvic · Spark Java API中的连接行数据集

7 年前

enodmilvado · avahi守护程序是否应该在hadoop群集计算机上运行?

7 年前

LearningNinja · 火花执行人。spark submit中忽略了extraJavaOptions

7 年前

ForeverLearner · 当我在Hive中使用OpenCSVSerde时,为什么所有列都被创建为字符串?

7 年前

tooptoop4 · apache ranger with hive插件-需要持久化哪些对象

7 年前

Rupesh More · 合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

7 年前