代码之家 › 专栏 › 技术社区 › FlyingBurger

映射减少概念

mapreduce hadoop

FlyingBurger · 技术社区 · 7 年前

映射和减少函数的输入和输出类型是什么 MapReduce使用?这两个功能的输入和输出是如何连接的?

MapReduce中map函数的输入是一个文档

MapReduce中map函数的输出是一个元组序列(word,1)

MapReduce中reduce函数的输入是一个键和该键所有值的列表

MapReduce中reduce函数的输出是一个元组序列(单词、出现次数)

是否正确?连接的函数呢,combiner呢?

1 回复 | 直到 7 年前

OneCricketeer Gabriele Mariotti 7 年前

输入和输出通过序列化连接。

默认输入为 TextInputFormat 使用 LineRecordReader ,但这两个属性都可以重写

在下面,所有内容都是字节,MapReduce中的可写对象(文本、IntWritable等)只是 byte[]

Reducer输入是映射器的合并输出,按键,是。输出是键值对或元组。但这两个值都可能是复杂的对象,因此您输出的不仅仅是两个字段。合路器只是一种不同类型的减速器。

推荐文章

Shadi Alian · hadoop程序中的类型不匹配错误

7 年前

FlyingBurger · reduce函数包含操作

7 年前

Gyanendra Dwivedi · 在清管器v0.15中设置队列名称

7 年前

Parth Mittal · MPI和MapReduce之间有什么区别?[已关闭]

7 年前

FlyingBurger · 映射减少概念

7 年前

Sea Star · 如何确定map和reduce任务的数量?

7 年前

yzhan · Hadoop可写读字段EOFEException

7 年前

dakir08 · 在python中生成反向索引

7 年前

Aqsha Padyani · Cloudera MapReduce计数器getValue错误

7 年前

Gideok Seong · 显示读取java中mapreduce程序的CSV文件时出错

7 年前