代码之家 › 专栏 › 技术社区 › FlyingBurger

映射减少概念

mapreduce hadoop

0

FlyingBurger · 技术社区 · 7 年前

映射和减少函数的输入和输出类型是什么 MapReduce使用?这两个功能的输入和输出是如何连接的?

MapReduce中map函数的输入是一个文档

MapReduce中map函数的输出是一个元组序列(word,1)

MapReduce中reduce函数的输入是一个键和该键所有值的列表

MapReduce中reduce函数的输出是一个元组序列(单词、出现次数)

是否正确?连接的函数呢,combiner呢?

1 回复 | 直到 7 年前

1

0

OneCricketeer Gabriele Mariotti 7 年前

输入和输出通过序列化连接。

默认输入为 TextInputFormat 使用 LineRecordReader ,但这两个属性都可以重写

在下面,所有内容都是字节,MapReduce中的可写对象(文本、IntWritable等)只是 byte[]

Reducer输入是映射器的合并输出,按键,是。输出是键值对或元组。但这两个值都可能是复杂的对象,因此您输出的不仅仅是两个字段。合路器只是一种不同类型的减速器。