代码之家 › 专栏 › 技术社区 › Jørn Schou-Rode dscher

在Hadoop中为中间键使用set/list数据类型

hadoop

1

Jørn Schou-Rode dscher · 技术社区 · 16 年前

在Apache Hadoop map reduce程序中,使用集合/列表作为映射器输出中的键有哪些选项?

我最初的想法是使用 ArrayWritable 作为键类型,但这是不允许的,因为类没有实现 WritableComparable .我是否需要定义一个自定义类,或者Hadoop库中是否有其他类似集合的类可以充当密钥?

1 回复 | 直到 16 年前

1

Binary Nerd 16 年前

我认为ArrayWritable实现了Writable,这是Writable的一个高级接口。

你把ArrayWritable子类化了吗?根据文档,需要对其进行子类化,以便设置数组存储的对象类型。例如:

public class TextArrayWritable extends ArrayWritable {

    public TextArrayWritable() {
        super(Text.class);
    }
}