代码之家 › 专栏 › 技术社区 › Khilesh Chauhan

由于超出VM限制,MapReduce处理失败

skew limit mapreduce hadoop arrays

Khilesh Chauhan · 技术社区 · 8 年前

由于超出VM限制,MapReduce处理失败。我们发现的只是数据的偏斜, MapReduce因数据偏斜而失败的背后是否有任何原因?

1 回复 | 直到 8 年前

tk421 8 年前

如果您的数据扭曲得足够严重,那么这意味着一个映射器或reducer将不得不处理更多的数据。这意味着它将需要更多内存并运行更长时间。如果您积极地设置了集群的节点管理器内存,那么很容易就会淹没VM或节点。

这是一个普遍存在的问题,而且问题很大,人们已经就此发表了论文。

推荐文章

Megrez7 · C#ToArray转换合并为一行,导致数组元素更改

1 年前

bairog · 从按属性筛选的对象数组字典中创建值数组

1 年前

Anka HanÄ±m · 关于结构和动态数组地址的问题

1 年前

Swapnil Supekar · 将二维阵列转换为一维阵列,并将一维阵列粘贴到另一张图纸上

1 年前

Lorenzo Bertolaccini · 在Angular项目中通过对话框后,在控制台中显示但在HTML中不显示的数据数组

1 年前

MaSc. H. · 大小与阵列大小

1 年前

Geremia · 2D NumPy数组+1D数组?

1 年前

MARTIN · 交换第一个和最后一个单词,反转所有中间的字符

1 年前

Paul Williams · 迭代数组时输出有问题

1 年前

Oliver Morgan · PostgreSQL错误:无法累积不同维度的数组

1 年前