代码之家 › 专栏 › 技术社区 › lampShadesDrifter

运行较大纱线作业的主要限制是什么?如何增加?

hdp resourcemanager yarn

0

lampShadesDrifter · 技术社区 · 5 年前

运行较大纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么?我如何增加它? 基本上,想要同时做更多(所有这些都是相当大的)sqoop工作 .

我现在假设我需要增加资源管理器堆大小(因为这是我在运行纱线作业时在Ambari仪表板上看到的)。如何向RM heap添加更多资源/为什么RM heap在可用RAM总量中所占比例如此之小(对纱线而言?)整个集群?

查看Ambari:纱线集群内存为55GB,但RM堆只有900MB。有更多经验的人能否告诉我,在运行更多纱线应用程序时,有什么不同,哪些是限制因素(以及如何增加)?还有什么我应该看的吗?有更详细的文件解释吗?

0 回复 | 直到 5 年前

1

Achyut Vyas 5 年前

调整纱线和MapReduce内存的便捷方法是使用 纱线utils 剧本

下载配套文件## Ref

wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

正在执行纱线实用程序脚本## Ref

您可以执行 纱线用途。py公司 python脚本通过提供可用内核、可用内存、磁盘数量、是否安装了HBase。

如果您有一个异构Hadoop集群,那么您必须根据节点规范创建配置组。如果你需要更多的信息,让我知道我会根据这更新我的答案。