代码之家  ›  专栏  ›  技术社区  ›  Ayman Anikad

Hadoop上集群节点资源的推荐?

  •  0
  • Ayman Anikad  · 技术社区  · 9 年前

    1 回复  |  直到 9 年前
        1
  •  0
  •   Kfactor21    9 年前

    集群的基础设施配置将由您构建集群的业务案例决定,该案例反过来将转化为集群需要满足的数据处理需求,以实现业务成果。一般来说,hadoop系统最初的设计理念是在集群中存在具有异构配置的机器。(现在服务器供应商的机器针对hadoop工作负载进行了优化,主服务器和从服务器之间的磁盘大小存在一定差异)。

    以下来自3家主要Hadoop发行商的链接将是了解更多集群设计和应用站点特定参数(即数据处理需求、数据增长、数据保留、复制等)的良好起点:

    霍顿作品:

    https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.5/bk_cluster-planning/bk_cluster-planning.pdf

    Cloudera公司:

    https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/

    http://doc.mapr.com/display/MapR/Planning+Cluster+Hardware

    推荐文章