代码之家 › 专栏 › 技术社区 › kirill fedorov

Yandex Dataproc体系结构:“数据”节点的用途?

dataproc cluster-computing hadoop apache-spark

kirill fedorov · 技术社区 · 2 年前

我一直在探索火花使用 谷歌数据处理 ,其中标准体系结构包括主节点和工作节点。在…上 谷歌数据处理 ,主节点通常容纳 hdfs 名称节点 和纱线 资源管理器 ,和辅助节点包含 hdfs 数据节点 和纱线 节点管理器 。

但是,当我使用 Yandex Dataproc ,建议的体系结构包括主节点、数据节点和执行节点。我很好奇这些“数据”节点的作用和优势。哪些组件可能托管在它们上?考虑到数据节点将消耗CPU和RAM资源,这种设计选择似乎可能会增加成本。遗憾的是,我在 Yandex 文档

在 Yandex Dataproc ?

0 回复 | 直到 2 年前

OneCricketeer Gabriele Mariotti 2 年前

它的架构与GCP完全相同。

主节点运行Namenode和/或ResourceManager,

数据节点运行字面HDFS数据节点。

计算节点的相关成本最高,其次是主节点。存储数据块不需要很高的cpu/men,并且应该优先考虑这些数据块的网络吞吐量。

推荐文章

AllYourBaseAreBelongToUs · SQL可用性组故障切换延迟为35秒,比旧的SQL镜像故障切换高出10秒

2 年前

Ashwin Anbalagan · Kubernetes集群设置配置

2 年前

kirill fedorov · Yandex Dataproc体系结构:“数据”节点的用途?

2 年前

Zuzana · 聚合和分解组/簇以实现组内相关系数的最大值

2 年前

Jaco · 将环境变量用作copula中Spark配置的一部分

2 年前

alpar_turkoglu · Redis Rust群集模式管道断开错误

2 年前

Ulan Murzaev · 使用非托管节点组成功升级EKS集群:Velero的替代方案?

2 年前

JShao · 到Redis集群的Jedis TLS连接

2 年前

Soheil Pourbafrani · Flink-在远程集群上运行WordCount示例时出错

8 年前

VictorOF · 如何将外部库运行到不同的节点?[MPI]

8 年前