代码之家 › 专栏 › 技术社区 › kirill fedorov

Yandex Dataproc体系结构:“数据”节点的用途?

dataproc cluster-computing hadoop apache-spark

0

kirill fedorov · 技术社区 · 2 年前

我一直在探索火花使用 谷歌数据处理 ,其中标准体系结构包括主节点和工作节点。在…上 谷歌数据处理 ,主节点通常容纳 hdfs 名称节点 和纱线 资源管理器 ,和辅助节点包含 hdfs 数据节点 和纱线 节点管理器 。

但是,当我使用 Yandex Dataproc ,建议的体系结构包括主节点、数据节点和执行节点。我很好奇这些“数据”节点的作用和优势。哪些组件可能托管在它们上?考虑到数据节点将消耗CPU和RAM资源,这种设计选择似乎可能会增加成本。遗憾的是,我在 Yandex 文档

在 Yandex Dataproc ?

0 回复 | 直到 2 年前

1

OneCricketeer Gabriele Mariotti 2 年前

它的架构与GCP完全相同。

主节点运行Namenode和/或ResourceManager,

数据节点运行字面HDFS数据节点。

计算节点的相关成本最高,其次是主节点。存储数据块不需要很高的cpu/men,并且应该优先考虑这些数据块的网络吞吐量。