代码之家 › 专栏 › 技术社区 › Enrique Benito Casado

ApacheHadoop中节点之间的距离是什么意思?

hdfs hadoop

0

Enrique Benito Casado · 技术社区 · 8 年前

我在Hadoop读了一个采访问题,上面说:

在ApacheHadoop中,如何获得两个节点之间的距离?

有一个解决办法,但我不真正理解两个节点之间的距离这个术语。

这意味着什么?

1 回复 | 直到 8 年前

1

MarKuz 8 年前

Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。

当您读取文件时,首先请求name node以获取有关文件块位置的信息。这些块分布在不同的机器上。

如果在某个时刻,您从死掉的数据节点中检索数据,那么您可以从另一个复制副本中获取这些数据,而不必为此而困扰用户。您将从最近的机器获取数据。在现实中,亲密的意义是难以衡量的。因为它取决于物理距离和不可预测的系统负载,例如度量过度使用。因为这个原因,它在数据中心拓扑上。

这就是为什么知道Hadoop中节点之间的距离很重要的原因