代码之家 › 专栏 › 技术社区 › Enrique Benito Casado

ApacheHadoop中节点之间的距离是什么意思?

hdfs hadoop

Enrique Benito Casado · 技术社区 · 8 年前

我在Hadoop读了一个采访问题,上面说:

在ApacheHadoop中,如何获得两个节点之间的距离?

有一个解决办法,但我不真正理解两个节点之间的距离这个术语。

这意味着什么?

1 回复 | 直到 8 年前

MarKuz 8 年前

Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。

当您读取文件时,首先请求name node以获取有关文件块位置的信息。这些块分布在不同的机器上。

如果在某个时刻,您从死掉的数据节点中检索数据,那么您可以从另一个复制副本中获取这些数据,而不必为此而困扰用户。您将从最近的机器获取数据。在现实中,亲密的意义是难以衡量的。因为它取决于物理距离和不可预测的系统负载,例如度量过度使用。因为这个原因,它在数据中心拓扑上。

这就是为什么知道Hadoop中节点之间的距离很重要的原因

推荐文章

Nk.Pl · 为Kafka主题创建配置单元表生成器

8 年前

enodmilvado · 从HDP当前版本2.6.0.3升级到2.6.4失败

8 年前

Enrico Gallinucci · HDFS配置的容量高于磁盘容量

8 年前

Omid · 计算fat 32和HDFS的最大体积大小

8 年前

Danny · AWS中的Spark:“S3AbortableInputStream:并非所有字节都是从S3ObjectInputStream读取的”

8 年前

Tran Thien An · Hadoop Kerberos:Datanode无法连接到Namenode。jsvc启动Datanode与特权端口绑定(不使用SASL)

8 年前

dhalfageme · HBase:MasterNotRunningException:节点/HBase不在zookeeper中

8 年前

dlamblin · Hadoop HDFS就地压缩

8 年前

user2007861 · 在HDFS文件夹中查找旧文件

8 年前

osk · 加载a。Scala中HDFS的csv文件

8 年前