代码之家  ›  专栏  ›  技术社区  ›  Tim unnamed eng

为什么HDFS文件系统默认包含本地ext4文件系统的目录“/tmp”?

  •  0
  • Tim unnamed eng  · 技术社区  · 6 年前

    Do I have to create /tmp and /user/hive/warehouse?

    “/tmp”和“/user/hive/warehouse”目录都是在hdfs文件系统中创建的。无法使用本地文件系统命令查看这些文件夹。

    /tmp 本地文件系统中的文件夹由操作系统维护,用于保存临时文件。与HDF无关。

    我以为

    • 默认情况下,HDFS文件系统应该是空的,没有任何文件,要向其中添加文件,我必须使用 hadoop fs

    但下面的例子让我困惑:

    1. 例1: I found that

      $ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
      mkdir: `/tmp': File exists
      

      $HADOOP_HOME/bin/hadoop fs -ls       /tmp
      

      ls -l /tmp 在我的本地ext4文件系统中。

      为什么HDFS文件系统默认包含目录 我的本地ext4文件系统,没有显式运行 hadoop软件 添加 /tmp公司

    2. 例2:

      $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
      mkdir: `/user/hive/warehouse': No such file or directory
      

      而且没有 /usr/hive/warehouse 在我的Ubuntu上。

      如果我创造 /usr/蜂巢/仓库 在HDFS文件系统中

      $ sudo env "JAVA_HOME=$JAVA_HOME" $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse 
      

      为什么它也创造了 /user/hive/warehouse/ 文件系统

      $ ls -ld /user/hive/warehouse/
      drwxr-xr-x 2 root root 4096 May 14 05:30 /user/hive/warehouse/
      

    上述问题的答案是否取决于我的Hadoop是否处于本地模式、伪分布式模式和分布式模式?

    我用ext4文件系统在我的Ubuntu中下载了hadoop-3.1.2。

    • HDFS可以在本地模式、伪分布式模式和分布式模式下工作。

    • 默认情况下,HDFS在本地模式下工作。

    我没有对Hadoop的配置做任何更改,所以我认为HDFS在本地模式下工作,尽管我想知道如何检查/验证(如何?)。

    0 回复  |  直到 6 年前
    推荐文章