Do I have to create /tmp and /user/hive/warehouse?
“/tmp”和“/user/hive/warehouse”目录都是在hdfs文件系统中创建的。无法使用本地文件系统命令查看这些文件夹。
/tmp
本地文件系统中的文件夹由操作系统维护,用于保存临时文件。与HDF无关。
我以为
-
-
默认情况下,HDFS文件系统应该是空的,没有任何文件,要向其中添加文件,我必须使用
hadoop fs
但下面的例子让我困惑:
-
例1:
I found that
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
mkdir: `/tmp': File exists
和
$HADOOP_HOME/bin/hadoop fs -ls /tmp
ls -l /tmp
在我的本地ext4文件系统中。
为什么HDFS文件系统默认包含目录
我的本地ext4文件系统,没有显式运行
hadoop软件
添加
/tmp公司
-
例2:
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
mkdir: `/user/hive/warehouse': No such file or directory
而且没有
/usr/hive/warehouse
在我的Ubuntu上。
如果我创造
/usr/蜂巢/仓库
在HDFS文件系统中
$ sudo env "JAVA_HOME=$JAVA_HOME" $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
为什么它也创造了
/user/hive/warehouse/
文件系统
$ ls -ld /user/hive/warehouse/
drwxr-xr-x 2 root root 4096 May 14 05:30 /user/hive/warehouse/
上述问题的答案是否取决于我的Hadoop是否处于本地模式、伪分布式模式和分布式模式?
我用ext4文件系统在我的Ubuntu中下载了hadoop-3.1.2。
我没有对Hadoop的配置做任何更改,所以我认为HDFS在本地模式下工作,尽管我想知道如何检查/验证(如何?)。