代码之家  ›  专栏  ›  技术社区  ›  TomG

hdfs文件夹的大小差异

  •  0
  • TomG  · 技术社区  · 6 年前

    我已经执行了以下hdfs命令。 两者基本相同,以GB表示文件夹的总大小。 -du-h-s命令以MB或KB为单位列出文件大小,因此我正在进行必要的转换。 但我能看到大小的差别。 你知道为什么会这样吗?。

    hdfs dfs -du -h -s /Dataproviders/DataSurgery/input/KAI/Order/Ready/KAI_Order*.* | awk -F' ' 'BEGIN{SUM=0}{ if($2=="M"){SUM+=$1} else if($2=="K"){SUM = SUM + ($1/1024)} } END{ SUM=SUM/1024; print SUM  }'
    

    10.1268

    hdfs dfs -du -h -s /Dataproviders/DataSurgery/input/KAI/Order/Ready/
    

    12.9 GB

    0 回复  |  直到 6 年前