hdfs 占用空间 df 和 du 不一致问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2667 天前的主题，其中的信息可能已经有所发展或是发生改变。

hadoop fs -df -h
Filesystem        Size   Used  Available  Use%
hdfs://cluster1  2.7 T  1.2 T      1.3 T   44%

hadoop fs -du -s -h /user/hive/warehouse
252.5 G  /user/hive/warehouse

为啥 du 和 df 算出来不一样，我 hdfs 只有 warehouse 里几百 G 的东西，绝不会用了 1.2 个 T ；我经常性的把 hdfs 的某个目录作为临时目录用完就删除了，会不会是这个原因？

9 条回复 • 2017-08-07 15:05:01 +08:00

defunct9

2017-08-07 12:29:47 +08:00

找找垃圾箱里的东西吧，上次就是垃圾箱未回收导致 hdfs 挂了

gouchaoer

2017-08-07 12:37:49 +08:00

@defunct9 https://community.cloudera.com/t5/Hadoop-101-Training-Quickstart/HDFS-Disk-usage-is-not-consist-between-du-and-df-command/td-p/37166

gouchaoer

2017-08-07 12:38:28 +08:00

@defunct9 不是的垃圾箱为空

knightdf

2017-08-07 12:49:47 +08:00

du 和 df 本来就不一致

zdyxry

2017-08-07 12:57:17 +08:00

建议楼主看下这篇文章： http://linuxshellaccount.blogspot.hk/2008/12/why-du-and-df-display-different-values.html

Infernalzero

2017-08-07 12:58:16 +08:00

lsof |grep deleted
如果没有文件句柄未被释放的，就说明你磁盘挂载的时候出了问题，检查下对应的挂载

gouchaoer

2017-08-07 13:14:40 +08:00 via Android

@zdyxry
@Infernalzero linux 下的 du 和 df 并没有问题，hdfs 是几台机器抽象出来的，hadoop 的 du 和 df 是 hdfs 上的

virusdefender

2017-08-07 13:18:37 +08:00

du 默认不显示隐藏文件的

cxbig

2017-08-07 15:05:01 +08:00 via iPhone

du 只显示文件占用
df 还包括了系统进程占用

比方说某个进程卡死，关联的 log 文件缓存可以吃光硬盘空间。这个时候 du 是找不出来的，用 lsof 可以找到。