HDFS空间占用问题解决

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。 https://blog.csdn.net/u012802702/article/details/68079299
经过一段时间的使用发现原本存入HDFS的数据量不是很大,但是50多个T的存储空间缺被占满了,
解决:
hadoop fs -du -h /
使用该命令查看HDFS中文件占用的大小,发现/tmp目录占用较大,如下:


在查看/tmp中的文件 ;hadoop fs -du -h /tmp

发现/tmp目录下就是一些,临时的文件,包括HDFS中一些用户使用HIve和运行MR的日志,将其中的部分数据删除即可,经测试,删除 /tmp/hive/tmp/logs目录下的某些用户的缓存文件不会影响正常使用。
此外,据了解,CDH中有相关的配置项可以避免该问题的产生,从根本上解决这类问题,目前本人尚在尝试,待补充,,,,



猜你喜欢

转载自blog.csdn.net/u012802702/article/details/68079299