一、操作环境
- ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9
二、通过Hdfs 命令反推指定表所占空间大小
如查看T_PERSON_N对应的hbase表所占大小
[root@hdp14 ~]# hdfs dfs -du -h /apps/hbase/data/data/default/
215.9 G /apps/hbase/data/data/default/T_PERSON_N
笔者备份数量为3份,因些该表实际占空间则为 3*215.9G=647.7G
该表4400万,每条数据63个字段,粗略算了下单条数据大概5K,算上备份则15K/条。
- 如何确定 hdfs dfs -du -h /apps/hbase/data/data/default/ 算出来的所占空间没包含备份的呢?
笔者是通过如下方式确认的:
执行如下命令算出总量
[root@hdp14 ~]# hdfs dfs -du -h /
433.5 M /app-logs
842.3 G /apps
87.3 M /ats
658.2 M /hdp
0 /mapred
1.2 M /mr-history
21.5 G /ranger
188.3 K /spark-history
41.2 G /tmp
44.0 M /user
- 大概加起来905G,备份系数为3,则共占用空间 905*3/1024 = 2.65T
- 这时通过Ambari界面查看DFS大概使用了2.7TB,所以可以确定hdfs dfs -du算出来的空间大小是没有包含备份的
Ambari界面结果如下所示:
Disk Usage (DFS Used) 2.7 TB / 7.9 TB (33.68%)