配置项 |
优化原理 |
推荐值 |
dfs.namenode.handler.count |
NameNode中用于处理RPC调用的线程数,默认为10。对于较大的集群和配置较好的服务器,可适当增加这个数值来提升NameNode RPC服务的并发度。 |
64 |
dfs.datanode.handler.count |
DataNode中用于处理RPC调用的线程数,默认为3。可适当增加这个数值来提升DataNode RPC服务的并发度。 |
10 |
dfs.replication |
数据块的备份数。默认值为3,对于一些热点数据,可适当增加备份数。 |
3 |
dfs.block.size |
HDFS数据块的大小,默认为64M。数据库设置太小会增加NameNode的压力。数据块设置过大会增加定位数据的时间。 |
128 |
dfs.datanode.data.dir |
HDFS数据存储目录。将数据存储分布在各个磁盘上可充分利用节点的I/O读写性能。 |
设置多个磁盘目录 |
hadoop.tmp.dir |
Hadoop临时目录,默认为系统目录/tmp。在每个磁盘上都建立一个临时目录,可提高HDFS和MapReduce的I/O效率。 |
设置多个磁盘目录 |
io.file.buffer.size |
HDFS文件缓冲区大小,默认为4096(即4K)。 |
131072(128K) |
fs.trash.interval |
HDFS清理回收站的时间周期,单位为分钟。默认为0,表示不使用回收站特性。 |
为防止重要文件误删,可启用该特性 |
dfs.datanode.du.reserved |
DataNode保留空间大小,单位为字节。默认情况下,DataNode会占用全部可用的磁盘空间,该配置项可以使DataNode保留部分磁盘空间工其他应用程序使用。 |
视具体应用而定 |
机架感应 |
对于较大的集群,建议启用HDFS的机架感应功能。启用机架感应功能可以使HDFS优化数据块备份的分布,增强HDFS的性能和可靠性。 |
- |
转载:HDFS参数配置
猜你喜欢
转载自blog.csdn.net/weixin_44033089/article/details/86685239
今日推荐
周排行