yarn问题总结篇---本地磁盘空间不足问题

yarn配置之yarn.nodemanager.local-dirs

yarn中有一个比较重要的配置yarn.nodemanager.local-dirs,如果配置的不好,在饱和状态运行下集群会出现很多问题:
1 默认配置${hadoop.tmp.dir}/nm-local-dir,系统盘通常只有几百G,配置在这里会经常报磁盘空间不足的错误;
2 配置到其中1个数据盘,比如/data0/,这个数据盘会经常没有响应,或者直接坏掉;
3 正确的配置是配置到所有的数据盘,通常是12个,其实yarn的description写的很清楚

hadoop.tmp.dir

yarn.nodemanager.local-dirs

CDH建议:

推荐配置:

猜你喜欢

转载自blog.csdn.net/breakout_alex/article/details/87969567