涉及到两个配置文件:yarn-site.xml 和 mapred-site.xml;
yarn-site.xml主要涉及这两个参数:
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1536</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>1024</value> </property>
这两个值不能太大,跟机器的内存有关,具体不知道个什么规矩。
mapred-site.xml主要涉及这两个参数:
<!-- mem limit for maps --> <property> <name>mapreduce.map.memory.mb</name> <value>768</value> </property> <!-- Larger resource limit for reduces --> <property> <name>mapreduce.reduce.memory.mb</name> <value>768</value> </property>
这连个值,不能超过机器的内存,太接近也不行,可能是需要给系统留点内存。
我的机器有的1330M内存,最高只能把这个值设置在1024,大了就会报错。