yarn执行mr出现的 内存问题

反正就是各种报错,超出内存什么的。
涉及到两个配置文件:yarn-site.xml 和 mapred-site.xml;

yarn-site.xml主要涉及这两个参数:
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>1536</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>1024</value>
  </property>


这两个值不能太大,跟机器的内存有关,具体不知道个什么规矩。


mapred-site.xml主要涉及这两个参数:
        <!-- mem limit for maps  -->
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>768</value>
        </property>

        <!-- Larger resource limit for reduces  -->
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>768</value>
        </property>

这连个值,不能超过机器的内存,太接近也不行,可能是需要给系统留点内存。
我的机器有的1330M内存,最高只能把这个值设置在1024,大了就会报错。

猜你喜欢

转载自taoo.iteye.com/blog/1678994