yarn-site.xml
yarn.log-aggregation-enable
作用:是否开启任务日志收集
默认值:false
我的设置:true
yarn.log-aggregation.retain-seconds
作用:日志自动清理前保存多长时间,单位秒。
默认值:-1
我的设置:864000
yarn.log-aggregation.retain-check-interval-seconds
作用:检查日志保留与否的时间间隔,单位秒。
默认值:-1 如果为0或负值,则计算为yarn.log-aggregation.retain-seconds的1/10.
我的设置:-1
yarn.resourcemanager.nodes.include-path
yarn.resourcemanager.nodes.exclude-path
作用:控制或排除nodemanager。可以是文件名的完整路经名,文件每一行是一台结点机器的IP或hostname。
默认值:空
我的设置:空
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
作用:每个容器向ResourceManager可申请的最小/最大内存,单位MB。
默认值:1024/8192
我的设置:随需要调整。
mapred-site.xml
mapreduce.map.memory.mb
作用:每个mapper申请的内存大小,单位MB
默认值:-1
我的设置:随需要调整。
mapreduce.map.java.opts
作用:为运行JVM程序准备的。mapper的child jvm的最大堆大小,单位MB
默认值:?
我的设置:-Xmx1014M,随需要调整。
mapreduce.reduce.memory.mb
作用:每个reducer申请的内存大小,单位MB
默认值:-1
我的设置:随需要调整。
mapreduce.reduce.java.opts
作用:为运行JVM程序准备的。reducer的child jvm的最大堆大小,单位MB
默认值:?
我的设置:-Xmx2560M,随需要调整。