Yarn常用命令
1.查看yarn的所有命令的使用方法
yarn application
2.查看yarn正在运行的任务列表
yarn application -list
3.kill掉yarn正在运行的任务
yarn application -kill application_1592962175770_0004
4.查找yarn已经完成的任务列表
yarn application -appStates finished -list
5.查找yarn所有任务列表
yarn application -appStates ALL -list
6.任务日志查看(任务节点查看)
yarn logs -applicationId appid
7.查看对应用户的任务日志
yarn logs -applicationId appid -appOwner hadoop > appid.log
8.yarn聚合日志路径
yarn.nodemanager.remote-app-log-dir
9.yarn任务启动的jar包和配置信息所在路径
yarn.app.mapreduce.am.staging-dir
10.yarn日志保留时间
yarn.log-aggregation.retain-seconds=604800
yarn.log-aggregation.retain-check-interval-seconds=604800
yarn.nodemanager.log.retain-seconds=604800
11.yarn节点资源调整
yarn.nodemanager.resource.cpu-vcores=10
yarn.nodemanager.resource.memory-mb=39322
12.yarn任务保留个数调整
yarn.resourcemanager.max-completed-applications=50000
yarn任务状态信息会保存在zk中,调整参数时要考虑zk的内存大小,参数过大会把zk写挂
13.开启抢占
yarn.scheduler.fair.preemption=true
14.修改默认队列
<queuePlacementPolicy>
<rule name="specified" create="false"></rule>
<rule name="default" queue="root.prod"></rule>
</queuePlacementPolicy>
15.查看rm状态
yarn rmadmin -getServiceState rm1
16.手动切换rm状态
yarn rmadmin -transitionToStandby rm1