yarn是集成在hadoopV2中的
用来管理计算资源和任务的调度
hadoop-2.6.0/etc/hadoop/目录下有几个配置:
存储资源
core-site.xml:
里面可以配置fs.defaultFS,也就是一些路径映射
有一个总的 viewfs ,
不同的路径可以映射到不同的hdfs集群的具体路径
注意,viewfs里面的一个路径唯一地映射到一个hdfs集群的具体路径
hdfs-site.xml:
这里面可以配置 多个具体的hdfs集群: dfs.nameservices
每个hdfs集群又有一堆配置,比如namenode,datanode等等
以及zookeeper,用来做ha高可用
计算资源
mapred-site.xml:
里面指定使用yarn的方式来管理计算,主要是mr任务
以及一些mr任务相关的默认配置
yarn-site.xml:
具体的yarn配置
yarn是运行在hdfs上的
mr运行在yarn,spark,storm都可以运行在yarn上