Hadoop架构与版本差别
前言
首先我们得明确Hadoop框架所解决的最核心的2个问题:海量数据的存储和计算。在存储上,Hadoop实现了自己的分布式文件系统 HDFS(Hadoop Distributed File System);在计算上,Hadoop使用了分布式离线计算框架 MapReduce。
1、Hadoop1.x架构
Hadoop1.x由Common(辅助工具)、HDFS(数据存储)、MapReduce(计算+资源调度)组成。
2、Hadoop2.x架构
Hadoop2.x由Common(辅助工具)、HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度) 组成。
3、区别
由上可见,2.x与1.x的主要区别在于2.x将资源调度细化了出来,交由Yarn负责,而MapReduce只负责计算。使得2.x较1.x 耦合性 更低。