大数据:02 Hadoop架构与版本差别

Hadoop架构与版本差别

前言

 首先我们得明确Hadoop框架所解决的最核心的2个问题:海量数据的存储和计算。在存储上,Hadoop实现了自己的分布式文件系统 HDFS(Hadoop Distributed File System);在计算上,Hadoop使用了分布式离线计算框架 MapReduce

1、Hadoop1.x架构

 Hadoop1.x由Common(辅助工具)、HDFS(数据存储)、MapReduce(计算+资源调度)组成。

2、Hadoop2.x架构

 Hadoop2.x由Common(辅助工具)、HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度) 组成。

3、区别

 由上可见,2.x与1.x的主要区别在于2.x将资源调度细化了出来,交由Yarn负责,而MapReduce只负责计算。使得2.x较1.x 耦合性 更低。

发布了16 篇原创文章 · 获赞 7 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/yuecangjiao5151/article/details/104885030