版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/83500839
1 分布式文件系统 HDFS
- HDFS 是 GFS 的克隆版;
- HDFS特点 : 扩展性,容错性,海量数据存储;
- 将文件切分为指定大小的数据块并以多副本的存储在多个机器;
- 数据切分、多副本、容错等操作对用户是透明的;
2 分布式资源调度系统 YARN
Yet Another Resource Negotiator
- 负责整个集群资源的管理和调度
- YARN 特点: 扩展性,容错性,多框架资源统一调度
3 分布式计算框架 Mapreduce
- 特点: 扩展性,容错性,海量数据离线处理
4 Hadoop 优势
4.1 可靠性
- 数据存储:数据块多副本
- 数据计算:重新调度作业计算
4.2 高扩展性
- 存储、计算资源不足时,可以横向的线性扩展机器
- 一个集群可以包含很多节点