Hadoop 整体介绍

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/83500839

1 分布式文件系统 HDFS

  • HDFS 是 GFS 的克隆版;
  • HDFS特点 : 扩展性,容错性,海量数据存储;
  • 将文件切分为指定大小的数据块并以多副本的存储在多个机器;
  • 数据切分、多副本、容错等操作对用户是透明的;

2 分布式资源调度系统 YARN

  • Yet Another Resource Negotiator
  • 负责整个集群资源的管理和调度
  • YARN 特点: 扩展性,容错性,多框架资源统一调度

3 分布式计算框架 Mapreduce

  • 特点: 扩展性,容错性,海量数据离线处理

4 Hadoop 优势

4.1 可靠性

  • 数据存储:数据块多副本
  • 数据计算:重新调度作业计算

4.2 高扩展性

  • 存储、计算资源不足时,可以横向的线性扩展机器
  • 一个集群可以包含很多节点

4.3 存储在廉价机器,降低成本

4.4 成熟的生态圈

猜你喜欢

转载自blog.csdn.net/u012292754/article/details/83500839