- Apache_Hadoop维基百科
- hadoop官网链接
- hadoop的优点
3.1 高可靠
hadoop维护了多个数据副本,当存储故障或计算故障时,不会导致数据丢失
3.2 高扩展
可以很方便的扩展节点
3.3 高效率
在MapReduce的思想下,hadoop是并行工作的,加快任务处理速度
3.4 高容错性
失败的任务重新分配执行 - hadoop的组成
hadoop 1.x MapReduce + HDFS + Common
hadoop 2.x MapReduce + Yarn + HDFS + Common
4.1 HDFS组成
NameNode: 存储文件的元数据
DataNode: 存储文件块信息,以及块数据的校验和
SecondaryNameNode :用来监控HDFS状态的后台程序,每隔一段时间获取HDFS元数据快照
4.2 Yarn组成
ResourceManager: 处理客户端请求,监控nodeManager,启动监控ApplicationMaster,资源分配和调整
NodeManager: 管理单个节点上的资源,处理来自来自ResourceManager的命令,处理来自ApplicationMaster的命令
ApplicationMaster: 负责数据的切分,为应用程序申请资源并分配给内部的任务,任务的监控和容错
Container: 资源抽象,封装了某个节点上的多维度资源,例如内存,CPU,磁盘,网络等
4.3 MapReduce架构概述
MapReduce分为两个阶段: Map 和 Reduce, map阶段负责并行处理输入数据,reduce阶段对map结果进行汇总 - hadoop运行模式
5.1 本地模式
默认模式,不对配置文件进行修改,使用本地的文件系统
5.2 伪分布模式
在一台主机上上模拟多台主机,NameNode,DataNode等进程都启动在一台服务器上,是相互独立的进程
5.3 完全分布式模式
Hadoop的守护进程分别运行在多台服务器组成的集群上
大数据-Hadoop概念
猜你喜欢
转载自blog.csdn.net/zZsSzss/article/details/107559282
今日推荐
周排行