版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cjDaShuJu_Java/article/details/80050858
(1)Hadoop生态系统
(2)、HDFS(Hadoop分布式文件系统)
HDFS是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。
(3)、Mapreduce(分布式计算框架)
MapReduce是一种计算模型,用以进行大数据量的计算。MapReduce这样的功能划分,非常适合在大量计算机组成的分布式并行环境里进行数据处理。
(4)、Hive(基于Hadoop的数据仓库)
由facebook开源,最初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL(传统数据库)增 删 改 查 将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
(5)、Hbase(分布式列存数据库)
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。开源免费
(6)、Zookeeper(分布式协作服务)
解决分布式环境下的数据管理问题:统一命名,状态同步,集群管理,配置同步等。用作分布式协调
(7)、Sqoop(数据同步工具)
Sqoop是SQL-to-Hadoop的缩写,主要用于传统数据库和Hadoop之前传输数据(数据迁移) 数据的导入和导出本质上是Mapreduce程序,充分利用了MR的并行化和容错性。
(8)、Pig(基于Hadoop的数据流系统)
由yahoo!开源,设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具 通常用于进行离线分析。
(9)、Flume(日志收集工具)
Cloudera开源的日志收集系统,具有分布式、高可靠、高容错、易于定制和扩展的特点。Flume数据流提供对日志数据进行简单处理的能力,如过滤、格式转换等。Flume还具有能够将日志写往各种数据目标(可定制)的能力。总的来说,Flume是一个可扩展、适合复杂环境的海量日志收集系统。