Hadoop:相关概念

Hadoop:相关概念

一、Hadoop简介

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.

1.特点

(1)HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;

(2)HDFS提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序;

(3)HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据;

2.核心设计

Hadoop框架最核心的设计就是:HDFS和MapReduce.

(1)HDFS为海量的数据提供的存储;

(2)MapReduce为海量的数据提供的了计算;

3.解决了哪些问题

(1)海量数据需要及时分析和处理;

(2)海量数据需要深入分析和挖掘;

(3)数据需要长期保持;

4.数据存储问题

(1)磁盘IO称为一种瓶颈,而非CPU资源;

(2)网络宽带是一种缺稀资源;

(3)硬件故障成为影响稳定的一大因素;

二、Hadoop相关技术

1.Hbase

(1)Nosq数据库,Key-Value存储;

(2)最大化利用内存;

2.HDFS

(1)Hadoop Distribued File System(分布式文件系统);

(2)最大化利用磁盘;

3.MapReduce

(1)编辑模型,主要用来数据分析;

(2)最大化利用CPU;

4.集中式系统

猜你喜欢

转载自www.cnblogs.com/lizm166/p/9271355.html