无处不在的大数据
随着科技的发展,数据越来越多,也越来越有价值。更有形象的描述:数据就是未来的石油。
云端的服务器也越多,也是未来的发展方向。
越来越多的企业把数据存储在云端,并从中获取有用的价值。
马云多次强调;alibaba是一家数据公司!!!
如何对数据进行存储和分析
系统瓶颈
存储容量 读写速率 计算效率
Google三大革命技术
MapReduce BigTable GFS
革命性变化
- 成本降低,能用pc就不用大型机和高端存储(针对非重要数据)
- 软件容错 硬件故障视为常态,通过软件保证高可靠性
- Map Reduce简化并行分布式计算 无须控制节点同步和数据交换
-
-
-
但是Google只发表了技术论文 并没有开源
Hadoop发明
百度百科
Hadoop由 Apache Software Foundation
公司于 2005 年秋天作为
Lucene的子项目Nutch的一部分正式引入。
它受到最先由 Google Lab 开发的
Map/Reduce 和 Google File System(GFS) 的启发
名字起源
Hadoop这个名字不是一个缩写,而是一个虚构的名字。该项目的创建者,Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”