hdfs文件系统设计来:
存储很大的文件,可以大到数M,数G,数T;
对数据的流式读取,基于一种典型情况,写一次,读多次,读取整个数据的吞吐量显得很重要;
只要求普通硬件设备;
在下面一些方面当前还不是很好:
要求低延迟的对数据读取,HBase做得要好些,可参考;
有许多小文件;
多个写者同时写,在文件任意位置修改;
概念:
块:
hdfs文件系统设计来:
存储很大的文件,可以大到数M,数G,数T;
对数据的流式读取,基于一种典型情况,写一次,读多次,读取整个数据的吞吐量显得很重要;
只要求普通硬件设备;
在下面一些方面当前还不是很好:
要求低延迟的对数据读取,HBase做得要好些,可参考;
有许多小文件;
多个写者同时写,在文件任意位置修改;
概念:
块: