HDFS的实现原理

1.HDFS是Hadoop的核心组件之一,作为最底层分布式存储系统存在,主要是为了解决大数据存储;

2.特性:

           采用master/slave架构,一个主节点,多个从节点,共同协调完成分布式文件存储服务;

           分块存储,物理上按照Block块进行存储,默认大小是128M;

           名字空间,主节点负责维护文件系统的名字空间,任何对文件系统名字空间或者属性的修改都会被记录在主节点的Edits中;

           NameNode存储元数据信息,所谓的元数据就是目录结构以及位置信息;

           DataNode负责存储数据,每个block可以存储在不同子节点服务器上,DataNode需要定时向主节点汇报持有的block信息;

           副本机制,为了保证容错性,文件的所有block块都会有副本;

           一次写入,多次读出,不支持文件的修改;

猜你喜欢

转载自blog.csdn.net/Sunshine_2211468152/article/details/83615198