namenode元数据管理之查找小文件

hdfs的海量文件信息都是存储在datanode上,datanode会定时发送心跳到namenode,namenode会把这些文件,目录,节点信息都以内存对象形式存在内存中,如果小文件过多(小文件是指大小远小于dfs.blocksize,一般在大集群中都设置为128M以上,默认值64M),会消耗大量的namenode内存,给集群的管理带来很大的压力,

另外一方面namendoe会将所有客户端的写操作记录在editlog,secondary namenode会周期性合并fsimage和edits成新的fsimage,具体过程如下图所示

猜你喜欢

转载自www.cnblogs.com/tommyjiang/p/10629759.html