在启动namenode时,会首先进入安全模式(safemode)。在safemode中,HDFS是不被允许进行操作的,这段时间,HDFS会检查datanode上面的块是否被损坏,若块丢失或被损坏,会修复被损坏的块,但如果损坏的太多,则namenode会一直处在安全模式,从而导致HDFS不能操作。一般遇到这种问题,等待片刻便会自动退出安全模式,但凡事总有不一般的时候,当块损坏的太多而无法修复时,namenode会始终处于安全模式,这时也可以用命令强行退出安全模式。
namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项编辑操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(该操作不需要借助secondary namenode)和一个空的编辑日志。在这个过程中,namenode运行中安全模式,意味着namenode的文件系统对于客户端来说是只读的。
严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是肯定成功执行的,例如显示目录列表等。对于读文件操作来说,只有集群中当前datanode上的块可用时,才能够工作。但文件修改操作(包括写、删除或重命名)均会失败。
需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中(每个datanode存储的块组成的列表)。在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息。在安全模式下,各个datanode会向namenode发送最新的快列表信息,namenode了解到足够多的块位置信息之后,即可高效运行文件系统。如果namenode认为向其发送更新信息的datanode节点过少,则它会启动快复制进程,以将数据块复制到新的datanode节点。然而,在大多数情况下上述操作都是不必要的(因为实际上namenode只需继续等待更多datanode发送更新信息即可),并浪费了集群的资源。实际上,在安全模式下namenode并不向datanode发送任何块复制或块删除的指令。
如果满足“最小副本条件”(minimal replication condition),namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中有99.9%的块满足最小副本级别(默认值是1,由dfs.namenode.replication.min属性设置)。
安全模式的属性:
属性名称 | 类型 | 默认值 | 说明 |
---|---|---|---|
dfs.namenode.replication.min | int | 1 | 成功执行写操作所需要创建的最小副本数目(也称为最小副本级别) |
dfs.namenode.safemode.threshold-pct | float | 0.999 | 在namenode退出安全模式之前,系统中满足最小副本级别(由dfs.namenode.replication.min定义)的块的比例。将这项值设为0或更小会令namenode无法启动安全模式;设为高于1则永远不会退出安全模式 |
dfs.namenode.safemode.extension | int | 30000 | 在满足最小副本条件(由dfs.namenode.safemode.threshold-pct定义)之后,namenode还需要处于安全模式的时间(以毫秒为单位)。对于小型集群(几十个节点)来说,这项值可以设为0 |
在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以namenode不会进入安全模式。
进入和离开安全模式
要想查看namenode是否处于安全模式,可以执行:
hdfs dfsadmin -safemode get
(我这里是用117和116两台服务器做了namenode的HA)
有时,用户期望在执行某条命令之前namenode先退出安全模式,特别是在脚本中。使用wait选项来实现:
hdfs dfsadmin -safemode wait
管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键,因为需要确保数据在指定时段内是只读的。使用以下命令进入安全模式:
hdfs dfsadmin -safemode enter
前面提到过,namenode在启动阶段会处于安全模式。在此期间也可使用这条命令,从而确保namenode在启动完毕之后不离开安全模式。另一种使namenode永远处于安全模式的方法是将属性dfs.namenode.safemode.threshold-pct的值设为大于1。
运行以下指令可使namenode离开安全模式:
hdfs dfsadmin -safemode leave
完毕。