一、不使用HA场景
1.1 获取FileSystem(下称FS)方法一:
FileSystem fs = FileSystem.get(URI.create("hdfs://<nn_ip>:<nn_port>"), new Configuration());
1.2 获取FS方法二(★推荐):
Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://<nn_ip>:<nn_port>"); FileSystem fs = FileSystem.get(conf);
二、Hadoop2.x(CDH4)不配置HA场景
2.1 连接单台NN
使用方式和1.2的代码是完全一样的,不需要任何代码变更。
三、Hadoop2.x(CDH4)使用HA场景
3.1 连接单台NN
使用方式和1.2的代码是完全一样的,不需要任何代码变更。
3.2 使用nameservices,并支持自动切换,这里有两种方法:
方法一:使用配置文件
- 使用1.2配置,"fs.default.name"配置为你的nameservices名称,如:"hdfs://venice"
- 将线上core-site.xml和hdfs-site.xml放到你项目配置文件目录,如conf,确保程序运行后,这个目录会被加载到classpath,特别注意,要添加如下配置到你的hdfs-site.xml文件,否则NN失败不会切换:
<property> <name>dfs.client.failover.proxy.provider.<your_nameservices></name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property>
方法二:代码嵌入配置
- 使用1.2配置方式,并设置如下值:
- fs.default.name(hadoop2.0兼容1.0该配置项名称,也可使用"fs.defaultFS")
- dfs.nameservices
- dfs.ha.namenodes.<your_nameservices>
- dfs.namenode.rpc-address.<your_nameservices>.xxx
- dfs.namenode.rpc-address.<your_nameservices>.yyy
- dfs.client.failover.proxy.provider.<your_nameservices>
HA配置总结
方法一的优点是不需要修改代码,缺点是要维护配置文件,方法二要修改系统代码,但不需要维护配置文件
-end
一、不使用HA场景 1.1 获取FileSystem(下称FS)方法一:FileSystem fs = FileSystem.get(URI.create("hdfs://<nn_ip>:<nn_port>"), new Configuration());1.2 获取FS方法二(★推荐):
Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://<nn_ip>:<nn_port>"); FileSystem fs = FileSystem.get(conf);二、Hadoop2.x(CDH4)不配置HA场景 2.1 连接单台NN 使用方式和1.2的代码是完全一样的,不需要任何代码变更。 三、Hadoop2.x(CDH4)使用HA场景 3.1 连接单台NN 使用方式和1.2的代码是完全一样的,不需要任何代码变更。 3.2 使用nameservices,并支持自动切换,这里有两种方法: 方法一:使用配置文件
- 使用1.2配置,"fs.default.name"配置为你的nameservices名称,如:"hdfs://venice"
- 将线上core-site.xml和hdfs-site.xml放到你项目配置文件目录,如conf,确保程序运行后,这个目录会被加载到classpath,特别注意,要添加如下配置到你的hdfs-site.xml文件,否则NN失败不会切换: