HFTP Guide
Introduction
HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP,数据都在DataNode上。HFTP是一个只读的文件系统,如果你试图用它写或者修改文件系统的状态,将会抛出一个错误。
如果你用多个不同版本的HDFS集群,然后你需要在集群之间移动数据的话,HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如,你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意,HFTP是只读的,因此,目的路径必须是一HDFS文件系统。(在这个例子中,distcp应该用新文件系统的配置运行)
一个扩展,HSFTP,默认使用HTTPS。这意味着数据在传输时将被加密。
Implementation
HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的,HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。
Configuration Options
dfs.hftp.https.port |
the HTTPS port on the remote cluster. If not set, HFTP will fall back ondfs.https.port. |
hdfs.service.host_ip:port |
Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port. |
HFTP Guide
Introduction
HDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP,数据都在DataNode上。HFTP是一个只读的文件系统,如果你试图用它写或者修改文件系统的状态,将会抛出一个错误。
如果你用多个不同版本的HDFS集群,然后你需要在集群之间移动数据的话,HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼容的。例如,你可以使用命令hadoopdistcp -i hftp://sourceFS:50070/src hdfs://destFS:50070/dest。注意,HFTP是只读的,因此,目的路径必须是一HDFS文件系统。(在这个例子中,distcp应该用新文件系统的配置运行)
一个扩展,HSFTP,默认使用HTTPS。这意味着数据在传输时将被加密。
Implementation
HFTP的实现类是org.apache.hadoop.hdfs.HftpFileSystem。同样的,HSFTP的实现是org.apache.hadoop.hdfs.HsftpFileSystem。
Configuration Options
dfs.hftp.https.port |
the HTTPS port on the remote cluster. If not set, HFTP will fall back ondfs.https.port. |
hdfs.service.host_ip:port |
Specifies the service name (for the security subsystem) associated with the HFTP filesystem running at ip:port. |