用Java访问带有Kerberos认证的HBase

开始之前


   因为HBase的存储系统是基于Hadoop的存储,现在Hadoop已经增加了Kerberos认证机制,这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。
   Kerberos是一个认证中心,客户端在访问HBase前必须通过认证才能访问,下图是Kerberos的认证图:
  

 我们不需要详细介绍Kerberos的原理,但是大概流程可以说一下:

当HBase客户端访问HBase的时候,首先必须访问KDC获取一个经过授权的票据,以后Client在访问HBase server的时候可以通过这个票据进行访问。
正常情况下当我们通过HBase客户端访问的时候,都需要进行一次认证的过程,认证过后,KDC返回的票据具有有效期,一般默认是10小时,换句话说在这10个小时内你不需要再次登录KDC进行认证。

1,Linux客户端认证方式
 
 如果我们现在处在Linux客户端上想进行HBase Client的Kerberos认证怎么办,我们怎么登录KDC进行认证?  在Linux有一个Kinit可以完成这种认证过程,可以通过kinit之后,传入必要的参数(例如用户名和密码)等就可以认证。 同时Kerberos还提供了另外一种方式就是我们可以通过一个.keytab  文件直接认证,这样我们就不需要记住这些密码了,keytab这个文件从哪来的呢,这也是在配置Hadoop的时候通过一个ktutil工具生成的。我们可以理解成.keytab文件是带有密码的一个文件就可以了,只要拿到这个文件我们就可以在linux机器上运行kinit 完成这个登录认证的过程 (其中hbase.keytab是服务端生成的文件)

kinit -k -t /etc/hadoop/conf/hbase.keytab hbase/[email protected]

认证完成后我们就可以直接用 hbase shell操作Hbase了

2, Java程序认证方式

通过Linux kinit 命令我们很容易的完成认证,但是如果要是用Java程序编码怎么完成这种登录认证呢?

  2.1 我们把服务器端的 hbase.keytab 文件 copy到 本地一个磁盘,例如  c:\
  2.2 我们copy远程集群一个hbase-site.xml文件放到你运行环境的classpath下,这个和正常没有kerberos的HBase访问是一样的
  2.3 接下来我们需要用到 UserGroupInformation API来进行访问,这个API需要一个参数 principal 和一个你的 keytab 文件,这里文件里面存储的是相关的密码

  程序代码实例如下:

  
package  com.hbasedemo;

import  java.io.IOException;

import  org.apache.hadoop.conf.Configuration;
import  org.apache.hadoop.hbase.HBaseConfiguration;
import  org.apache.hadoop.hbase.KeyValue;
import  org.apache.hadoop.hbase.client.HTable;
import  org.apache.hadoop.hbase.client.Result;
import  org.apache.hadoop.hbase.client.ResultScanner;
import  org.apache.hadoop.hbase.client.Scan;
import  org.apache.hadoop.security.UserGroupInformation;

public  class  Test {
        private  static  Configuration  conf  =  null ;

        static  {

              // 这个配置文件主要是记录 kerberos的相关配置信息,例如KDC是哪个IP?默认的realm是哪个?
              // 如果没有这个配置文件这边认证的时候肯定不知道KDC的路径喽
              // 这个文件也是从远程服务器上copy下来的
            System. setProperty( "java.security.krb5.conf" ,  "C:/Users/dongzeguang/Downloads/krb5.conf"  );
            
              conf  = HBaseConfiguration.create();
              conf .set( "hadoop.security.authentication"  ,  "Kerberos"  );
              // 这个hbase.keytab也是从远程服务器上copy下来的, 里面存储的是密码相关信息
              // 这样我们就不需要交互式输入密码了
              conf .set( "keytab.file"  ,  "C:/Users/Downloads/hbase.keytab"  );
              // 这个可以理解成用户名信息,也就是Principal
              conf .set( "kerberos.principal"  ,  "hbase/[email protected]"  );    
            conf.set("hbase.master.kerberos.principal",HBASE_MASTER_PRINCIPAL);
            conf.set("hbase.regionserver.kerberos.principal",HBASE_RS_PRINCIPAL);
            conf.set("hbase.zookeeper.quorum","xxx.xxx.xxx.xxx");
            conf.set("hbase.zookeeper.property.clientPort","2181");
            conf.set("hbase.security.authentication","kerberos");

            UserGroupInformation. setConfiguration( conf );
              try  {
                  UserGroupInformation. loginUserFromKeytab( "hbase/[email protected]" ,  "C:/Users/Downloads/hbase.keytab"  );
            }  catch  (IOException e) {
                    //  TODO  Auto-generated catch block
                  e.printStackTrace();
            }
      }

        public  static  void  scanSpan( final  String tableName)  throws  Exception {
            HTable table =   new  HTable( conf , tableName);
            System.  out .println( "tablename:"  + new  String(table.getTableName()));
            Scan s =  new  Scan();
            ResultScanner rs = table.getScanner(s);
            
              for  (Result r : rs) {
                  System.  out .println(r.toString());
                  KeyValue[] kv = r. raw();
                    for  ( int  i = 0; i < kv. length ; i++) {
                        System.  out .print( new  String(kv[i].getRow()) +  "" );
                        System.  out .print( new  String(kv[i].getFamily()) +  ":" );
                        System.  out .print( new  String(kv[i].getQualifier() ) +  ""  );
                        System.  out .print(kv[i].getTimestamp() +  ""  );
                        System.  out .println( new  String(kv[i].getValue() ));
                  }
            }

      }

        /**
       *  @param  args
       */
        public  static  void  main(String[] args) {
              //  TODO  Auto-generated method stub
              try  {
                  Test. scanSpan( "h_span" );
            }  catch  (Exception e) {
                    //  TODO  Auto-generated catch block
                  e.printStackTrace();
            }
      }

}


转载出处:http://blog.csdn.net/blackice1015/article/details/49422855

猜你喜欢

转载自blog.csdn.net/mm_bit/article/details/51958344