HBase优化总结

1.高可用

HBase 中的 Hmaster 存在单点故障隐患, 故需要配置 HA, HBase 原生支持对 Hmaster 的 HA

步骤如下:

1．关闭HBase集群（如果没有开启则跳过此步）

[rayfun@hadoop102 hbase]$ bin/stop-hbase.sh

2．在conf目录下创建backup-masters文件

[rayfun@hadoop102 hbase]$ touch conf/backup-masters

3．在backup-masters文件中配置高可用HMaster节点

[rayfun@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters

4．将整个conf目录scp到其他节点

5．查看webUI http://hadooo102:16010

2.基础优化

1．允许在 HDFS 的文件中追加内容

相关配置 hdfs-site.xml、hbase-site.xml

属性：dfs.support.append

解释：开启 HDFS 追加同步，可以优秀的配合 HBase 的数据同步和持久化。默认值为 true

2．优化 DataNode 允许的最大文件打开数

相关配置 hbase-site.xml

属性：hbase.regionserver.handler.count

解释：默认值为30，用于指定 RPC 监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值

6．优化HStore文件大小

相关配置 hbase-site.xml

属性：hbase.hregion.max.filesize

解释：默认值10737418240（10GB），如果需要运行 HBase 的 MR 任务，可以减小此值，因为一个 region 对应一个 map 任务，如果单个 region 过大，会导致 map 任务执行时间过长。该值的意思就是，如果 HFile 的大小达到这个数值，则这个 region 会被切分为两个 Hfile

7．优化 hbase 客户端缓存

相关配置 hbase-site.xml

属性：hbase.client.write.buffer

解释：用于指定 HBase 客户端缓存，增大该值可以减少 RPC 远程过程调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少 RPC 次数的目的

8．指定 scan.next 扫描 HBase 所获取的行数

相关配置 hbase-site.xml

属性：hbase.client.scanner.caching

解释：用于指定 scan.next 方法获取的默认行数，值越大，消耗内存越大

3.预分区

提前分区可以避免或减少 HBase 自动分区, 提高性能, 减少数据倾斜

各种预分区的方法:

1．生成16进制序列预分区

hbase> create 'staff','info','partition',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

2．手动设定预分区

hbase> create 'staff','info','partition',SPLITS => ['10000','20000','30000','40000']

3．按照文件中设置的规则预分区

创建splits.txt文件：

AAA

BBB

CCC

然后执行：

hbase> create 'staff','partition',SPLITS_FILE => 'splits.txt'

4．使用 JavaAPI 创建预分区

//自定义算法，产生一系列Hash散列值存储在二维数组中
byte[][] splitKeys = 某个散列值函数

//创建HBaseAdmin实例
HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());

//创建HTableDescriptor实例
HTableDescriptor tableDesc = new HTableDescriptor(tableName);

//通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表
hAdmin.createTable(tableDesc, splitKeys);

4.RowKey 设计原则

设计rowkey的主要目的，是让数据均匀的分布于所有的 region 中，在一定程度上防止数据倾斜, 一般和预分区结合使用

常用 RowKey 设计为:

1．生成随机数、hash、散列值

2．字符串反转

3．字符串拼接, 常用符号 _ 和 |, 拼接时间戳

Tips: | 的 ascii 码大于所有的字母数字的 ascii 码, 常用来作为过滤的 stop_row

RowKey 最大长度为 64K, 实际一般为 70~100 字节, 拼接时间戳以及常用的列, 这样取数据的时候更加方便

常用的预分区键: 01|, 02|, 03| …..

常用的 RowKey 格式: 散列随机值_时间戳_字段1_字段2…

取 RowKey 中一些常用的字段的值 hash/MD5 % 预分区个数作为随机值附加到原 RowKey 前用于做散列

例如手机_年月, 同一个手机号, 同年同月的 hash 值出来是相同的, 会进入同一个分区

至于不直接使用随机值的的原因是, 如果附加在前面无法查询, 如果根据自选的字段进行 hash, 则可以

5.内存优化

Table是可以缓存在内存中的，一般会分配整个可用内存的70%给HBase的Java堆, 分配过大的内存会导致GC过程持续太久, RegionServer处于长期不可用状态

1.高可用

2.基础优化

3.预分区

4.RowKey 设计原则

5.内存优化

猜你喜欢