1.高可用
HBase 中的 Hmaster 存在单点故障隐患, 故需要配置 HA, HBase 原生支持对 Hmaster 的 HA
步骤如下:
1.关闭HBase集群(如果没有开启则跳过此步)
[rayfun@hadoop102 hbase]$ bin/stop-hbase.sh
2.在conf目录下创建backup-masters文件
[rayfun@hadoop102 hbase]$ touch conf/backup-masters
3.在backup-masters文件中配置高可用HMaster节点
[rayfun@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters
4.将整个conf目录scp到其他节点
5.查看webUI http://hadooo102:16010
2.基础优化
1.允许在 HDFS 的文件中追加内容
相关配置 hdfs-site.xml、hbase-site.xml
属性:dfs.support.append 解释:开启 HDFS 追加同步,可以优秀的配合 HBase 的数据同步和持久化。默认值为 true |
2.优化 DataNode 允许的最大文件打开数
相关配置 hdfs-site.xml
属性:dfs.datanode.max.transfer.threads 解释:HBase 一般都会同一时间操作大量的文件,根据集群的数量和规模以及数据动作,设置为 4096 或者更高。默认值:4096 |
3.优化延迟高的数据操作的等待时间
相关配置 hdfs-site.xml
属性:dfs.image.transfer.timeout 解释:如果对于某一次数据操作来讲,延迟非常高,socket 需要等待更长的时间,建议把该值设置为更大的值(默认60000毫秒),以确保 socket 不会被 timeout 掉 |
4.优化数据的写入效率
相关配置 mapred-site.xml
属性: mapreduce.map.output.compress mapreduce.map.output.compress.codec 解释:开启这两个数据可以大大提高文件的写入效率,减少写入时间。第一个属性值修改为 true,第二个属性值修改为:org.apache.hadoop.io.compress.GzipCodec 或者其他压缩方式 |
5.设置RPC监听数量
相关配置 hbase-site.xml
属性:hbase.regionserver.handler.count 解释:默认值为30,用于指定 RPC 监听的数量,可以根据客户端的请求数进行调整,读写请求较多时,增加此值 |
6.优化HStore文件大小
相关配置 hbase-site.xml
属性:hbase.hregion.max.filesize 解释:默认值10737418240(10GB),如果需要运行 HBase 的 MR 任务,可以减小此值,因为一个 region 对应一个 map 任务,如果单个 region 过大,会导致 map 任务执行时间过长。该值的意思就是,如果 HFile 的大小达到这个数值,则这个 region 会被切分为两个 Hfile |
7.优化 hbase 客户端缓存
相关配置 hbase-site.xml
属性:hbase.client.write.buffer 解释:用于指定 HBase 客户端缓存,增大该值可以减少 RPC 远程过程调用次数,但是会消耗更多内存,反之则反之。一般我们需要设定一定的缓存大小,以达到减少 RPC 次数的目的 |
8.指定 scan.next 扫描 HBase 所获取的行数
相关配置 hbase-site.xml
属性:hbase.client.scanner.caching 解释:用于指定 scan.next 方法获取的默认行数,值越大,消耗内存越大 |
3.预分区
提前分区可以避免或减少 HBase 自动分区, 提高性能, 减少数据倾斜
各种预分区的方法:
1.生成16进制序列预分区
hbase> create 'staff','info','partition',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
2.手动设定预分区
hbase> create 'staff','info','partition',SPLITS => ['10000','20000','30000','40000']
3.按照文件中设置的规则预分区
创建splits.txt文件:
AAA BBB CCC |
然后执行:
hbase> create 'staff','partition',SPLITS_FILE => 'splits.txt'
4.使用 JavaAPI 创建预分区
//自定义算法,产生一系列Hash散列值存储在二维数组中
byte[][] splitKeys = 某个散列值函数
//创建HBaseAdmin实例
HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());
//创建HTableDescriptor实例
HTableDescriptor tableDesc = new HTableDescriptor(tableName);
//通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表
hAdmin.createTable(tableDesc, splitKeys);
4.RowKey 设计原则
设计rowkey的主要目的 ,是让数据均匀的分布于所有的 region 中,在一定程度上防止数据倾斜, 一般和预分区结合使用
常用 RowKey 设计为:
1.生成随机数、hash、散列值
2.字符串反转
3.字符串拼接, 常用符号 _ 和 |, 拼接时间戳
Tips: | 的 ascii 码大于所有的字母数字的 ascii 码, 常用来作为过滤的 stop_row
RowKey 最大长度为 64K, 实际一般为 70~100 字节, 拼接时间戳以及常用的列, 这样取数据的时候更加方便 常用的预分区键: 01|, 02|, 03| ….. 常用的 RowKey 格式: 散列随机值_时间戳_字段1_字段2… 取 RowKey 中一些常用的 字段的值 hash/MD5 % 预分区个数 作为随机值附加到原 RowKey 前用于做散列 例如 手机_年月, 同一个手机号, 同年同月的 hash 值出来是相同的, 会进入同一个分区 至于不直接使用随机值的的原因是, 如果附加在前面无法查询, 如果根据自选的字段进行 hash, 则可以 |
5.内存优化
Table是可以缓存在内存中的,一般会分配整个可用内存的70%给HBase的Java堆, 分配过大的内存会导致GC过程持续太久, RegionServer处于长期不可用状态