HBase
第一章 HBase简介
第二章 HBase安装
2.1 Zookeeper正常部署
2.2 Hadoop正常部署
2.3 解压
2.4 修改配置文件
2.4.1 hbase-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
JDK1.8需要注释
#export HBASE_MASTER_OPTS。。。。
#export HBASE_REGIONSERVER_OPTS。。。
2.4.2 hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node11:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98后的新变动,之前版本没有.port,默认端口为60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node11:2181,node12:2181,node13:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.10/zkData</value>
</property>
</configuration>
2.4.3 regionservers
node11
node12
node13
2.4.4 软连接hadoop配置文件到hbase
[yanlzh@node11 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
[yanlzh@node11 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml
2.5 群发
2.6 启动HBase服务
单独启动
[yanlzh@node11 hbase]$ bin/hbase-daemon.sh start master
[yanlzh@node11 hbase]$ bin/hbase-daemon.sh start regionserver
群起
[atguigu@hadoop102 hbase]$ bin/start-hbase.sh
[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh
2.7 查看HBase页面
第三章 HBase Shell操作
3.1 创建表
create 'student','info'
3.2 插入数据到表
put 'student','1001','info:sex','male'
put 'student','1001','info:age','18'
put 'student','1002','info:name','Janna'
put 'student','1002','info:sex','female'
put 'student','1002','info:age','20'
3.3 扫描查看表数据
scan 'student'
scan 'student',{STARTROW => '1001', STOPROW => '1003'}
scan 'student',{STARTROW => '1001'}
3.4 查看表结构
describe 'student'
3.5 更新指定字段的数据
put 'student','1001','info:name', 'Nick'
put 'student','1001','info:age','100'
3.6 查看"指定行"或"指定列族:列"的数据
get 'student','1001'
get 'student','1001','info:name'
3.7 统计表数据行数
count 'student'
3.8 删除数据
deleteall 'student','1001'
delete 'student', '1002','info:sex'
3.9 清空表数据
truncate 'student'
3.10 删除表
disable 'student'
drop 'student'
3.11 变更表信息
alter 'student',{NAME=>'info',VERSIONS=>3}
第四章 HBase数据结构
4.1 RowKey
与nosql数据库们一样,rowKey是用来检索记录的
主键
.
访问HBASE table中的行
,只有三种方式:
- 通过单个rowkey访问(get)
- 通过rowkey的range(正则)like
- 全表扫描(scan)
RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB,实际应用中长度一般为 10-100bytes),在HBASE内部,
RowKey保存为字节数组
。存储时,数据按照RowKey的字典序(byte order)排序存储
。设计RowKey时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性
)
4.2 Column Family
列族:HBASE表中的每个列,都归属于某个列族。
列族是表的schema的一部分
(而列不是),必须在使用表之前定义
。列名都
以列族作为前缀。例如 courses:history,courses:math都属于courses 这个列族。
4.3 Ceil
由{rowkey, column Family:columu, version} 唯一确定的单元。cell中的数据
是没有类型
的,全部是字节码
形式存贮。
关键字:无类型、字节码
4.4 TimeStamp
HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。
每个 cell都保存 着同一份数据的多个版本
。版本通过时间戳来索引
。时间戳的类型是 64位整型。时间戳可以由HBASE(在数据写入时自动 )赋值,此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突,就必须自己生成具有唯一性的时间戳。每个 cell中,不同版本的数据按照时间倒序
排序,即最新的数据排在最前面。
4.5 Namespace
命名空间的结构:
- Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果
没有指定,则在default默认的命名空间中
。- RegionServer group:一个命名空间包含了默认的RegionServer Group。
- Permission:权限,命名空间能够让我们来定义访问控制列表ACL(Access Control List)。例如,创建表,读取表,删除,更新等等操作。
- Quota:限额,可以强制一个命名空间可包含的region的数量。
第五章 HBase原理
5.1 读流程
1)Client先访问
zookeeper
,从meta表读取region的位置,然后读取meta
表中的数据。meta中又存储了用户表的region信息;
2)根据namespace、表名和rowkey在meta表中找到对应的region
信息;
3)找到这个region对应的regionserver
;
4)查找对应的region;
5)先从MemStore(写缓存)
找数据,如果没有,再到BlockCache(读缓存)
里面读;
6)BlockCache还没有,再到StoreFile
上读(为了读取的效率);
7)如果是从StoreFile里面读取的数据,不是直接返回给客户端,而是先写入BlockCache,再返回给客户端
。
- 客户端去zookeeper那里获取 hbase的元数据信息在哪台机器上(regionServer1)
- 客户端去regionServer1 上读取元数据信息, 获取所要查询的数据在哪台机器上(regionServer4)
- 客户端去regionServer4 上读取要查询的数据信息(读取细节如下:)
- 先找region(高表水平切分),可以理解为分区partition
- 从Memstore(写缓存)中找数据,如果没有
- 再从BlockCache(读缓存)中找数据,如果没有
- 最后从StoreFile中找数据
- 从StoreFile里面读取的数据,不是直接返回给客户端,而是先写入BlockCache,再返回给客户端
5.2 写流程
1)Client向
HregionServer
发送写请求;
2)HregionServer将数据写到HLog
(write ahead log)。为了数据的持久化和恢复;
3)HregionServer将数据写到内存(MemStore
);
4)反馈Client写成功。
5.3 数据Flush过程
5.4 数据合并过程
第六章 HBase API操作
6.1 环境准备
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.3.1</version>
</dependency>
6.2 HBase API
6.2.0 连接HBase步骤
// 0. 获取配置对象, 获取hbase的连接
Configuration conf = HBaseConfiguration.create();
// 1. 创建hbase连接对象
Connection connection = ConnectionFactory.createConnection(conf);
// 2. 获取操作对象
// (1)DDL-----> Admin
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
HBaseAdmin admin2 = new HBaseAdmin(conf);
// (2)DCL-----> Table
HTable table = (HTable) connection.getTable();
HTable table2 = new HTable(conf, tableName);
// 3. 操作数据库
admin.tableExists("student");
// 4. 获取操作结果
// 5. 关闭数据库连接
6.2.1 获取configuration对象
public static Configuration conf;
static{
conf = HBaseConfiguration.create();
}
6.2.2 判断表是否存在
public static boolean isTableExist(String tableName) throws Exception {
Connection connection = ConnectionFactory.createConnection(conf);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
return admin.tableExists(tableName);
}
6.2.3 创建表
// 创建表
public static void createTable(String tableName, String... columnFamily) throws Exception {
Connection connection = ConnectionFactory.createConnection(conf);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
// 判断表是否存在
if (isTableExist(tableName)) {
System.out.println("table:" + tableName + "is exist");
System.exit(0);
} else {
// 创建表属性对象, 表名需要转字节
HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf(tableName));
// 创建多个列族
for (String cf : columnFamily) {
descriptor.addFamily(new HColumnDescriptor(cf));
}
admin.createTable(descriptor);
}
}
6.3.4 删除表
public static void dropTable(String tableName) throws Exception {
HBaseAdmin admin = new HBaseAdmin(conf);
if (isTableExist(tableName)) {
admin.disableTable(tableName);
admin.deleteTable(tableName);
}
}
6.3.5 向表中插入数据
public static void addRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException {
// 创建HTable对象
HTable hTable = new HTable(conf, tableName);
// 向表中插入数据
Put put = new Put(Bytes.toBytes(rowKey));
// 向put对象中组装数据
put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value));
hTable.put(put);
hTable.close();
System.out.println("插入数据成功");
}
6.3.6 删除多行数据
// 删除多行数据
public static void deleteMultiRow(String tableName, String... rows) throws IOException {
HTable hTable = new HTable(conf, tableName);
ArrayList<Delete> deleteArrayList = new ArrayList<Delete>();
for (String row : rows) {
Delete delete = new Delete(Bytes.toBytes(row));
deleteArrayList.add(delete);
}
hTable.delete(deleteArrayList);
hTable.close();
}
6.3.7 获取所有数据
// 获取所有数据
public static void getAllRows(String tableName) throws IOException {
Connection connection = ConnectionFactory.createConnection(conf);
HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));
// 得到用于扫描region的对象
Scan scan = new Scan();
// 使用HTable得到resultscaner实现类的对象
ResultScanner resultSca = table.getScanner(scan);
for (Result result : resultSca) {
Cell[] cells = result.rawCells();
for (Cell cell : cells) {
System.out.println("row:" + Bytes.toString(CellUtil.cloneRow(cell)));
System.out.println("cf:" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("col:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("value:" + Bytes.toString(CellUtil.cloneValue(cell)));
}
}
}
6.3.8 获取某一行数据
// 获取某一行数据
public static void getRow(String tableName, String rowKey) throws IOException {
HTable hTable = new HTable(conf, tableName);
Get get = new Get(Bytes.toBytes(rowKey));
Result result = hTable.get(get);
for (Cell cell : result.rawCells()) {
System.out.println("row:" + Bytes.toString(CellUtil.cloneRow(cell)));
System.out.println("cf:" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("col:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("value:" + Bytes.toString(CellUtil.cloneValue(cell)));
System.out.println("timeStamp:" + cell.getTimestamp());
}
}
6.3.9 获取某一行指定"列族"的数据
// 获取某一行指定“列族:列”的数据
public static void getRowByQualifier(String tableName, String rowKey, String family, String qualifier) throws IOException {
HTable hTable = new HTable(conf, tableName);
Get get = new Get(Bytes.toBytes(rowKey));
get.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
Result result = hTable.get(get);
for (Cell cell : result.rawCells()) {
System.out.println("row:" + Bytes.toString(CellUtil.cloneRow(cell)));
System.out.println("cf:" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("col:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("value:" + Bytes.toString(CellUtil.cloneValue(cell)));
}
}