【hbase Phoenix 】python 如何读取hbase数据集，通过SQL语句

HBase本身是一个NoSQL数据库，并不支持使用SQL语句进行查询。不过，可以通过Apache Phoenix来实现使用SQL语句操作HBase。

Apache Phoenix是一个基于HBase的关系型数据库，它提供了类似SQL的查询语言，并将这些查询转化为HBase对应的API调用，从而实现对HBase数据的操作。使用Python操作Phoenix也是相对容易的，可以使用JayDeBeApi库连接到Phoenix服务器并执行SQL查询。

首先需要安装JayDeBeApi和Phoenix JDBC驱动，可以使用以下命令进行安装：

pip install JayDeBeApi

下载Phoenix JDBC驱动，可以在Apache官网下载：https://phoenix.apache.org/download.html

然后就可以连接Phoenix并执行SQL查询了，下面是一个示例代码：

import jaydebeapi

# 连接Phoenix
conn = jaydebeapi.connect(
    'org.apache.phoenix.jdbc.PhoenixDriver',
    '<Phoenix JDBC URL>',
    {
    
    'user': '<用户名>', 'password': '<密码>'},
    '<Phoenix JAR文件路径>'
)

# 执行SQL查询
curs = conn.cursor()
curs.execute('SELECT * FROM <表名> WHERE <条件>')
data = curs.fetchall()

# 处理查询结果
for row in data:
    print(row)

# 关闭连接
curs.close()
conn.close()

其中，、<用户名>、<密码>、<Phoenix JAR文件路径>和<表名>需要替换为实际的值，<条件>也需要替换为实际的查询条件。需要注意的是，连接Phoenix时需要确保Phoenix服务已经启动，并且网络连接能够正常访问到Phoenix服务器。

Phoenix 查询SQL语句，按分钟求标签平均值

select "name", TO_CHAR(TO_TIMESTAMP(SUBSTR("time", 0, 12), 'yyyyMMddHHmm'), 'yyyy-MM-dd HH:mm') time,avg(to_number("value")) avg from "DR_RT_OPC_KAFKAAI" 
where "PK" > '313FA07YP02_FLM_20230403' and "PK" < '313FA07YP02_FLM_20230417' group by TO_CHAR(TO_TIMESTAMP(SUBSTR("time", 0, 12), 'yyyyMMddHHmm'), 'yyyy-MM-dd HH:mm'),"name"

同时python 也可以通过HappyBase库来读取HBase数据集。下面是一个简单的代码示例：

首先需要安装HappyBase库：

pip install happybase

然后就可以连接HBase并读取数据了：

import happybase
import pandas as pd

# 连接HBase
connection = happybase.Connection('<HBase服务器IP>', port=<端口号>)

# 选择表
table = connection.table('<表名>')

# 读取数据
data = []
for key, value in table.scan(columns=[b'<列族>:<列名>', b'<列族>:<列名>']):
    row_data = {
    
    column.decode('utf-8'): value[column].decode('utf-8') for column in value}
    data.append(row_data)

# 将数据转换为DataFrame
df = pd.DataFrame(data)

其中，<HBase服务器IP>和<端口号>需要替换为实际的值，<表名>和<行键>也需要替换为实际的表名和行键。如果需要读取多行数据，可以使用table.scan()方法。

扫描二维码关注公众号，回复： 15684997 查看本文章

需要注意的是，连接HBase时需要确保HBase服务已经启动，并且网络连接能够正常访问到HBase服务器。

【hbase Phoenix 】python 如何读取hbase数据集，通过SQL语句

猜你喜欢