分布式事务数据库HotDBv2.5.1版本

  • 前言

HotDB Server V2.5.1版本是热璞数据库在V2.5.0计算节点集群化里程碑的基础上继续打磨的又一阶段性成果。
分片信息在线变更、直接通过已有分片规则建表、可视化的在线升级管理、用户角色切换等功能会为数据库运维工作带来更多便利;首页监控大屏、逻辑拓扑监控、物理拓扑监控、连接情况报表等页面会为数据库监控工作带来不一样的视觉体验;非确定性函数代理等功能会为数据一致性带来更高的保障。

  • Management新功能讲解

  • 计算节点服务在线升级
    背景说明:历史的计算节点服务版本升级工作需人工介入,手动进行安装包替换和配置库更新。涉及主备模式时,步骤更为繁琐。
    在这里插入图片描述
    功能说明:
    支持通过管理平台进行单节点、主备节点、多节点模式的计算节点服务在线升级
    支持升级不高于管理平台版本的计算节点服务(降级或变更计算节点服务模式暂不支持)
    升级过程出现异常,支持自动回滚并尽力保证与升级前的服务状态一致
    升级过程,支持查看与下载详细操作日志,保证升级过程有迹可循

  • 在线修改分片方案

在这里插入图片描述
功能说明:
支持在线变更表分片规则、分片字段、表类型、分片所属数据节点(不支持修改成为子表类型)
可直接结合智能分片方案推荐结果进行单个或批量表分片方案变更
分片方案变更过程不阻塞业务
在这里插入图片描述
功能说明:
发起变更前需进行:填写变更方案、预检变更方案、变更方案确认等操作
预检变更方案时会对表数据进行主备一致性检测,若24小时内有可用且数据一致的主备检测结果则可选择跳过该项检测
变更完成后可设置对源表进行保留或删除处理,默认24小时后删除
针对大表变更时间较长且对业务造成性能影响的情况,支持设置复制暂停时段错过业务高峰期。

- 计算节点连接信息报表展示
功能说明:
以报表形式展示历史连接过计算节点服务的前端连接信息
支持查看连接总时长、操作次数、连接次数三个维度的连接状况。自动展示三个维度的top1数据以及连接信息在不同维度的分布占比状况
最多可查看一年内所有计算节点前端连接信息
在这里插入图片描述

- 智能物理拓扑
功能说明:
以服务器为视角展示集群组件与服务器的所属关系,同时展示服务器资源使用情况与各组件服务的运行状态
使用前需提前在“服务器”菜单页面的配置基础SSH连接信息(多计算节点集群中LVS服务器需要人工手动添加)
各个服务器监控预警状态阈值与“监控面板设置”阈值同步
在这里插入图片描述
-智能逻辑拓扑
功能说明:
在原有显示内容与功能逻辑下重新设计了拓扑图的展现效果,替换了全新的组件图标并按照空间层次感进行排版
支持鼠标滚动或按钮方式自由放大缩小拓扑视图,对大规模的集群拓扑展示提供了更好的视觉效果
新增仿地图式的画布拖动交互方式,为用户提供全新的交互体验
增加拓扑图信息面板,可查看历史故障、预警、拓扑信息变化情况。记录默认保存七天
在这里插入图片描述
-拓扑图易用性优化
功能说明:
逻辑拓扑图页面新增右键操作按钮:数据节点模块可直接手动切换主从、双主类型的存储节点服务;存储节点模块可直接“快速复制连接信息”复制格式:mysql –uUSER -p -PPORT -hHOST -DDATABASE
在这里插入图片描述在这里插入图片描述
-支持添加管理角色用户
功能说明:
添加管理平台用户时支持对用户角色进行设置,默认为普通角色用户,若设置为管理用户则拥有admin管理权限
有管理权限的用户可在页面右上角个人信息中切换角色状态

添加管理平台用户时支持对用户角色进行设置,默认为普通角色用户,若设置为管理用户则拥有admin管理权限
有管理权限的用户可在页面右上角个人信息中切换角色状态
在这里插入图片描述
在这里插入图片描述
- 新增备份用户规范备份功能
功能说明:
存储节点配置页面新增备份用户配置项,专门用作数据备份时使用
当未配置备份用户时,会优先选择连接用户作为HotDB Backup备份用户
未配置备份用户的存储节点备份成功后会有警示标志,但不影响备份功能的正常使用
在这里插入图片描述
在这里插入图片描述

-首页大屏显示优化
功能说明
 优化后的首页大屏严格把控色彩与状态的关系,蓝绿色为正常、红色为故障、橙色为预警
 优化首页排版与布局,替换了更加形象的显示控件
 突出集群概览模块,更易关注集群整体运行状态

-集群部署相关优化
功能说明:
增加LVS是否安装可选项,供集群部署时选择
放开对管理平台服务器的IP地址限制,即:可以在一台服务器上先行安装管理平台,再安装其他组件,复用管理平台服务器资源
在这里插入图片描述

-集群组选择页面优化
功能说明:
支持通过集群组页面,直接查看集群内所有计算节点服务、配置库服务的异常状态
在这里插入图片描述
在这里插入图片描述

  • Server新功能讲解

 支持通过SQL形式关联已有分片规则直接建表
 非确定性函数代理
 优化watchdog检查范围以及完善日志记录
 存储节点手动/故障切换时动态加载问题处理
 规范HotDB Server相关错误码

-支持关联已有分片规则直接建表
支持SHOW 命令查看分片信息
SHOW hotdb FUNCTIONS
SHOW hotdb FUNCTION INFOS
SHOW hotdb RULES
SHOW hotdb DATANODES
支持直接建表语法
水平分片表:
CREATE TABLE [IF NOT EXISTS] tbl_name SHARD BY {functionid | functionname} ‘functionid | functionname’ USING COLUMN ‘shardcolumnname’ (…
CREATE TABLE [IF NOT EXISTS] tbl_name SHARD BY {functiontype} ‘functiontype’ USING COLUMN ‘shardcolumnname’ on datanode ‘datanodeid’(…
CREATE TABLE [IF NOT EXISTS] tbl_name SHARD BY {ruleid | rulename} ‘ruleid\rulename’ [on datanode ‘datanodes’] (…
全局表: CREATE TABLE [IF NOT EXISTS] tbl_name SHARD BY global on datanode ‘datanodeid’(…
垂直分片表:CREATE TABLE [IF NOT EXISTS] tbl_name SHARD BY vertical on datanode ‘datanodeid’(…
例一:根据functionname创建,指定datanode:
CREATE TABLE match1_tb shard by functionname ‘test_match1’ using column ‘aname’ on datanode ‘1,2’( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,adnid INT default null, aname VARCHAR(32) DEFAULT ‘’, adept VARCHAR(40) , adate datetime default null)ENGINE =INNODB;
例二:根据ruleid创建:
CREATE TABLE match1_rptb1 shard by ruleid ‘1’( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,adnid INT default null, aname VARCHAR(32) DEFAULT ‘’, adept VARCHAR(40) , adate datetime default null)ENGINE =INNODB;

-非确定性函数代理
 已知值的时间函数 例如:CURDATE()、CURRENT_TIMESTAMP()等
时间类函数代理办法:
①当select/insert/update/delete语句中出现时间类函数时,HotDB Server将函数替换为具体值插入表中
②当表字段类型为datetime(或者timestamp),缺省值为now()或高精度now(6)、localtime()或高精度localtime(6)、localtimestamp()或高精度localtimestamp(6)、current_timestamp()或高精度current_timestamp(6)且用户没有指定值时,由参数timestampProxy确定HotDB Server的代理范围(默认为自动模式,可选全局模式/仅全局表模式),将函数替换为具体值插入到表中

Property Value
参数值 timestampProxy
是否可见
参数说明 时间代理模式
默认值 0
Reload是否生效
最低兼容版 最低兼容版本 2.5.1

在这里插入图片描述
Watchdog优化
 开启enableWatchdog参数后,当发生异常时输出标签为WATCHDOG的信息到日志(新增:超过1小时的长事务,超过24小时未提交的事务,后端存储节点连接异常断开,后端存储节点连接心跳失败,存储节点切换,复制延迟时切换)

Property Value
参数值 参数值 enableWatchdog
是否可见
参数说明 是否开启Watchdog
默认值 true
Reload是否生效
最低兼容版本 2.4.5
  • Watchdog优化与日志记录完善
     日志记录完善
     检测超过1小时未提交事务,日志记录后端连接的innodb_trx,autocommit,lastsql等信息
     检测超过24小时未提交事务,日志记录连接IP、端口、用户名、逻辑库、lastsql、autocommit、后端连接的innodb_trx等信息,并自动回滚事务
     检测后端存储节点连接异常断开时,日志记录内存中对应的SQL信息
     检测后端存储节点连接心跳失败时,日志记录对应的心跳sql、id值到hotdb.log
     检测存储节点切换时,日志记录当前操作的Seconds_Behind_Master、gtid、binlog 位置信息
     检测从机存在复制延迟且大于10s,进行主从切换时日志输出切换失败信息以及复制延迟的存储节点信息

-存储节点切换动态加载问题
 在HotDB Server 管理端口执行reload操作,如发现有存储节点或配置库切换,则直接reload失败并报错
 在管理平台上执行动态加载检测到有存储节点或配置库切换,则提示用户是否中止切换。用户选择中止切换则存储节点或配置库的切换停止,强制进行动态加载动作(HotDB Server管理端口新增reload config force命令)
在这里插入图片描述

-HotDB Server错误编码规范
 HotDB Server相关的异常报错信息的编码进行了规范, 从10000开始
在这里插入图片描述

发布了10 篇原创文章 · 获赞 0 · 访问量 359

猜你喜欢

转载自blog.csdn.net/m0_46473154/article/details/105018602