一: 简介
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat 提供了全局 sequence,并且提供了包含本地配置和数据库配置等多种实现方式。
二: sequnceHandlerType
序列号处理器类型,感觉“sequnce” 序列号是不是少了个e字母,应该是“sequence”
- 0: 本地文件方式(sequence_conf.properties)
- 1: 数据库方式(MYCAT_SEQUENCE表、sequence_db_conf.properties)
- 2: 本地时间戳方式(sequence_time_conf.properties)
- 3: 分布式ZK ID生成器
- 4: ZK递增方式
关于全局序列号的测试是在Mycat分库分表案例基础上进行测试的,所以先要搭建好分库分表。
三:本地文件方式
此方式MyCAT将sequence配置到文件中,当使用到sequence中的配置后,MyCAT会更下classpath中的sequence_conf.properties文件中sequence当前的值。
-
server.xml增加sequnceHandlerType属性
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType需要配置为0,表示使用本地文件方式 --> <property name="sequnceHandlerType">0</property> </system> </mycat:server>
-
schema.xml
schema.xml和分库分表案例完全一致,请移步Mycat分库分表案例 -
sequence_conf.properties
#default global sequence GLOBAL.HISIDS= GLOBAL.MINID=10001 GLOBAL.MAXID=20000 GLOBAL.CURID=10000 # self define sequence # 每个表定义一个,可以定义多个,ORDER是前缀,一般为表名,在插入数据时会使用到前缀 ORDER.HISIDS= ORDER.MINID=1001 ORDER.MAXID=2000 ORDER.CURID=1000
HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),
MINID 表示最小 ID 值,
MAXID 表示最大ID 值,
CURID 表示当前 ID 值。 -
重启mycat
~ bin/mycat restart
-
测试
mysql -h 127.0.0.1 -P8066 -uroot -proot123 mysql> show databases; mysql> CREATE TABLE `tbl_order` ( `id` bigint(20) NOT NULL, `order_code` varchar(25) DEFAULT NULL, `user_id` bigint(20) DEFAULT NULL, `amount` bigint(20) DEFAULT NULL, `create_time` datetime DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- 可以使用全局的,也可以使用自定义的,MYCATSEQ_前缀 mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000001', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000002', 2, 200); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000003', 3, 300); mysql> select * from tbl_order;
mycat/conf/sequence_conf.properties 会实时更新CURID当前 ID 值
-
缺点:“当MyCAT重新发布后,配置文件中的sequence会恢复到初始值”(来自Mycat权威指南)。没有理解"MyCAT重新发布"说的是什么意思,是重新启动mycat吗?还是直接升级Mycat?经测试mycat重启后不会恢复到初始值,还会在ORDER.CURID值的基础上继续递增,如果升级mycat了,那sequence_conf.properties配置文件都覆盖了,肯定从初始值开始,要么重新修改一下CURID的值,如果升级要修改这个配置,感觉还是有点麻烦,个人感觉还是有点局限。
-
优点:本地加载,读取速度较快。
四:数据库方式
原理
在数据库中建立一张表,存放sequence名称(name),sequence当前值(current_value),步长(increment int 类型每次读取多少个 sequence,假设为 K)等信息;
Sequence获取步骤
- 当初次使用该sequence时,根据传入的sequence名称,从数据库这张表中读取current_value和increment到MyCat中,并将数据库中的current_value设置为原current_value值+increment值。
- MyCat将读取到current_value+increment作为本次要使用的sequence值,下次使用时,自动加1,当使用increment次后,执行步骤 1)相同的操作。
MyCat 负责维护这张表,用到哪些 sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence没有用完,系统就停掉了,则这次读取的sequence剩余值不会再使用。
操作步骤
-
数据库操作
注意:MYCAT_SEQUENCE 表和以上的3个function需要放在同一个节点上,这里我放在172.16.128.152节点上执行的。
mysql> CREATE TABLE MYCAT_SEQUENCE( name VARCHAR(50) NOT NULL COMMENT 'sequence名称', current_value INT NOT NULL COMMENT '当前value', increment INT NOT NULL DEFAULT 100 COMMENT '增长步长', PRIMARY KEY(name) ) ENGINE=InnoDB; -- 可以每个表插入一条数据,name一般为表名 mysql> INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 100000, 100); mysql> select * from MYCAT_SEQUENCE; -- 获取当前 sequence 的值 (返回当前值,增量) mysql> DROP FUNCTION IF EXISTS mycat_seq_currval; mysql> DELIMITER $$ mysql> CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN DECLARE retval VARCHAR(64); SET retval= '-999999999,null'; SELECT concat(CAST(current_value AS CHAR), ',', CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name; RETURN retval; END $$ mysql> DELIMITER ; -- 设置sequence值 mysql> DROP FUNCTION IF EXISTS mycat_seq_setval; mysql> DELIMITER $$ mysql> CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50), value INTEGER) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCE SET current_value = value WHERE name = seq_name; RETURN mycat_seq_currval(seq_name); END $$ mysql> DELIMITER ; -- 获取下一个 sequence 值 mysql> DROP FUNCTION IF EXISTS mycat_seq_nextval; mysql> DELIMITER $$ CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCE SET current_value = current_value + increment WHERE name = seq_name; RETURN mycat_seq_currval(seq_name); END $$ mysql> DELIMITER ;
-
server.xml配置
sequnceHandlerType=1 表示使用数据库方式生成sequence<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=1 表示使用数据库方式生成sequence --> <property name="sequnceHandlerType">1</property> </system> </mycat:server>
-
配置sequence_db_conf.properties
GLOBAL=dataNode1 ORDER=dataNode1
-
重启mycat
~ bin/mycat restart
-
在mycat上测试
mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000001', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000002', 2, 200); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000003', 3, 200); mysql> select * from tbl_order where id >=100100;
五:本地时间戳方式
ID=64位二进制 (42(毫秒)+5(机器ID)+5(业务编码)+12(重复累加) 换算成十进制为 18 位数的 long 类型,每毫秒可以并发 12 位二进制的累加。
-
修改server.xml的配置
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=2 本地时间戳方式 --> <property name="sequnceHandlerType">2</property> </system> </mycat:server>
-
sequence_time_conf.properties
可以直接使用默认值#sequence depend on TIME WORKID=01 DATAACENTERID=01
WORKID=0-31 任意整数
DATAACENTERID=0-31 任意整数多个个mycat节点下每个 mycat 配置的 WORKID,DATAACENTERID 不同,组成唯一标识,总共支持32*32=1024 种组合。
-
重启mycat
~ bin/mycat restart
-
测试
mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000011', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000012', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000013', 1, 100); mysql> select * from tbl_order where id > 1000000;
MyCat自增长主键和返回生成主键id的实现
mysql对定义自增长的主键,可以用 last_insert_id()返回主键值; MyCAT目前提供了自增长主键功能,但是如果对应的mysql节点上数据表,没有定义 auto_increment,那么在 MyCAT层调用last_insert_id()也是不会返回结果的。
-
设置schemal.xml
设置表的主键id和自增<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="testdb" checkSQLschema="false" sqlMaxLimit="100"> <table name="tbl_user" primaryKey="id" autoIncrement="true" dataNode="dataNode1,dataNode2,dataNode3" rule="mod-long"/> </schema> </mycat:schema>
-
配置server.xml
这里id生成使用数据库方式<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=1 表示使用数据库方式生成sequence --> <property name="sequnceHandlerType">1</property> </system> </mycat:server>
-
设置sequence_db_conf.properties
增加相应的表的设置,注意键为表名的大写#sequence stored in datanode GLOBAL=dataNode1 ORDER=dataNode1 TBL_USER=dataNode1
-
重启mycat
~ bin/mycat restart
-
mycat数据库操作
-- id主键PRIMARY KEY, 自增AUTO_INCREMENT CREATE TABLE `tbl_user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `username` varchar(20) DEFAULT NULL, `age` tinyint(4) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-
MYCAT_SEQUENCE表新增记录
注意:需要在MYCAT_SEQUENCE所在的数据库节点上插入一条数据,这里是在172.16.128.152上插入一条数据mysql> INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('TBL_USER', 100000, 100);
-
mycat上测试
mysql> INSERT INTO tbl_user(username, age) VALUES('mengday', 18); mysql> select last_insert_id(); mysql> INSERT INTO tbl_user(username, age) VALUES('mengdee', 28); mysql> select last_insert_id();
MyBatis插入数据并返回主键id自增值
<insert id="insertUser" parameterType="com.mengday.demo.model.User"> INSERT INTO tbl_user(username, age) VALUES(#{username}, #{age}) <selectKey resultType="java.util.Long" order="AFTER" keyProperty="id"> select last_insert_id() as id </selectKey> </insert>