导航：首页 > 数据库 >

mycat分片表全局自增主键测试

发表于：2025-02-01 作者：千家信息网编辑

千家信息网最后更新 2025年02月01日，mycat分片表全局自增主键测试mycat分片表全局自增主键测试一、全局序列号介绍在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat 提供了全局sequence，并且

千家信息网最后更新 2025年02月01日mycat分片表全局自增主键测试mycat分片表全局自增主键测试

mycat分片表全局自增主键测试

一、全局序列号介绍

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat 提供了全局sequence，并且提供了包含本地配置和数据库配置等多种实现方式。

1.本地文件方式

使用服务器本地磁盘文件的方式

2.数据库方式

使用专用数据库的方式

3.本地时间戳方式

使用时间戳算法方式

4.分布式ZK ID 生成器

基于ZK 与本地配置的分布式ID 生成器(可以通过ZK 获取集群（机房）唯一InstanceID，也可以通过配置文件配置InstanceID)

5.Zk 递增方式

另一种ZK生成方式

6.其他方式

二、配置方式详解

1.本地文件方式

配置方式：
在sequence_conf.properties 文件中做如下配置：

# 这是全局表的设置GLOBAL_SEQ.HISIDS=GLOBAL_SEQ.MINID=1001GLOBAL_SEQ.MAXID=1000000000GLOBAL_SEQ.CURID=1000# 下面是自定义表的设置

其中HISIDS 表示使用过的历史分段(一般无特殊需要可不配置)，MINID 表示最小ID 值，MAXID 表示最大
ID 值，CURID 表示当前ID 值。

server.xml 中配置：

注：sequnceHandlerType 需要配置为0，表示使用本地文件方式。
使用示例：

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test');

缺点：当MyCAT 重新发布后，配置文件中的sequence 会恢复到初始值。
优点：本地加载，读取速度较快。

[本地文件方式详细配置和测试]

1.1 修改配置文件server.xml,指定加密方式为本地文件方式

1.2 在schema.xml文件中配置，增加表tt,ID为主键，在dn$1-3上分片，分片方式mod-log

1.3 修改sequence_conf.properties 文件中做如下配置：

# 这是全局表的设置GLOBAL.HISIDS=GLOBAL.MINID=10001GLOBAL.MAXID=1000000000GLOBAL.CURID=10000# 下面是自定义表的设置TT.HISIDS=TT.MINID=1001TT.MAXID=2000TT.CURID=1000

1.4 建表tt

CREATE TABLE tt(`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,`name_` INT(10) UNSIGNED NOT NULL,PRIMARY KEY (`id`)) DEFAULT CHARSET=utf8;

查看表结构

mysql> desc tt;                                      +-------+------------------+------+-----+---------+----------------+| Field | Type             | Null | Key | Default | Extra          |+-------+------------------+------+-----+---------+----------------+| id    | int(10) unsigned | NO   | PRI | NULL    | auto_increment || name_ | int(10) unsigned | NO   |     | NULL    |                |+-------+------------------+------+-----+---------+----------------+2 rows in set (0.01 sec)

查看表分片情况

mysql> explain select * from tt;+-----------+--------------------------------+| DATA_NODE | SQL                            |+-----------+--------------------------------+| dn1       | SELECT * FROM tt LIMIT 3000000 || dn2       | SELECT * FROM tt LIMIT 3000000 || dn3       | SELECT * FROM tt LIMIT 3000000 |+-----------+--------------------------------+3 rows in set (0.07 sec)

1.5 插入数据测试
插入一条使用全局序列号

insert into tt(id,name_) values(next value for MYCATSEQ_GLOBAL,1);

查看序列号使用

mysql> SELECT * FROM TT;+-------+-------+| id    | name_ |+-------+-------+| 10001 |     1 |+-------+-------+1 row in set (0.00 sec)

插入一条使用TT序列号

insert into tt(id,name_) values(next value for MYCATSEQ_TT,2);

查看序列好使用情况

mysql> SELECT * FROM TT ORDER BY name_;+-------+-------+| id    | name_ |+-------+-------+| 10001 |     1 ||  1001 |     2 |+-------+-------+2 rows in set (0.01 sec)

多插入一些数据，查询结果

mysql> SELECT * FROM TT ORDER BY name_;                              +-------+-------+| id    | name_ |+-------+-------+| 10001 |     1 ||  1001 |     2 ||  1002 |     3 ||  1003 |     4 ||  1004 |     5 ||  1005 |     6 |+-------+-------+6 rows in set (0.00 sec)

这些数据再分片上的情况

mysql (db1)>select * from tt;+------+-------+| id   | name_ |+------+-------+| 1002 |     3 || 1005 |     6 |+------+-------+2 rows in set (0.00 sec)mysql (db2)>select * from tt;+------+-------+| id   | name_ |+------+-------+| 1003 |     4 |+------+-------+1 row in set (0.00 sec)mysql (db3)>select * from tt;+-------+-------+| id    | name_ |+-------+-------+|  1001 |     2 ||  1004 |     5 || 10001 |     1 |+-------+-------+

OK It works!!

优点：配置简单，本地文件，读写速度快缺点：导致MYCAT变成有状态的中间件，不利于部署集群

2.数据库方式

数据库方式存在比较明显的缺点，即MYCAT集群切换和保持序列的数据库主从切换之后，不可控内容较多需要非常仔细的处理这些问题，维护成本较高，虽然实现MYCAT无状态，但有单点问题

3.本地时间戳方式

ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加)
server.xml：

sequence_time_conf.properties：

WORKID=0-31 任意整数DATAACENTERID=0-31 任意整数

是个好方式

4.分布式ZK ID 生成器

-----最想测试的还是这个

配置选项：

原理说明：
Zk 的连接信息统一在myid.properties 的zkURL 属性中配置。
基于ZK 与本地配置的分布式ID 生成器(可以通过ZK 获取集群（机房）唯一InstanceID，也可以通过配置文件配置InstanceID)ID 结构：long 64 位，ID 最大可占63 位

`current time millis`(微秒时间戳38 位,可以使用17 年)
`instanceId`（实例ID，可以通过ZK 或者配置文件获取，5 位，也就是十进制0-31）
`threadId`（线程ID，9 位）
`increment`(自增,6 位)

一共63 位，可以承受单机房单机器单线程1000*(2^6)=640000 的并发。
无悲观锁，无强竞争，吞吐量更高
配置文件：sequence_distributed_conf.properties，只要配置里面：INSTANCEID=ZK 就是从ZK 上获取InstanceID。

配置ZK ID生成器的主要步骤

4.1 配置zookeeper

zookeeper是hadoop的一个子项目
一般生产上需要配置zookeeper集群，奇数个节点，至少三个节点
为了测试mycat的相关特性，我们只搭建一个单节点的zookeeper

ZooKeeper Standalone模式

从Apache网站上（zookeeper.apache.org）下载ZooKeeper软件包，我选择了3.3.4版本的（zookeeper-3.3.4.tar.gz），在一台Linux机器上安装非常容易，只需要解压缩后，简单配置一下即可以启动ZooKeeper服务器进程。

将zookeeper-3.3.4/conf目录下面的 zoo_sample.cfg修改为zoo.cfg，配置文件内容如下所示：

tickTime=2000dataDir=/home/hadoop/storage/zookeeperclientPort=2181initLimit=5syncLimit=2

下面启动ZooKeeper服务器进程：

cd zookeeper-3.3.4/bin/zkServer.sh start

这样zookeeper就可以使用了，防火墙的配置自行处理

ZooKeeper 分布式模式

搭建生产网络或夸机房分布式的时候再进行补充

4.2 配置mycat

主要涉及三个方面，修改myid.properties,修改server.xml,修改sequence_distributed_conf.properties

myid.properties:

loadZk=true                 #使用zk管理mycat和IDzkURL=127.0.0.1:2181        #zk服务器的地址和端口clusterId=010               #本机房mycat集群的IDmyid=01001                  #集群内mycat的IDclusterNodes=mycat-02       #mycat节点的名称#server  booster  ;   booster install on db same server,will reset all minCon to 1#type=server#boosterDataHosts=dn2,dn3

server.xml:

            druidparser        1        3306        3308        65535                3                password        dbykt

sequence_distributed_conf.properties:

INSTANCEID=01CLUSTERID=01

上面三个文件修改完成后，复制conf下的所有文件到 conf/zkconf/目录下

cp *.txt *.xml *.properties zkconf/

初始化：

cd ./bin/./init_zk_data.sh

4.3 启动mycat

先使用console看看启动是否正常

./bin/mycat console

正常之后再进行启动

./bin/mycat start

4.4 测试mycat ZK 分布式ID生成器

使用工具Jmeter，此处不赘述

配置表ot1：

...........
重启mycat

./bin/mycat restart

建表(因为同时测试了插入性能，所以表较为复杂)

CREATE TABLE `ot1` (  `id` bigint(20) NOT NULL AUTO_INCREMENT,..............................  PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Jmeter 插入数据测试
使用的sql语句如下：

INSERT INTO `ot1` (    `id`,................................ )VALUES    (        next value for MYCATSEQ_OT,..............................     );

查询观察结果

mysql> SELECT id FROM ot1 ORDER BY id;........| 3894484648986705980 || 3894484648986705981 || 3894484649020260414 || 3894484649053814784 || 3894484649053814847 || 3894484649389359105 || 3894484649926230018 || 3894484649926230019 || 3894484649926230020 || 3894484649926230021 || 3894484649959784454 || 3894484649959784455 || 3894484649959784456 || 3894484649993338889 || 3894484649993338890 || 3894484650026893323 || 3894484650026893324 || 3894484650060447757 || 3894484650060447758 || 3894484650094002191 |........

查询数据总量：

mysql> select count(id) id_count from ot1;+----------+| id_count |+----------+| 37784391 |+----------+

查出最大ID：

mysql> select max(id) id from ot1 ;+---------------------+| id                  |+---------------------+| 3897338173617897525 |+---------------------+1 row in set (0.03 sec)

判断一下是否有重复ID：

mysql> select count(id),id from ot1 group by id having count(id)>1;Empty set (1 min 42.85 sec)

4.5 结论

分布式ZK ID生成器，果然强大。这为数据库跨机房双活提供了新的方案，使得双A机房架构下的数据最终一致性有了新的思路。

很赞哦！

配置方式文件数据测试全局分布式数据库生成生成器集群序列机房可以通过序列号情况时间服务器节点服务数据库的安全要保护哪些东西数据库安全各自的含义是什么生产安全数据库录入数据库的安全性及管理数据库安全策略包含哪些海淀数据库安全审计系统建立农村房屋安全信息数据库易用的数据库客户端支持安全管理连接数据库失败ssl安全错误数据库的锁怎样保障安全数据库主从与集群的区别数据库很难学吗服务器上的磁盘阵列需要单独配么面向对象软件开发过程服务器安全防护网关行业对iot网络安全最近网络技术发展长沙悦购互联网科技公司阿里云服务器远程连接只有cmd 网络安全法数据境外软件开发技术支撑主管业绩武川国家网络安全宣传最大单根内存服务器沈腾网络安全宣传视频阿里云服务器游戏排行戊戌指向互联网高科技服务器需要配置几个ip地址互联网新宠是科技改变世界吗服务器压力机标准件3D数据库软件平谷旧服务器回收价格行情 LUM数据库技术与应用为什么广东的服务器比较多云主机浪潮软件开发有限公司网络安全大咖养成记公司招软件开发人才微信支付服务器账号怎么注销网络安全网瘾观后感服务器ssh管理工具网络安全股低估

千家信息网

千家信息网

mycat分片表全局自增主键测试

mycat分片表全局自增主键测试

一、全局序列号介绍

二、配置方式详解

1.本地文件方式

2.数据库方式

3.本地时间戳方式

4.分布式ZK ID 生成器

4.1 配置zookeeper

ZooKeeper Standalone模式

ZooKeeper 分布式模式

4.2 配置mycat

4.3 启动mycat

4.4 测试mycat ZK 分布式ID生成器

4.5 结论

PostgreSQL中make_rel_from_joinlist函数分析

Oracle 12cR2 安装时的小细节

相关文章