在CentOS8下搭建PXC集群

PXC简介

PXC是Percona XtraDB Cluster的缩写，是 Percona 公司出品的免费MySQL集群产品。PXC的作用是通过mysql自带的Galera集群技术，将不同的mysql实例连接起来，实现多主集群。在PXC集群中每个mysql节点都是可读可写的，也就是主从概念中的主节点，不存在只读的节点。

PXC实际上是基于Galera的面向OLTP的多主同步复制插件，PXC主要用于解决MySQL集群中数据同步强一性问题。PXC可以集群任何mysql的衍生版本，例如MariaDB和Percona Server。由于Percona Server的性能最接近于mysql企业版，性能相对于标准版的mysql有显著的提升，并且对mysql基本兼容。所以在搭建PXC集群时，通常建议基于Percona Server进行搭建。

关于数据库集群方案的选择可以参考：

• 浅谈数据库集群方案

PXC的特点

• 同步复制，事务在所有集群节点要么全部提交完成，要么全部失败
• 多主复制，不存在主从角色的划分，可以在任意一个节点进行读/写操作
• 数据同步的强一致性，所有节点的数据是实时一致的
• PXC集群节点越多，数据同步的速度就越慢，所以PXC集群的规模不能太大
• PXC集群数据同步的速度取决于配置最低的节点，所以PXC集群中所有节点的硬件配置尽量保持一致
• PXC集群只支持InnoDB引擎，所以只有InnoDB引擎的数据才会被同步

安装PXC并组建集群

环境准备

环境版本说明：

• VMware Workstation Pro 15.5
• Percona XtraDB Cluster 5.7
• CentOS 8

MySQL有几个常见的衍生版，Percona Server就是其一。这里选择Percona Server是因为它是最接近于企业版的MySQL。各衍生版的对比图如下：

本文的PXC集群设计如图：

• Tips：实际上最小的PXC集群是两个节点的，但课程中设计为三个节点。这是因为PXC集群为了防止脑裂，在一半以上的节点因意外宕机无法访问时，PXC集群就会自动停止运行。所以如果设计为两个节点，其中一个节点挂掉了就满足半数以上节点无法访问，那么集群就会停止运行，而另一个节点也就无法使用了。这样的容灾性太差，所以这里设计为至少三个节点，以提高PXC集群的可用性。

根据该图，我们需要创建三个虚拟机来搭建一个三节点的PXC集群：

节点说明：

每个虚拟机的配置如下图：

关于 PXC 集群是以牺牲性能来保证数据的强一致性问题。PXC 集群中的节点越多就意味着数据同步的时间就越长，那么应该用几台数据库服务器来做集群最合适，相对来说算是能达到一个性能上最优的结果呢 ？

通常来说不超过15台节点组成一个PXC集群，性能上很好，多了就不行。然后这个PXC集群作为一个分片，MyCat上多设置几个分片，就能应对数据切分和并发访问了

系统准备

有些 CentOS 版本默认捆绑了mariadb-libs，在安装PXC之前需要先将其卸载：

[root@PXC-Node1 ~]# yum -y remove mari*

PXC集群要使用四个端口：

所以如果系统启用了防火墙则需要开放这些端口：

[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4444/tcp --permanent[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4567/tcp --permanent[root@PXC-Node1 ~]# firewall-cmd --zone=public --add-port=4568/tcp --permanent[root@PXC-Node1 ~]# firewall-cmd --reload

安装PXC

先上官方文档：

• Installing Percona XtraDB Cluster

PXC有两种较为简单的安装方式，一是到官网下载rpm包到系统本地进行安装，二是使用官方提供的yum仓库进行在线安装。本文演示的是本地安装这种方式，首先打开如下网址：

• https://www.percona.com/downloads/Percona-XtraDB-Cluster-LATEST/

选择相应的版本后，复制下载链接：

然后到CentOS上使用wget命令进行下载，如下示例：

[root@PXC-Node1 ~]# cd /usr/local/src[root@PXC-Node1 /usr/local/src]# wget https://www.percona.com/downloads/Percona-XtraDB-Cluster-LATEST/Percona-XtraDB-Cluster-5.7.28-31.41/binary/redhat/8/x86_64/Percona-XtraDB-Cluster-5.7.28-31.41-r514-el8-x86_64-bundle.tar

创建存放rpm文件的目录，并将下载好的PXC安装包解压缩到新建的目录中：

[root@PXC-Node1 /usr/local/src]# mkdir pxc-rpms[root@PXC-Node1 /usr/local/src]# tar -xvf Percona-XtraDB-Cluster-5.7.28-31.41-r514-el8-x86_64-bundle.tar -C pxc-rpms[root@PXC-Node1 /usr/local/src]# ls pxc-rpmsPercona-XtraDB-Cluster-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-57-debugsource-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-client-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-client-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-devel-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-full-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-garbd-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-garbd-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-server-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-server-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-shared-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-shared-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-test-57-5.7.28-31.41.1.el8.x86_64.rpmPercona-XtraDB-Cluster-test-57-debuginfo-5.7.28-31.41.1.el8.x86_64.rpm

另外，PXC的安装需要依赖于qpress和percona-xtrabackup-24，可以在percona提供的仓库中获取到相应的rpm包下载链接。然后进入pxc-rpms目录下载这两个组件的rpm包，如下：

[root@PXC-Node1 /usr/local/src]# cd pxc-rpms[root@PXC-Node1 /usr/local/src/pxc-rpms]# wget https://repo.percona.com/release/8/RPMS/x86_64/qpress-11-1.el8.x86_64.rpm[root@PXC-Node1 /usr/local/src/pxc-rpms]# wget https://repo.percona.com/release/8/RPMS/x86_64/percona-xtrabackup-24-2.4.18-1.el8.x86_64.rpm

完成以上步骤后，现在就可以通过yum命令以本地形式安装PXC了：

[root@PXC-Node1 /usr/local/src/pxc-rpms]# yum localinstall -y *.rpm

成功安装后，系统中就会有mysql的相关命令。如下，能正常查看到版本信息代表已安装成功：

[root@PXC-Node1 /usr/local/src/pxc-rpms]# mysql --versionmysql  Ver 14.14 Distrib 5.7.28-31, for Linux (x86_64) using  7.0[root@PXC-Node1 /usr/local/src/pxc-rpms]#

配置PXC集群

安装后需要进行一些配置才能启动集群，PXC的配置文件默认位于/etc/percona-xtradb-cluster.conf.d/目录下，/etc/my.cnf文件只是对其引用：

[root@PXC-Node1 ~]# cd /etc/percona-xtradb-cluster.conf.d/[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# ll总用量 12-rw-r--r-- 1 root root  381 12月 13 17:19 mysqld.cnf  # mysql相关配置-rw-r--r-- 1 root root  440 12月 13 17:19 mysqld_safe.cnf  # mysqld_safe相关配置-rw-r--r-- 1 root root 1066 12月 13 17:19 wsrep.cnf  # PXC集群的相关配置

在mysqld.cnf文件中添加一些字符集等基本配置：

[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# vim mysqld.cnf[mysqld]...# 设置字符集character_set_server=utf8# 设置监听的ipbind-address=0.0.0.0# 跳过DNS解析skip-name-resolve

然后是配置PXC集群，修改wsrep.cnf文件中的如下配置项：

[root@PXC-Node1 /etc/percona-xtradb-cluster.conf.d]# vim wsrep.cnf[mysqld]# PXC集群中MySQL实例的唯一ID，不能重复，且必须是数字server-id=1# Galera库文件的路径wsrep_provider=/usr/lib64/galera3/libgalera_smm.so# PXC集群的名称wsrep_cluster_name=pxc-cluster# 集群中所有节点的ipwsrep_cluster_address=gcomm://192.168.190.132,192.168.190.133,192.168.190.134# 当前节点的名称wsrep_node_name=pxc-node-01# 当前节点的IPwsrep_node_address=192.168.190.132# 同步方法(mysqldump、 rsync、 xtrabackup)wsrep_sst_method=xtrabackup-v2# 同步时使用的帐户密码wsrep_sst_auth=admin:Abc_123456# 采用严格的同步模式pxc_strict_mode=ENFORCING# 基于ROW复制(安全可靠)binlog_format=ROW# 默认引擎default_storage_engine=InnoDB# 主键自增长不锁表innodb_autoinc_lock_mode=2

启动PXC集群

到此为止，我们在PXC-Node1这台虚拟机上完成了PXC的安装及配置。然后到其他两个节点上完成同样的步骤即可，这里就不再重复了。

当所有的节点都准备完成后，使用如下命令启动PXC集群。注意这条的命令是用于启动首节点的，初次启动集群时首节点可以是这三个节点中的任意一个，这里我采用PXC-Node1作为首节点。故在该虚拟机下执行这条命令：

[root@PXC-Node1 ~]# systemctl start mysql@bootstrap.service

而其他节点只需要正常启动MySQL服务即可，启动之后会根据wsrep.cnf文件中的配置自动加入集群中：

[root@PXC-Node2 ~]# systemctl start mysqld

禁用Percona Server的开机自启动：

[root@localhost ~]# systemctl disable mysqldRemoved /etc/systemd/system/multi-user.target.wants/mysqld.service.Removed /etc/systemd/system/mysql.service.[root@localhost ~]# 

• Tips：之所以要禁用开机自启，是因为在PXC集群中，当一个节点宕机重启后，它会随机与一个PXC节点进行数据同步。如果该节点宕机时间过长，那么需要同步的数据量就会比较大。当发生大量数据同步时，PXC集群会限制其他的写入操作，直到数据全部同步成功。所以长时间宕机之后，正确的做法是不要马上启动节点，而是先从其他节点拷贝数据文件到该节点中，然后再进行启动。这样需要同步的数据就会少很多，不会引起长时间的限速。

创建数据库账户

接着修改root账户的默认密码。我们可以在mysql的日志文件中找到初始的默认密码。下图红框标注的就是默认密码：

• Tips：默认密码只有在首次启动MySQL服务后才会生成

复制默认密码，然后使用mysql_secure_installation命令修改root账户的密码：

[root@localhost ~]# mysql_secure_installation 

为了安全起见，root账户一般是不允许远程登录的，所以我们需要单独创建一个用于远程访问的数据库账户。这个账户也是用于PXC集群同步数据的账户，与wsrep.cnf文件中的wsrep_sst_auth配置项所对应：

[root@localhost ~]# mysql -uroot -pmysql> create user 'admin'@'%' identified by 'Abc_123456';mysql> grant all privileges on *.* to 'admin'@'%';mysql> flush privileges;

创建完账户后，使用客户端工具进行远程连接测试看看是否能正常连接成功：

到此为止，我们就算是完成PXC集群的搭建了。现在应该是已经可以看到PXC集群的同步效果的，因为上面修改root密码以及新建账户的操作都会被同步到其他两个节点上。也就是说，此时其他两个节点的root账户密码已经是修改后的密码，并且也会有一个admin账户。关于这一点可以自行验证一下。

除此之外，我们也可以使用如下语句来确认集群的状态信息：

show status like 'wsrep_cluster%';

执行结果：

变量说明：

• wsrep_cluster_weight：该节点在集群中的权重值
• wsrep_cluster_conf_id：集群节点关系改变的次数（每次增加/删除都会+1）
• wsrep_cluster_size：集群中的节点个数
• wsrep_cluster_state_uuid：集群当前状态的UUID，这是集群当前状态及其所经历的更改序列的唯一标识符。也用于比较两个或多个节点是否处于同一集群，若两个节点的该变量值一致就代表处于一个集群，如果该值不一致则表示不处于同一集群
• wsrep_cluster_status：集群的目前状态

验证集群的数据同步

1、验证创建数据库是否能同步

在节点1中创建一个test库：

创建完成后，点击其他节点也应能看到test这个库：

2、验证创建数据表是否能同步

在节点1中的test库里创建一张student表：

创建完成后，在其他节点也应能看到这张student表：

3、验证表数据是否能同步

往节点1中的student表里插入一条数据：

此时其他节点中也应能看到这条数据：

集群的状态参数说明

集群的状态参数可以通过SQL语句进行查询的，如下：

show status like '%wsrep%';

由于查询出来的状态参数变量非常的多，这里针对一些常用的进行说明。PXC集群参数可以分为以下几类：

• 队列相关
  • wsrep_local_send_queue：发送队列的长度
  • wsrep_local_send_queue_max：发送队列的最大长度
  • wsrep_local_send_queue_min：发送队列的最小长度
  • wsrep_local_send_queue_avg：发送队列的平均长度
  • wsrep_local_recv_queue：接收队列的长度
  • wsrep_local_recv_queue_max：接收队列的最大长度
  • wsrep_local_recv_queue_min：接收队列的最小长度
  • wsrep_local_recv_queue_avg：接收队列的平均长度
• 复制相关
  • wsrep_replicated：同步数据到其他节点的次数
  • wsrep_replicated_bytes：同步到其他节点的数据总量，单位字节
  • wsrep_received：接收到其他节点同步请求的次数
  • wsrep_received_bytes：接收到其他节点的同步数据总量，单位字节
  • wsrep_last_applied：同步应用次数
  • wsrep_last_committed：事务提交次数
• 流控相关
  • wsrep_flow_control_paused_ns：流控暂停状态下花费的总时间（纳秒）
  • wsrep_flow_control_paused：流控暂停时间的占比（0 ~ 1）
  • wsrep_flow_control_sent：发送的流控暂停事件的数量，即当前节点触发流控的次数
  • wsrep_flow_control_recv：接收的流控暂停事件的数量
  • wsrep_flow_control_interval：流控的下限和上限。上限是队列中允许的最大请求数。如果队列达到上限，则拒绝新的请求，即触发流控。当处理现有请求时，队列会减少，一旦到达下限，将再次允许新的请求，即解除流控
  • wsrep_flow_control_status：流控的开关状态（开启：ON，关闭：OFF）
• 事务相关
  • wsrep_cert_deps_distance：事务执行的并发数
  • wsrep_apply_oooe：接收队列中事务的占比
  • wsrep_apply_oool：接收队列中事务乱序执行的频率
  • wsrep_apply_window：接收队列中事务的平均数量
  • wsrep_commit_oooe：发送队列中事务的占比
  • wsrep_commit_oool：无任何意义（不存在本地乱序提交）
  • wsrep_commit_window：发送队列中事务的平均数量
• 状态相关
  • wsrep_local_state_comment：节点的当前状态
  • wsrep_cluster_status：集群的当前状态
  • wsrep_connected：节点是否连接到集群
  • wsrep_ready集群是否正常工作
  • wsrep_cluster_size：集群中的节点个数
  • wsrep_desync_count：延时节点的数量
  • wsrep_incoming_addresses：集群中所有节点的IP地址

PXC节点状态图：

• OPEN：节点启动成功
• PRIMARY：节点成功加入集群
• JOINER：与其他节点同步数据
• JOINED：与其他节点同步数据成功
• SYNCED：与集群同步完成，可以对外提供服务
• DONER：接收其他节点的全量数据同步，处于不可用

PXC集群状态图：

• PRIMARY：正常状态
• NON_PRIMARY：集群发生脑裂
• DISCONNECTED：集群处于无法连接状态

官方文档：

• Index of wsrep status variables
• Galera Status Variables

关于PXC节点的上线与下线

1、PXC节点的安全下线姿势

节点是怎么启动的，就使用对应的命令去关闭即可

• 首节点示例：
  • 启动首节点用的命令是：systemctl start mysql@bootstrap.service
  • 那么对应的关闭命令就是：systemctl stop mysql@bootstrap.service
• 其他节点示例：
  • 启动其他节点的命令是：systemctl start mysqld
  • 那么对应的关闭命令就是：systemctl stop mysqld

2、如果所有PXC节点都是安全下线的，那么在启动集群时，就需要先启动最后下线的节点

初次启动集群时可以将任意一个节点作为首节点启动。但如果是一个已经启动过的集群，那么当该集群下线再上线时，就需要将最后下线的节点作为首节点来启动。其实关于某个节点是否能作为首节点启动，可以通过查看 grastate.dat 文件得知：

[root@PXC-Node1 ~]# cat /var/lib/mysql/grastate.dat # GALERA saved stateversion: 2.1uuid:    2c915504-39ac-11ea-bba7-a294386c4285seqno:   -1safe_to_bootstrap: 0[root@PXC-Node1 ~]#

• 说明：safe_to_bootstrap的值为0时表示不能作为首节点启动，为1时表示可以作为首节点启动。PXC集群中最后一个下线的节点就会将safe_to_bootstrap的值改为1，下次启动集群时就需要将该节点作为首节点启动。这是因为最后一个下线的节点数据是最新的。将其作为首节点启动，然后让其他节点与该节点进行数据同步，这样才能保证集群中的数据是最新的。否则，可能会导致集群中的数据是某个时间点之前的旧数据。

3、如果PXC节点都是意外退出的，而且不是在同一时间退出的情况

在本文开头提到过，PXC集群中一半以上的节点因意外宕机而无法访问时，PXC集群就会停止运行。但如果这些PXC节点是以安全下线的方式退出，则不会引发集群自动停止运行的问题，只会缩小集群的规模。只有意外下线一半以上节点时集群才会自动停止，意外下线的情况包括：

• 宕机、挂起、关机、重启、断电、断网等等，反正就是没有使用相应的停止命令安全下线节点都属于意外下线

只要PXC集群中的节点不是同时意外退出的，那么当集群还剩一个节点时，该节点就会自动将grastate.dat文件中的safe_to_bootstrap值改为1。所以在重启集群时，也是先启动最后一个退出的节点。

4、如果PXC节点都是同时意外退出的，则需要修改grastate.dat文件

当集群中所有节点都是在同一时间因意外情况而退出，那么此时所有节点的safe_to_bootstrap都为0，因为没有一个节点来得及去修改safe_to_bootstrap的值。当所有节点的safe_to_bootstrap均为0时，PXC集群是无法启动的。

在这种情况下我们就只能手动选择一个节点，将safe_to_bootstrap修改为1，然后将该节点作为首节点进行启动：

[root@PXC-Node1 ~]# vim /var/lib/mysql/grastate.dat ...safe_to_bootstrap: 1[root@PXC-Node1 ~]# systemctl start mysql@bootstrap.service

接着再依次启动其他节点即可：

[root@PXC-Node2 ~]# systemctl start mysqld

5、如果集群中还有可运行的节点，那么其他下线的节点只需要按普通节点上线即可

[root@PXC-Node2 ~]# systemctl start mysqld