MySQL MHA集群详解(数据库高可用)_Mysql

mysql 高可用方案：mha 详解与实战

1. mha 简介

mha（master high availability）是由工程师 yoshinori matsunobu 开发的一款开源 mysql 高可用管理工具，专为解决 主从架构中主库（master）单点故障 问题而设计。

其核心目标是在主库发生宕机时，自动、快速、安全地完成故障转移（failover），将一个从库提升为新的主库，并让其他从库重新指向新主库，从而最大限度减少服务中断时间（通常在 10~30 秒内完成），保障业务连续性。

mha 适用于基于 异步或半同步复制 的 mysql 主从架构，支持 mysql 5.5 ~ 8.0 版本（需注意版本兼容性）。

2. mha 的组件组成

mha 由两个主要部分组成：

（1）mha manager（管理节点）

通常部署在独立的服务器上（不能与 mysql 实例在同一台机器）。
负责监控所有 mysql 节点状态。
在检测到主库故障时，自动触发故障转移流程。
提供命令行工具（如 masterha_check_ssh、masterha_check_repl、masterha_manager 等）用于检查、启动和管理高可用集群。

（2）mha node（数据节点）

部署在每一台 mysql 服务器（包括主库和所有从库）上。
包含一组本地脚本（如 save_binary_logs、apply_diff_relay_logs、purge_relay_logs 等）。
在故障转移过程中，由 manager 调用这些脚本执行关键操作：
- 保存主库最后的 binlog（若主库还能访问）
- 在新主库上应用差异日志
- 清理旧中继日志（relay log）

总结：manager 是“大脑”，node 是“手脚”。

3. mha 的作用与特点

核心作用：

自动故障检测与转移：主库宕机后自动选主并切换。
数据一致性保障：尽可能多地补全未同步的 binlog，减少数据丢失。
无需修改应用代码：配合 vip 或 dns 切换，对应用透明。

主要特点：

特点	说明
快速切换	故障转移通常在 10~30 秒内完成
数据不丢（尽力而为）	若主库未完全宕机，会尝试拉取最后的 binlog 补全
无需共享存储	基于原生 mysql 复制，部署成本低
在线切换支持	支持手动主从切换（`masterha_master_switch`），用于滚动升级
灵活的选主策略	可通过配置指定优先级（`candidate_master=1`）
兼容性强	支持异步/半同步复制，适用于大多数现有主从架构

局限性：

不提供读写分离功能（需搭配 proxysql 等中间件）
不解决从库高可用问题（仅保障主库高可用）
官方已停止维护（最新版为 0.58，但社区仍在广泛使用）

4. mha 工作原理

mha 的故障转移流程如下：

正常状态：

1 个 master + n 个 slave，开启 binlog 和 relay log。
mha manager 定期（默认每 3 秒）通过 ssh 和 sql 连接检测主库存活。

故障发生时：

检测主库宕机
manager 无法通过 ping、ssh 或 mysql 连接访问主库，确认故障。
选择新主库（new master）
- 优先选择 relay log 最新（即复制延迟最小）的从库。
- 若配置了 candidate_master=1，则优先考虑该节点。
- 排除设置了 no_master=1 的节点。
补全数据（关键步骤）
- 如果原主库还能 ssh 登录（但 mysql 挂了），mha node 会执行 save_binary_logs 脚本，拉取主库上尚未传送到任何从库的 binlog。
- 将这部分“缺失”的日志应用到新主库上，最大限度保证数据一致性。
提升新主库
- 在选定的从库上执行 reset slave，解除从属关系，使其成为独立主库。
其他从库重定向
- 所有剩余从库执行 change master to，指向新的主库，并启动复制。
通知与清理
- 可配置脚本发送邮件、调用 api 通知运维。
- 清理旧 relay logs，避免磁盘占满。

关键优势：mha 是少数能在主库部分可用时“抢救”最后 binlog 的工具，显著优于简单切换。

5. 实战：mha 部署简

5.1 实验环境

mha manager 节点服务器：centos7.6(64 位) manager/192.168.65.128，安装mha node 和 manager 组件
master 节点服务器：centos7.6(64 位) mysql1/192.168.65.131 ，安装mysql5.7、mha node 组件
slave1 节点服务器：centos7.6(64 位) mysql2/192.168.65.133 ，安装mysql5.7、mha node 组件
slave2 节点服务器：centos7.6(64 位) mysql3/192.168.65.135 ，安装mysql5.7、mha node 组件

5.2 准备工作

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
①  master、slave1、slave2 节点上安装 mysql5.7
②  修改 master、slave1、slave2 节点的主机名
hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
③ 修改 master、slave1、slave2 节点的 mysql主配置文件/etc/my.cnf 
##master 节点##
vim /etc/my.cnf
[mysqld]
server-id = 1
log_bin = master-bin
log-slave-updates = true
systemctl restart mysqld
##slave1 节点##
vim /etc/my.cnf
#三台服务器的 server-id 不能一样
server-id = 2 						
log_bin = master-bin
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index
systemctl restart mysqld
###slave2 节点##
vim /etc/my.cnf		
#三台服务器的 server-id 不能一样
server-id = 3 
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index
systemctl restart mysqld
④ 在 master、slave1、slave2 节点上都创建两个软链接
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
⑤．配置 mysql 一主两从
（1）所有数据库节点进行 mysql 授权
mysql -uroot -p
grant replication slave on *.* to 'myslave'@'192.168.65.%' identified by '123456';		#从数据库同步使用
grant all privileges on *.* to 'mha'@'192.168.65.%' identified by 'manager';		#manager 使用
grant all privileges on *.* to 'mha'@'master' identified by 'manager';				#防止从库通过主机名连接不上主库
grant all privileges on *.* to 'mha'@'slave1' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave2' identified by 'manager';
flush privileges;
（2）在 master 节点查看二进制文件和同步点
show master status;
+-------------------+----------+--------------+------------------+-------------------+
| file              | position | binlog_do_db | binlog_ignore_db | executed_gtid_set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 |          |              |                  |                   |
+-------------------+----------+--------------+------------------+-------------------+
（3）在 slave1、slave2 节点执行同步操作
change master to master_host='192.168.65.131',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=  ; 
start slave;
（4）在 slave1、slave2 节点查看数据同步结果
show slave status\g		
//确保 io 和 sql 线程都是 yes，代表同步正常。
slave_io_running: yes
slave_sql_running: yes
（5）两个从库必须设置为只读模式：
set global read_only=1;
（6）插入数据测试数据库同步
##在 master 主库插入条数据，测试是否同步##
create database test_db;
use test_db;
create table test(id int);
insert into test(id) values (1);

5.3 安装mha所有组件与测试

5.3.1 安装 mha 软件

（1）所有服务器上都安装 mha 依赖的环境，首先安装 epel 源
yum install epel-release --nogpgcheck -y
yum install -y perl-dbd-mysql \
perl-config-tiny \
perl-log-dispatch \
perl-parallel-forkmanager \
perl-extutils-cbuilder \
perl-extutils-makemaker \
perl-cpan
（2）安装 mha 软件包，先在所有服务器上必须先安装 node 组件
对于每个操作系统版本不一样，这里 centos7.6选择 0.57 版本。
在所有服务器上必须先安装 node 组件，最后在 mha-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。
cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57
perl makefile.pl
make && make install
（3）在 mha manager 节点上安装 manager 组件
cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl makefile.pl
make && make install

5.3.2 manager与node工具使用

#manager 组件安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：
masterha_check_ssh 检查 mha 的 ssh 配置状况
masterha_check_repl 检查 mysql 复制状况
masterha_manger 启动 manager的脚本
masterha_check_status 检测当前 mha 运行状态
masterha_master_monitor 检测 master 是否宕机
masterha_master_switch 控制故障转移（自动或者 手动）
masterha_conf_host 添加或删除配置的 server 信息
masterha_stop  关闭manager
#node 组件安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 mhamanager 的脚本触发，无需人为操作）主要如下：
save_binary_logs 保存和复制 master 的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog 去除不必要的 rollback 事件（mha 已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞 sql 线程）

5.3.3 在所有服务器上配置无密码认证

（1）在 manager 节点上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa 				#一路按回车键
ssh-copy-id 192.168.65.133
ssh-copy-id 192.168.65.135
ssh-copy-id 192.168.65.131
（2）在 master 上配置到数据库节点 slave1 和 slave2 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.65.133
ssh-copy-id 192.168.65.135
（3）在 slave1 上配置到数据库节点 master 和 slave2 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.65.131
ssh-copy-id 192.168.65.135
（4）在 slave2 上配置到数据库节点 master 和 slave1 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.65.131
ssh-copy-id 192.168.65.133

5.3.4 在 manager 节点上配置 mha

（1）在 manager 节点上复制相关脚本到/usr/local/bin 目录
cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
//拷贝后会有四个执行文件
ll /usr/local/bin/scripts/
----------------------------------------------------------------------------------------------------------
master_ip_failover  		#自动切换时 vip 管理的脚本
master_ip_online_change 	#在线切换时 vip 的管理
power_manager 				#故障发生后关闭主机的脚本
send_report 				#因故障切换后发送报警的脚本
----------------------------------------------------------------------------------------------------------
（2）复制上述的自动切换时 vip 管理的脚本到 /usr/local/bin 目录，这里使用master_ip_failover脚本来管理 vip 和故障切换
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
（3）修改内容如下：（删除原有内容，直接复制并修改vip相关参数）
vim /usr/local/bin/master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings fatal => 'all';
use getopt::long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.110.200';									#指定vip的地址
my $brdc = '192.168.110.255';								#指定vip的广播地址
my $ifdev = 'ens33';										#指定vip绑定的网卡
my $key = '1';												#指定vip绑定的虚拟网卡序列号
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";		#代表此变量值为ifconfig ens33:1 192.168.110.200
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";		#代表此变量值为ifconfig ens33:1 192.168.110.200 down
my $exit_code = 0;											#指定退出状态码为0
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -a -c 1 -i $ifdev $vip;iptables -f;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
getoptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);
exit &main();
sub main {
print "\n\nin script test====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "disabling the vip on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "got error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
eval {
print "enabling the vip - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "checking the status of the script.. ok \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
## a simple system call that disable the vip on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
（4）创建 mha 软件目录并拷贝配置文件，这里使用app1.cnf配置文件来管理 mysql 节点服务器
mkdir /etc/masterha
cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
vim /etc/masterha/app1.cnf						#删除原有内容，直接复制并修改节点服务器的ip地址
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.65.133 -s 192.168.65.135
shutdown_script=""
ssh_user=root
user=mha
[server1]
hostname=192.168.65.131
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.65.133
port=3306
[server3]
hostname=192.168.65.135
port=3306
----------------------------------------------------------------------------------------------------------
[server default]
manager_log=/var/log/masterha/app1/manager.log　　　　　　#manager日志
manager_workdir=/var/log/masterha/app1　　　　　　　　    #manager工作目录
master_binlog_dir=/usr/local/mysql/data/　　　　　　　　　#master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便mha能找到
master_ip_failover_script=/usr/local/bin/master_ip_failover　　#设置自动failover时候的切换脚本，也就是上面的那个脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change　　#设置手动切换时候的切换脚本
password=manager			#设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码
ping_interval=1				#设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp			#设置远端mysql在发生切换时binlog的保存位置
repl_password=123		    #设置复制用户的密码
repl_user=myslave			#设置复制用户的用户
report_script=/usr/local/send_report　　　　　#设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.65.133 -s 192.168.65.135	#指定检查的从服务器ip地址
shutdown_script=""			#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用）
ssh_user=root				#设置ssh的登录用户名
user=mha					#设置监控用户root
[server1]
hostname=192.168.65.131
port=3306
[server2]
hostname=192.168.65.133
port=3306
candidate_master=1
#设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个从库不是集群中最新的slave
check_repl_delay=0
#默认情况下如果一个slave落后master 超过100m的relay logs的话，mha将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，mha触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
[server3]
hostname=192.168.65.135
port=3306
----------------------------------------------------------------------------------------------------------

5.3.5 第一次配置需要在 master 节点上手动开启虚拟ip

/sbin/ifconfig ens33:1 192.168.65.200/24

5.3.6 manager 节点上测试 ssh

在 manager 节点上测试 ssh 无密码认证，如果正常最后会输出 successfully，如下所示。
masterha_check_ssh -conf=/etc/masterha/app1.cnf

5.3.7 manager 节点上测试 mysql 主从连接

在 manager 节点上测试 mysql 主从连接情况，最后出现 mysql replication health is ok 字样说明正常。如下所示。
masterha_check_repl -conf=/etc/masterha/app1.cnf

5.3.8 在 manager 节点上启动 mha

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
#生产中java 服务启动的方式
nohup  java -jar  微服务名称-（ war jar）   &   
----------------------------------------------------------------------------------------------------------
--remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
--manger_log：日志存放位置。
--ignore_last_failover：在缺省情况下，如果 mha 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 mha 触发切换产生的文件，默认情况下，mha 发生切换后会在日志记录，也就是上面设置的日志app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为--ignore_last_failover。
----------------------------------------------------------------------------------------------------------

5.3.9 查看 mha 状态

查看 mha 状态，可以看到当前的 master 是 master 节点。

masterha_check_status --conf=/etc/masterha/app1.cnf

5.3.10 查看 mha 日志

查看 mha 日志，也以看到当前的 master 是 192.168.65.131，如下所示。

cat /var/log/masterha/app1/manager.log | grep "current master"

5.3.11 查看master vip

查看master 的 vip 地址 192.168.65.200 是否存在，这个 vip 地址不会因为 manager 节点停止 mha 服务而消失。
ifconfig

5.3.12 若要关闭 manager 服务

//若要关闭 manager 服务，可以使用如下命令。
masterha_stop --conf=/etc/masterha/app1.cnf
或者可以直接采用 kill 进程 id 的方式关闭。

5.4 mha 模拟故障

---------------------- 故障模拟 --------------------------------
#在 manager 节点上监控观察日志记录
tail -f /var/log/masterha/app1/manager.log
#在 master 节点 master 上停止mysql服务
systemctl stop mysqld
或
pkill -9 mysql
#正常自动切换一次后，mha 进程会退出。hma 会自动修改 app1.cnf 文件内容，将宕机的 master 节点删除。查看 slave1 是否接管 vip
ifconfig
故障切换备选主库的算法：
1．一般判断从库的是从（position/gtid）判断优劣，数据有差异，最接近于master的slave，成为备选主。
2．数据一致的情况下，按照配置文件顺序，选择备选主库。
3．设定有权重（candidate_master=1），按照权重强制指定备选主。
（1）默认情况下如果一个slave落后master 100m的relay logs的话，即使有权重，也会失效。
（2）如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。
故障修复步骤：
1．修复mysql
systemctl restart mysqld
2．修复主从
#在现主库服务器 mysql2（slave1上） 查看二进制文件和同步点
show master status;
#在原主库服务器 mysql1 执行同步操作
change master to master_host='192.168.65.133',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1745;
change master to master_host='192.168.65.133',master_user='myslave',master_password='123456',master_log_file='master-bin.000002',master_log_pos=154;
start slave;
3．在 manager 节点上修改配置文件app1.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）
vi /etc/masterha/app1.cnf
......
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.65.131 -s 192.168.65.135
......
[server1]
hostname=192.168.65.131
port=3306
[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.65.133
port=3306
[server3]
hostname=192.168.65.135
port=3306
4．在 manager 节点上启动 mha
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
#解决中英字不兼容报错的问题
dos2unix /usr/local/bin/master_ip_failover