实验前准备
MHA manager节点服务器:192.168.188.13 MHA node和manager组件
Master节点服务器:192.168.188.14 mysql5.7、MHA node组件
Slave节点服务器1:192.168.188.15 mysql5.7、MHA node组件
Slave节点服务器2:192.168.188.16 mysql5.7、MHA node组件
全都关闭防火墙
systemctl stop firewalld
setenforce 0
- Master、Slave1、Slave2服务器上安装mysql
- 修改Master、Slave1、Slave2节点服务器上的MySQL主配置文件
- Master节点
vim /etc/my.cnf
主要是在服务器中做如下设置
重启服务
systemctl restart mysqld - Slave1节点
vim /etc/my.cnf
主要是在服务器中做如下设置
重启服务
systemctl restart mysqld - Slave2节点
vim /etc/my.cnf
主要是在服务器中做如下设置
重启服务
systemctl restart mysqld - 在三个节点上创建软链接,方便后续使用
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
- Master节点
- 配置mysql一主两从
- 先在三台服务器上进行mysql授权,这一步三台服务器的操作相同,如下
mysql -uroot -pgrant replication slave on *.* to 'myslave'@'192.168.188.%' identified by '123456'; grant all privileges on *.* to 'mha'@'192.168.188.%' identified by 'manager'; flush privileges;
- 在master节点查看二进制文件和偏移量
show master status;
记好这两个值 - 在Slave1节点和Slave2节点执行同步操作
change master to master_host='192.168.188.16', master_user='myslave',master_password='123456', master_log_file='master-bin.000001', master_log_pos=1047;
检查一下
show slave status\G
如果下面这两个显示Yes就说明没问题 - 另外Slave1和Slave2必须设置成只读模式
set global read_only=1; - 测试一下有没有问题
在Master上的数据库中新建数据create database test_db; use db_test; create table test(id int); insert into test(id) values (1);
在Slave1和Slave2上的数据库中查询
select * from db_test.test;
能看到插入的数据,说明没问题
- 先在三台服务器上进行mysql授权,这一步三台服务器的操作相同,如下
- 安装MHA
- 在所有服务器(四台)上安装MHA依赖环境
先安装epel源yum -y install epel-release --nogpgcheck
yum install -y perl-DBD-MySQL \ perl-Config-Tiny \ perl-Log-Dispatch \ perl-Parallel-ForkManager \ perl-ExtUtils-CBuilder \ perl-ExtUtils-MakeMaker \ perl-CPAN
- 在所有服务器(四台)上安装node组件,每个操作系统版本不一样,我用的CentOS7.6,选择的版本是0.57版本
cd /opt tar zxvf mha4mysql-node-0.57.tar.gz cd mha4mysql-node-0.57 perl Makefile.PL make && make install
- 在MHA Manager服务器上安装manager组件
cd /opt tar zxvf mha4mysql-manager-0.57.tar.gz cd mha4mysql-manager-0.57 perl Makefile.PL make && make install
- 在所有服务器(四台)上安装MHA依赖环境
- 在所有服务器上配置互信
- Manager服务器上配置和三台数据库节点服务器的互信:
ssh-keygen -t rsa,一直回车就行,密码也空着
ssh-copy-id 192.168.188.14,需要输入192.168.188.14的root密码
ssh-copy-id 192.168.188.15,也要root密码
ssh-copy-id 192.168.188.16,也要root密码 - Master节点上配置和Slave1、Slave2节点的互信:
ssh-keygen -t rsa
ssh-copy-id 192.168.188.15
ssh-copy-id 192.168.188.16 - Slave1节点上配置和Master、Slave2节点的互信:
ssh-keygen -t rsa
ssh-copy-id 192.168.188.14
ssh-copy-id 192.168.188.16 - Slave2节点上配置和Master、Slave1节点的互信:
ssh-keygen -t rsa
ssh-copy-id 192.168.188.14
ssh-copy-id 192.168.188.15
- Manager服务器上配置和三台数据库节点服务器的互信:
- 在Manager服务器上配置MHA
- 拷贝一份manager的脚本到指定目录
cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
拷贝后的四份文件作用如下:
master_ip_failover:自动切换时VIP的管理脚本
master_ip_online_change:在线切换时VIP的管理脚本
power_manager:故障发生后关闭主机的脚本
send_report:因故障切换后发送报警的脚本 - 复制自动切换时的脚本到/usr/local/bin目录,本实验将使用master_ip_failover脚本来管理VIP和故障切换
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin/ - 修改一下这个脚本
vim /usr/local/bin/master_ip_failover
建议直接删光原本的配置然后复制以下内容,记得把VIP地址和VIP广播地址改成自己的:#!/usr/bin/env perl use strict; use warnings FATAL => 'all'; use Getopt::Long; my $command, $ssh_user, $orig_master_host, $orig_master_ip, $orig_master_port, $new_master_host, $new_master_ip, $new_master_port ); #############################添加内容部分######################################### my $vip = '192.168.188.188'; #指定vip的地址 my $brdc = '192.168.188.255'; #指定vip的广播地址 my $ifdev = 'ens33'; #指定vip绑定的网卡 my $key = '1'; #指定vip绑定的虚拟网卡序列号 my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip"; #代表此变量值为ifconfig ens33:1 192.168.188.188 my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down"; #代表此变量值为ifconfig ens33:1 192.168.188.188 down my $exit_code = 0; #指定退出状态码为0 #my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;"; #my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key"; ################################################################################## GetOptions( 'command=s' => \$command, 'ssh_user=s' => \$ssh_user, 'orig_master_host=s' => \$orig_master_host, 'orig_master_ip=s' => \$orig_master_ip, 'orig_master_port=i' => \$orig_master_port, 'new_master_host=s' => \$new_master_host, 'new_master_ip=s' => \$new_master_ip, 'new_master_port=i' => \$new_master_port, ); exit &main(); sub main { print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n"; if ( $command eq "stop" || $command eq "stopssh" ) { my $exit_code = 1; eval { print "Disabling the VIP on old master: $orig_master_host \n"; &stop_vip(); $exit_code = 0; }; if ($@) { warn "Got Error: $@\n"; exit $exit_code; } exit $exit_code; } elsif ( $command eq "start" ) { my $exit_code = 10; eval { print "Enabling the VIP - $vip on the new master - $new_master_host \n"; &start_vip(); $exit_code = 0; }; if ($@) { warn $@; exit $exit_code; } exit $exit_code; } elsif ( $command eq "status" ) { print "Checking the Status of the script.. OK \n"; exit 0; } else { &usage(); exit 1; } } sub start_vip() { `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`; } ## A simple system call that disable the VIP on the old_master sub stop_vip() { `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`; } sub usage { print "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n"; }
记得把VIP地址和VIP广播地址改成自己的 - 创建MHA软件目录
mkdir /etc/masterha
拷贝一份配置文件过来,本实验使用app1.cnf配置文件来管理MySQL节点服务器
cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha/
修改配置文件
vim /etc/masterha/app1.cnf
依然建议删光原本内容直接复制以下内容:[server default] manager_log=/var/log/masterha/app1/manager.log manager_workdir=/var/log/masterha/app1 master_binlog_dir=/usr/local/mysql/data master_ip_failover_script=/usr/local/bin/master_ip_failover master_ip_online_change_script=/usr/local/bin/master_ip_online_change password=manager ping_interval=1 remote_workdir=/tmp repl_password=123456 repl_user=myslave secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.188.15 -s 192.168.188.16 shutdown_script="" ssh_user=root user=mha [server1] hostname=192.168.188.14 port=3306 [server2] candidate_master=1 check_repl_delay=0 hostname=192.168.188.15 port=3306 [server3] hostname=192.168.188.16 port=3306
有一些地方可能需要改的我已经标在了下面的图中
每个设置具体的解释如下:
[server default] manager_log=/var/log/masterha/app1/manager.log #manager日志 manager_workdir=/var/log/masterha/app1 #manager工作目录 master_binlog_dir=/usr/local/mysql/data/ #master保存binlog的位置,这里的路径要与master里配置的binlog的路径一致,以便MHA能找到 master_ip_failover_script=/usr/local/bin/master_ip_failover #设置自动failover时候的切换脚本,也就是上面的那个脚本 master_ip_online_change_script=/usr/local/bin/master_ip_online_change #设置手动切换时候的切换脚本 password=manager #设置mysql中root用户的密码,这个密码是前文中创建监控用户的那个密码 ping_interval=1 #设置监控主库,发送ping包的时间间隔,默认是3秒,尝试三次没有回应的时候自动进行failover remote_workdir=/tmp #设置远端mysql在发生切换时binlog的保存位置 repl_password=123456 #设置复制用户的密码 repl_user=myslave #设置复制用户的用户 report_script=/usr/local/send_report #设置发生切换后发送的报警的脚本 secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.188.15 -s 192.168.188.16 #指定检查的从服务器IP地址 shutdown_script="" #设置故障发生后关闭故障主机脚本(该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用) ssh_user=root #设置ssh的登录用户名 user=mha #设置监控用户root [server1] hostname=192.168.188.14 port=3306 [server2] hostname=192.168.188.15 port=3306 candidate_master=1 #设置为候选master,设置该参数以后,发生主从切换以后将会将此从库提升为主库,即使这个从库不是集群中最新的slave check_repl_delay=0 #默认情况下如果一个slave落后master 超过100M的relay logs的话,MHA将不会选择该slave作为一个新的master, 因为对于这个slave的恢复需要花费很长时间;通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master [server3] hostname=192.168.188.16 port=3306
- 第一次配置时需要在Master节点上手动开启VIP
/sbin/ifconfig ens33:1 192.168.188.188/24
- 拷贝一份manager的脚本到指定目录
- 中间测试
- 在manager服务器上测试一下能不能用ssh免认证登录
masterha_check_ssh -conf=/etc/masterha/app1.cnf
如下没有报错就没问题 - 在manager服务器上测试一下mysql主从连接的情况
masterha_check_repl -conf=/etc/masterha/app1.cnf
不管中间出现了什么,最后能看到is OK就说明没问题,如果出现is not OK,那就是没好,慢慢改去吧 - 在manager服务器上启动MHA
丢后台就行nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
参数解释如下:
--remove_dead_master_conf:该参数代表当发生主从切换后,老的主库的 ip 将会从配置文件中移除。
--manger_log:日志存放位置。
--ignore_last_failover:在缺省情况下,如果 MHA 检测到连续发生宕机,且两次宕机间隔不足 8 小时的话,则不会进行 Failover, 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件,默认情况下,MHA 发生切换后会在日志记录,也就是上面设置的日志app1.failover.complete文件,下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换,除非在第一次切换后收到删除该文件,为了方便,这里设置为--ignore_last_failover。
查看MHA状态
masterha_check_status --conf=/etc/masterha/app1.cnf
当前看到的是master说明没问题
查看MHA日志
cat /var/log/masterha/app1/manager.log | grep "current master"
也可以看到当前的服务器是master节点
去master服务器查看VIP地址存不存在
ifconfig
如果要关闭manager服务,用这个命令
masterha_stop --conf=/etc/masterha/app1.cnf
- 在manager服务器上测试一下能不能用ssh免认证登录
- 故障模拟(上一步关闭了manager记得打开)
- 在manager节点上监视日志(动态查看)
tail -f /var/log/masterha/app1/manager.log - 在master节点上停止MySQL服务,模拟单点故障
systemctl stop mysqld
先观察一下Slave1有没有继承VIP
ifconfig
再看一下manager上的日志
太多了,就看最后一段,能看到旧的master(14)断开后,经过选举产生了新的master(15),说明没问题
故障切换备选主库的算法:
1.一般判断从库的是从(position/GTID)判断优劣,数据有差异,最接近于master的slave,成为备选主。
2.数据一致的情况下,按照配置文件顺序,选择备选主库。
3.设定有权重(candidate_master=1),按照权重强制指定备选主。
(1)默认情况下如果一个slave落后master 100M的relay logs的话,即使有权重,也会失效。
(2)如果check_repl_delay=0的话,即使落后很多日志,也强制选择其为备选主。
- 在manager节点上监视日志(动态查看)
- 故障修复
- 首先要先修好原master节点上的数据库服务,我们是直接关闭了服务,现在启动就行了
systemctl restart mysqld - 修复主从关系
在现在的master节点也就是原Slave1节点上查看二进制文件和同步点
show master status;
在原master节点执行同步操作change master to master_host='192.168.188.15', master_user='myslave', master_password='123456', master_log_file='master-bin.000001', master_log_pos=895;
别忘了开启节点
start slave; - 在manager服务器上修改配置文件
vi /etc/masterha/app1.cnf
打开后能发现原来的server1也就是原master不见了,是因为server1失效后这个节点会被直接删除掉
现在我们把这个节点添加回去 - 在manager服务器上启动MHA
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
- 再查看一下节点情况
masterha_check_status --conf=/etc/masterha/app1.cnf
MHA并没有抢占和非抢占的说法,即使原来的master节点恢复了,它也只能是一个Slave节点了
- 首先要先修好原master节点上的数据库服务,我们是直接关闭了服务,现在启动就行了