mysql高可用方案之MHA

mysql集群高可用方案：

单主：keepalived、MHA、MMM

多主：MySQL cluster 、PXC

MHA的工作原理

MHA node 运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明

要求一个复制集群必须最少有三台数据库服务器，一主二从，即一台充当Master，一台充当备用Master，另一台充当从库。

MHA的组成

MHA Node（数据节点）

MHA Node 运行在每台MySQL服务器上

MHA Manager（管理节点）

MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群；也可以部署在一台 slave 节点上。

MHA故障切换的原理

MHA Manager 会定时探测集群中的主库（master）节点。

当 master 出现故障时，它可以自动将最新数据的从库（slave）提升为新的master ，然后将所有其他的 slave 重新指向新的 master。

整个故障转移过程对应用程序完全透明。

MHA部署过程：

1.所有mysql节点都做主从复制授权，合MHA manager访问数据库的授权

2.做时间同步合mysql的主从复制，并设置所有的从节点为只读模式

3.所有节点安装 MHA node 组件，在manager节点上还要再安装 MHA manager组件

4.所有节点做ssh密钥对免交互登录认证

5.在MHAmanaer节点上准备号故障切换脚本和MHA配置文件

6.在master节点上使用ifconfig创建VIP

7.使用masterha_check_ssh 和 masterha_check_repl 做 MHA 启动前检查，再使用 masterha_manager 启动MHA进程

8.做故障切换测试（故障切换后MHA进程会自动退出，配置文件会自动删除旧master的配置信息，VIP会飘逸到新master节点上，其他的从节点会自动指向新master做主从复制）

搭建MySQL MHA

1.数据库安装

2.做主从服务器时间同步

3.所有mysql都做二进制日志转中继日志配置和主从复制授权

首先添加二进制日志转中继日志配置
在主服务器配置
vim /etc/my.cnf

log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

在从1服务器配置
log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index
在从2服务器配置
log_bin = mysql-bin
binlog_format = mixed
log-slave-updates = true
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

主服务器的配置：

4.在 Master、Slave1、Slave2 节点上都创建两个软链接，之后的managers服务器上也要创建

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

5.给所有数据库授权，并将两个从库设置为只读

先给所有数据库改名
hostnamectl set-hostname mysql1     #主
hostnamectl set-hostname mysql2     #从
hostnamectl set-hostname mysql3     #从


主从配置如下：
grant all on *.* to 'manager'@'mysql1' identified by 'abc123';
grant all on *.* to 'manager'@'mysql2' identified by 'abc123';
grant all on *.* to 'manager'@'mysql3' identified by 'abc123';


两个从库设置为只读
set global read_only=1;

6.所有服务器上安装MHA软件

yum install epel-release -y

cd /opt   #安装MHA软件
tar xf mha4mysql-node-0.57.tar.gz

yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN


perl Makefile.PL
make && make install

7.在mha manager服务器上解压manager包：

tar xf mha4mysql-manager-0.57.tar.gz 
cd mha4mysql-manager-0.57/
perl Makefile.PL
make && make install

#manager 组件安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：
masterha_check_ssh       检查 MHA 的 SSH 配置状况
masterha_check_repl      检查 MySQL 复制状况
masterha_manger          启动 manager的脚本
masterha_check_status    检测当前 MHA 运行状态
masterha_master_monitor  检测 master 是否宕机
masterha_master_switch   控制故障转移（自动或者手动）
masterha_conf_host       添加或删除配置的 server 信息
masterha_stop            关闭manager

#node 组件安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：
save_binary_logs        保存和复制 master 的二进制日志
apply_diff_relay_logs   识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog      去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）
purge_relay_logs        清除中继日志（不会阻塞 SQL 线程）

8.在所有服务器上配置无密码认证：

 cd /usr/local/bin

 yum -y install sshpass

第一台数据库：192.168.116.60
第二台数据库：192.168.116.70
第三台数据库：192.168.116.80
第四台：192.168.116.30


ssh-keygen -t rsa
修改ssh配置文件
vim /etc/ssh/ssh_config
在35行取消注释，后面改为no

在主服务器上
sshpass -p '123' ssh-copy-id 192.168.116.70
sshpass -p '123' ssh-copy-id 192.168.116.80
在从1服务器上
sshpass -p '123' ssh-copy-id 192.168.116.60
sshpass -p '123' ssh-copy-id 192.168.116.80
在从2服务器上
sshpass -p '123' ssh-copy-id 192.168.116.70
sshpass -p '123' ssh-copy-id 192.168.116.60
在manager服务器上
sshpass -p '123' ssh-copy-id 192.168.116.60
sshpass -p '123' ssh-copy-id 192.168.116.70
sshpass -p '123' ssh-copy-id 192.168.116.80

9.在manager服务器上的配置

[root@test4 bin]# cd /opt/mha4mysql-manager-0.57/samples/
[root@test4 samples]# ls scripts/
master_ip_failover  master_ip_online_change  power_manager  send_report


四个执行文件：
-------------------------------------------------------------------------------------------
master_ip_failover  		#自动切换时 VIP 管理的脚本
master_ip_online_change 	#在线切换时 VIP 的管理
power_manager 				#故障发生后关闭主机的脚本
send_report 				#因故障切换后发送报警的脚本
-------------------------------------------------------------------------------------------

cp -a scripts/ /usr/local/bin/
cd /usr/local/bin
cd scripts/
cp power_manager  ../
cd ..
vim power_manager
进去全部删除，有现成的脚本文件粘贴进去
进去之后改成文本格式复制粘贴
set paster

#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command, $orig_master_host, $orig_master_ip,$ssh_user,
    $orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
    $orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);

# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.116.200/24';
my $key = '1';
# 这里的网卡名称 “ens33” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I ens33 -c 3 -A $vip";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'orig_master_ssh_port=i' => \$orig_master_ssh_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
    'new_master_ssh_port' => \$new_master_ssh_port,
    'new_master_user' => \$new_master_user,
    'new_master_password' => \$new_master_password

);

exit &main();

sub main {
    $ssh_user = defined $ssh_user ? $ssh_user : 'root';
    print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        exit $exit_code;
    }
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub start_arp() {
    `ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

10.所有服务器上创建 MHA 软件目录并拷贝配置文件：

mkdir -p /opt/mysql-mha/mha-node
在manager服务器创建mha目录
mkdir -p /opt/mysql-mha/mha

11.在manager服务器上编写配置文件：

vim mysql_mha.conf

[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha
master_binlog_dir=/usr/local/mysql/data
[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
user=manager
password=123456
port=3306
ping_interval=1
remote_workdir=/opt/mysql-mha/mha-node
repl_user=manager
repl_password=abc123
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.116.70 -s 192.168.116.80
shutdown_script=""
ssh_user=root

[server1]
hostname=192.168.116.60
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.116.70
port=3306

[server3]
hostname=192.168.116.80
port=3306

12.在主服务器上配置vip

ifconfig ens33:1 192.168.116.200/24

13.在 manager 节点上测试 ssh 无密码认证

[root@test4 mysql-mha]# pwd
/opt/mysql-mha
[root@test4 mysql-mha]# masterha_check_ssh  --conf=./mysql_mha.cnf

14.测试 mysql 主从连接情况：

最后出现 MySQL Replication Health is OK为正常：

masterha_check_repl  --conf=./mysql_mha.cnf

15.在 manager 节点上启动 MHA

nohup masterha_manager \
> --conf=/opt/mysql-mha/mysql_mha.cnf \
> --remove_dead_master_conf \
> --ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

16.查看 MHA 状态，可以看到当前的 master 是 mysql1 节点

masterha_check_status --conf=/opt/mysql-mha/mysql_mha.cnf

17.查看 MHA 日志，也以看到当前的 master 是 192.168.80.10，如下所示

cat /opt/mysql-mha/manager.log | grep "current master"

18. 查看 mysql1 的 VIP 地址 192.168.80.200 是否存在，这个 VIP 地址不会因为 manager 节点停止 MHA 服务而消失

ifconfig


//若要关闭 manager 服务，可以使用如下命令。
masterha_stop --conf=/opt/mysql-mha/mysql_mha.cnf
或者可以直接采用 kill 进程 ID 的方式关闭。

故障模拟

1.在 manager 节点上监控观察日志记录

tail -f /opt/mysql-mha/manager.log

2.在 Master 节点 mysql1 上停止mysql服务

systemctl stop mysqld

正常自动切换一次后，MHA 进程会退出。HMA 会自动修改 app1.cnf 文件内容，将宕机的 mysql1 节点删除。查看 mysql2 是否接管 VIP

ifconfig

查看日志：

故障修复步骤：

1．修复mysql

systemctl restart mysqld

2.修复主从
#在现主库服务器 mysql2 查看二进制文件和同步点

show master status;

3.在原主库服务器 mysql1 执行同步操作

change master to master_host='192.168.116.70',master_user='myslave',master_password='abc123',master_log_file='mysql-bin.000001',master_log_pos=2776;

start slave;

4.在 manager 节点上修改配置文件mysql_mha.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）

[root@test4 mysql-mha]# vim mysql_mha.cnf 

[server1]
hostname=192.168.116.70
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.116.60
port=3306

5．在 manager 节点上启动 MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &