一, MHA 简介
MHA(Master HighAvailability)目前在 MySQL 高可用方面是一个相对成熟的解决方案, 它由日本 DeNA 公司 youshimaton(现就职于 Facebook 公司)开发, 是一套优秀的作为 MySQL 高可用性环境下故障切换和主从提升的高可用软件. 在 MySQL 故障切换过程中, MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操作, 并且在进行故障切换的过程中, MHA 能在最大程度上保证数据的一致性, 以达到真正意义上的高可用.
MHA 里有两个角色一个是 MHA Node(数据节点)另一个是 MHA Manager(管理节点).
MHA Manager 可以单独部署在一台独立的机器上管理多个 master-slave 集群, 也可以部署在一台 slave 节点上. MHA Node 运行在每台 MySQL 服务器上, MHA Manager 会定时探测集群中的 master 节点, 当 master 出现故障时, 它可以自动将最新数据的 slave 提升为新的 master, 然后将所有其他的 slave 重新指向新的 master. 整个故障转移过程对应用程序完全透明
在 MHA 自动故障切换过程中, MHA 试图从宕机的主服务器上保存二进制日志, 最大程度的保证数据的不丢失, 但这并不总是可行的. 例如, 如果主服务器硬件故障或无法通过 ssh 访问, MHA 没法保存二进制日志, 只进行故障转移而丢失了最新的数据. 使用 MySQL 5.5 的半同步复制, 可以大大降低数据丢失的风险. MHA 可以与半同步复制结合起来. 如果只有一个 slave 已经收到了最新的二进制日志, MHA 可以将最新的二进制日志应用于其他所有的 slave 服务器上, 因此可以保证所有节点的数据一致性
异步复制(Asynchronous replication)
MySQL 默认的复制即是异步的, 主库在执行完客户端提交的事务后会立即将结果返给给客户端, 并不关心从库是否已经接收并处理, 这样就会有一个问题, 主如果 crash 掉了, 此时主上已经提交的事务可能并没有传到从上, 如果此时, 强行将从提升为主, 可能导致新主上的数据不完整.
全同步复制(Fully synchronousreplication)
指当主库执行完一个事务, 所有的从库都执行了该事务才返回给客户端. 因为需要等待所有从库执行完该事务才能返回, 所以全同步复制的性能必然会收到严重的影响.
半同步复制(Semisynchronous replication)
介于异步复制和全同步复制之间, 主库在执行完客户端提交的事务后不是立刻返回给客户端, 而是等待至少一个从库接收到并写到 relay log 中才返回给客户端. 相对于异步复制, 半同步复制提高了数据的安全性, 同时它也造成了一定程度的延迟, 这个延迟最少是一个 TCP/IP 往返的时间. 所以, 半同步复制最好在低延时的网络中使用.
下面来看看半同步复制的原理图:
总结: 异步与半同步异同
默认情况下 MySQL 的复制是异步的, Master 上所有的更新操作写入 Binlog 之后并不确保所有的更新都被复制到 Slave 之上. 异步操作虽然效率高, 但是在 Master/Slave 出现问题的时候, 存在很高数据不同步的风险, 甚至可能丢失数据.
MySQL5.5 引入半同步复制功能的目的是为了保证在 master 出问题的时候, 至少有一台 Slave 的数据是完整的. 在超时的情况下也可以临时转入异步复制, 保障业务的正常使用, 直到一台 salve 追赶上之后, 继续切换到半同步模式.
工作原理
相较于其它 HA 软件, MHA 的目的在于维持 MySQL Replication 中 Master 库的高可用性, 其最大特点是可以修复多个 Slave 之间的差异日志, 最终使所有 Slave 保持数据一致, 然后从中选择一个充当新的 Master, 并将其它 Slave 指向它.
- 从宕机崩溃的 master 保存二进制日志事件(binlogevents).
- 识别含有最新更新的 slave.
- 应用差异的中继日志 (relay log) 到其它 slave.
- 应用从 master 保存的二进制日志事件(binlogevents).
- 提升一个 slave 为新 master.
- 使其它的 slave 连接新的 master 进行复制.
目前 MHA 主要支持一主多从的架构, 要搭建 MHA, 要求一个复制集群中必须最少有三台数据库服务器, 一主二从, 即一台充当 master, 一台充当备用 master, 另外一台充当从库, 因为至少需要三台服务器.
相关软件包
MHA 监控服务器安装: mha4mysql-manager-0.55-1.el5.noarch,mha4mysql-node-0.54-1.el5.noarch
其他主从集群服务器安装: mha4mysql-node-0.54-1.el5.noarch
MHA 软件包官网地址: https://code.google.com/archive/p/mysql-master-ha/
使用到如下包:
- mha4mysql-manager-0.55-1.el5.noarch
- mha4mysql-node-0.54-1.el5.noarch
二, 构建集群架构基础环境
实现环境:
角色 | IP 地址 | 主机名 | Server Id | 类型 | OS |
---|---|---|---|---|---|
Manager | 192.168.64.37 | manager | 管理节点 | Centos7.2x86_64 | |
master | 192.168.64.7 | master1 | 1 | 主 mysql | Centos7.2x86_64 |
Candidate master | 192.168.64.17 | master2 | 2 | 从 mysql | Centos7.2x86_64 |
slave | 192.168.64.27 | slave | 3 | 从 mysql | Centos7.2x86_64 |
其中 master 对外提供写服务, 备选 master(实际的 slave, 主机名 master2)提供读服务, slave 也提供相关的读服务, 一旦 master 宕机, 将会把备选 master 提升为新的 master,slave 指向新的 master,manager 作为管理服务器.
1, 在配置好所有主机 IP 地址后检查 selinux,firewalld 设置, 关闭所有主机 selinux ,firewalld 服务以方便后期主从同步不出错
vim /etc/sysconfig/selinux
SELINUX=disabled 本行替换为
systemctl stop firewalld 关闭防火墙
2. 同步服务器时间
vim /etc/chrony.conf
server 192.168.64.7 iburst master2 slave 配置与 master1 时间同步
3,
在四台主机上都配置 epel 源
官网下载地址: 点击打开链接 wget https://mirrors.ustc.edu.cn/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm
4. 在四台主机上建立 ssh 无交互登录环境
- [root@manager ~]# ssh-keygen -t rsa
- [root@manager ~]# ssh-copy-id -i id_rsa.pub 192.168.64.37
- [root@manager ~]# scp authorized_keys id_rsa 192.168.64.17:/root/.ssh/
- [root@manager ~]# scp authorized_keys id_rsa 192.168.64.27:/root/.ssh/
- [root@manager ~]# scp authorized_keys id_rsa 192.168.64.7:/root/.ssh/
测试 ssh 登录面密钥
[root@master ~]# ssh root@192.168.64.37
其它主机可以分别测试下
三, 配置 MySQL 的主从复制
1, 在主从节点安装 node 节点包(master1 master2,slave)
[root@master ~]# ls
anaconda-ks.cfg Downloads original-ks.cfg reset.sh Videos
Desktop mha4mysql-node-0.54-0.el6.noarch.rpm Pictures reset.sql
Documents Music Public Template
[root@master ~]# l yum install mha*
2, 修改 my.cnf 文件, 配置主从同步
注意: 若主 MYSQL 服务器已经存在, 只是后期才搭建从 MYSQL 服务器, 在置配数据同步前应先将主 MYSQL 服务器的要同步的数据库拷贝到从 MYSQL 服务器上(如先在主 MYSQL 上备份数据库, 再用备份在从 MYSQL 服务器上恢复)
(1.)master1 的主机配置:
- innodb_file_per_table
- log_bin
- read_only
- server_id=0
- skip_name_resolve=1
(2.)master2 的主机配置:
- innodb_file_per_table
- server_id=2
- skip_name_resolve=1
- read_only
- relay_log_purge=0
- log_bin
(3)slave 的主机配置:
- innodb_file_per_table
- server_id=3
- skip_name_resolve=1
- read_only
- relay_log_purge=0
- log_bin
注意: 重启所有主机的 mariadb 服务!!!
(3.)创建用于主从复制的账号 "mharep", 在 (master1,master2) 主机上创建即可, 创建 MHA 管理账号 "manager" 在所有 mysql 服务器上都要创建.
master1,master2 主机上的配置:
- mysql>GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.64.%' IDENTIFIED BY 'centos';
- mysql> GRANT ALL ON *.* TO 'mhauser'@'192.168.64.%' IDENTIFIED BY 'centos';
slave 主机上的配置:
mysql> GRANT ALL ON *.* TO 'mhauser'@'192.168.64.%' IDENTIFIED BY 'centos';
开始创建主从复制:
查看 master1 的节点:
- MariaDB [(none)]> show master logs;
- +--------------------+-----------+
- | Log_name | File_size |
- +--------------------+-----------+
- | mariadb-bin.000001 | 502 |
- | mariadb-bin.000002 | 487 |
- | mariadb-bin.000003 | 504 |
- | mariadb-bin.000004 | 245 |
- +--------------------+-----------+
- 4 rows in set (0.04 sec)
master2 主机上的配置:
创建主从复制, 并开启 slave 功能
- mysql>CHANGE MASTER TO MASTER_HOST='192.168.64.7',MASTER_USER='repluser' ,MASTER_PASSWORD='centos',MASTER_LOG_FILE='mariadb-bin.000004',MASTER_LOG_POS=245;
- mysql> start slave;
查看 master2 主机从的状态, 以下两个值必须为 yes, 代表从服务器能正常连接主服务器
- Slave_IO_Running:Yes
- Slave_SQL_Running:Yes
slave 主机上的配置:
创建主从复制, 并开启 salve 功能
- mysql>CHANGE MASTER TO MASTER_HOST='192.168.64.7',MASTER_USER='repluser' ,MASTER_PASSWORD='centos',MASTER_LOG_FILE='mariadb-bin.000004',MASTER_LOG_POS=245;
- mysql> start slave;
查看 slave 主机从的状态, 以下两个值必须为 yes, 代表从服务器能正常连接主服务器
- Slave_IO_Running:Yes
- Slave_SQL_Running:Yes
- MariaDB [(none)]> show slave status\G;
- *************************** 1. row ***************************
- Slave_IO_State: Waiting for master to send event
- Master_Host: 192.168.64.7
- Master_User: repluser
- Master_Port: 3306
- Connect_Retry: 60
- Master_Log_File: mariadb-bin.000004
- Read_Master_Log_Pos: 245
- Relay_Log_File: mariadb-relay-bin.000002
- Relay_Log_Pos: 531
- Relay_Master_Log_File: mariadb-bin.000004
- Slave_IO_Running: Yes
- Slave_SQL_Running: Yes
- Replicate_Do_DB:
- Replicate_Ignore_DB:
- Replicate_Do_Table:
- Replicate_Ignore_Table:
- Replicate_Wild_Do_Table:
- Replicate_Wild_Ignore_Table:
- Last_Errno: 0
- Last_Error:
- Skip_Counter: 0
- Exec_Master_Log_Pos: 245
- Relay_Log_Space: 827
- Until_Condition: None
- Until_Log_File:
- Until_Log_Pos: 0
- Master_SSL_Allowed: No
- Master_SSL_CA_File:
- Master_SSL_CA_Path:
- Master_SSL_Cert:
- Master_SSL_Cipher:
- Master_SSL_Key:
- Seconds_Behind_Master: 0
- Master_SSL_Verify_Server_Cert: No
- Last_IO_Errno: 0
- Last_IO_Error:
- Last_SQL_Errno: 0
- Last_SQL_Error:
- Replicate_Ignore_Server_Ids:
- Master_Server_Id: 1
- 1 row in set (0.00 sec)
ERROR: No query specified
注意:
第一条 grant 命令是创建一个用于主从复制的帐号 repluser, 在 master1 和 master2 的主机上创建即可.
第二条 grant 命令是创建 MHA 管理账号 manager, 所有 mysql 服务器上都需要创建. MHA 会在配置文件里要求能远程登录到数据库, 所以要进行必要的赋权.
四, 安装配置 mysql-MHA
mha 包括 manager 节点和 data 节点, data 节点包括原有的 MySQL 复制结构中的主机, 至少 3 台, 即 1 主 2 从, 当 masterfailover 后, 还能保证主从结构; 主从复制集群只需安装 node 包.
manager server: 运行监控脚本, 负责 monitoring 和 auto-failover;mha manager 节点需要安装 node 包和 manager 包.
1, 在 manager 主机上需要安装 ( mha4mysql-manager-0.55-0.el6.noarch.rpm 和 mha4mysql-node-0.54-0.el6.noarch.rpm) 两个操作管理节点, 在 3 台数据库主机上只需要安装 MHA 的 node 节点即可.
[root@manager ~]# ls
192.168.64.17 cobbler.ks mha4mysql-manager-0.55-0.el6.noarch.rpm
- 192.168.64.27 ks-post.log mha4mysql-node-0.54-0.el6.noarch.rpm
- 192.168.64.7 ks-post-nochroot.log original-ks.cfg
- anaconda-ks.cfg ks-pre.log
- [root@manager ~]# yum install mha*
其他三台数据库节点需要安装 MHA 的 node 节点(过程略)!!!
配置 MHA
与绝大多数 Linux 应用程序类似, MHA 的正确使用依赖于合理的配置文件. MHA 的配置文件与 mysql 的 my.cnf 文件配置相似, 采取的是 param=value 的方式来配置, 配置文件位于管理节点, 通常包括每一个 mysql server 的主机名, mysql 用户名, 密码, 工作目录等等.
(1.)编辑 / etc/masterha/app1.conf, 内容如下:
- [root@manager ~]# vim /etc/mastermha/app1.cnf
- [server default]
- user=mhauser
- password=centos
- manager_workdir=/data/mastermha/app1/
- manager_log=/data/mastermha/app1/manager.log
- remote_workdir=/data/mastermha/app1/
- ssh_user=root
- repl_user=repluser
- repl_password=centos
- ping_interval=1
- [server1]
- hostname=192.168.64.7
- candidate_master=1
- [server2]
- hostname=192.168.64.17
- candidate_master=1
- [server3]
- hostname=192.168.64.27
- candidate_master=1
配置项的解释:
- manager_workdir=/masterha/app1 // 设置 manager 的工作目录
- manager_log=/masterha/app1/manager.log // 设置 manager 的日志
- user=manager// 设置监控用户 manager
- password=123456 // 监控用户 manager 的密码
- ssh_user=root //ssh 连接用户
- repl_user=mharep // 主从复制用户
- repl_password=123.abc // 主从复制用户密码
- ping_interval=1 // 设置监控主库, 发送 ping 包的时间间隔, 默认是 3 秒, 尝试三次没有回应的时候自动进行 railover
- master_binlog_dir=/usr/local/mysql/data // 设置 master 保存 binlog 的位置, 以便 MHA 可以找到 master 的日志, 我这里的也就是 mysql 的数据目录
- candidate_master=1// 设置为候选 master, 如果设置该参数以后, 发生主从切换以后将会将此从库提升为主库.
SSH 有效性验证:
[root@manager ~]# masterha_check_ssh --conf=/etc/mastermha/app1.cnf
Sun Apr 22 06:36:33 2018 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
/etc/masterha/app1.cnf:No such file or directory
at /usr/share/perl5/vendor_perl/MHA/SSHCheck.pm line 148.
- [root@manager ~]# masterha_check_ssh
- masterha_check_ssh
- [root@manager ~]# masterha_check_ssh --conf=/etc/mastermha/app1.cnf
Sun Apr 22 06:37:13 2018 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Apr 22 06:37:13 2018 - [info] Reading application default configurations from /etc/mastermha/app1.cnf..
Sun Apr 22 06:37:13 2018 - [info] Reading server configurations from /etc/mastermha/app1.cnf..
Sun Apr 22 06:37:13 2018 - [info] Starting SSH connection tests..
Sun Apr 22 06:37:18 2018 - [debug]
Sun Apr 22 06:37:14 2018 - [debug] Connecting via SSH from root@192.168.64.27(192.168.64.27:22) to root@192.168.64.7(192.168.64.7:22)..
Sun Apr 22 06:37:16 2018 - [debug] ok.
Sun Apr 22 06:37:16 2018 - [debug] Connecting via SSH from root@192.168.64.27(192.168.64.27:22) to root@192.168.64.17(192.168.64.17:22)..
Sun Apr 22 06:37:17 2018 - [debug] ok.
Sun Apr 22 06:37:18 2018 - [debug]
Sun Apr 22 06:37:14 2018 - [debug] Connecting via SSH from root@192.168.64.17(192.168.64.17:22) to root@192.168.64.7(192.168.64.7:22)..
Sun Apr 22 06:37:16 2018 - [debug] ok.
Sun Apr 22 06:37:16 2018 - [debug] Connecting via SSH from root@192.168.64.17(192.168.64.17:22) to root@192.168.64.27(192.168.64.27:22)..
Sun Apr 22 06:37:17 2018 - [debug] ok.
Sun Apr 22 06:37:18 2018 - [debug]
Sun Apr 22 06:37:13 2018 - [debug] Connecting via SSH from root@192.168.64.7(192.168.64.7:22) to root@192.168.64.17(192.168.64.17:22)..
Sun Apr 22 06:37:17 2018 - [debug] ok.
Sun Apr 22 06:37:17 2018 - [debug] Connecting via SSH from root@192.168.64.7(192.168.64.7:22) to root@192.168.64.27(192.168.64.27:22)..
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that a host key has just been changed.
The fingerprint for the ECDSA key sent by the remote host is
SHA256:080GPU/VjQmyb/Ije4lASHgZDXJv5E/QOqAcAv0wfV0.
Please contact your system administrator.
Add correct host key in /root/.ssh/known_hosts to get rid of this message.
Offending ECDSA key in /root/.ssh/known_hosts:1
Keyboard-interactive authentication is disabled to avoid man-in-the-middle attacks.
Sun Apr 22 06:37:18 2018 - [debug] ok.
Sun Apr 22 06:37:18 2018 - [info] All SSH connection tests passed successfully.
集群复制的有效性验证:
注意: mysql 数据库必须都启动
[root@manager ~]# masterha_check_repl --conf=/etc/mastermha/app1.cnf
注意: 验证成功的话会自动识别出所有服务器和主从状况!!!
在验证时, 若遇到这个错误: Can't exec"mysqlbinlog" ......
解决方法是在所有服务器上执行:
- [CSS] view plain copy
- ln -s /usr/local/mysql/bin/*/usr/local/bin/
启动 manager:
[root@manager ~]# masterha_manager --conf=/etc/mastermha/app1.cnf
Sun Apr 22 06:39:35 2018 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Apr 22 06:39:35 2018 - [info] Reading application default configurations from /etc/mastermha/app1.cnf..
Sun Apr 22 06:39:35 2018 - [info] Reading server configurations from /etc/mastermha/app1.cnf..
注意: 在应用 Unix/Linux 时, 我们一般想让某个程序在后台运行, 于是我们将常会用 & 在程序结尾来让程序自动运行. 比如我们要运行 mysql 在后台: /usr/local/mysql/bin/mysqld_safe -user=mysql&. 可是有很多程序并不想 mysqld 一样, 这样我们就需要 nohup 命令,
五, 模拟故障, 检测状态转移
1, 停掉 master1 的 mariadb 服务
[root@master ~]# systemctl stop mariadb
(2.)查看 MHA 日志
上面的配置文件中指定了日志位置为 / data /masterha/app1/manager.log
[root@manager ~]# cat/masterha/app1/manager.log
从日志信息中可以看到 master failover 已经成功了, 并可以看出故障转移的大体流程
(3)检查 slave 的复制
登录 slave(192.168.64.27)的 Mysql, 查看 slave 状态
mysql> show slave status\G;
可以看到 master 的 IP 现在为 192.168.64.17, 已经切换到和 192.168.64.27 同步了, 本来是和 192.168.64.7 同步的, 说明 MHA 已经把 Candicatemaster(master2)提升为了新的 master,IO 线程和 SQL 线程也正确运行, MHA 搭建成功!!!
来源: http://blog.51cto.com/11034229/2106549