一, 前言:
1.1 MHA 介绍
MHA(Master High Availability)目前在 MySQL 高可用方面是一个相对成熟的解决方案, 它由日本 DeNA 公司 youshimaton(现就职于 Facebook 公司)开发, 是一套优秀的作为 MySQL 高可用性环境下故障切换和主从提升的高可用软件. 在 MySQL 故障切换过程中, MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操作, 并且在进行故障切换的过程中, MHA 能在最大程度上保证数据的一致性, 以达到真正意义上的高可用.
MHA 自动化主服务器故障转移, 快速将从服务器晋级为主服务器(通常在 10-30s), 而不影响复制的一致性, 不需要花钱买更多的新服务器, 不会有性能损耗, 容易安装, 不必更改现有的部署环境, 适用于任何存储引擎.
MHA 提供在线主服务器切换, 改变先正运行的主服务器到另外一台上, 这个过程只需 0.5-2s 的时间, 这个时间内数据无法写入.
MHA Manager 通过 ssh 连接 mysql slave 服务器.
虽然 MHA 试图从挡掉的主服务器上保存二进制日志, 并不是总是可行的. 例如, 如果主服务器硬件故障或无法通过 ssh 访问, MHA 没法保存二进制日志, 只进行故障转移而丢失最新数据.
使用半同步复制, 可以大大降低数据丢失的风险. MHA 可以与半同步复制结合起来. 如果只有一个 slave 已经收到了最新的二进制日志, MHA 可以将最新的二进制日志应用于其他所有的 slave 服务器上, 因此他们彼此保持一致性.
1.2 MHA 有如下特性:
1.2.1. 主服务器的自动监控和故障转移
MHA 监控复制架构的主服务器, 一旦检测到主服务器故障, 就会自动进行故障转移. 即使有些从服务器没有收到最新的 relay log,MHA 自动从最新的从服务器上识别差异的 relay log 并把这些日志应用到其他从服务器上, 因此所有的从服务器保持一致性了. MHA 通常在几秒内完成故障转移, 9-12 秒可以检测出主服务器故障, 7-10 秒内关闭故障的主服务器以避免脑裂, 几秒中内应用差异的 relay log 到新的主服务器上, 整个过程可以在 10-30s 内完成. 还可以设置优先级指定其中的一台 slave 作为 master 的候选人. 由于 MHA 在 slaves 之间修复一致性, 因此可以将任何 slave 变成新的 master, 而不会发生一致性的问题, 从而导致复制失败.
1.2.2. 交互式主服务器故障转移
可以只使用 MHA 的故障转移, 而不用于监控主服务器, 当主服务器故障时, 人工调用 MHA 来进行故障故障.
1.2.3. 非交互式的主故障转移
不监控主服务器, 但自动实现故障转移. 这种特征适用于已经使用其他软件来监控主服务器状态, 比如 heartbeat 来检测主服务器故障和虚拟 IP 地址接管, 可以使用 MHA 来实现故障转移和 slave 服务器晋级为 master 服务器.
1.2.4. 在线切换主服务器
在许多情况下, 需要将现有的主服务器迁移到另外一台服务器上. 比如主服务器硬件故障, RAID 控制卡需要重建, 将主服务器移到性能更好的服务器上等等. 维护主服务器引起性能下降, 导致停机时间至少无法写入数据. 另外, 阻塞或杀掉当前运行的会话会导致主主之间数据不一致的问题发生. MHA 提供快速切换和优雅的阻塞写入, 这个切换过程只需要 0.5-2s 的时间, 这段时间内数据是无法写入的. 在很多情况下, 0.5-2s 的阻塞写入是可以接受的. 因此切换主服务器不需要计划分配维护时间窗口(呵呵, 不需要你在夜黑风高时通宵达旦完成切换主服务器的任务).
注: MHA 可以应用于任何复制结构
二. MHA 架构所需条件
2.1. SSH 公钥验证
MHA 管理节点通过 ssh 连接 mysql 服务器, MHA 节点通过 scp 发送最新的 relay log 到其他 slaves 服务器上. 为了使这些过程自动化, 使用 SSH 公钥验证密码.
2.2. 操作系统
MHA 目前只支持 Linux 系统
2.3. 单台可写主服务器和多台从服务器或只读主服务器
当主服务器当掉时, MHA 修复从服务器之间数据一致性. MHA 试图从当掉的主服务器上保存尚未发送的二进制日志文件并应用于所有从服务器. 如果只有一个从服务器, 就不需在意从服务器之间一致性问题. 即使只有一个从服务器, MHA 也会从当掉的主服务器上保存尚未发送的二进制日志事件只要能通过 ssh 访问到主服务器. 使用半同步复制可以解决当主服务器当掉后, 无法 ssh 到主服务器上保存尚未发送的二进制日志事件.
从 MHA Manager0.52 版本开始, 支持多主复制结构. 只允许其中一台主服务器可写, 其他主服务器必须设置 read-only=1. 默认情况下, 被管理服务器应该是两层复制结构.
2.4. 在三层或三层以上复制情况
默认情况下, MHA 不支持三层或三层以上的复制结构. 如 master1-master2--slave3.MHA 故障转移和恢复是直接从从服务器中选择一台作为当前的主主服务器. MHA 可以管理 master1 和 master2, 当 master1 当掉后, 将 master2 作为主, MHA 不会监控和恢复 slave3 因为 slave3 是从不同的主服务器上 (master2) 复制的. 为了使 MHA 工作在这种架构下, 需要做如下设置:
只在 MHA 配置文件中配置 master1 和 master2
在 MHA 配置文件中所有主机上设置 multi_tier_slave=1
在这种情况下, MHA 只管理主主服务器和二层的从服务器, 在故障转移过程中, 三层从服务器仍然可以正常工作的.
2.5. mysql 版本 5.0 或更高
MHA 支持 mysql5.0 或以上版本. 因为从 mysql5.0 版本起二进制日志格式 (binlog v4 格式) 改变了. 当 MHA 解析二进制日志来确定目标中继日志位置, 是使用 v4 格式的. MySQL 版本不得低于 5.0.60.
2.6. mysqlbinlog 版本 3.3 或更高
MHA 在目标从服务器上应用二进制事件使用 mysqlbinlog. 如果主服务器使用基于行格式复制, 基于行格式的事件写入到二进制文件中, 这种二进制日志格式的文件只能被 MySQL5.1 或更高版本的 mysqlbinlog 解析. MySQL5.0.60 以下版本中的 mysqlbinlog 不支持基于行格式的.
2.7. 候选主服务器 log-bin 必须开启
如果当前的从服务器没有开启 log-bin, 那么将不可能成为主服务器. MHA 管理节点会检测是否有配置 log-bin. 如果当前所有从服务器都没有设置 log-bin, 那么 MHA 不进行故障转移.
2.8. 所有服务器上的二进制日志和中继日志过滤规则必须相同
binlog-do-db 和 replicate-ignore-db 设置必须相同. MHA 在启动时候会检测过滤规则, 如果过滤规则不同, MHA 不启动监控和故障转移.
2.9. 候选主服务器上的复制用户必须存在
当故障转移后, 所有从服务器上将执行 change master to 命令.
2.10. 保留中继日志和定期清理
默认情况下, 从服务器上的中继日志在 SQL 线程执行完后会被自动删除的. 但是这些中继日志在恢复其他从服务器时候可能会被用到, 因此需要禁用中继日志的自动清除和定期清除旧的中继日志. 定期清除中继日志需要考虑到复制延时的问题. 在 ext3 文件系统下, 删除大的文件需要一定的时间, 会导致严重的复制延时. 为了避免复制延时, 暂时为中继日志创建硬链接.
MHA 节点包含 pure_relay_logs 命令工具, 它可以为中继日志创建硬链接, 执行 SET GLOBAL relay_log_purge=1, 等待几秒中以便 SQL 线程切换到新的中继日志, 再执行 SET GLOBAL relay_log_purge=0.
pure_relay_logs 参数如下所示:
-user mysql 用户名
-password mysql 密码
-host mysql 服务器地址
-port 端口号
-workdir 创建和删除中继日志硬链接目录. 成功执行脚本后, 硬链接的中继日志文件将被删除. 默认目录是 / var/tmp.
-disable_relay_log_purge 如果 relay_log_purge=1,purge_relay_logs 脚本将退出不做任何事情. 设置 - disable_relay_log_purge 参数, purge_relay_logs 脚本不会退去, 且自动设置 relay_log_purge=0.
定期执行 purge_relay_logs 脚本:
Purge_relay_logs 脚本删除中继日志不会阻塞 SQL 线程. 因此在每台从服务器上设置计划任务定期清除中继日志.
00 00 * * */usr/bin/purge_relay_logs --user=root --password=passwd --disable_relay_log_purge>> /data/masterha/log/purge_relay_logs.log 2>&1
最好在每台从服务器上不同时间点执行计划任务.
2.11. LOAD DATA INFILE 不要使用基于语句型的二进制日志
如果使用非事务性存储引擎, 在执行完 LOAD DATA INFILE 基于语句型二进制日志时, 主服务器当掉, MHA 可能不会产生差异的中继日志事件. 使用 LOAD DATA INFILE 基于语句型二进制日志有一些已知问题, 在 mysql5.1 版本中不建议使用, 同时还会引起严重的复制延时, 因此没有理由使用它.
三. MHA 软件的组织结构
3.1 该软件由两部分组成:
MHA Manager(管理节点)和 MHA Node(数据节点).MHA Manager 可以单独部署在一台独立的机器上管理多个 master-slave 集群, 也可以部署在一台 slave 节点上. MHA Node 运行在每台 MySQL 服务器上, MHA Manager 会定时探测集群中的 master 节点, 当 master 出现故障时, 它可以自动将最新数据的 slave 提升为新的 master, 然后将所有其他的 slave 重新指向新的 master. 整个故障转移过程对应用程序完全透明.
在 MHA 自动故障切换过程中, MHA 试图从宕机的主服务器上保存二进制日志, 最大程度的保证数据的不丢失, 但这并不总是可行的. 例如, 如果主服务器硬件故障或无法通过 ssh 访问, MHA 没法保存二进制日志, 只进行故障转移而丢失了最新的数据. 使用 MySQL 5.5 的半同步复制, 可以大大降低数据丢失的风险. MHA 可以与半同步复制结合起来. 如果只有一个 slave 已经收到了最新的二进制日志, MHA 可以将最新的二进制日志应用于其他所有的 slave 服务器上, 因此可以保证所有节点的数据一致性.
目前 MHA 主要支持一主多从的架构, 要搭建 MHA, 要求一个复制集群中必须最少有三台数据库服务器, 一主二从, 即一台充当 master, 一台充当备用 master, 另外一台充当从库, 因为至少需要三台服务器, 出于机器成本的考虑, 淘宝也在该基础上进行了改造, 目前淘宝 TMHA 已经支持一主一从.(出自:深入浅出 MySQL(第二版))
3.2. 架构图:
3.2.MHA 工作原理总结如下:
(1)从宕机崩溃的 master 保存二进制日志事件(binlog events);
(2)识别含有最新更新的 slave;
(3)应用差异的中继日志(relay log) 到其他 slave;
(4)应用从 master 保存的二进制日志事件(binlog events);
(5)提升一个 slave 为新 master;
(6)使用其他的 slave 连接新的 master 进行复制.
四.MHA 工作流程
4.1. 监控和故障转移过程
检测复制设置和确定当前主服务器
监控主服务器
检测主服务器当掉
再次检测从服务器配置
关闭当掉的主服务器(可选)
恢复一个新的主服务器
激活新的主服务器
恢复其余的从服务器
告警(可选)
4.2. 在线切换过程
检测复制设置和确定当前主服务器
确定新的主服务器
阻塞写入到当前主服务器
等待所有从服务器赶上复制
授予写入到新的主服务器
重新设置从服务器
说明: 以上总结说明来自博主 2016 年 3 月份公司同事连辉总结, 特此感谢, 本着开源的精神分享于此供大家参考学习
- http://www.educity.cn/wenda/399310.html
- http://www.mamicode.com/info-detail-1181862.html
- http://www.cnblogs.com/xuanzhi201111/p/4231412.html
- https://code.google.com/p/mysql-master-ha/
来源: http://www.bubuko.com/infodetail-2666522.html