Hi, 各位热爱技术的小伙伴您们好, 好久没有写点东西了, 今天写点关于 MySQL 主从同步配置的操作日志同大家一起分享. 最近自己在全新搭建一个 MySQL 主从同步读写分离数据库简单集群, 我讲实际操作步骤整理分享处理, 希望对在学习路上的你有所以帮助, 当然如果是你是老鸟, 写的不好的地方, 多多包涵. 废话不多说, 言归正传, 直入主题.
一, 背景介绍
MySQL 数据库主从同步, 数据集群其实大家一点都不陌生, 但是实际操作的估计就不一定了. 至于为什么要使用主从同步策略, 在此我就不必多说了, 你懂我知大家晓. 说实话原来的项目一直都在用户主从同步读写分离, 我并没有实际操作过, 都是其他小伙伴在搭建. 但是最近一个项目, 从服务器环境搭建, 部署都必须要自己亲手去做, 所以也就借此机会来练一练手. 嘿嘿, 其实我就是一个菜鸟...
本次的数据库搭建是基于 centos7,docker 容器部署的.
二, MySQL 复制原理
原理:
(1)master 服务器将数据的改变记录二进制 binlog 日志, 当 master 上的数据发生改变时, 则将其改变写入二进制日志中;
(2)slave 服务器会在一定时间间隔内对 master 二进制日志进行探测其是否发生改变, 如果发生改变, 则开始一个 I/OThread 请求 master 二进制事件
(3) 同时主节点为每个 I/O 线程启动一个 dump 线程, 用于向其发送二进制事件, 并保存至从节点本地的中继日志中, 从节点将启动 SQL 线程从中继日志中读取二进制日志, 在本地重放, 使得其数据和主节点的保持一致, 最后 I/OThread 和 SQLThread 将进入睡眠状态, 等待下一次被唤醒.
也就是说:
从库会生成两个线程, 一个 I/O 线程, 一个 SQL 线程;
I/O 线程会去请求主库的 binlog, 并将得到的 binlog 写到本地的 relay-log(中继日志) 文件中;
主库会生成一个 log dump 线程, 用来给从库 I/O 线程传 binlog;
SQL 线程, 会读取 relay log 文件中的日志, 并解析成 sql 语句逐一执行;
三, 前期配置文件准备
主从同步很关键的一个配置就是 my.cnf. 由于本次所有服务都是运行在 docker 容器上, 所以在 my.cof 配置文件, 采用在磁盘文件创建对应的文件, 在 MySQL 运行时讲相应的配置文件挂载到对应的物理磁盘, 方便后期维护.
主从数据库都需要对 my.cnf 进行配置.
my.cnf 在 docker 容器的相对位置是:/etc/MySQL/my.cnf
假设配置文件在物理磁盘的存放位置为:/home/MySQL/my.cnf
1, 主数据库 (Master)my.cnf 配置文件
- [mysqld]
- pid-file = /var/run/mysqld/mysqld.pid
- socket = /var/run/mysqld/mysqld.sock
- datadir = /var/lib/MySQL
- secure-file-priv= NULL
- server-id=31 #设置主服务器的 ID, 可以任意配置但是多个主从之间不能重复
- innodb_flush_log_at_trx_commit=2 # 写入磁盘策略
- sync_binlog=1 #开启 binlog 日志同步功能
- expire_logs_days=180, # 二进制日志保留天数
- log-bin=MySQL-bin-1 #binlog 日志文件名 (可以任意命名)
- #binlog-do-db=test # 这个表示只同步某个库 (如果没有此项, 表示同步所有的库)
- #binlog-ignore-db=xxxx # 二进制日志中忽略数据库
- # Disabling symbolic-links is recommended to prevent assorted security risks
- symbolic-links=0
- # Custom config should go here
- !includedir /etc/MySQL/conf.d/
具体的配置信息, 我都做了简单的说明, 大家可以根据自己的实际需要进行配置.
2, 从数据库 (Slave)my.cnf 配置文件
- [mysqld]
- pid-file = /var/run/mysqld/mysqld.pid
- socket = /var/run/mysqld/mysqld.sock
- datadir = /var/lib/MySQL
- secure-file-priv= NULL
- read-only=1 #是否只读, 0 代表非只读 1: 代表只读
- server-id=32 #设置主服务器的 ID, 可以任意配置但是多个主从之间不能重复
- innodb_flush_log_at_trx_commit=2 #
- sync_binlog=1 #开启 binlog 日志同步功能
- expire_logs_days=180, # 二进制日志保留天数
- log-bin=MySQL-bin-1 #binlog 日志文件名 (可以任意命名)
- # binlog-do-db=test # 这个表示只同步某个库 (如果没有此项, 表示同步所有的库)
- # 还有一个参数是指定不同步哪些库, 这里不再赘述
- # Disabling symbolic-links is recommended to prevent assorted security risks
- symbolic-links=0
- # Custom config should go here
- !includedir /etc/MySQL/conf.d/
具体的配置信息, 其实和主大同小异. read-only=1 将从数据库作为读库处理
四, 主从数据库容器运行
1, 创建运行主数据库容器:
docker run --name mysqlMasterMic-d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /home/MySQL/data:/var/lib/MySQL -v /home/MySQL/my.cnf:/etc/MySQL/my.cnf MySQL
2, 创建运行从数据库容器:
docker run --name mysqlSlaveMic-d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /home/MySQL/data:/var/lib/MySQL -v /home/MySQL/my.cnf:/etc/MySQL/my.cnf MySQL
五, 主从数据同步配置
1, 主数据库设置
- // 第一步: 进入 master 容器
- docker exec -it mysqlMasterMic bash
- // 第二步: 登录到 MySQL
- MySQL -u root -p
- // 在输入框输入对应的 root 密码: 123456
- // 第三步: 创建数据同步登录账号
假设创建账号为: slavesynchro. 同时需要赋值上: REPLICATION SLAVE 权限
改账号主要用于从数据库访问主数据库使用.
- CREATE USER 'slavesynchro'@ '%' IDENTIFIED BY '123456';
- GRANT REPLICATION SLAVE ON *.* to 'slavesynchro'@'%' identified by '123456';
- // 第四步: 查看主数据库状态
查看主数据库状态, 其主要目的是查看数据库的日志文件名称和日志记录行号, 从数据库在配置同步开始节点就是来之此处:
show master status
2, 从数据库设置
- // 第一步: 进入 slaver 容器
- docker exec -it mysqlSlaveMic bash
- // 第二步: 登录到 MySQL
- MySQL -u root -p
- // 在输入框输入对应的 root 密码: 123456
- // 第三步: 设置主数据库连接
- Change master to master_host='主数据地址',master_user='slavesynchro',master_password='123456!',get_master_public_key=1,master_log_file='mysql-bin-1.000004',master_log_pos= 209210719,master_port=3306;
参数说明:
master_host: 主数据库 IP 地址
master_user: 主数据库连接用户名
master_password: 主数据量连接密码
master_port: 主数据端口
master_log_file: 开始同步的主数据库日志名称, 主数据库 show master status
队列的 Flie 列数据
master_log_pos: 开始同步的主数据库日志开始位置, 主数据库 show master status
队列的 Position 列数据
- // 第四步: 启动主从同步
- start slave;
- // 第五步: 查看主从同步状态
- show slave status\G;
只有 Slave_IO_Running: Yes
Slave_SQL_Running: Yes
都为 yes, 才代表主从同步正常运行, 否则都需要根据实际情况做对于的调整处理.
六, sql 同步执行失败后不在同步处理
主从同步在实际使用过程中, 如果处理的不好, 可能会导致同步失败, 比如: 从数据库也在做新增操作, 如果有自增主键约束, 那么就可能导致同步失败. 因为主从同步最终目的是实现数据的一致性, 所有当某一项同步失败, 那么就不会再做后同步处理. 那么如果出现同步失败后又该如何处理呢?
在实际处理过程中, 大概有两种处理方式:
1, 主从数据差异小, 并且不关最终数据的一致性, 那么可以设置直接跳过同步出差的日志, 继续同步后续数据, 具体操作命令如下:
第一步: 停止主从同步
stop slave;
第二步: 跳过错误的日志位置, 继续后续同步, 后面的数字可变
set global sql_slave_skip_counter =1;
第三步: 继续开启主从同步
start slave;
2, 如果主从数据差异大, 并且要求主从数据完全一致, 那么需要: 重新做主从, 完全同步.
第一步: 删除从数据库, 讲主数据库备份到从数据库 (确保主从数据完全一致)
第二步: 按照上面的流程, 重新配置主从同步
七, 自我一些总结
1, 主从同步数据库, 一定要注意读写分离. 从数据库做读操作, 不要做写操作, 最好直接只给从数据库读权限, 不给写权限
2, 数据库设置主从同步账号时, 最好创建专门的账号用来做主从同步
END
为了更高的交流, 欢迎大家关注我的公众号, 扫描下面二维码即可关注, 谢谢:
posted on 2020-07-15 00:19 程序员修炼之旅 阅读 (...) 评论 (...) 编辑 收藏
来源: https://www.cnblogs.com/xiaoXuZhi/p/xyh_mysqlsynchro.html