MySQL 备份之 lvm-snapshot
lvm-snapshot(工具备份)
优点:
• 几乎是热备(穿件快照前把表上锁, 创建完成后立即释放)
• 支持所有引擎
• 备份速度快
• 无需使用昂贵的商业软件(它是操作系统级别的)
缺点:
• 可能需要跨部门协作(使用操作系统级别的命令, DBA 一般没有权限)
• 无法预计服务停止时间
• 数据如果分布在多个卷上比较麻烦(针对存储级别而言)
逻辑卷快照的原理
为什么选择 lvm 快照备份?
原因: 因为锁表的时间不一致, 在锁表的瞬间是不能写入的, 对其进行快照备份, 备份完成后立即解锁, 然后服务可以正常使用 (写入等操作) 比如数据量大的时候, 做快照一下子就拍了, 然后立即解锁, 就不影响写入等操作. 如果用 mysqldump 备份, 那么数据量大的时候, 锁表时间长, 就会影响效率.
操作流程
- ,flush table with read locak;
- ,create snapshot
3,show master status; show slave status; [可选]
- ,unlock tables;
- ,Copy files from the snapshot
6,Unmount the snapshot.
7,Remove snapshot
快照备份:
1. 迁移数据到逻辑卷(不是必须, 视情况而定)
2. 锁表(时间)
3. 给数据库所在的逻辑卷拍快照
4. 解锁
5. 将快照挂载到临时挂载点上
6. 将快照上的所有数据拷贝到相应的备份目录里(不同主机)
7. 卸载快照并删除
lvm 备份示例
一, 数据迁移到逻辑卷上
环境: 数据文件不在逻辑卷上, 那么需要将数据文件迁移到逻辑卷上
•1, 创建一个逻辑卷
- [root@Admin ~]# pvcreate /dev/sdb
- [root@Admin ~]# vgcreate vg01 /dev/sdb
- [root@Admin ~]# lvcreate -n lv_mysql -L 4G vg01
- [root@Admin ~]# mkfs.ext4 /dev/mapper/vg01-lv_mysql
•2, 将当前的 MySQL 数据库迁移到逻辑卷上
1 > 先停止应用
2 > 停止 MySQL 服务
[root@Admin ~]# service mysqld stop
3 > 备份所有的数据文件到指定的地方
[root@Admin ~]# tar -czvf /tmp/backmysql/MySQL.tar.gz /data/DB/*
4 > 挂载逻辑卷到当前 MySQL 的数据目录里
[root@Admin ~]# mount /dev/mapper/vg01-lv_mysql /data/DB/
5 > 将刚刚备份的数据解压到数据目录里
- [root@Admin ~]# tar xf /tmp/backmysql/MySQL.tar.gz -C /data/DB/
- [root@Admin ~]# mv /data/DB/data/DB/*/data/DB/ && rm -rf /data/DB/data/
6 > 启动数据库
[root@Admin ~]# service mysqld start
此处启动失败原因 / data/DB / 数据目录的权限变成了 root,
更改权限重新启动
[root@Admin ~]# chown MySQL. -R /data/DB/ && service mysqld start
二, 快照备份数据库
• 1, 给数据库加读锁
MySQL> flush table with read lock;
•2, 给 MySQL 的数据库所在的逻辑卷创建快照
- [root@Admin ~]# lvcreate -n lv_mysql_s -L 50M -s /dev/vg01/lv_mysql
- [root@Admin ~]# dmsetup --tree ls
- vg01-lv_mysql (253:0)
└─vg01-lv_mysql-real (253:1)
└─ (8:16)
vg01-lv_mysql_s (253:3)
├─vg01-lv_mysql_s-cow (253:2)
│ └─ (8:16)
└─vg01-lv_mysql-real (253:1)
└─ (8:16)
•3, 解锁数据库
[root@Admin ~]# unlock tables
• 上面 1~3 步可以合并为一步
[root@Admin ~]# echo "flush tables with read lock; system lvcreate -n lv_mysql_s -L 50M -s /dev/vg01/lv_mysql;unlock tables;" |MySQL -p123
•4, 将快照挂载到临时目录里
[root@Admin ~]# mkdir /mnt/MySQL && mount /dev/vg01/lv_mysql_s /mnt/MySQL/
•5, 备份数据
- [root@Admin ~]# ls /mnt/MySQL/ # 可以看到新的挂载目录里面的数据
- Admin.pid db01 ib_logfile0 MySQL MySQL-bin.000003 MySQL-bin.000006 MySQL-bin.000009 performance_schema
- auto.cnf db02 ib_logfile1 MySQL-bin.000001 MySQL-bin.000004 MySQL-bin.000007 MySQL-bin.000010 test
- binlog ibdata1 login MySQL-bin.000002 MySQL-bin.000005 MySQL-bin.000008 MySQL-bin.index
- [root@Admin ~]# mkdir /backup && rsync -av /mnt/MySQL /backup
•6, 卸载快照并删除
[root@Admin ~]# umount /mnt/MySQL/ && lvremove /dev/vg01/lv_mysql_s
•7, 测试验证 (将数据目录里面的东西全部删除) 然后再将备份的数据目录恢复过来
1 > 我们来点狠的, 直接把 MySQL 的数据目录 / data/DB / 删除.
[root@Admin ~]# rm -rf /data/DB/* && ls /data/DB/
2 > 删除后可以看到重启 MySQL 直接报错了
[root@Admin ~]# service mysqld restart
MySQL server PID file could not be found! [失败]
Starting MySQL...The server quit without updating PID file [失败]/DB/Admin.pid).
3 > 根据上面的 / backup 里面备份的数据进行恢复
- [root@Admin ~]# mv /backup/MySQL/*/data/DB/
- [root@Admin ~]# ls /data/DB/
- auto.cnf db02 ib_logfile1 MySQL-bin.000001 MySQL-bin.000004 MySQL-bin.000007 MySQL-bin.000010 test
- binlog ibdata1 login MySQL-bin.000002 MySQL-bin.000005 MySQL-bin.000008 MySQL-bin.index
- db01 ib_logfile0 MySQL MySQL-bin.000003 MySQL-bin.000006 MySQL-bin.000009 performance_schema
4 > 重新启动
- [root@Admin ~]# chown MySQL. /data/DB/ -R
- [root@Admin ~]# service mysqld restart
这里权限更改了如果启动还是报错的话, 查看下是否 MySQL 进程还存在, 如果存在, 将其 kill 掉再重启就 OK
- [root@Admin ~]# MySQL -p123
- MySQL> show databases;
- +--------------------+
- | Database |
- +--------------------+
- | information_schema |
- | binlog |
- | db01 |
- | db02 |
- | login |
- | MySQL |
- | performance_schema |
- | test |
- +--------------------+
- 8 rows in set (0.00 sec)
将上面备份整理为脚本 + Crontab 计划任务定时完成备份
- #!/bin/bash
- #LVM BackMysql
- back_dir=/backup/`date +%F`
- [ -d $back_dir ] mkdir -p $back_dir
- echo "flush tables with read lock; system lvcreate -n lv_mysql_s -L 50M -s /dev/vg01/lv_mysql;unlock tables;" |MySQL -p123
- mount /dev/vg01/lv_mysql_s /mnt/MySQL/
- rsync -a /mnt/MySQL/ $back_dir
- if [ $? -eq 0 ];then
- umount /mnt/MySQL/ && lvremove -f /dev/vg01/lv_mysql_s
- fi
自动化实现快照备份 mylvmbackup
1, 安装相应的软件
2, 两种备份方式
1>mylvmbackup xxx 终端备份
2 > 修改配置文件指定相应的参数
正常安装 MySQL:
1. 安装系统
2. 准备 LVM, 例如 /dev/vg_back/lv-MySQL,mount /usr/local/MySQL
3. 源码安装 MySQL 到 /usr/local/MySQL
可选操作: 将现在的数据迁移到 LVM
1. 准备 lvm 及文件系统
- # lvcreate -L 2G -n lv-MySQL vg_back
- # mkfs.ext4 /dev/vg_back/lv-MySQL
2. 将数据迁移到 LVM
- # service mysqld stop
- # mount /dev/vg_back/lv-MySQL /u01/ // 临时挂载点
- # rsync -va /usr/local/MySQL/ /u01/ // 将 MySQL 原数据镜像到临时挂载点
- # umount /u01/
- # mount /dev/vg_back/lv-MySQL /usr/local/MySQL // 加入 fstab 开机挂载
- # df -Th
- /dev/mapper/vg_back-lv-MySQL ext4 2.0G 274M 1.7G 15% /usr/local/MySQL
- # service mysqld start
手动基于 LVM 快照实现备份:
1. 加锁
MySQL> flush table with read lock;
2. 创建快照
- # lvcreate -L 500M -s -n lv-MySQL-snap /dev/vg_back/lv-MySQL
- # MySQL -uroot -p123 -e 'show master status'> /backup/`date +%F`_position.txt
或者
- MySQL> show master status;
- +-------------------+----------+--------------+------------------+-------------------+
- | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
- +-------------------+----------+--------------+------------------+-------------------+
- | mysqld-bin.00003 | 135 | | | |
- +-------------------+----------+--------------+------------------+-------------------+
3. 释放锁
MySQL> unlock tables;
4. 从快照中备份
- # mount -o ro /dev/vg_back/lv-MySQL-snap /u01/
- # mkdir /backup/`date +%F`
- # rsync -a /u01/ /backup/2015-07-02/
5. 移除快照
- # umount /u01/
- # lvremove -f /dev/vg_back/lv-MySQL-snap
脚本 + Cron 完成:
- #!/bin/bash
- #LVM backmysql...
- back_dir=/backup/`date +%F`
- [ -d $back_dir ] || mkdir -p $back_dir
- MySQL -uroot -p123 -e 'flush table with read lock'
- lvcreate -L 500M -s -n lv-MySQL-snap /dev/vg_back/lv-MySQL
- MySQL -uroot -p123 -e 'show master status' |grep MySQL> $back_dir/position.txt
- MySQL -uroot -p123 -e 'flush logs'
- MySQL -uroot -p123 -e 'unlock tables'
- mount -o ro /dev/vg_back/lv-MySQL-snap /u01
- rsync -a /u01/ $back_dir
- if [ $? -eq 0 ];then
- umount /u01/
- lvremove -f /dev/vg_back/lv-MySQL-snap
- fi
- ===============================================================
- mylvmbackup
功能: 利用 LVM 快照实现物理备份, 即 LVM 快照备份的自动版
安装 perl 模块
1. 在线安装
http://www.lenzg.net/mylvmbackup
它依赖于 perl 模块, 可用以下命令安装
perl -MCPAN -e 'install Config::IniFiles'
2. 离线安装
- # rpm -ivh mylvmbackup-0.16-0.noarch.rpm
- warning: mylvmbackup-0.16-0.noarch.rpm: Header V4 DSA/SHA1 Signature, key ID b27291f2: NOKEY
- error: Failed dependencies:
- perl(Config::IniFiles) is needed by mylvmbackup-0.16-0.noarch
- perl(Date::Format) is needed by mylvmbackup-0.16-0.noarch
- perl(File::Copy::Recursive) is needed by mylvmbackup-0.16-0.noarch
解决:
# yum -y localinstall atrpms-77-1.noarch.rpm perl-File-Copy-Recursive-0.38-1.el6.rfx.noarch.rpm perl-IO-stringy-2.110-1.2.el6.rfx.noarch.rpm perl-Config-IniFiles-2.56-1.el6.rf.noarch.rpm
安装 mylvmbackup 软件包
# yum -y install mylvmbackup-0.15-0.noarch.rpm 解决依赖关系 perl-TimeDate
备份方法一:
- # mylvmbackup --user=root --password=123 --host=localhost --mycnf=/etc/my.cnf --vgname=vg_back --lvname=lv-MySQL --backuptype=tar --lvsize=100M --backupdir=/backup
- # tar xf backup-20140903_000236_mysql.tar.gz
- # ls
- backup backup-cnf-20150702_000236_mysql
- backup-20150702_000236_mysql.tar.gz backup-pos
备份方法二:
- # VIM /etc/mylvmbackup.conf
- [MySQL] #连接数据库配置
- user=root
- password=123456
- host=localhost
- port=3306
- socket=/tmp/MySQL.sock
- mycnf=/etc/my.cnf
- [lvm] #LVM 逻辑卷的配置
- vgname=vg_server #卷组名称
- lvname=lv_mysql #逻辑卷名称
- backuplv=mysql_snap #快照卷名称
- lvsize=500M
- [fs] #文件系统配置
- xfs=0
- mountdir=/var/tmp/mylvmbackup/mnt/ #挂载目录
- backupdir=/backup #备份目录, 也可以备份到行程主机
- [misc] #定义备份选项
- backuptype=tar #定义备份的类型
- backupretention=0
- prefix=backup #定义备份文件名前缀
- suffix=_mysql #定义备份文件名后缀
- tararg=cvf #定义 tar 参数, 默认为 cvf
- tarfilesuffix=.tar.gz #定义备份文件后缀名格式
- datefmt=%Y%m%d_%H%M%S #定义备份文件名时间戳格式
- keep_snapshot=0 #是否保留 snaphot
- keep_mount=0 #是否卸载 snaphot
- quiet=0 #定义记录日志类型
注释: 其他配置保持输入即可
然后直接执行 mylvmbackup 即可
来源: http://www.linuxidc.com/Linux/2018-10/154897.htm