何为 rsync?
定义:
rsync 是一个开源的快速备份工具, 可以在不同主机之间镜像同步整个目录树, 支持增量备份, 保持链接和权限, 非常适用于异地备份
何为源端和发起端?
在远程同步过程中, 负责发起 rsync 同步操作的客户机称为 ++ 发起端 ++, 而负责响应来及客户机的 rsync 同步操作的服务器为 ++ 同步源 ++. 在同步过程中, 同步源负责提供文档的原始位置, 而发起端对该位置具有读写权限.
rsync 命令的基本用法:
备份的基本格式:"rsync [选项] 原始位置 目标位置"
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关, 强制对文件传输进行校验
-a, --archive 归档模式, 表示以递归方式传输文件, 并保持所有文件属性, 等于 - rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份, 也就是对于目的已经存在有同样的文件名时, 将老的文件重新命名为~ filename. 可以使用 --suffix 选项来指定不同的备份文件前缀
--backup-dir 将备份文件 (如~ filename) 存放在在目录下
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新, 也就是跳过所有已经存在于 DST, 并且文件时间晚于要备份的文件, 不覆盖更新的文件
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向 SRC 路径目录树以外的链结
--safe-links 忽略指向 SRC 路径目录树以外的链接
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省 DST 的空间
-n, --dry-run 现实哪些文件将被传输
-w, --whole-file 拷贝文件, 不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸, 默认是 700 字节
-e, --rsh=command 指定使用 rsh,SSH 方式进行数据同步
--rsync-path=PATH 指定远程服务器上的 rsync 命令所在路径信息
-C, --cvs-exclude 使用和 CVS 一样的方法自动忽略文件, 用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于 DST 的文件, 而不备份那些新创建的文件
--delete 删除那些 DST 中 SRC 没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现 IO 错误也进行删除
--max-delete=NUM 最多删除 NUM 个文件
--partial 保留那些因故没有完全传输的文件, 以是加快随后的再次传输
--force 强制删除目录, 即使不为空
--numeric-ids 不将数字的用户和组 id 匹配为用户名和组名
--timeout=time ip 超时时间, 单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时, 仅仅察看文件大小而不考虑文件时间
--modify-Windows=NUM 决定文件是否时间相同时使用的时间戳窗口, 默认为 0
-T --temp-dir=DIR 在 DIR 中创建临时文件
--compare-dest=DIR 同样比较 DIR 中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除 FILE 中指定模式的文件
--include-from=FILE 不排除 FILE 指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件, 不使用默认的 rsyncd.conf 文件
--port=PORT 指定其他的 rsync 服务端口
--blocking-io 对远程 shell 使用阻塞 IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从 FILE 中得到密码
--bwlimit=KBPS 限制 I/O 带宽, KBytes per second
-h, --help 显示帮助信息
现在向大家演示 rsync+inotify 实时同步的配置
准备条件: CentOS 7.4 版本
同步源端 ip:192.168.100.129
发起端 ip: 192.168.100.130
- [[email protected] ~]# rpm -q rsync // 系统默认已安装
- rsync-3.0.9-18.el7.x86_64
一, 配置原服务器
1, 修改 / etc/rsyncd.conf 配置文件
- [[email protected] ~]# VIM /etc/rsyncd.conf
- uid = nobody
- gid = nobody
- use chroot = yes // 禁锢在源目录
- address = 192.168.100.129 // 监听本地端口
- port 873 // 监听端口
- log file = /var/log/rsyncd.log // 日志文件位置
- pid file = /var/run/rsyncd.pid // 进程 id 存放位置
- hosts allow = 192.168.100.0/24 // 允许访问的地址段
- [wwwroot] // 共享模块名称
- path = /var/www/html // 源目录路径
- comment = www.kgc.cn // 描述信息
- read only = yes // 只读, 同步时需改为 "no"
- dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
- auth users = backuper // 授权账户
- secrets file = /etc/rsyncd_users.db // 存放账户信息的数据文件
2, 为备份账户创建数据文件, 对需要进行同步备份的账户进行认证, 避免信息泄露
- [[email protected] ~]# VIM /etc/rsyncd_users.db
- backuper:abc123 // 添加密码, 这样发起端发起同步需要此密码认证
- [[email protected] ~]# chmod 600 /etc/rsyncd_users.db // 赋予读写权限
3, 安装 httpd 服务, 后面需要在 / var/www/HTML 里添加文件测试
- [[email protected] ~]# yum install httpd -y
- [[email protected] ~]# ls -ld /var/www/HTML/
drwxr-xr-x. 2 root root 6 6 月 27 21:49 /var/www/HTML/
- [[email protected] ~]# cd /var/www/
- [[email protected] www]# ll
总用量 0
drwxr-xr-x. 2 root root 6 6 月 27 21:49 CGI-bin
drwxr-xr-x. 2 root root 6 6 月 27 21:49 HTML
- [[email protected] www]# chmod 777 HTML // 赋予最大权限, 否则会同步失败
- [[email protected] www]# ll
总用量 0
drwxr-xr-x. 2 root root 6 6 月 27 21:49 CGI-bin
drwxrwxrwx. 2 root root 6 6 月 27 21:49 HTML
4, 开启同步源服务
- [[email protected] www]# rsync --daemon // 启动 rsync 服务
- [[email protected] www]# netstat -antp |grep rsync
- tcp 0 0 192.168.100.129:++873++ 0.0.0.0:* LISTEN 4254/rsync // 默认端口: 873
重启操作: 先 kill 进程, 再到 / var/run/rsyncd.pid 中删除 pid 文件, 再启动服务完成重启, 否则会失败
- [[email protected] HTML]# systemctl stop firewalld.service
- [[email protected] HTML]# setenforce 0 // 关闭防火墙和网络增强 ***
5, 在 rsync 同步源端进行备份操作
- [[email protected] www]# cd HTML/
- [[email protected] HTML]# touch 111.txt
- [[email protected] HTML]# rsync -avz [email protected]::wwwroot /opt/
- Password:
- receiving incremental file list
- ./
- 111.txt
- [[email protected] HTML]# cd /opt
- [[email protected] opt]# ls
- 111.txt // 显示备份成功
二, 配置发起端
1, 调整 inotify 内核参数
- VIM /etc/sysctl.conf
- fs.inotify.max_queued_events = 16384 // 监控事件队列
- fs.inotify.max_user_instances = 1024 // 最多监控实例数
- fs.inotify.max_user_watches = 1048576 // 最多监控文件数
- [[email protected] HTML]# systemctl stop firewalld.service
- [[email protected] HTML]# setenforce 0 // 关闭防火墙和网络增强 ***
2, 安装 inotify-tools, 版本为 3.14, 需要可找我
- [[email protected] abc]# mount.cifs //192.168.100.1/mem /abc
- [[email protected] abc]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/
- [[email protected] opt]# cd /opt/inotify-tools-3.14/
- [[email protected] inotify-tools-3.14]# ./configure
- [[email protected] inotify-tools-3.14]# make && make install
3, 发起端安装 httpd 服务
- [[email protected] ~]# yum install httpd -y
- [[email protected] ~]# ls -ld /var/www/HTML/
drwxr-xr-x. 2 root root 6 6 月 27 21:49 /var/www/HTML/
- [[email protected] www]# chmod 777 HTML // 赋予最大权限, 否则会同步失败
- [[email protected] www]# ll
总用量 0
drwxr-xr-x. 2 root root 6 6 月 27 21:49 CGI-bin
drwxrwxrwx. 2 root root 6 6 月 27 21:49 HTML
4, 设置同步验证
- VIM /etc/server.pass
- abc123 // 和源端的验证密码需一致
- [root@localhost ~]# chmod 600 /etc/server.pass
5, 测试同步, 到源端修改配置文件
- [[email protected] HTML]# VIM /etc/rsyncd.conf
- read only =yes // 这里将 yes 改为 no, 赋予写的权限
- [[email protected] HTML]# netstat -antp |grep rsync
- tcp 0 0 192.168.100.129:873 0.0.0.0:* LISTEN 4254/rsync
- [[email protected] HTML]# kill -9 4254
- [[email protected] run]# cd /var/run
- [[email protected] run]# rm -rf rsyncd.pid
- [[email protected] run]# rsync --daemon
- [[email protected] run]# netstat -antp |grep rsync
- tcp 0 0 192.168.100.129:873 0.0.0.0:*
注: 修改配置文件后, 源端需重启: 先 kill 进程, 再到 / var/run/rsyncd.pid 中删除 pid 文件
6, 在发起端开启监控, 前提是同步源已经开启服务
[[email protected] ~]# inotifywait -mrq -e modify,create,move,delete /var/www/HTML/
(-e: 指定监控事件;-m: 持续监控;-r; 递归整个目录;-q: 简化输出信息
)
7, 在发起端编写触发式脚本同步
- [[email protected] HTML]# VIM /opt/inotify.sh
- #!/bin/bash
- INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
- RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ [email protected]::wwwroot/" // 同步源的 ip
- $INOTIFY_CMD | while read DIRECTORY EVENT FILE
- do
- if [ $(pgrep rsync | wc -l) -le 0 ] ; then
- $RSYNC_CMD
- fi
- done
- [[email protected] HTML]#chmod +x /opt/inotify.sh // 赋予执行权限
8, 在发起端 / var/www/HTML / 目录下添加文件测试
发起端:
- [[email protected] HTML]# touch 1.txt abc.txt
- [[email protected] HTML]# ls
- 1.txt abc.txt
- [[email protected] HTML]# rm -rf 1.txt
源端查看:
- [[email protected] HTML]# ls
- 1.txt abc.txt
- [[email protected] HTML]# ls
- abc.txt // 同步成功
来源: http://www.bubuko.com/infodetail-3090144.html