rsync+inotify实时同步环境部署-创新互联
rsync+inotify实时同步环境部署
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足。
首先，rsync在同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的，并且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。
其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。
基于以上两种情况，可以使用rsync+inotify的组合来解决，可以实现数据的实时同步。
inotify是一种强大的、细粒度的、异步的文件系统事件控制机制。linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施监控的软件。
在使用rsync首次全量同步后，结合inotify对源目录进行实时监控，只有有文件变动或新文件产生，就会立刻同步到目标目录下，非常高效使用！
需求说明：
分别将
192.168.1.1的/Data/fangfull_upload和/Data/erp_upload
192.168.1.2的/Data/xqsj_upload/和/Data/fa`n`ghu_upload_src
192.168.1.3的/Data/Static_img/webroot/ssapp-prod和/usr/local/nginx/html/ssapp.prod实时同步到192.168.1.5的/home/backup/image-back目录下对应的fangfull_upload、erp_upload、xqsj_upload、fanghu_upload_src、ssapp-prod和ssapp.prod目录。
这样的话：
（1）192.168.1.1、192.168.1.2、192.168.1.3这三台服务器是源服务器，作为rsync的客户端，部署rsync+inotify。
（2）192.168.1.5是目标服务器，作为rsync的服务端。只需要安装配置rsync即可，不需要安装inotify。
一.在目标服务器192.168.1.5上部署rsync服务端。
1）关闭selinux
vim /etc/selinux/config
SELINUX=disabled
setenforce 02）防火墙上允许以上三台源服务器访问它的22端口和873端口
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.1" port protocol="tcp" port="22" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.1" port protocol="tcp" port="873" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.2" port protocol="tcp" port="22" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.2" port protocol="tcp" port="873" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.3" port protocol="tcp" port="22" accept"
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.3" port protocol="tcp" port="873" accept"
systemctl restart firewalld3）安装部署rsync服务
yum install rsync xinetd
vim /etc/xinetd.d/rsync
.....
disable = no #由默认的yes改为no，设置开机启动rsync启动xineted服务
/etc/init.d/xinetd start
创建/etc/rsyncd.conf文件，并配置同步策略。添加如下代码：
vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log #日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pidfile = /var/run/rsyncd.pid #pid文件的存放位置
lock file = /var/run/rsync.lock #支持max connections参数的锁文件
secrets file = /etc/rsync.pass #用户认证配置文件，里面保存用户名称和密码，后面会创建这个文件
motd file = /etc/rsyncd.Motd #rsync启动时欢迎信息页面文件位置（自己创建这个文件，内容随便自定义）
[fangfull_upload] #自定义名称
path = /home/backup/image-back/fangfull_upload #rsync服务端数据目录路径，即同步到目标目录后的存放路径
comment = fangfull_upload #模块名称与[fangfull_upload]自定义名称相同
uid = nobody #设置rsync运行的uid权限。这个要保证同步到目标目录后的权限和源目录一致，即都是nobody！
gid = nobody #设置rsync运行的gid权限。
port=873 #默认的rsync端口
use chroot = no #默认为true，修改为no或false，增加对目录文件软连接的备份
read only = no #设置rsync服务端文件为读写权限
list = no #不显示rsync服务端资源列表
max connections = 200 #大连接数
timeout = 600 #设置超时时间
auth users = RSYNC_USER #执行数据同步的用户名，需要后面手动设置。可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.1.1 #允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 192.168.1.194 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开（如果没有禁止，就不用设置这一行）
[erp_upload]
path = /home/backup/image-back/erp_upload
comment = erp_upload
uid = nobody
gid = nobody
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.1.1
[xqsj_upload]
path = /home/backup/image-back/xqsj_upload
comment = xqsj_upload
uid = nobody
gid = nobody
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.1.2
[fanghu_upload_src]
path = /home/backup/image-back/fanghu_upload_src
comment = fanghu_upload_src
uid = nobody
gid = nobody
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.1.2
[ssapp-prod]
path = /home/backup/image-back/ssapp-prod
comment = ssapp-prod
uid = nginx
gid = nginx
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.1.3
[ssapp.prod]
path = /home/backup/image-back/ssapp.prod
comment = ssapp.prod
uid = nginx
gid = nginx
port=873
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = RSYNC_USER
hosts allow = 192.168.1.3创建用户认证文件 (多个模块用的是这同一个认证文件)
vim /etc/rsync.pass
xiaoshengyu:123456@rsync设置文件权限，即rsyncd.conf和rsync.pass认证文件都是600权限！
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass重启rsync服务
/etc/init.d/xinetd restart
lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
xinetd 22041 root 5u IPv6 3336440 0t0 TCP *:rsync (LISTEN)4）最后，创建rsync同步过来后的目标目录
cd /home/backup/image-back/
mkdir fangfull_upload erp_upload xqsj_upload fanghu_upload_src ssapp-prod ssapp.prod第二部分：在源服务器192.168.1.1、192.168.1.2、192.168.1.3部署rsync客户端和inotify监控。
1）三台机器同样操作
关闭selinux，做为客户端的rsync可以不用在iptables里开放873端口
vim /etc/selinux/config
SELINUX=disabled
setenforce 02）三台机器同样操作
安装rsync
yum install rsync xinetd
vim /etc/xinetd.d/rsync
.....
disable = no #由默认的yes改为no，设置开机启动rsync启动rsync服务
/etc/init.d/xinetd start
lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
xinetd 22041 root 5u IPv6 3336440 0t0 TCP *:rsync (LISTEN)创建同步的密码文件，这个文件名可以跟服务端的认证文件不一样，但是里面的密码必须一致！用于rsync同步命令中。不过，最好两边的文件设置成一样，便于管理
vim /etc/rsync.pass
123456@rsync设置rsync.pass密码文件为600权限
chmod 600 /etc/rsync.pass
3）三台机器同样操作
查看服务器内核是否支持inotify，出现下面的内容，说明服务器内核支持inotify
ll /proc/sys/fs/inotify
max_queued_events
max_user_instances
max_user_watches下面开始安装inotify-tools
yum install make gcc gcc-c++ #安装编译工具
cd /usr/local/src
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/usr/local/inotify
make && make install设置系统环境变量
vim /etc/profile
export PATH=$PATH:/usr/local/inotify/bin
source /etc/profile添加库文件
vim /etc/ld.so.conf
/usr/local/inotify/lib
ldconfig修改inotify默认参数（inotify默认内核参数值太小）
查看系统默认参数值
sysctl -a | grep max_queued_events
fs.inotify.max_queued_events = 16384
sysctl -a | grep max_user_watches
fs.inotify.max_user_watches = 8192
sysctl -a | grep max_user_instances
fs.inotify.max_user_instances = 128修改参数：
sysctl -w fs.inotify.max_queued_events="99999999"
sysctl -w fs.inotify.max_user_watches="99999999"
sysctl -w fs.inotify.max_user_instances="65535
"参数说明：
max_queued_events：
inotify队列大长度，如果值太小，会出现" Event Queue Overflow"错误，导致监控文件不准确
max_user_watches：
要同步的文件包含多少目录，可以用：find /Data/xqsj_upload -type d | wc -l 统计这些源目录下的目录数，必须保证max_user_watches值大于统计结果（这里/Data/xqsj_upload为同步的源文件目录）
max_user_instances：
每个用户创建inotify实例大值
4）接着执行同步操作：
分别在三台源服务器上执行rsync首次全量同步的操作（加--delete参数，保持目标目录和源目录下文件绝对一致）
在192.168.1.1服务器上
第一次全量同步：
rsync -avH --port=873 --progress --delete /Data/fangfull_upload/ RSYNC_USER@192.168.1.5::fangfull_upload --password-file=/etc/rsync.pass
rsync -avH --port=873 --progress --delete /Data/erp_upload/ RSYNC_USER@192.168.1.5::erp_upload --password-file=/etc/rsync.pass待第一次rsync全量同步完成后，就进行rsync+inotify实时同步脚本操作。
实时同步脚本里添加的是--delete-before参数，而不是--delete参数(第一次全量同步时rsync用的参数)，二者区别：
--delete参数：表示rsync同步前，强制删除目标目录中的所有文件，然后再执行同步操作。
--delete-before参数：表示rsync同步前，会先对目标目录进行一次扫描检索，删除目标目录中对比源目录的多余文件，然后再执行同步操作。显然比--delete参数安全些。
cd /home/rsync/
cat rsync_fangfull_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/fangfull_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=fangfull_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
donecat rsync_erp_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/erp_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=erp_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done然后启动同步脚本，放在后台执行！
nohup sh rsync_fangfull_upload_inotify.sh &
nohup sh rsync_erp_upload_inotify.sh &检查下是否脚本启动成功了
ps -ef|grep inotify
root 11390 1 0 13:41 ? 00:00:00 sh rsync_erp_upload_inotify.sh
root 11392 11390 0 13:41 ? 00:00:00 sh rsync_erp_upload_inotify.sh
root 11397 1 0 13:41 ? 00:00:00 sh rsync_fangfull_upload_inotify.sh
root 11399 11397 0 13:41 ? 00:00:00 sh rsync_fangfull_upload_inotify.sh
root 21842 11702 0 17:22 pts/0 00:00:00 grep --color=auto inotify
最后进行测试：
比如在源目录/Data/fangfull_upload中创建一个文件或目录，会自动实时同步到目标机器192.168.1.5的目标目录/home/backup/image-back/fangfull_upload中。
在192.168.1.2服务器上
第一次全量同步：
rsync -avH --port=873 --progress --delete /Data/xqsj_upload/ RSYNC_USER@192.168.1.5::xqsj_upload --password-file=/etc/rsync.pass
rsync -avH --port=873 --progress --delete /Data/fanghu_upload_src/ RSYNC_USER@192.168.1.5::fanghu_upload_src --password-file=/etc/rsync.passrsync+inotify实时同步：
cd /home/rsync/
cat rsync_xqsj_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/xqsj_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=xqsj_upload
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
donecat rsync_fanghu_upload_src_inotify.sh
#!/bin/bash
SRCDIR=/Data/fanghu_upload_src/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=fanghu_upload_src
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done然后启动同步脚本，放在后台执行！
nohup sh rsync_xqsj_upload_inotify.sh &
nohup rsync_fanghu_upload_src_inotify.sh &最后进行测试：
比如在源目录/Data/xqsj_upload中创建一个文件或目录，会自动实时同步到目标机器192.168.1.5的目标目录/home/backup/image-back/xqsj_upload中。
在192.168.1.3服务器上
第一次全量同步：
rsync -avH --port=873 --progress --delete /Data/Static_img/webroot/ssapp-prod/ RSYNC_USER@192.168.1.5::ssapp-prod --password-file=/etc/rsync.pass
rsync -avH --port=873 --progress --delete /usr/local/nginx/html/ssapp.prod/ RSYNC_USER@192.168.1.5::ssapp.prod --password-file=/etc/rsync.passrsync+inotify实时同步：
cd /home/rsync/
cat rsync_ssapp-prod_inotify.sh
#!/bin/bash
SRCDIR=/Data/Static_img/webroot/ssapp-prod/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=ssapp-prod
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
donecat rsync_ssapp.prod_inotify.sh
#!/bin/bash
SRCDIR=/usr/local/nginx/html/ssapp.prod/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=ssapp.prod
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $SRCDIR | while read file
do
/usr/bin/rsync -avH --port=873 --progress --delete-before $SRCDIR $USER@$IP::$DESTDIR --password-file=/etc/rsync.pass
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done然后启动同步脚本，放在后台执行！
nohup sh rsync_ssapp-prod_inotify.sh &
nohup rsync_ssapp.prod_inotify.sh &最后进行测试：
比如在源目录/Data/Static_img/webroot/ssapp-prod中创建一个文件或目录，会自动实时同步到目标机器192.168.1.5的目标目录/home/backup/image-back/ssapp-prod中。
如果在同步过程中，发现中途报错！重复执行同步命令一直是报这个错误：
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1505)
最后发现原因：
是因为在同步的时候，源目录下有软链接文件！
rsync同步软链接文件，应该加参数-l
所以，最好在使用rsync同步命令的时候，后面跟-avpgolr参数组合（将上面的-avH改成-avpgolr）
-a：递归
-v：打印详细过程
-p：保持文件属性
-g：文件所属组不变
-o：文件所属者不变
-l：软连接属性
-r：同步目录时的参数另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
文章标题：rsync+inotify实时同步环境部署-创新互联
网站URL：http://pwwzsj.com/article/dohcds.html
