实现web数据同步的四种方式
=======================================
1、nfs实现web数据共享
2、rsync +inotify实现web数据同步
3、rsync+sersync更快更节约资源实现web数据同步
4、unison+inotify实现web数据双向同步
=======================================
一、nfs实现web数据共享
nfs能实现数据同步是通过NAS(网络附加存储)，在服务器上共享一个文件，且服务器需要设置文件系统的权限和配置文件设置的权限，权限两者之间取交集，然后客户端把共享的文件挂载到本地，客户端对文件有读写权限，则实现数据的同步。
nfs+web:服务器端的配置：
1）、安装相关软件，httpd提供web服务，nfs-utils提供nfs服务
[root@jie1 ~]# yum -y install httpd nfs-utils
2）、设置web的相关配置，使得web能够提供web服务
复制代码代码如下:
[root@jie1 ~]# vim /etc/httpd/conf/httpd.conf
########################################
ServerName 172.16.22.1:80
#DocumentRoot "/var/www/html" #提供虚拟主机，注释默认存放网页文件的路径
<VirtualHost *:80>
ServerName www.jb200.com
DocumentRoot /web/htdocs
</VirtualHost>
#######################################
[root@jie1 ~]# mkdir -pv /web/htdocs #创建存放网页的目录
[root@jie1 ~]# cd /web/htdocs/
[root@jie1 htdocs]# touch index.html test.html test.php
[root@jie1 htdocs]# ls
index.html test.html test.php
[root@jie1 htdocs]# echo "This is Jie1 Web+nfs Server" >index.html
[root@jie1 htdocs]# httpd -t #检查web的配置文件是否有语法错误
Syntax OK
[root@jie1 htdocs]# service httpd start #开启web服务
Starting httpd: [ OK ]
3）、设置nfs的相关配置，共享网页文件
复制代码代码如下:
[root@jie1 htdocs]# id apache #安装httpd软件后，系统会创建apache用户，查看apache的id号
uid=48(apache) gid=48(apache) groups=48(apache)
[root@jie1 htdocs]# vim /etc/exports
######################################
/web/htdocs 172.16.22.3(rw,sync,root_squash,anonuid=48,anongid=48)
#nfs是以id号来确定是否能访问共享的文件的，因为两个服务器都安装了httpd软件，都会有apache用户，所以apache用户的id号能访问共享的文件
#/web/htdocs 共享的目录
#172.16.22.3 指定客户端能共享此文件，多个客户端用逗号隔开
#rw,读写权限
#sync,同步方式
#root_squash,压缩root用户的权限
#anonuid=48,指定此用户的id能访问共享文件
#anongid=48指定此组的id能访问共享文件
######################################
[root@jie1 htdocs]# service nfs start #开启nfs服务
Starting NFS services: [ OK ]
Starting NFS quotas: [ OK ]
Starting NFS mountd: [ OK ]
Stopping RPC idmapd: [ OK ]
Starting RPC idmapd: [ OK ]
Starting NFS daemon: [ OK ]
[root@jie1 htdocs]#
web:客户端的配置
1）、安装httpd的软件
复制代码代码如下:
[root@jie3 /]# yum -y install httpd
2）、设置web的相关配置，使得web能够提供web服务
复制代码代码如下:
[root@jie3 /]# vim /etc/httpd/conf/httpd.conf
########################################
ServerName 172.16.22.3:80
#DocumentRoot "/var/www/html"
<VirtualHost *:80>
ServerName www.jb200.com
DocumentRoot /website #存放网页文件的路径
</VirtualHost>
#######################################
[root@jie3 /]# mkdir /website
[root@jie3 /]# httpd -t
Syntax OK
[root@jie3 /]# service httpd start
Starting httpd: [ OK ]
[root@jie3 ~]# cd /website/
[root@jie3 website]# ls #现在查看是没有任何文件
[root@jie3 website]#
实现同步：
1）服务器端设置apache用户对共享的文件有读写权限
复制代码代码如下:
[root@jie1 htdocs]#setfacl -R -m u:apache:rwx /web/ #设置apache用户对此中所有文件有读写可执行权限
2）客户端挂载服务器的共享文件，查看客户端是否已经同步服务器端的文件
复制代码代码如下:
[root@jie3 website]#cd /root
[root@jie3 ~]# mount -t nfs 172.16.22.1:/web/htdocs /website/ #通过nfs挂载服务器端的文件
[root@jie3 /]#echo "172.16.22.1:/web/htdocs /website nfs defaults,_netdev 0 0" >>/etc/fstab #实现开机挂载
[root@jie3 ~]# cd /website/
[root@jie3 website]# ls #查看文件已经同步过来
index.html test.html test.php
[root@jie3 website]#
3）客户端在共享的文件中新增文件，查看服务器端是否同步文件
复制代码代码如下:
[root@jie3 ~]# cd /website/
[root@jie3 website]# ls
index.html test.html test.php
[root@jie3 website]# touch website.html #在客户端创建此文件
[root@jie3 website]# ls
index.html test.html test.php website.html
[root@jie1 htdocs]# ls #服务器端，可以查看来着客户端上传的文件
index.html test.html test.php website.html
所有的数据其实都保存到了nfs服务器，不论用户访问哪台Web服务器，都要来nfs服务器获取数据，这样势必照成nfs服务器的性能下降，而且客户端对nfs服务器的依赖性较大，如果nfs服务器down掉之后，客户端的web服务器就无法工作了。（动态的那种数据，而且数据量很大的数据，就不要用nfs服务器来实现数据共享了，一般适应于，静态页面和数据较小的文件)
二、rsync +inotify实现web数据同步
rsync(remote sync)的特性：
可以镜像保存整个目录树和文件系统
可以同步增量同步数据，文件传输效率高，因而同步时间很短
可以保持原有文件的权限、时间等属性
加密传输数据，保证了数据的安全性
支持匿名传输
rsync也能实现同步，但是需要自己手动的去同步数据，当数据量非常的频繁时，无疑是加大了运维人员的工作，inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，inotify-tools工具的出现，解决了这种工作，安装inotify软件的主机会监听服务器端的主机是否数据和本机不一样，(因为在上传数据时，运维人员先上传到安装inotify主机上)，不一样就用rsync命令直接把数据传输过去。客户端安装rsync软件是为了调用rsync的命令，安装inotify软件是监听和数据是否发生改变，服务器端安装rsync软件时为了提供rsync服务。
rsync+web服务端的配置：
1）、安装相关软件
复制代码代码如下:
[root@jie1 ~]# yum -y install rsync xinetd httpd
#rsync服务通常基于超级守护进程xinetd管理的方式来实现，因此需要事先安装rysnc和xinetd
2）、web的相关配置，使得web能够提供服务
复制代码代码如下:
[root@jie1 ~]# vim /etc/httpd/conf/httpd.conf
########################################
ServerName 172.16.22.1:80
#DocumentRoot "/var/www/html"
<VirtualHost *:80>
ServerName www.jie.com
DocumentRoot /web/htdocs
</VirtualHost>
#######################################
[root@jie1 ~]# mkdir -pv /web/htdocs
[root@jie1 ~]# cd /web/htdocs #服务器端，没有任何的网页文件
[root@jie1 ~]# ls
[root@jie1 ~]#
3）、rsync服务的相关配置
*****建立rsync的配置文件和密码文件************
touch /etc/rsyncd.conf(rsync的配置文件)
touch /etc/rsyncd.pwd(用户的密码文件)
chmod 600 /etc/rsyncd.pwd(权限要设置为600，否则无法备份成功)
复制代码代码如下:
[root@jie1 ~]# vim /etc/rsyncd.conf
############vim /etc/rsyncd.conf########################################
uid = nobody #备份以什么身份进行，用户ID
gid = nobody #备份以什么身份进行，组ID
use chroot = no #禁锢在源目录
max connections = 3 #最大连接数，0代表没有限制
strict modes = yes #是否检查口令文件的权限
pid file = /var/run/rsyncd.pid #运行进程的pid文件
log file = /var/log/rsyncd.log #日志记录文件
[htdocs] #指定认证的备份模块名
path = /web/htdocs #需要备份的目录的路径
ignore errors = yes #忽略一些无关的IO错误
read only = no #设置为no，即可以传至服务器的相应目录。
write only = no #设置为no，表示客户端可以下载文件
hosts allow = 172.16.22.3 #可以连接rsync服务器的主机的IP地址
hosts deny = * #设置禁止连接rsync服务器的主机地址，*表示 拒绝所有除了hosts allow定义的
uid = root
gid = root
auth users = backuper #连接模块的用户名
secrets file = /etc/rsyncd.pwd #连接模块用户名的密码文件存放路径
#####################################################################
[root@jie1 ~]#vim /etc/rsyncd.pwd #用户的密码文件
#####################################################################
backuper:pwd123 #用户名:密码
#####################################################################
[root@jie1 ~]# chmod 600 /etc/rsyncd.pwd #权限给600
[root@jie1 ~]# chkconfig rsync on
[root@jie1 ~]# chkconfig xinetd on
[root@jie1 ~]# service xinetd start
Starting xinetd: [ OK ]
[root@jie1 ~]# netstat -pant | grep 873
tcp 0 0 :::873 :::* LISTEN 19876/xinetd
rsync+inotify+web客户端的配置：
1）、inotify-tools软件的安装及设置
复制代码代码如下:
[root@jie3 ~]#wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz #下载inotify-tools软件
[root@jie3 ~]# ls
anaconda-ks.cfg install.log
inotify-tools-3.14.tar.gz install.log.syslog
[root@jie3 ~]# tar xf inotify-tools-3.14.tar.gz #解压软件
[root@jie3 ~]# cd inotify-tools-3.14
[root@jie3 inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify && make && make install #编译安装软件
[root@jie3 ~]#cd /usr/local/inotify/
[root@jie3 inotify]# echo "PATH=/usr/local/inotify/bin:$PATH" >>/etc/profile.d/inotify.sh #设置能与系统关联的path路径
[root@jie3 inotify]# source /etc/profile.d/inotify.sh
[root@jie3 inotify]# echo "/usr/local/inotify/lib" >/etc/ld.so.conf.d/inotify.conf #设置系统能识别软件的库文件
[root@jie3 inotify]# ldconfig -v | grep inotify
/usr/local/inotify/lib:
libinotifytools.so.0 -> libinotifytools.so.0.4.1
[root@jie3 inotify]# ln -sv /usr/local/inotify/include/ /usr/include/inotify #链接头文件到系统能识别的路径下
`/usr/include/inotify' -> `/usr/local/inotify/include/'
[root@jie3 inotify]#
2）、web的相关配置，使得web能够提供服务
复制代码代码如下:
[root@jie3 /]# vim /etc/httpd/conf/httpd.conf
########################################
ServerName 172.16.22.3:80
#DocumentRoot "/var/www/html"
<VirtualHost *:80>
ServerName www.jie.com
DocumentRoot /website
</VirtualHost>
#######################################
[root@jie3 /]# mkdir /website
[root@jie3 /]# httpd -t
Syntax OK
[root@jie3 /]# service httpd start
Starting httpd: [ OK ]
[root@jie3 ~]# cd /website/
[root@jie3 website]# ls
[root@jie3 website]#
[root@jie3 ~]#
3)、配置能连接rsync的密码文件和传输数据的脚本
复制代码代码如下:
[root@jie3 ~]# vim /etc/rsyncd.pwd
#############################################
pwd123 #密码与rsync服务器的密码相同
###############################################
[root@jie3 ~]# chmod 600 /etc/rsyncd.pwd
[root@jie3 ~]# vim rsync.sh
#####################################################################
#!/bin/bash
host=172.16.22.1
src=/website
des=htdocs
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src
| while read files
do
/usr/bin/rsync -vzrtopg --progress --password-file=/etc/rsyncd.secrets $src backuper@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
####################################################################
验证实现同步：
复制代码代码如下:
##1、先开启监控的脚本(inotify主机上）
[root@jie3 ~]# bash -x rsync.sh &
#不放在后台可以查看同步的详细过程，生成环境中，建议把此脚本放到后台执行，此脚本会监控客户端数据是否方式变化，如果变化脚本就运行，数据不变化，脚本就会等待着用户的输入
##2、在开一个终端，在此目录创建文件（inotify主机上）
[root@jie3 ~]# cd /website/
[root@jie3 website]# touch index.html test.php testdb.php inotify.php
[root@jie3 website]# ls
index.html testdb.php test.php inotify.php
[root@jie3 website]#
##3、看服务器端，数据是否已经同步过去
[root@jie1 ~]# cd /web/htdocs/
[root@jie1 htdocs]# ls
index.html testdb.php test.php inotify.php #数据已经被同步过来
[root@jie1 htdocs]#
rsync +inotify这种能实现数据的同步，但是当网络很繁忙，且文件变化比较频繁时，而且需要同步的rsync服务器端比较多时，rsync+inotify肯定是满足不了需求的，于是rsync+sersync这种更快更节约资源实现web数据同步可以弥补rsync+inotify带来的不足，rsync+inotify还有一个重大的缺点就是数据传输只是单向的，当运维人员由于“粗心”把数据直接传输rsync服务器端时，inotify主机是得不到rsync服务器端的数据，于是unison+inotify实现web数据双向同步，解决了rsync+inotify的这一缺点。
三、rsync+sersync更快更节约资源实现web数据同步
sersync与inotify相比有以下优点：
sersync是使用c++编写，而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤，所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快。
sersync配置起来很简单，其中bin目录下已经有基本上静态编译的2进制文件，配合bin目录下的xml配置文件直接使用即可。
sersync使用多线程进行同步，尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。
sersync有出错处理机制，通过失败队列对出错的文件重新同步，如果仍旧失败，则按设定时长对同步失败的文件重新同步。
sersync自带crontab功能，只需在xml配置文件中开启，即可按您的要求，隔一段时间整体同步一次。无需再额外配置crontab功能。
rsync+web服务器端的配置:
1）、安装相关软件
复制代码代码如下:
[root@jie1 ~]# yum -y install rsync xinetd httpd
#rsync服务通常基于超级守护进程xinetd管理的方式来实现，因此需要事先安装rysnc和xinetd
2）、web的相关配置，使得web能够提供服务
复制代码代码如下:
[root@jie1 ~]# vim /etc/httpd/conf/httpd.conf
########################################
ServerName 172.16.22.1:80
#DocumentRoot "/var/www/html"
<VirtualHost *:80>
ServerName www.jie.com
DocumentRoot /web/htdocs
</VirtualHost>
#######################################
[root@jie1 ~]# mkdir -pv /web/htdocs
[root@jie1 ~]# cd /web/htdocs #服务器端，没有任何的网页文件
[root@jie1 ~]# ls
[root@jie1 ~]#
3）、rsync服务的相关配置
复制代码代码如下:
###====此配置文件的解释，在rsync+inotify中已经解释了=====####
[root@jie1 ~]# vim /etc/rsyncd.conf
############vim /etc/rsyncd.conf###############
uid = nobody
gid = nobody
use chroot = no
max connections = 3
strict modes = yes
pid file= /var/run/rsyncd.pid
log file= /var/log/rsyncd.log
[htdocs]
path = /web/htdocs
ignore errors = yes
readonly = no
write only = no
hosts allow = 172.16.22.3
hosts deny = *
list = false
uid = root
gid = root
auth users= backuper
secrets file= /etc/rsyncd.pwd
##############################################
[root@jie1 ~]#vim /etc/rsyncd.pwd
backuper:pwd123
[root@jie1 ~]# chmod 600 /etc/rsyncd.pwd
[root@jie1 ~]# chkconfig rsync on
[root@jie1 ~]# chkconfig xinetd on
[root@jie1 ~]# service xinetd start
Starting xinetd: [ OK ]
[root@jie1 ~]# netstat -pant | grep 873
tcp 0 0 :::873 :::* LISTEN 19876/xinetd
sersync+web客户端的配置:
1）、先下载安装sersync软件，做初始设置
复制代码代码如下:
[root@jie3 ~]#wget --no-check-certificate https://sersync.googlecode.com/files/sersync2.5_64bit_binary_stable_final.tar.gz
[root@jie3 ~]# ls
anaconda-ks.cfg install.log.syslog
install.log sersync2.5_64bit_binary_stable_final.tar.gz
mkdir /usr/local/sersync
[root@jie3 ~]#mkdir -pv /usr/local/sersync/{conf,bin,log}
mkdir: created directory `/usr/local/sersync'
mkdir: created directory `/usr/local/sersync/conf'
mkdir: created directory `/usr/local/sersync/bin'
mkdir: created directory `/usr/local/sersync/log'
[root@jie3 ~]# tar xf sersync2.5_64bit_binary_stable_final.tar.gz
[root@jie3 ~]# cd GNU-Linux-x86/
[root@jie3 GNU-Linux-x86]# ls
confxml.xml sersync2
[root@jie3 GNU-Linux-x86]# mv confxml.xml /usr/local/sersync/conf/
[root@jie3 GNU-Linux-x86]# mv sersync2 /usr/local/sersync/bin/
[root@jie3 GNU-Linux-x86]# cd /usr/local/sersync/
[root@jie3 sersync]# echo "PATH=/usr/local/sersync/bin:$PATH" >>/etc/profile.d/sersync.sh
[root@jie3 sersync]# source /etc/profile.d/sersync.sh
[root@jie3 sersync]# echo "pwd123" >/usr/local/sersync/sersync.pwd
[root@jie3 sersync]# chmod 600 /usr/local/sersync/sersync.pwd
