rsync在日常备份中的应用

发布时间:2020-11-05编辑:脚本学堂
介绍rsync在生产环境上的部署和应用。

由于生产系统有很多服务器数据库,平时的日常备份很重要。但是没有遇到过灾难时备份最容易被忽略,但是灾难真的发生的时候,备份时最直接最有用的解决方法,虽然难免有部分数据的损失。rsync是一款配置简单,功能全面的安全备份软件,具体的功能介绍可以参考手册。
  
下面介绍rsync在生产环境上的部署和应用。
 首先介绍下工作环境。我负责的是一个webgame项目的运维工作。webgame有很多种架构,通常都是、javascript/asp/flash/c/c++/erlang/mongodb/mysql/linux等工具组合之后,开发和支撑了整个游戏系统,不过还是以玩家数据和游戏体验为中心。我们项目使用的是mongodb作为后台数据库,所以这里介绍通过rsync备份mongodb到远程备份服务器,mongodb都已经做了主从备份。
下面开始介绍rsync的具体部署。

(一)备份服务器上的步骤
(1)、安装rsync,并通过xinetd管理rsync
 

复制代码 代码如下:
    yum install rsync xinetd -y

(2)、修改/etc/xinetd.d/rsync文件,使其随xinetd启动而启动
 

复制代码 代码如下:
   vim /etc/xinetd.d/rsync
   ......将disable = yes 修改为 disable = no
   disable = no

(3)、修改防火墙策略,允许873端口(tcp/udp)
 

复制代码 代码如下:

    #直接修改/etc/sysconfig/iptables ,需要重启防火墙
    -A RH-Firewall-1-INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT
    -A RH-Firewall-1-INPUT -p udp -m state --state NEW -m udp --dport 873 -j ACCEPT

    /etc/init.d/iptables restart

    #或者使用iptables命令
    iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT
    iptables -A INPUT -p udp -m state --state NEW -m udp --dport 873 -j ACCEPT

(4)、建立rsync的配置文件
 

复制代码 代码如下:

    vim /etc/rsyncd.conf                 没有这个文件的话直接建立
    ......
    secrets file = /etc/rsyncd.secrets   指定允许的用户和用户密码
    motd file = /etc/rsyncd.motd         客户端连接上来时显示的欢迎信息的存放文件
    read only = no                       是否只读
    list = yes                           是否允许客户端能够列出备份服务器上的文件
    uid = root                           指定uid
    gid = wheel                          指定gid
    hosts allow = 113.167.110.33 121.14.145.79 113.109.271.6  允许使用备份服务器的客户端列表,实际环境这个列表很长
    max connections = 100                同时的最大连接数
    log file = /var/log/rsyncd.log       日志文件位置
    pid file = /var/run/rsyncd.pid       进程的pid存放文件位置
    lock file = /var/run/rsync.lock      lock文件位置

    ################################################ 上面的配置是全局的,下面的段会继承上面设定的属性
    [mongobak]                           建立一个备份名,客户端通过该名称指定具体的备份位置
    path = /mongobak                指定备份文件存放的目录位置
    auth users = test                   允许那些用户,这里的用户test的信息存放在/etc/rsyncd.secrets

这样一个简单实用的配置就好了

(5)、建立/etc/rsyncd.secrets文件
 

复制代码 代码如下:
    vim /etc/rsyncd.secrets
     ......
    test:rsync-7-elevEn    格式   用户名:密码  该用户不要求是系统用户,rsyncd.secrets文件的权限要设定为600
.....
   chmod 600 /etc/rsyncd.secrets

(6)、建立连接到服务器的客户端看到的欢迎信息文件/etc/rsyncd.motd
 

复制代码 代码如下:
    vim /etc/rsyncd.motd
    ......
    Welcome to Window Server 2003 IIS
    ......
    这里的信息可以伪造

(7)、启动rsync
 

复制代码 代码如下:
    #启动
    /etc/init.d/xinetd restart
    #查看873端口是否起来
    netstat -an | grep 873
    如果rsync启动成功的话可以看到873端口已经在监听了

(二)客户端的操作
(1)确认备份服务器上的rsync确实启动成功并监听网络,可以被外部使用
 

复制代码 代码如下:
    #通过nc查看备份服务器的873是否可用
    nc -z -vv Bak_Server_IP 873

(2)、建立认证文件,这里我们建立test用户的密码认证文件/etc/rsync.pass
 

复制代码 代码如下:
    vim /etc/rsync.pass
    ......
    rsync-7-elevEn
    ......
    chmod 600 /etc/rsync.pass    修改权限

(3)、连接服务器
 

复制代码 代码如下:
#连接rsync 服务器,成功连接可以看到我们上面设定的伪造的欢迎信息
rsync -av test@Bak_Server_IP::mongobak --password-file=/etc/rsync.pass   会列出服务器上备份目录的内容

(4)、备份数据到rsync服务器
 

复制代码 代码如下:
    sync -av --progress  /data/mongodb_bak/201106171856  test@Bak_Server_IP::mongobak --password-file=/etc/rsync.pass

(5)、将备份的数据拿到本地
 

复制代码 代码如下:
     sync -av --progress  test@Bak_Server_IP::mongobak/201106171856  /data/mongodb  --password-file=/etc/rsync.pass

(6)、备份脚本实例
 

复制代码 代码如下:
    #!/bin/bash
    mongodump -d ygfs -o /data/mongodb_bak/4399S2/  #通过mongodump命令备份数据库,备份时间可以看文件修改时间
    sleep 3
    rsync -av --progress  /data/mongodb_bak/4399S2  test@113.107.160.10::mongobak --password-file=/etc/rsync.pass   #通过rsync将备份的数据库备份到远程的备份服务器,这里不对mongodump备份出来的数据压缩,因为rsync无法对压缩文件进行增量(更新)备份,这样虽然加大了硬盘空间的消耗,可是可以大大的加快备份速度。

然后将这个脚本加到计划任务中,在深夜执行,就完成了一个安全和系统的备份方案

(三)特别注意
(1)只有在rsync的配置文件允许的IP地址才可以使用rsync服务器
(2)rsync的密码认证文件 /etc/rsyncd.secrets 的权限一定是600
(3)rsync对压缩归档文件不支持增量备份