rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。

rsync实现网站的备份,文件的同步、不同系统的文件的同步,如果是windows的话,需要windows版本cwrsync

一、Rsync的特性

rsync 包括如下的一些特性:

  能更新整个目录和树和文件系统;
  有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等;
  对于安装来说,无任何特殊权限要求;
  对于多个文件来说,内部流水线减少文件等待的延时;
  能用rsh、ssh 或直接端口做为传输入端口;
  支持匿名rsync 同步文件,是理想的镜像工具;

二、架设rsync服务器

架设rsync 服务器比较简单,写一个配置文件rsyncd.conf 。文件的书写也是有规则的,我们可以参照rsync.samba.org 上的文档来做。当然我们首先要安装好rsync这个软件才行;

A、rsync的安装;

获取rsync

rysnc的官方网站:http://rsync.samba.org/可以从上面得到最新的版本。目前最新版是3.08。当然,因为rsync是一款如此有用的软件,所以很多Linux的发行版本都将它收录在内了。

软件包安装

# sudo apt-get  install  rsync  注:在debian、ubuntu 等在线安装方法;
# yum install rsync    注:Fedora、Redhat 等在线安装方法;
# rpm -ivh rsync       注:Fedora、Redhat 等rpm包安装方法;

其它Linux发行版,请用相应的软件包管理方法来安装。

源码包安装

cd /usr/local/src
wget http://rsync.samba.org/ftp/rsync/rsync-3.0.8.tar.gz
tar zxvf rsync-3.0.8.tar.gz
cd rsync-3.0.8
./configure
make && make install

B、配置文件

rsync的主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密码文件)、 rsyncd.motd(rysnc服务器信息)

服务器配置文件(/etc/rsyncd.conf),该文件默认不存在,请创建它。

具体步骤如下:

#touch /etc/rsyncd.conf  #创建rsyncd.conf,这是rsync服务器的配置文件。
#touch /etc/rsyncd.secrets  #创建rsyncd.secrets ,这是用户密码文件。
#chmod 600 /etc/rsyncd/rsyncd.secrets  #将rsyncd.secrets这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功!
#touch /etc/rsyncd.motd

下一步就是我们修改rsyncd.conf和rsyncd.secrets和rsyncd.motd文件的时候了。

设定/etc/rsyncd.conf

rsyncd.conf是rsync服务器主要配置文件。我们先来个简单的示例,后面在详细说明各项作用。

比如我们要备份服务器上的/home和/opt,在/home中我想把easylife和samba目录排除在外;

# Distributed under the terms of the GNU General Public License v2
# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script
pid file = /var/run/rsyncd.pid   
port = 873
address = 192.168.1.171  
#uid = nobody 
#gid = nobody    
uid = root   
gid = root  

use chroot = yes  
read only = yes 

#limit access to private LANs
hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0  
hosts deny=*

max connections = 5 
motd file = /etc/rsyncd.motd

#This will give you a separate log file
#log file = /var/log/rsync.log

#This will log every file transferred - up to 85,000+ per user, per sync
#transfer logging = yes

log format = %t %a %m %f %b
syslog facility = local3
 timeout = 300

[rhel4home]   
path = /home    
list=yes 
ignore errors 
auth users = root
secrets file = /etc/rsyncd.secrets  
comment = This is RHEL 4 data  
exclude = easylife/  samba/     

[rhel4opt]
path = /opt 
list=no
ignore errors
 comment = This is RHEL 4 opt 
auth users = easylife
secrets file = /etc/rsyncd/rsyncd.secrets

关于auth
users是必须在服务器上存在的真实的系统用户,如果你想用多个用户以,号隔开,比如auth users = easylife,root
设定密码文件

密码文件格式很简单,rsyncd.secrets的内容格式为:

用户名:密码

我们在例子中rsyncd.secrets的内容如下类似的;在文档中说,有些系统不支持长密码,自己尝试着设置一下吧。

easylife:keer
root:mike
chown root.root rsyncd.secrets  #修改属主
chmod 600 rsyncd.secrets     #修改权限

1、将rsyncd.secrets这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 出于安全目的,文件的属性必需是只有属主可读。
2、这里的密码值得注意,为了安全你不能把系统用户的密码写在这里。比如你的系统用户easylife密码是000000,为了安全你可以让rsync中的easylife为keer。这和 samba的用户认证的密码原理是差不多的。

设定rsyncd.motd 文件;

它是定义rysnc服务器信息的,也就是用户登录信息。比如让用户知道这个服务器是谁提供的等;类似ftp服务器登录时,我们所看到的 mike.org ftp ……。 当然这在全局定义变量时,并不是必须的,你可以用#号注掉,或删除;我在这里写了一个 rsyncd.motd的内容为:

++++++++++++++++++++++++++++++++++++++++++++++
Welcome to use the mike.org.cn rsync services!
           2002------2009
 ++++++++++++++++++++++++++++++++++++++++++++++

三、rsyncd服务器的配置详解

A、全局定义

在rsync 服务器中,全局定义有几个比较关健的,根据我们前面所给的配置文件 rsyncd.conf 文件;

pid file = /var/run/rsyncd.pid   注:告诉进程写到 /var/run/rsyncd.pid 文件中;
port = 873  注:指定运行端口,默认是873,您可以自己指定;
address = 192.168.1.171  注:指定服务器IP地址
uid = nobody   
gid = nobdoy  

   注:服务器端传输文件时,要发哪个用户和用户组来执行,默认是nobody。 如果用nobody 用户和用户组,可能遇到权限问题,有些文件从服务器上拉不下来。所以我就偷懒,为了方便,用了root 。不过您可以在定义要同步的目录时定义的模块中指定用户来解决权限的问题。

use chroot = yes 

   注:用chroot,在传输文件之前,服务器守护程序在将chroot 到文件系统中的目录中,这样做的好处是可能保护系统被安装漏洞侵袭的可能。缺点是需要超级用户权限。另外对符号链接文件,将会排除在外。也就是说,你在 rsync服务器上,如果有符号链接,你在备份服务器上运行客户端的同步数据时,只会把符号链接名同步下来,并不会同步符号链接的内容;这个需要自己来尝 试

read only = yes 

注:read only 是只读选择,也就是说,不让客户端上传文件到服务器上。还有一个 write only选项,自己尝试是做什么用的吧;

#limit access to private LANs
hosts allow=192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 

注:在您可以指定单个IP,也可以指定整个网段,能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开;

max connections = 5  

注:客户端最多连接数

motd file = /etc/rsyncd/rsyncd.motd

注:motd file 是定义服务器信息的,要自己写 rsyncd.motd 文件内容。当用户登录时会看到这个信息。比如我写的是:

++++++++++++++++++++++++++++++++++++++++++++++
Welcome to use the mike.org.cn rsync services!
           2002------2009
 ++++++++++++++++++++++++++++++++++++++++++++++

log file = /var/log/rsync.log

注:rsync 服务器的日志;

transfer logging = yes

注:这是传输文件的日志

log format = %t %a %m %f %b
syslog facility = local3
 timeout = 300

B、模块定义

   模块定义什么呢?主要是定义服务器哪个目录要被同步。每个模块都要以[name]形式。这个名字就是在rsync 客户端看到的名字,其实有点象Samba服务器提供的共享名。而服务器真正同步的数据是通过path 指定的。我们可以根据自己的需要,来指定多个模块。每个模块要指定认证用户,密码文件、但排除并不是必须的

下面是前面配置文件模块的例子:

[rhel4home]  #模块它为我们提供了一个链接的名字,在本模块中链接到了/home目录;要用[name] 形式

path = /home    #指定文件目录所在位置,这是必须指定的 
auth users = root   #认证用户是root  ,是必须在服务器上存在的用户
list=yes   #list 意思是把rsync 服务器上提供同步数据的目录在服务器上模块是否显示列出来。默认是yes 。如果你不想列出来,就no ;如果是no是比较安全的,至少别人不知道你的服务器上提供了哪些目录。你自己知道就行了;
ignore errors  #忽略IO错误
secrets file = /etc/rsyncd.secrets   #密码存在哪个文件
comment = linuxsir home  data  #注释可以自己定义
exclude = beinan/ samba/     

注:exclude是排除的意思,也就是说,要把/home目录下的easylife和samba排除在外; easylife/和samba/目录之间有空格分开

[rhel4opt]  
path = /opt 
list=no
comment = optdir   
auth users = beinan  
secrets file = /etc/rsyncd/rsyncd.secrets
ignore errors

四、启动rsync服务器及防火墙的设置

启动rsync服务器相当简单,有以下几种方法

A、–daemon参数方式,是让rsync以服务器模式运行

#/usr/bin/rsync --daemon  --config=/etc/rsyncd/rsyncd.conf 

 
#–config用于指定rsyncd.conf的位置,如果在/etc下可以不写

B、xinetd方式

修改services加入如下内容

# nano -w /etc/services

rsync873/tcp# rsync 
rsync873/udp# rsync

这一步一般可以不做,通常都有这两行(我的RHEL4和GENTOO默认都有)。修改的目的是让系统知道873端口对应的服务名为rsync。如没有的话就自行加入。

设定 /etc/xinetd.d/rsync, 简单例子如下:

# default: off
# description: The rsync server is a good addition to am ftp server, as it \
#       allows crc checksumming etc.
service rsync
{
        disable = no
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/bin/rsync
        server_args     = --daemon
        log_on_failure  += USERID
}

上述, 主要是要打开rsync這個daemon, 一旦有rsync client要连接時, xinetd会把它转介給 rsyncd(port 873)。然后service xinetd restart, 使上述设定生效.

rsync服务器和防火墙

Linux 防火墙是用iptables,所以我们至少在服务器端要让你所定义的rsync 服务器端口通过,客户端上也应该让通过。

iptables -I INPUT -p tcp --dport 873 -j ACCEPT
iptables -I INPUT -p udp --dport 873 -j ACCEPT
#iptables -L 查看一下防火墙是不是打开了 873端口

如果你不太懂防火墙的配置,可以先service iptables stop 将防火墙关掉。当然在生产环境这是很危险的,做实验才可以这么做哟!

五、通过rsync客户端同步数据

A、语法详解

  在配置完rsync服务器后,就可以从客户端发出rsync命令来实现各种同步的操作。rsync有很多功能选项,下面就对介绍一下常用的选项:

rsync的命令格式可以为:

1. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST 
2. rsync [OPTION]... [USER@]HOST:SRC DEST 
3. rsync [OPTION]... SRC [SRC]... DEST 
4. rsync [OPTION]... [USER@]HOST::SRC [DEST] 
5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST 
6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

rsync有六种不同的工作模式:

1. 拷贝本地文件;当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。

2.使用一个远程shell 程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。

3.使用一个远程 shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。

4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

6. 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。

rsync中的参数

-a 以archive模式操作、复制目录、符号连接 相当于-rlptgoD

-r 是递归

-l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件;

-z 传输时压缩;

-P 传输进度;

-v 传输时的进度等信息,和-P有点关系,自己试试。可以看文档;

-e ssh的参数建立起加密的连接。

-u只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时

–progress是指显示出详细的进度情况

–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致

–password-file=/password/path/file来指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读。

B、一些实例

B1、列出rsync 服务器上的所提供的同步内容;

首先:我们看看rsync服务器上提供了哪些可用的数据源

# rsync  --list-only  root@192.168.145.5::
++++++++++++++++++++++++++++++++++++++++++++++
Welcome to use the mike.org.cn rsync services!
           2002------2009
 ++++++++++++++++++++++++++++++++++++++++++++++

rhel4home       This is RHEL 4 data

注:前面是rsync所提供的数据源,也就是我们在rsyncd.conf中所写的[rhel4home]模块。而“This is RHEL 4 data”是由[rhel4home]模块中的 comment = This is RHEL 4 data 提供的;为什么没有把rhel4opt数据源列出来呢?因为我们在[rhel4opt]中已经把list=no了。

$ rsync  --list-only  root@192.168.145.5::::rhel4home 

++++++++++++++++++++++++++++++++++++++++++++++
Welcome to use the mike.org.cn rsync services!
           2002------2009
 ++++++++++++++++++++++++++++++++++++++++++++++

Password: 
drwxr-xr-x        4096 2009/03/15 21:33:13 .
 -rw-r--r--        1018 2009/03/02 02:33:41 ks.cfg
-rwxr-xr-x       21288 2009/03/15 21:33:13 wgetpaste
drwxrwxr-x        4096 2008/10/28 21:04:05 cvsroot
drwx------        4096 2008/11/30 16:30:58 easylife
drwsr-sr-x        4096 2008/09/20 22:18:05 giddir
drwx------        4096 2008/09/29 14:18:46 quser1
 drwx------        4096 2008/09/27 14:38:12 quser2
drwx------        4096 2008/11/14 06:10:19 test
drwx------        4096 2008/09/22 16:50:37 vbird1
drwx------        4096 2008/09/19 15:28:45 vbird2

后面的root@ip中,root是指定密码文件中的用户名,之后的::rhel4home这是rhel4home模块名

B2、rsync客户端同步数据

#rsync -avzP root@192.168.145.5::rhel4home rhel4home

Password: 这里要输入root的密码,是服务器端rsyncd.secrets提供的。在前面的例子中我们用的是mike,输入的密码并不回显,输好就回车。

   注:这个命令的意思就是说,用root用户登录到服务器上,把rhel4home数据,同步到本地当前目录rhel4home上。当然本地的目录是可以 你自己定义的。如果当你在客户端上当前操作的目录下没有rhel4home这个目录时,系统会自动为你创建一个;当存在rhel4home这个目录中,你 要注意它的写权限。

#rsync -avzP  --delete linuxsir@linuxsir.org::rhel4home   rhel4home

   这回我们引入一个–delete 选项,表示客户端上的数据要与服务器端完全一致,如果 linuxsirhome目录中有服务器上不存在的文件,则删除。最终目的是让linuxsirhome目录上的数据完全与服务器上保持一致;用的时候要 小心点,最好不要把已经有重要数所据的目录,当做本地更新目录,否则会把你的数据全部删除;

設定 rsync client

设定密码文件

#rsync -avzP  --delete  --password-file=rsyncd.secrets   root@192.168.145.5::rhel4home rhel4home

这次我们加了一个选项 –password-file=rsyncd.secrets,这是当我们以root用户登录rsync服务器同步数据时,密码将读取 rsyncd.secrets这个文件。这个文件内容只是root用户的密码。我们要如下做;

# touch rsyncd.secrets
# chmod 600 rsyncd.secrets
# echo "mike"> rsyncd.secrets
# rsync -avzP  --delete  --password-file=rsyncd.secrets   root@192.168.145.5::rhel4home rhel4home

注:这里需要注意的是这份密码文件权限属性要设得只有属主可读。

这样就不需要密码了;其实这是比较重要的,因为服务器通过crond 计划任务还是有必要的;

B3、让rsync客户端自动与服务器同步数据

   服务器是重量级应用,所以数据的网络备份还是极为重要的。我们可以在生产型服务器上配置好rsync 服务器。我们可以把一台装有rysnc机器当做是备份服务器。让这台备份服务器,每天在早上4点开始同步服务器上的数据;并且每个备份都是完整备份。有时 硬盘坏掉,或者服务器数据被删除,完整备份还是相当重要的。这种备份相当于每天为服务器的数据做一个镜像,当生产型服务器发生事故时,我们可以轻松恢复数 据,能把数据损失降到最低;是不是这么回事??

step1:创建同步脚本和密码文件

#mkdir   /etc/cron.daily.rsync
 #cd  /etc/cron.daily.rsync 
#touch rhel4home.sh  rhel4opt.sh 
 #chmod 755 /etc/cron.daily.rsync/*.sh  
#mkdir /etc/rsyncd/
 #touch /etc/rsyncd/rsyncrhel4root.secrets
#touch /etc/rsyncd/rsyncrhel4easylife.secrets
#chmod 600  /etc/rsyncd/rsync.*

   注: 我们在 /etc/cron.daily/中创建了两个文件rhel4home.sh和rhel4opt.sh ,并且是权限是755的。创建了两个密码文件root用户用的是rsyncrhel4root.secrets ,easylife用户用的是 rsyncrhel4easylife.secrets,权限是600;

我们编辑rhel4home.sh,内容是如下的:

#!/bin/sh
#backup 192.168.145.5:/home 
/usr/bin/rsync   -avzP  --password-file=/etc/rsyncd/rsyncrhel4root.password   root@192.168.145.5::rhel4home   /home/rhel4homebak/$(date +'%m-%d-%y')

我们编辑 rhel4opt.sh ,内容是:

#!/bin/sh
#backup 192.168.145.5:/opt 
/usr/bin/rsync   -avzP  --password-file=/etc/rsyncd/rsyncrhel4easylife.secrets    easylife@192.168.145.5::rhel4opt   /home/rhel4hoptbak/$(date +'%m-%d-%y')

注:你可以把rhel4home.sh和rhel4opt.sh的内容合并到一个文件中,比如都写到rhel4bak.sh中;

接着我们修改 /etc/rsyncd/rsyncrhel4root.secrets和rsyncrhel4easylife.secrets的内容;

# echo "mike" > /etc/rsyncd/rsyncrhel4root.secrets
# echo "keer"> /etc/rsyncd/rsyncrhel4easylife.secrets

   然后我们再/home目录下创建rhel4homebak 和rhel4optbak两个目录,意思是服务器端的rhel4home数据同步到备份服务器上的/home/rhel4homebak 下,rhel4opt数据同步到 /home/rhel4optbak/目录下。并按年月日归档创建目录;每天备份都存档;

#mkdir /home/rhel4homebak
#mkdir /home/rhel4optbak

step2:修改crond服务器的配置文件 加入到计划任务

#crontab  -e

加入下面的内容:

# Run daily cron jobs at 4:10 every day  backup rhel4 data:  
 10 4 * * * /usr/bin/run-parts   /etc/cron.daily.rsync   1> /dev/null

注:第一行是注释,是说明内容,这样能自己记住。 第二行表示在每天早上4点10分的时候,运行 /etc/cron.daily.rsync 下的可执行脚本任务;

配置好后,要重启crond 服务器;

# killall crond    注:杀死crond 服务器的进程;
# ps aux |grep crond  注:查看一下是否被杀死;
# /usr/sbin/crond    注:启动 crond 服务器;
# ps aux  |grep crond  注:查看一下是否启动了?
root      3815  0.0  0.0   1860   664 ?        S    14:44   0:00 /usr/sbin/crond
root      3819  0.0  0.0   2188   808 pts/1    S+   14:45   0:00 grep crond

六、小结

1.建立 /etc/rsyncd.conf配置文件

主要设置好以下几项:

uid/gid,这个是指定启动rsyncd的用户

hostallow,指定从哪些ip可以执行同步

设置好同步模块

2.建立 /etc/rsyncd.secrets密码文件

username:password的格式,必须是600属性

3.启动rsyncd

如果rsyncd.conf放在etc下直接rsync –daemon即可,否则需指定配置文件路径,如:

/usr/bin/rsync --daemon  (在etc下)

/usr/bin/rsync --daemon  --config=/etc/rsyncd/rsyncd.conf (不在etc下)

开机启动:

shell>> vi /etc/rc.local
/usr/bin/rsync --daemon

打开防火墙的873端口,873是rsync的默认端口

iptables -I INPUT -p tcp --dport 873 -j ACCEPT
iptables -I INPUT -p udp --dport 873 -j ACCEPT
/etc/rc.d/init.d/iptables save  

4.客户端执行同步

建立密码文件,属性600,密码文件里直接输入密码,不需用户名

仅查看rsync服务器的数据源:

rsync  --list-only  root@192.168.145.5::

最常用的同步命令:

rsync -avzP root@192.168.145.5::rhel4home rhel4home

避免输入密码:

rsync -avzP  --delete  --password-file=rsyncd.secrets   root@192.168.145.5::rhel4home rhel4home  

关于自动同步:

我比较喜欢使用脚本+crontab的方式来执行,而不是把同步命令写到crontab里

几个脚本:

1.同步(当前日期作为文件夹名称)

#!/bin/sh
#backup 192.168.145.5:/home 
/usr/bin/rsync -avzP --password-file=/etc/rsyncd/rsyncrhel4root.password root@192.168.145.5::rhel4home   /home/rhel4homebak/$(date +'%m-%d-%y')

2.同步(当前日期的前一天作为文件夹名称)

#!/bin/sh
#backup 192.168.145.5:/home 
/usr/bin/rsync   -avzP  --password-file=/etc/rsyncd/rsyncrhel4root.password   root@192.168.145.5::rhel4home   /home/rhel4homebak/$(date -"1 days ago" +'%m-%d-%y')

3.同步,不要屏显。输出结果发送到/dev/null设备,忽略命令输出

#!/bin/sh
#backup 192.168.145.5:/home
/usr/bin/rsync -avzP --password-file=/etc/rsyncd/rsyncrhel4root.password root@192.168.145.5::rhel4home /home/rhel4homebak/$(date -"1 days ago" +'%m-%d-%y')> /dev/null 2>&1
4.同步,失败后发邮件通知。让这个命令仅在失败时发送一封邮件信息,你可以象下面这样修改这个命令

#!/bin/sh
#backup 192.168.145.5:/home 
/usr/bin/rsync   -avzP  --password-file=/etc/rsyncd/rsyncrhel4root.password   root@192.168.145.5::rhel4home   /home/rhel4homebak/$(date -"1 days ago" +'%m-%d-%y')> || echo "rsync failed" | mail admins@yourdomain.com

加入crontab以自动运行

crontab -e

每半小时执行一次

30 * * * * /myshpath/rsync_script_path.sh

每天凌晨1点执行一次

00 1 * * * /myshpath/rsync_script_path.sh

七、FAQ

Q:如何通过ssh进行rsync,而且无须输入密码?

A:可以通过以下几个步骤

通过ssh-keygen在server A上建立SSH keys,不要指定密码,你会在~/.ssh下看到identity和identity.pub文件
在server B上的home目录建立子目录.ssh
将A的identity.pub拷贝到server B上
将identity.pub加到~[user b]/.ssh/authorized_keys
于是server A上的A用户,可通过下面命令以用户B ssh到server B上了。e.g. ssh -l userB serverB。这样就使server A上的用户A就可以ssh以用户B的身份无需密码登陆到server B上了。
或者通过指定–password-file也可以实现免输入密码

Q:如何通过在不危害安全的情况下通过防火墙使用rsync?

A:解答如下:

   这通常有两种情况,一种是服务器在防火墙内,一种是服务器在防火墙外。无论哪种情况,通常还是使用ssh,这时最好新建一个备份用户,并且配置sshd 仅允许这个用户通过RSA认证方式进入。如果服务器在防火墙内,则最好限定客户端的IP地址,拒绝其它所有连接。如果客户机在防火墙内,则可以简单允许防 火墙打开TCP端口22的ssh外发连接就ok了。

Q:我能将更改过或者删除的文件也备份上来吗?

A:当然 可以。你可以使用如:rsync -other -options -backupdir = ./backup-2000-2-13 …这样的命令来实现。这样如果源文件:/path/to/some/file.c改变了,那么旧的文件就会被移到./backup- 2000-2-13/path/to/some/file.c,这里这个目录需要自己手工建立起来

Q:我需要在防火墙上开放哪些端口以适应rsync?  

A:视情况而定。rsync可以直接通过873端口的tcp连接传文件,也可以通过22端口的ssh来进行文件传递,但你也可以通过下列命令改变它的端口:

rsync --port 8730 otherhost::

或者

rsync -e 'ssh -p 2002' otherhost:

Q:我如何通过rsync只复制目录结构,忽略掉文件呢?

A:执行类似这个命令

rsync -av --include '*/' --exclude '*' source-dir dest-dir

Q:为什么我总会出现"Read-only file system"的错误呢?

A:看看是否忘了设"read only = no"了

Q:为什么我会出现'@ERROR: invalid gid'的错误呢?

A:rsync使用时默认是用uid=nobody;gid=nobody来运行的,如果你的系统不存在nobody组的话,就会出现这样的错误,可以试试gid = ogroup或者其它

Q:绑定端口873失败是怎么回事?

A:如果你不是以root权限运行这一守护进程的话,因为1024端口以下是特权端口,会出现这样的错误。你可以用–port参数来改变。

Q:为什么我认证失败? A:命令行:

> bash$ rsync -a 144.16.251.213::test test
> Password:
> @ERROR: auth failed on module test 
> 
> I dont understand this. Can somebody explain as to how to acomplish this.
 > All suggestions are welcome.

应该是没有以你的用户名登陆导致的问题,试试rsync -a max@144.16.251.213::test test

Q: 出现以下这个讯息, 是怎么一回事?

@ERROR: auth failed on module xxxxx
 rsync: connection unexpectedly closed (90 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)

A: 这是因为密码设错了, 无法登入成功, 请再检查一下 rsyncd.secrets 中的密码设定, 二端是否一致?

Q: 出现以下这个讯息, 是怎么一回事?

password file must not be other-accessible 
continuing without password file 
Password:

A: 这表示 rsyncd.secrets 的档案权限属性不对, 应设为 600。请下 chmod 600 rsyncd.secrets

Q: 出现以下这个讯息, 是怎么一回事?

@ERROR: chroot failed
rsync: connection unexpectedly closed (75 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)

A: 这通常是您的 rsyncd.conf 中的 path 路径所设的那个目录并不存在所致.请先用 mkdir开设好备份目录.

附1:在Windows和linux之间传输文件名乱码

案例:

cwRsync server版本:4.0.2
rsync 版本:3.0.6

在Windows安装cwRsync server 服务,在linux上同步Windows上的文件,同步时linux不识别Windows上的文件,显示乱码,或是文件传输到linux上后文件名显示乱码。

解决办法:

首先确保linux服务器能正常支持中文文件名显示,可以通过scp或ftp传输一个含有中文文件名的文件到linux 服务器上测试是否可以正常显示。

如果可以,接着看

其次,在cwRsync的配置文件rsyncd.conf中添加如下参数:
charset=UTF-8

参数解释:服务器端的配置文件中设置了charset参数后才能为后面的linux客户端同步数据时使用–iconv参数来设置字符集,否则将报错: rsync: The server is configured to refuse –iconv。

UTF-8,这是Windows文件名的字符编码集,不是GB2312、GB18030等,这里要注意的是该参数不要写成UTF8了,我百度或Google时发现很多人都这样写,这是不对的。

最后,在linux客户端使用命令进行同步

rsync --iconv=GBK,UTF-8 --protect-args -vlzrpuDP --progress --delete --password-file=/usr/local/rsync/rsync.passwd user@192.168.1.1::server /server/

字符集设置相关的参数解释:(其他参数请自行Google或百度,多的是解释)

--iconv=GBK,UTF-8 --protect-args

这2个参数在官方文档上写的是同时用的,但我去掉–protect-args后发现对字符集并没有什么影响。

语法:–iconv=本地字符集,服务器端字符集

在这个案例中,在linux端同步Windows端的数据,所以本地字符集应填写linux的字符集GBK,服务器端字符集填写Windows的UTF-8。

附2:rsync 出现failed: invalid argument(22)

rsync: chown "/cygdrive/F/LinuxBackup/mail/bestcheer.com/zhouy" failed: Invalid argument (22)

环境:

服务器端LINUX:配置文件如下:

uid=0 
gid=0 
max connections = 4 
logfile = /var/log/rsync.log 
[maildata] 
uid=0 
gid=0 
path = /data/mail 
comment = backup Mail Data 
#ignore errors 
read only = yes 
list = no 
auth users = backup 
hosts allow = 192.168.0.16 
secrets file = /etc/rsync.pw 
~

客户端windows 2003 ,运行以下命令从LINUX服务器上同步数据出现:

F:\LinuxBackup\mail>"C:\Program Files\ICW\Bin\rsync" -vzrtopg --progress --delete --password-file=/cygdrive/f/mailrsync.pw  backup@192.168.0.8::maildata /cygdrive/F/LinuxBackup/mail/

这里出现如下提示:

sent 1477 bytes  received 14242 bytes  10479.33 bytes/sec total size is 117965647  speedup is 7504.65 
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1508) [generator=3.0.7]

查看终端的输出有如下提示:

rsync: chown "/cygdrive/F/LinuxBackup/mail/bestcheer.com/zhouy" failed: Invalid argument (22)

解决方法:

修改:C:\Program Files\ICW\etc\fstab文件增加如下行:

F:\ /f-drive /ntfs noacl,user 0 0

在WINDOWS把运行命令修改如下,把 /cygdrive/F 改为/f-drive

F:\LinuxBackup\mail>"C:\Program Files\ICW\Bin\rsync" -vzrtopg --progress --delete --password-file=/cygdrive/f/mailrsync.pw  backup@192.168.0.8::maildata /f-drive/LinuxBackup/mail/

附3:Linux到Windows

windows客户端配置:

windows客户端

在windows下安装cwRsync软件

在windows下打开cmd窗口

C:\Program Files\cwRsync\bin>rsync.exe -vzrtopg --progress --deleteroot@192.168.1.222::bak /cygdrive/f/bak --password-file=/cygdrive/f/root.pass

说明

命令行中-vzrtopg里的v是verbose,z是压缩,r是recursive,topg都是保持文件原有属性如属主、时间的参数。–progress是指显示出详细的进度情况,–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。–exclude "count/" 表示不对count目录下的文件进行备份

::bak 这是/etc/xinetd.d/rsyncd.conf文件中定义的模块名 /cygdrive/f/bak说明备份到windows下f盘下的bak目录下(此备份目录如果没有则自动创建)

–password-file是指定的密码文件

/cygdrive/f/root.pass指定密码文件存放在windows的f盘下的root.pass文件中

root.pass文件的内容为root的密码(只写密码即可)

附4:windows到Windows

下载地址:http://www.itefix.no/i2/download

安装cwRsyncServer的过程中,会要求你设置一个用户名和密码,建议一定要更改,而不是使用默认的。你提供的这个用户名和密码将会在系统用户中创建一个帐户(在Windows登录界面可以看得到它的存在)。

由于rsync服务器在Windows下是以服务的形式来启动的,所以你在使用它之前,应该确认你的rsync服务是否已经启动了。

cwRsyncServer软件对应的系统服务名字是RsyncServer,默认是不会自动启动的。

下面说一下如何设置rsync服务器以及客户端,使得它们可以同步某一目录下的文件。

由于rsync是来自Linux/Unix,所以就算是Windows下的cwRsync,也颇有Linux rsync的风格,这种风格体现在,你还是需要去修改配置文件(一个文本文件)来对rsync服务器进行设置,而没有一个图形界面来让你用鼠标点几下就解决问题。

我们用记事本打开cwRsyncServer安装目录下的rsyncd.conf文件(这个文件就是rsync服务器的配置文件了),它定义了rsync服务器的参数,服务启动时会读取该文件内容,并用以初始化rsync服务。如果修改了参数,则需要重新启动服务才能生效。 rsyncd.conf文件已经有一部分默认内容,你可以参照下面的格式(不包括横线),添加你所需要的参数:

_________________________________________________________________________________________________

port = 873                    # rsync服务的端口(873就是默认端口,你可以更改)
use chroot = false        # 默认,不更改
strict modes = false     # 默认,不更改
read only = yes            # 服务端文件只读(不允许客户端修改或删除)
list = no                        # 不允许客户端对服务器端的文件列表
hosts allow = *            # 允许连接服务器的客户端的IP地址列表(*表示不限制)
max connections = 10  # 最大连接数
uid=0                            # 对某些场合,这个很重要,下面再解释
gid=0                            # 对某些场合,这个很重要,下面再解释
auth users = ruser        # 允许连接服务器的用户名
secrets file = rsyncd.secrets   # 允许连接服务器的帐户文件,其格式在下面会详述
motd file = rsyncd.motd          # 欢迎信息文件(客户端连接时,服务将向客户端发送欢迎信息,其内容即为此文件的内容)
log file = rsyncd.log                 # 日志文件
lock file = rsyncd.lock              # 锁文件
transfer logging = yes            # 传输时记录日志

# Module definitions
# Remember cygwin naming conventions : c:\work becomes /cygwin/c/work
#
[test]            # 一个模块的名字,可随意起,但最好有意义
path = /cygdrive/D/test   # 同步的目录的路径,其中,D盘就是“/cygdrive/D”,所以该路径指的是D盘下的test目录
[another]
path = /cygdrive/E/Documents and Settings/another
_________________________________________________________________________________________________

需要注意的几点:

(1)你设置的rsync服务器端口必须在防火墙里打开,否则客户端还是连接不上。

(2)rsyncd.conf文件中的模块上方是公用的参数,也就是所有模块都会共享的参数,如果在该模块内部又为该参数设置了不同的值,则会按模块内部的值来算。

(3)rsyncd.secrets文件的内容格式如下:

用户名:密码

例如:

ruser:rupass
(4)一般来说,你要同步一个目录的话,就要在rsyncd.conf中添加一个“模块”,并为该模块设置路径等参数。

(5)如果客户端连接rsync服务器时,提示chdir失败,并且你的登录用户名和密码之类的都设置对了,那么很可能你就需要添加上面的“uid=0”和“gid=0”了,我就用这个解决了问题。

(6)在模块的路径(path)中,经测试可以包含空格。

好了,服务器端的设置基本完成,然后启动rsync服务,就可以了。

下面我们来进行客户端的工作,以完成同步任务。

前面说了,我在客户端也装了cwRsyncServer,因为它包含了客户端的功能。

在客户端,我们需要在命令行下执行一个带许多参数的命令,以完成同步功能,正因为如此,我不可能在每次需要同步的时候,先cmd打开命令行,然后再打长长的rsync命令来完成同步,否则也太痛苦了。所以我们可以写一个批处理文件(*.bat),来完成这个任务。批处理文件的内容其实挺简单:

_________________________________________________________________________________________________

cd d:\ICW\Bin
d:

rsync.exe -ravz –progress –password-file=/cygdrive/f/rsync/pass_file ruser@192.168.1.100::test/ /cygdrive/"D/Program Files/test"

rsync.exe -ravz –progress –password-file=/cygdrive/f/rsync/pass_file ruser@192.168.1.100::another/ /cygdrive/"E/another"
pause
_________________________________________________________________________________________________

说明:

(1)第一行表明切换到rsync程序所在目录,请视实际情况更改。

(2)第二行表明切换到D盘(rsync程序所在的盘)。

(3)192.168.1.100是rsync服务器IP,请视实际情况更改。

(4)–password-file 参数指定了客户端登录服务器时,使用的帐户的密码文件,例如上面的“/cygdrive/f/rsync/pass_file” 表明是 F:\rsync\pass_file 文件,该文件内容就是登录rsync服务器的帐户的密码。

(5)红色的文字指定的是rsync服务器配置文件中设置的模块名,必须一致。

(6)有多个目录要同步,就写多个rsync命令,双击此批处理文件时,会依次执行。

(7)上面例子中的第一个rsync命令的含义是:将远程的rsync服务器中,test模块所指定的目录,同步到本地的 D/Program Files/test 目录。在客户端,如果路径中含有空格,则需要将路径用双引号括起来(如上面的例子所示)。

这样配置好之后,双击批处理文件,你的两个目录就开始同步啦。以后,你就再也不用费劲地去手工同步文件了,rsync会自动判 断哪些文件修改了,哪些没有修改,只传输修改过的文件(并且还会增量传输),节省你的带宽,极其高效。 rsync功能非一般强大,关于rsync的更多配置选项,此处绝对不可能描述得完,请参考其手册。

Windows上无应答自动相应密码可以参考批处理里的办法:

echo password|rsync ……

附5:绿色全手工配置Rsync

官网下载最新版的cwrscyn服务端和客户端,全都安装到c:\icw。复制icw目录一份。然后用自己带删除程序删除rscyn服务端和客户端。

全自动安装会有两问题。一是服务不会自动启动,二是在客户端不论如何都需要手工输入密码。因为在windows下没有所谓的chmod 600。而在linux下只需要把密码文件chmod 600改为只有所属人有权限即可。但是在windows下不行。即使你用了password-file=密码文件。还是一样。只需要改用windows下cmd批处理中标准的屏幕输语句和重定向输入即可完成。

关键处:

echo rsc|C:\icw\bin\rsync -vzrtopg --ignore-errors  --force --progress --delete  rsc@192.168.1.174::freehost  /cygdrive/d/freehost

格式如:

echo 密码|客户端命令行
而安装服务端则可以用下面的命令

"C:\icw\bin\cygrunsrv" -I g3szsouthRsync -c "/cygdrive/c/icw" -p "/cygdrive/c/icw/bin/rsync.exe" -a "--config rsyncd.conf --daemon --no-detach" -o -t auto -e "CYGWIN=nontsec binmode" -1 "/cygdrive/c/icw/rsyncd-stdin.log" -2 "/cygdrive/c/icw/rsyncd-stderr.log"  -y "tcpip" -f "g3szsouthRsync"

下面来进行全手工配置。

先配置服务端conf文件

use chroot = false
strict modes = false
hosts allow = *
log file = rsyncd.log
pid file = rsyncd.pid
secrets file = /cygdrive/c/icw/password
[freehost]
path = /cygdrive/d/freehost
read only = false
list = no
auth users = rsc
transfer logging = no

加入计划任务并且每天在18:40定时执行任务。这样做不会因为管理员密码修改而导致计划任务无效。如果是手工在图形界面下用控制面板添加的则和当前用户密码关联。一旦改密码就不会执行任务了。

at 18:40 /every:m,t,w,th,f,s,su C:\icw\手工开始同步.cmd

在c:\icw\下建一个password的文本文件。

用户名:密码

形式存放。一行一个。

然后启动服务即可运行了。上面的参数涉及到的对应的修改。

上面方法是针对WINDOWS2003到WINDOWS2003,也适用于LINUX到LINUX ,LINUX到WINDOWS2003。

网上介绍的无需交互输入密码大多是LINUX下用password-file。和WIN下使用ssh-kengen。对两台服务器生成密钥互相设为信任认证。这样做的麻烦是程序不通用,每两台服务器都需要生成证书。

附6:关于exclude的使用

–exclude-from=/root/exclude.list

在同步语句里加上这个,exclude.list的写法要注意几点:

1)一行一个目录

2)目录名最后不能加/

3)目录是相对于rsync同步路径的/,而不是在服务器上的实际路径

例如:

要同步的文件在服务器上的实际路径为/www/htdocs/sitea/images

需要排除这个images的同步,那么在exclude.list里写为:

/images

不可以写作

/www/htdocs/sitea/images