linux运维零基础学习资料：Rsync+sersync实现数据实时同步
一：Rsync概述
二：Rsync服务安装
三：Rsync+sersync实现数据实时同步
No.1
Rsync概述
Rsync是Linux系统下的数据镜像备份工具，使用快速增量备份工具Remote Sync可以远程同步，可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。
1.1 Rsync数据备份
与SCP的比较：scp无法备份大量数据，类似Windows的复制。
而rsync边复制，边统计，边比较。
1.2 Rysnc特性和优点
1.可以镜像保存整个目录树和文件系统。
2.可以很容易做到保持原来文件的属性、权限、时间、软硬链接等等。
3.无须特殊权限即可安装。
4.快速：第一次同步时 rsync 复制全部内容，但在下一次只传输修改过的文件。
5.压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
6.安全性：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。选择性保持：符号连接，硬链接，文件属性，权限，时间等。
1.3 Rsync原理
1.运行模式和端口：
采用C/S模式（客户端/服务器模式）[ 实际上是一个点到点的传输，直接使用rsync命令即可完成 ]
rsync监听的端口：873
2.四个名词的解释：
发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据。
备份源：负责响应来自客户机rsync同步操作的服务器叫做备份源，需要备份的服务器。
服务端：运行rsyncd服务，一般来说，需要备份的服务器。
客户端：存放备份数据。
3.数据同步方式：
推push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况。
拉pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢。
推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）。
拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）。
两种方案，rsync都有对应的命令来实现。
rsync命令示例说明push和pull
实战：使用rsync进行数据同步
rsync命令的基本用法：
格式：rsync 【选项】 源文件 目标文件
常见的选项：
-a，--archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数-rlptgoD
-v：显示rsync过程中详细信息。
-r，–recursive 对子目录以递归模式处理
-l,--links 表示拷贝链接文件
-p , --perms 表示保持文件原有权限
-t , --times 表示保持文件原有时间
-g , --group 表示保持文件原有属用户组
-o , --owner 表示保持文件原有属主
-D , --devices 表示块设备文件信息
-z , --compress 表示压缩传输
-H 表示硬连接文件
-A 保留ACL属性信息
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件
例：
rsync --delete /原始位置
（要同步的数据） 192.168.1.64:/目标位置
实战1：
备份xuegod63的/var/www/html 目录到xuegod64的/web-back。
开始备份：
xuegod63：创建用于测试的数据
[root@xuegod64 ~]# mkdir /web-back[root@xuegod63 ~]# mkdir -p /var/www/html[root@xuegod63 ~]# cp -r /boot/grub2/ /var/www/html[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ \[email protected]:/web-back
常见的选项：
-a，--archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数-rlptgoD
-z , --compress 表示传输前压缩
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件，保障源文件和目标文件一致
实战2： 使用ssh密钥实现无交互备份。做成脚本，将xuegod63上的数据，定期备份到xuegod64上。
在xuegod63上生成密钥对
[root@xuegod63 ~]# ssh-keygenGenerating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回库
Enter passphrase (empty for no passphrase): #直接回库
Enter same passphrase again: #直接回库
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ac:64:7f:6c:54:41:a1:80:4a:ab:79:9a:6d:d1:ef:e0 [email protected]The key's randomart image is:
+--[ RSA 2048]----+
| .. .+. |
| . . . . . |
| . o . . |
| o . . |
| o .o S . |
| o oo.o o |
| = .o.. + |
| o o. ..o |
| . E.. |
+-------------------+
查看生成的公钥和私钥：
[root@xuegod63 ~]# ls /root/.ssh/id_rsa（私钥） id_rsa.pub（公钥）
known_hosts
将公钥上传到xuegod64 数据源
方法1：
[root@xuegod63 ~]# ssh-copy-id [email protected]相当于你执行了：
方法2：
# scp /root/.ssh/id_rsa.pub [email protected]:/root/.ssh/authorized_keys查看：
[root@xuegod64 ~]# ls /root/.ssh/authorized_keys known_hosts
测试，不输密码直接登录：
[root@xuegod63 ~]# ssh [email protected][rget1@xuegod64 ~]# exit
测试，不输密码直接备份：
[root@xuegod64 ~]# rm -rf /web-back/*[root@xuegod63 ~]# rsync -azP --delete /var/www/html/ [email protected]:/web-back
ctrl+r可以搜索历史命令快速调到前台执行
No.2
Rsync服务安装
实验拓扑：
xuegod63（源主机192.168.1.63）
xuegod64（目标主机 192.168.1.64）
需要关闭selinux，否则即使创建/etc/rsyncd.conf文件之后去启动服务也不会生效。
[root@xuegod63 ~]# setenforce 0[root@xuegod63 ~]#yum -y install rsync[root@xuegod63 ~]#systemctl start rsyncd[root@xuegod63~]# netstat -antup | grep 873 #查看873端口是否监听。tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 43447/rsynctcp6 0 0 :::873 :::* LISTEN 43447/rsync
2.1 rsync命令选项
-a：--archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。
-z：--compress 压缩模式，当资料在传送到目的端进行档案压缩。
-H：--hard-links 保留硬链接文件。
--version：输出rsync版本。
-v：--verbose 复杂的输出信息。
-u：--update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。
--port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。
--delete：删除那些目标位置有的文件而备份源没有的文件。
--password-file=FILE ：从 指定密码文件中获取密码。
--bwlimit=KBPS：限制 I/O 带宽。
--filter “-filename”：需要过滤的文件。
--exclude=filname：需要过滤的文件。
--progress：显示备份过程。
通常常用的选项 –avz
2.2 使用rsync备份数据保持原有文件权限
对xuegod63网站根目录的/var/www/html目录备份到xuegod64的/web-back 。
服务器：xuegod63
客户端：xuegod64
1.建立测试用户（两台主机都需要操作）：
[root@xuegod64 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1更改用户 rget1 的密码 。
passwd：所有的身份验证令牌已经成功更新。
[root@xuegod63 ~]# useradd rget1 && echo "123456" |passwd --stdin rget1更改用户 rget1 的密码 。
passwd：所有的身份验证令牌已经成功更新。
2.对目录赋予ACL权限：
[root@xuegod63 ~]# mkdir /var/www/html/ -p #创建目录。[root@xuegod63 ~]# setfacl -R -m user:rget1:rwx /var/www/html/[root@xuegod63 ~]# getfacl /var/www/htmlgetfacl: Removing leading '/' from absolute path names# file: var/www/html# owner: root# group: rootuser::rwxuser:rget1:rwxgroup::r-xmask::rwxother::r-x
3.创建测试数据：
[root@xuegod63 ~]# cp -r /boot/* /var/www/html/#复制/boot/目录下所有内容到 /var/www/html/目录下。
4.服务端上操作：
[root@xuegod64 ~]# mkdir /web-back #创建存放数据目录。[root@xuegod64 ~]# chown rget1:rget1 -R /web-back/#修改目录属主、属组为rget1用户。
[root@xuegod63 ~]# rsync -avz /var/www/html/ [email protected]:/web-back/The authenticity of host '192.168.0.64 (192.168.0.64)' can't be established.
ECDSA key fingerprint is
SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.
ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.
Are you sure you want to continue connecting (yes/no)? yes #输入yes。
Warning: Permanently added '192.168.0.64' (ECDSA) to the list of known hosts.
[email protected]'s password: #输入rget1用户密码。
sending incremental file list
./
sent 29 bytes received 15 bytes 3.03 bytes/sec
total size is 0 speedup is 0.00
2.3 使用非系统用户备份数据
实验开始之前首先客户端服务器端关闭防火墙firewalld否则实验失败：
[root@xuegod63 ~]# systemctl stop firewalld.service[root@xuegod64 ~]# systemctl stop firewalld.service
使用非系统用户进入备份数据，依靠系统中的rsync配置文件/etc/rsyncd.conf进行备份数据，并创建备份账户，最终把rsync以deamon方式运行。
1.rsyncd.conf配置文件：
配置文件分为两部分：全局参数、模块参数。
全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。
模块参数：定义需要通过rsync输出的目录定义的参数。
（1）常见的全局参数：
port：指定后台程序使用的端口号，默认为873。
uid：该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。
gid：该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections：指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
lock file：指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
motd file：" motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。
log file：" log file"指定rsync的日志文件，而不将日志发送给syslog。
pid file：指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。
（2）常见的模块参数：
主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。
Comment：给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
path：指定该模块的供备份的目录树路径，该参数是必须指定的。
read only：是否为只读模式true/false。true无法上传写入。
exclude：用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传（既不可访问）
exclude from：指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行
include：用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from：指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users：该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。
secrets file：该选项指定一个包含定义用户名:密码对应的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
hosts allow：指定哪些IP的客户允许连接该模块。定义可以是以下形式：
整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。
hosts deny：指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
list：该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。
timeout：通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
实战：使用rsync服务进行数据同步。
用配置文件定义目录输出。
服务器：xuegod64
客户端：xuegod63
[root@xuegod64 ~]# vim /etc/rsyncd.conf #文件不存在，需要手动创建。注意：#会出现因注释不兼容的问题而导致推数据时出现报错，配置文件需取消注释或者注释进行换行处理。
uid = root #运行进程的身份。gid = root #运行进程的组。address =192.168.1.64 #监听IP。port =873 #监听端口。hosts allow =192.168.1.0/24 #允许同步客户端的IP地址，可以是网段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0use chroot = yes #是否囚牢，锁定家目录，rsync被黑之后，黑客无法再rsync运行的家目录之外创建文件，选项设置为yes。max connections =5 #最大连接数。pid file =/var/run/rsyncd.pid #进程PID，自动生成。lock file =/var/run/rsync.lock #指max connectios参数的锁文件。log file =/var/log/rsyncd.log #日志文件位置。motd file =/etc/rsyncd.motd #客户端登陆之后弹出的消息，需要创建。[wwwroot] #共享模块名称。path = /web-back/ #路径。comment = used for web-data root #描述。read only = false #只读权限为假。list = yes #是否允许查看模块信息。auth users = rsyncuser #备份的用户，和系统用户无关。secrets file =/etc/rsync.passwd #存放用户的密码文件，格式是 用户名：密码。
创建提示文件和用户密码。
#编辑欢迎信息文件。
[root@xuegod64 ~]# echo "Welcome to Backup Server" > /etc/rsyncd.motd[root@xuegod64 ~]# vim /etc/rsync.passwd #创建并编写密码文件。rsyncuser:password123 #格式为 用户名称：密码。[root@xuegod64 ~]# chmod 600 /etc/rsync.passwd
#密码文件权限必须是700或者600，否则的话身份验证会失效。
重新启动服务
[root@xuegod64~]#systemctl restart rsyncd[root@xuegod64~]# rsync --daemon --config=/etc/rsyncd.conf #加载配置文件rsyncd.conf启动rsync服务。[root@xuegod64 ~]# netstat -antup | grep :873 #查看873端口是否监听。tcp 0 0:::873 :::* LISTEN 45089/xinetd
测试
rsync语法：rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录
[root@xuegod63 ~]# rsync -avz /var/www/html [email protected]::wwwrootWelcome to Backup ServerPassword: #输入密码password123
密码处理
新建一个文件保存好密码，然后在rsync命令中使用--password-file指定此文件即可
[root@xuegod63 ~]# vim /etc/rsync.passwd #创建密码文件，其中中需要指定密码即可。password123[root@xuegod63 ~]# chmod 600 /etc/rsync.passwd #赋予密码文件600权限。[root@xuegod63~]# rsync -avz /var/www/html \[email protected]::wwwroot --password-file=/etc/rsync.passwd 推 push[root@xuegod63~]#rsync -azP [email protected]::wwwroot /opt --password-file=/etc/rsync.passwd 拉 pull
2.4 脚本实现定时自动备份
[root@xuegod63 ~]# vim autobackup.sh #编写脚本。#!/bin/bashrsync -avz /var/www/html \rsyncuser@192.168.1.64::wwwroot -- password-file=/etc/rsync.passwd[root@xuegod63 ~]# chmod +x autobackup.sh #赋予脚本执行权限。[root@xuegod64 ~]# rm -rf /web-back/*[root@xuegod63 ~]# sh autobackup.sh #测试脚本。定义计划任务实现定时备份：[root@xuegod63 ~]# echo "01 3 * * * sh /root/autoback.sh &" >> /var/spool/cron/root
实时备份/同步 触发式同步
No.3
rsync+sersync实现数据实时同步
一台装sersync、一台装rsync服务
sersync服务器（数据源，源机器）：192.168.1.63
rsync客户端（备份端，目标机器）：192.168.1.64
rsync+inotify-tools与rsync+sersync架构的区别？
rsync+inotify-tools
inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来。
rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低。
rsync+sersync
sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字。
rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。
同步过程和原理：
1.用户实时的往sersync服务器上写入更新文件数据。
2.此时需要在同步主服务器上配置sersync服务。
3.在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据。
4.在另一台服务器开启rsync守护进程服务，使sersync push文件过来。
通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件，然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器，如图 2-3 所示。
3.1 下载sersync
1.在google code下载sersync的可执行文件版本，里面有配置文件与可执行文件
wget \
https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
#有时下载失败，所有要本地留存一份
2.上传到服务器 /opt目录下。
[root@xuegod63 ~]# cd /opt #切换工作目录到/opt目录下。[root@xuegod63 opt]# tar xvf ./sersync2.5.4_64bit_binary_stable_final.tar.gz #解压。[root@xuegod63 opt]# mv ./GNU-Linux-x86 ./sersync #解压后的文件重命名为sersync。
3.2 配置sersync
[root@xuegod63 opt]# cd sersync #切换工作目录至sersync目录下。[root@xuegod63 sersync]# cp confxml.xml confxml.xml.bak#备份配置文件，便于二次修改
1.更改优化sersync配置文件：
[root@xuegod63 sersync]# vim confxml.xml #修改配置文件中的24--28行，如下所示。<localpath watch="/var/www/html"> #本地同步数据目录。<remote ip="192.168.1.64" name="wwwroot"/> #rsync模块名称.<auth start="true" users="rsyncuser" passwordfile="/etc/rsync.passwd"/>#修改31--34行，认证部分（rsync密码认证）。
2.开启sersync守护进程同步数据。
[root@xuegod63 sersync]# /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml测试
在63 /var/www/html/ 目录 增加、删除、或改目录文件。
看64 /web-back 目录的变化
[root@xuegod64 web-back]# watch ls -l设置sersync监控开机自动执行
[root@xuegod63 sersync]# vim /etc/rc.d/rc.local #编辑rc.local文件，在最后添加一行。/opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml ＃设置开机自动运行脚本。[root@xuegod63 sersync]# chmod 755 /etc/rc.d/rc.local #添加执行权限。reboot 可以测试一下
添加脚本监控sersync是否正常运行
[root@xuegod63 ~]# vim /opt/check_sersync.sh #编辑脚本，添加以下代码。#!/bin/shsersync="/opt/sersync/sersync2"confxml="/opt/sersync/confxml.xml"status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)if [ $status -eq 0 ];then$sersync -d -r -o $confxml &elseexit 0;fi[root@xuegod63 ~]# chmod +x /opt /check_sersync.sh#添加脚本执行权限,把这个脚本加到任务计划，定期执行检测。