局域网网站建设多少钱,长沙网络推广专员,做网站很烧钱,wordpress 图片分离rsync 备份工具(附rsyncinotify 实时同步部署实例#xff09; 1、rsync概述1.1关于rsync1.2rsync 的特点1.3工作原理 2、rsync相关命令2.1基本格式和常用选项2.2启动和关闭rsync服务2.3下行同步基本格式2.4上行同步基本格式2.5免交互2.5.1指定密码文件2.5.2rsync-daemon方式2.… rsync 备份工具(附rsyncinotify 实时同步部署实例 1、rsync概述1.1关于rsync1.2rsync 的特点1.3工作原理 2、rsync相关命令2.1基本格式和常用选项2.2启动和关闭rsync服务2.3下行同步基本格式2.4上行同步基本格式2.5免交互2.5.1指定密码文件2.5.2rsync-daemon方式2.5.3rsync-ssh方式 2.6定期同步 3、部署rsync定期同步3.1配置rsync源服务器节点13.2发起端节点23.3发起端配置 rsyncinotify 4、使用rsync快速删除大量文件 1、rsync概述
1.1关于rsync
Rsync ( Remote sync)是一个远程数据同步工具一款快速增量备份工具使用于unix/Linux/windows等多种平台。
Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步这个算法只传送两个文件的不同部分而不是每次都整份传送因此速度相当快。
运行 Rsync server 的机器也叫 backup server一个 Rsync server 可同时备份多个 client 的数据也可以多个Rsync server 备份一个 client 的数据。
Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。
Rsync server 会打开一个873的服务通道port等待对方 Rsync 连接。 连接时Rsync server 会检查口令是否相符若通过口令查核则可以开始进行文件传输。
第一次连通完成时会把整份文件传输一次下一次就只传送二个文件之间不同的部份。
官方网站: http://rsync.samba.org
1.2rsync 的特点
可以镜像保存整个目录树和文件系统可以很容易做到保持原来文件的权限、时间、软硬链接等无须特殊权限即可安装优化的流程文件传输效率高可以使用 rcp、ssh 等方式来传输文件当然也可以通过直接的 socket 连接支持匿名传输。
1.3工作原理 在远程同步任务中负责发起rsync同步操作的客户机称为发起端而负责响应来自客户机的rsync同步操作的服务器称为rsync同步源。
首先服务器B发起源向服务器A同步源进行数据备份将自己的数据备份到服务器A中。
当服务器B中的数据遭到损失或者增量的时候都会从服务器A中进行数据同步。
服务器B数据丢失则从服务器A中同步数据丢失的部分。
当服务器B数据增多了就会再次向服务器A进行数据备份但是备份的不是完整备份而是增量备份即备份同步源中没有的数据。
2、rsync相关命令
2.1基本格式和常用选项 #基本格式 rsync [选项] 原始位置 目标位置 2.2启动和关闭rsync服务
启动服务
//启动 rsync 服务以独立监听服务的方式守护进程运行
rsync --daemon 关闭服务
//关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid2.3下行同步基本格式 从源服务器拉数据 rsync [选项] 源服务器位置 本地位置
##举个例子#
#格式一
rsync -avz test192.168.2.102::message /opt/ #格式二
rsync -avz rsync://test192.168.2.102/message /opt/#test为配置文件中的授权账户
#IP地址为同步源地址
#message 为配置文件中定义的共享模块2.4上行同步基本格式 推数据到源服务器 rsync [选项] 本地位置 源服务器位置2.5免交互
2.5.1指定密码文件
echo abc123 /etc/server.pass
chmod 600 /etc/server.pass2.5.2rsync-daemon方式
rsync -avz --delete --password-file/opt/userlist yiliangchen192.168.80.30::wwwky31 /opt/data/ #rsync-daemon方式2.5.3rsync-ssh方式
rsync -avz --delete -e sshpass -p abc1234 ssh -p 22 /etc/yum.repos.d root192.168.80.20:/opt/data #rsync-ssh方式2.6定期同步 结合crontab计划任务可以实现定期同步。 #举个例子
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file/etc/server.pass backuper192.168.80.10::wwwroot /opt/
#为了在同步过程中不用输入密码需要创建一个密码文件保存 backuper 用户的密码如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file/etc/server.pass” 指定即可。systemctl restart crond
systemctl enable crond3、部署rsync定期同步
3.1配置rsync源服务器节点1
yum install -y rsync
//安装rsync服务rpm -qc rsync //查看rsync配置文件位置#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf //添加以下配置项uid root
gid root
use chroot yes #禁锢在源目录
max connections 4
address 192.168.190.100 #监听地址
port 873 #监听端口 tcp/udp 873可通过cat /etc/services | grep rsync查看
log file /var/log/rsyncd.log #日志文件位置
pid file /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow 192.168.190.0/24 #允许访问的客户机地址
dont compress *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型[wwwroot] #共享模块名称
path /var/www/html #源目录的实际路径
comment document Root of www
read only no #是否为只读
auth users fsj #授权账户多个账号以空格分隔
secrets file /opt/rsyncd_userlist#存放账户信息的数据文件
#如采用匿名的方式只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件vim /opt/rsyncd_userlist
fsj:abc123 #无须建立同名系统用户chmod 600 /etc/rsyncd_users.dbmkdir -p /var/www/html //创建文件夹rsync --daemon #启动 rsync 服务以独立监听服务的方式守护进程运行 netstat -anpt | grep rsynccd /var/www/htmlcp /etc/fatab ./3.2发起端节点2
yum install -y rsync
//安装rsync服务启动 rsync 服务程序
rsync --daemon
#启动 rsync 服务以独立监听服务的方式守护进程运行 netstat -anpt | grep rsynccd /opt //切换到opt目录
ls
mkdir data //在opt目录下创建data目录
cd data //切换到data目录
ls#将指定的资源下载到本地/opt 目录下进行备份。
格式一
rsync -avz fsj192.168.190.100::wwwky31 /opt/data #密码abc123格式二
rsync -avz rsync://fsj192.168.190.100/wwwky31 /opt/data免交互格式配置
echo abc123 /etc/server.pass
chmod 600 /etc/server.passrsync -avz --delete --password-file/opt/rsync_passwd fsj192.168.190.100::wwwky31 /opt/data3.3发起端配置 rsyncinotify 使用inotify通知接口可以用来监控文件系统的各种变化情况如文件存取、删除、移动、修改等。利用这一机制可以非常方便地实现文件异动告警、增量备份并针对目录或文件的变化及时作出响应。将inotify机制与rsync工具相结合可以实现触发式备份实时同步即只要原始位置的文档发生变化则立即启动增量备份操作否则处于静默等待状态。这样就避免了按固定周期备份时存在的延迟性、周期过密等问题。 因为 inotify 通知机制由 Linux 内核提供因此主要做本机监控在触发式备份中应用时更适合上行同步。 修改rsync源服务器配置文件
vim /etc/rsyncd.conf
......
read only no #关闭只读上行同步需要可以写kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon
netstat -anpt | grep rsyncchmod 777 /var/www/html/调整 inotify 内核参数
vim /etc/sysctl.conf
fs.inotify.max_queued_events 16384
fs.inotify.max_user_instances 1024
fs.inotify.max_user_watches 1048576安装 inotify-tools 用 inotify 机制还需要安装 inotify-tools以便提供 inotifywait、inotifywatch 辅助工具程序用来监控、汇总改动情况。 inotifywait可监控modify修改、create创建、move移动、delete删除、attrib属性更改等各种事件一有变动立即输出结果。 inotifywatch可用来收集文件系统变动情况并在运行结束后输出汇总的变化情况。 cd /opt
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make make install然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /var/www/html在另外一个终端编写触发式同步脚本注意脚本名不可包含 rsync 字符串否则脚本可能不生效 yum install -y rsync
//安装rsync服务cd /opt
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make make installvim inotify.sh
#!/bin/bash
INOTIFY_CMDinotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/
RSYNC_CMDrsync -azH --delete --password-file/opt/rsync_passwd /vopt/data/fsj192.168.190.100::wwwky31/
#使用while、read持续获取监控结果根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
doif [ $(pgrep rsync | wc -l) -le 0 ] ; then#如果rsync未在执行则立即启动$RSYNC_CMDfi
donechmod x inotify.shecho admin123 /opt/rsync_passwd
chmod 600 /opt/rsync_passwd4、使用rsync快速删除大量文件 使用rm -rf *删除大量文件时效率较低。 此时利用rsync的替换原理结合–delete选项可以实现快速删除大量文件比如服务的缓存。
