技术分享
rsync备份服务
2021-07-12
第1章 Rsync备份服务开篇介绍
1.1 Rsync介绍
1.1.1 什么是rsync服务
Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。Rsync软件适用于Unix/Linux/window等多种操作系统平台。
man rsync
NAME rsync — a fast, versatile, remote (and local) file-copying tool
提示信息：
man rsync 查看客户端
man rsyncd.conf 查看服务端配置
1.2 什么是全量，什么是增量
全量复制：本地所有数据都进行传输复制，不管对端服务器是否有相同的数据，如果有进行覆盖
增量复制：只备份同步变化的数据信息，对端服务器已经存在的数据，不进行传输复制
1.3 Rsync命令使用介绍
1.3.1 rsync软件 == scp命令
准备测试环境
[root@backup ~]# mkdir /wuhuang [root@backup ~]# touch /wuhuang/wuhuang-file{1..5} [root@backup ~]# ls /wuhuang/ wuhuang-file1 wuhuang-file2 wuhuang-file3 wuhuang-file4 wuhuang-file5 |
scp命令使用
-r 表示递归传输数据
-p 表示数据属性信息不变
远程传输文件： [root@backup ~]# scp -rp /wuhuang/wuhuang-file1 10.0.0.31:/tmp root@10.0.0.31's password: wuhuang-file1 100% 0 0.0KB/s 00:00 验证 [root@nfs01 ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 17:43 wuhuang-file1 远程传输目录： [root@backup ~]# scp -rp /wuhuang/ 10.0.0.31:/tmp root@10.0.0.31's password: wuhuang-file5 100% 0 0.0KB/s 00:00 wuhuang-file3 100% 0 0.0KB/s 00:00 wuhuang-file4 100% 0 0.0KB/s 00:00 wuhuang-file2 100% 0 0.0KB/s 00:00 wuhuang-file1 100% 0 0.0KB/s 00:00 验证 [root@nfs01 ~]# ll /tmp/ total 4 drwxr-xr-x 2 root root 4096 Jan 22 17:43 wuhuang -rw-r--r-- 1 root root 0 Jan 22 17:43 wuhuang-file1 |
rsync命令使用：
-r 表示递归传输数据
-p 表示数据属性信息不变
远程传输文件： [root@backup ~]# rsync -rp /wuhuang/wuhuang-file2 10.0.0.31:/tmp The authenticity of host '10.0.0.31 (10.0.0.31)' can't be established. RSA key fingerprint is 57:3f:64:68:95:4d:99:54:01:33:ab:47:a0:72:da:bf. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '10.0.0.31' (RSA) to the list of known hosts. root@10.0.0.31's password: 验证 [root@nfs01 ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 18:01 wuhuang-file2 远程传输目录： [root@backup ~]# rsync -rp /wuhuang/ 10.0.0.31:/tmp root@10.0.0.31's password: [root@nfs01 ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file1 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file2 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file3 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file4 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file5 说明：如果传输目录时，目录名称后面有/(/wuhuang/), 表示将目录下面的数据内容进行传输 [root@backup ~]# rsync -rp /wuhuang 10.0.0.31:/tmp root@10.0.0.31's password: [root@nfs01 ~]# ll /tmp/ total 4 drwxr-xr-x 2 root root 4096 Jan 22 18:10 wuhuang -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file1 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file2 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file3 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file4 -rw-r--r-- 1 root root 0 Jan 22 18:09 wuhuang-file5 说明：如果传输目录时，目录名称后面没有/(/wuhuang),表示将目录本身以及目录下面的内容进行传输 |
1.3.2 rsync软件 == cp命令
cp命令本地复制数据
[root@backup ~]# cp -a /wuhuang/wuhuang-file1 /tmp [root@backup ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 17:59 wuhuang-file1 |
rsync命令本地复制数据
[root@backup ~]# rsync -a /wuhuang/wuhuang-file2 /tmp/ [root@backup ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 17:59 wuhuang-file1 -rw-r--r-- 1 root root 0 Jan 22 17:59 wuhuang-file2 |
1.3.3 rsync软件 == rm命令
[root@backup ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 17:59 wuhuang-file1 -rw-r--r-- 1 root root 0 Jan 22 17:59 wuhuang-file2 [root@backup ~]# mkdir /null [root@backup ~]# rsync -r --delete /null/ /tmp/ [root@backup ~]# ll /tmp/ total 0 |
rsync利用一个空目录将目录清空
[root@backup ~]# rsync -r --delete /null/ 10.0.0.31:/tmp/ root@10.0.0.31's password: [root@nfs01 ~]# ll /tmp/ total 0 |
1.3.4 rsync软件 == ls命令
[root@backup ~]# ls /wuhuang/ wuhuang-file1 wuhuang-file2 wuhuang-file3 wuhuang-file4 wuhuang-file5 [root@backup ~]# rsync /wuhuang/ drwxr-xr-x 4096 2018/01/22 17:59:26 . -rw-r--r-- 0 2018/01/22 17:59:26 wuhuang-file1 -rw-r--r-- 0 2018/01/22 17:59:26 wuhuang-file2 -rw-r--r-- 0 2018/01/22 17:59:26 wuhuang-file3 -rw-r--r-- 0 2018/01/22 17:59:26 wuhuang-file4 -rw-r--r-- 0 2018/01/22 17:59:26 wuhuang-file5 |
1.4 Rsync复制原理介绍
Rsync软件实现增量同步原理说明
Rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，
当然也可根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以，可以实现快速的同步备份数据。
传统的cp , scp 工具拷贝每次均为完整的拷贝，而Rsync除了可以完整拷贝外，还具有增量拷贝的功能，
因此，从同步数据的性能及效率上，Rsync工具更胜一筹。
CentOS5，rsync2.x比对方法，把所有的文件比对一遍，然后进行同步。
CentOS6，rysnc3.x比对方法，一边比对差异，一边对差异的部分进行同步。
1.5 Rsync软件特性（7个特性）
1. 支持拷贝普通文件与特殊文件如链接文件，设备等。
2. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
#tar zcvf backup_1.tar.gz /opt/data -exclude=oldboy 说明：在打包/opt/data时就排除了oldboy命名的目录和文件。 |
3. 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。
4. 可实现增量同步，即只同步发生变化的数据，因此数据传输效率很高（tar -N）。
tar -N <日期格式> 或 --newer=<日期时间>：只将比指定日期更新的文件保存到备份文件里 1. # 将备份/home 目录自 2008-01-29 以来修改过的文件 # tar -N 2008-01-29 -zcvf /backups/inc-backup_$(date +%F).tar.gz /home 2. # 将备份 /home 目录昨天以来修改过的文件 # tar -N $(date -d yesterday "+%F") -zcvf /backups/inc-backup_$(date +%F).tar.gz /home # tar -N $(date -d -1day "+%F") -zcvf /backups/inc-backup_$(date +%F).tar.gz /home 3. # 添加文件到已经打包的文件 # tar -rf all.tar *.gif 说明：这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。 |
5. 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件（rsync本身不对数据加密）
6. 可以通过socket(守护进程方式)传输文件和数据（服务端和客户端）*****。重点掌握
7. 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。
1.6 Rsync的企业工作场景说明
1） 利用定时任务实现数据备份（crond+rsync）
2） 利用实时同步方式实现数据备份（inotify/sersync+rsync）
第2章 Rsync的工作方式介绍与实践
SYNOPSIS
2.1 Local: rsync [OPTION...] SRC... [DEST]
本地数据备份方式，类似cp命令
rsync ---数据备份命令
[OPTION...] ---指定备份数据命令参数
SRC ---本地要备份的数据信息
[DEST] ---将要备份的数据保存到什么位置
拷贝本地文件。当SRC和DEST路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如：rsync -a /data /backup
[root@backup ~]# rsync -a /etc/hosts /wuhuang/ [root@backup ~]# ll /wuhuang/ total 4 -rw-r--r-- 1 root root 372 Jan 19 11:55 hosts |
2.2 Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
实现远程备份方式，类似scp命令
Pull：
rsync ---数据备份命令
[OPTION...] ---指定备份数据命令参数
[USER@]HOST： ---定义以什么身份从相应主机上，拉取数据信息
（如果没有[USER@]，表示以当前用户身份登录到远程主机，拉取数据）
SRC... ---将要从远端服务拉取的数据信息（文件或目录）
[DEST] ---将拉取过来的数据，保存到本地路径信息
使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DEST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src
将backup服务器上的数据传输到NFS01上 [root@backup ~]# rsync -avz /wuhuang/wuhuang-file1 10.0.0.31:/opt root@10.0.0.31's password: sending incremental file list wuhuang-file1
sent 74 bytes received 31 bytes 23.33 bytes/sec total size is 0 speedup is 0.00 [root@nfs01 ~]# ls /opt/ rh wuhuang-file1 |
Push：
rsync ---数据备份命令
[OPTION...] ---指定备份数据命令参数
SRC... ---将本地服务器上数据信息（文件或目录），推送到远端
[USER@]HOST: ---定义以什么身份向相应主机上，推送数据信息
（如果没有[USER@]，表示以当前用户身份登录到远程主机，推送数据）
DEST ---将本地数据推送到远程服务器的路径信息
使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data
[root@nfs01 ~]# touch /tmp/wh.txt [root@nfs01 ~]# ll /tmp/ total 0 -rw-r--r-- 1 root root 0 Jan 22 20:24 wh.txt [root@backup ~]# rsync -avz 10.0.0.31:/tmp/ /wuhuang/ root@10.0.0.31's password: receiving incremental file list ./ wh.txt
sent 33 bytes received 85 bytes 21.45 bytes/sec total size is 0 speedup is 0.00 [root@backup ~]# ll /wuhuang/ total 4 -rw-r--r-- 1 root root 372 Jan 19 11:55 hosts -rw-r--r-- 1 root root 0 Jan 22 20:24 wh.txt -rw-r--r-- 1 root root 0 Jan 22 20:18 wuhuang-file1 -rw-r--r-- 1 root root 0 Jan 22 20:18 wuhuang-file2 -rw-r--r-- 1 root root 0 Jan 22 20:18 wuhuang-file3 -rw-r--r-- 1 root root 0 Jan 22 20:18 wuhuang-file4 -rw-r--r-- 1 root root 0 Jan 22 20:18 wuhuang-file5 |
2.3 Access via rsync daemon: 重点
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
实现守护进程方式，进行数据备份同步：
Pull：
rsync ---数据备份命令
[OPTION...] ---指定备份数据命令参数
[USER@]HOST:: ---指定认证用户身份信息，从相应主机，拉取数据信息
SRC... ---指定一个模块信息
[DEST] ---将拉取过来的数据，保存到本地路径信息
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av root@192.168.78.192::www /databack
www 为一个模块
Push：
rsync ---数据备份命令
[OPTION...] ---指定备份数据命令参数
SRC... ---将本地服务器上数据信息（文件或目录），推送到远端
[USER@]HOST:: ---指定认证用户身份信息，将本地主机数据，推送到远端
DEST ---指定一个模块信息
从本地机器拷贝文件到远程rsync服务器中。当DEST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databack root@192.168.78.192::www
www 为一个模块
第3章 rsync守护进程模式部署步骤
3.1 服务端部署
3.1.1 第一个里程：检查软件是否存在
[root@backup ~]# rpm -qa|grep rsync rsync-3.0.6-12.el6.x86_64 如果rsync软件不存在： yum install -y rsync |
3.1.2 第二个里程：编写rsync软件的配置文件
vim /etc/rsyncd.conf ---rsyncd.conf是rsync服务的默认配置文件，默认并不存在
#rsync_config #created by HQ at 2017 ##rsyncd.conf start##
uid = rsync gid = rsync use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ignore errors read only = false list = false hosts allow = 172.16.1.0/24 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password [backup] comment = "backup dir by oldboy" path = /backup |
参考资料：http://man.linuxde.net/rsync
3.1.3 第三个里程碑：创建备份目录管理用户
[root@backup ~]# vim /etc/rsyncd.conf [root@backup ~]# useradd -s /sbin/nologin -M rsync [root@backup ~]# id rsync uid=501(rsync) gid=501(rsync) groups=501(rsync) |
3.1.4 第四个里程碑：创建认证用户密码文件
创建密码文件，采用这种方式不能使用系统用户对客户端进行认证，所以需要创建一个密码文件，其格式为“username:password”，用户名可以和密码可以随便定义，最好不要和系统帐户一致，同时要把创建的密码文件权限设置为600，保证安全，密码不泄露。
[root@backup ~]# echo "rsync_backup:wuhuang123" >/etc/rsync.password [root@backup ~]# chmod 600 /etc/rsync.password [root@backup ~]# ll /etc/rsync.password -rw------- 1 root root 23 Jan 22 20:51 /etc/rsync.password |
3.1.5 第五个里程碑：创建备份目录,并进行授权
在备份或恢复时，服务端要允许客户端有写入权限，否则也不能在客户端直接对服务端进行恢复
[root@backup ~]# mkdir /backup [root@backup ~]# chown -R rsync.rsync /backup/ [root@backup ~]# ll /backup/ -d drwxr-xr-x 2 rsync rsync 4096 Jan 22 20:56 /backup/ |
3.1.6 第六个里程碑：启动rsync守护进程服务
[root@backup ~]# rsync --daemon [root@backup ~]# ps -ef|grep rsync root 1870 1 0 20:59 ? 00:00:00 rsync --daemon root 1879 1228 0 21:00 pts/0 00:00:00 grep rsync [root@backup ~]# netstat -lntup|grep rsync tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1870/rsync tcp 0 0 :::873 :::* LISTEN 1870/rsync |
3.2 客户端部署
3.2.1 进行测试传输备份数据
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup Password: sending incremental file list hosts
sent 201 bytes received 27 bytes 24.00 bytes/sec total size is 372 speedup is 1.63 [root@backup ~]# ll /backup/ total 4 -rw-r--r-- 1 rsync rsync 372 Jan 19 11:55 hosts |
3.3 rsync守护进程模式数据传输原理
第4章 杀进程的三种方式
4.1 kill
kill命令用来删除执行中的程序或工作。kill可将指定的信息送至程序。预设的信息为SIGTERM(15),可将指定程序终止。若仍无法终止该程序，可使用SIGKILL(9)信息尝试强制删除程序。程序或工作的编号可利用ps指令或job指令查看。
kill杀手：针对进程号，杀死进程，并且会提示进程已杀死
kill 进程号
4.1.1 语法
kill(选项)(参数)
4.1.2 选项
-a：当处理当前进程时，不限制命令名和进程号的对应关系；
-l <信息编号>：若不加<信息编号>选项，则-l参数会列出全部的信息名称；
-p：指定kill 命令只打印相关进程的进程号，而不发送任何信号；
-s <信息名称或编号>：指定要送出的信息；
-u：指定用户。
4.1.3 参数
进程或作业识别号：指定要删除的进程或作业。
4.1.4 实例
列出所有信号名称：
[root@backup ~]# kill -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIGALRM 15) SIGTERM 16) SIGSTKFLT 17) SIGCHLD 18) SIGCONT 19) SIGSTOP 20) SIGTSTP 21) SIGTTIN 22) SIGTTOU 23) SIGURG 24) SIGXCPU 25) SIGXFSZ 26) SIGVTALRM 27) SIGPROF 28) SIGWINCH 29) SIGIO 30) SIGPWR 31) SIGSYS 34) SIGRTMIN 35) SIGRTMIN+1 36) SIGRTMIN+2 37) SIGRTMIN+3 38) SIGRTMIN+4 39) SIGRTMIN+5 40) SIGRTMIN+6 41) SIGRTMIN+7 42) SIGRTMIN+8 43) SIGRTMIN+9 44) SIGRTMIN+10 45) SIGRTMIN+11 46) SIGRTMIN+12 47) SIGRTMIN+13 48) SIGRTMIN+14 49) SIGRTMIN+15 50) SIGRTMAX-14 51) SIGRTMAX-13 52) SIGRTMAX-12 53) SIGRTMAX-11 54) SIGRTMAX-10 55) SIGRTMAX-9 56) SIGRTMAX-8 57) SIGRTMAX-7 58) SIGRTMAX-6 59) SIGRTMAX-5 60) SIGRTMAX-4 61) SIGRTMAX-3 62) SIGRTMAX-2 63) SIGRTMAX-1 64) SIGRTMAX |
只有第9种信号(SIGKILL)才可以无条件终止进程，其他信号进程都有权利忽略，下面是常用的信号：
HUP 1 终端断线 INT 2 中断（同 Ctrl + C） QUIT 3 退出（同 Ctrl + \） TERM 15 终止 KILL 9 强制终止 CONT 18 继续（与STOP相反， fg/bg命令） STOP 19 暂停（同 Ctrl + Z） |
先用ps查找进程，然后用kill杀掉：
[root@backup ~]# ps -ef | grep vim root 3268 2884 0 16:21 pts/1 00:00:00 vim install.log root 3370 2822 0 16:21 pts/0 00:00:00 grep vim [root@backup ~]# kill 3268 [root@backup ~]# kill 3268 -bash: kill: (3268) - 没有那个进程 |
4.2 killall
killall命令使用进程的名称来杀死进程，使用此指令可以杀死一组同名进程。我们可以使用kill命令杀死指定进程PID的进程，如果要找到我们需要杀死的进程，我们还需要在之前使用ps等命令再配合grep来查找进程，而killall把这两个过程合二为一，是一个很好用的命令。
killall杀手：针对进程名，杀死进程，并且会提示进程已杀死 killall sshd |
4.2.1 语法
killall(选项)(参数)
4.2.2 选项
-e：对长名称进行精确匹配；
-l：忽略大小写的不同；
-p：杀死进程所属的进程组；
-i：交互式杀死进程，杀死进程前需要进行确认；
-l：打印所有已知信号列表；
-q：如果没有进程被杀死。则不输出任何信息；
-r：使用正规表达式匹配要杀死的进程名称；
-s：用指定的进程号代替默认信号“SIGTERM”；
-u：杀死指定用户的进程。
4.2.3 参数
进程名称：指定要杀死的进程名称。
4.2.4 实例
杀死所有同名进程
| [root@backup ~]# killall vi |
4.3 pkill
pkill杀手：针对进程名，杀死进程，但是一个模糊的杀手，残暴的杀手（不会有提示信息）
pkill sshd
[root@backup ~]# ps -ef |grep sh root 536 2 0 17:57 ? 00:00:00 [flush-8:0] root 1188 1 0 17:57 ? 00:00:00 /usr/sbin/sshd root 1229 1188 0 17:58 ? 00:00:00 sshd: root@pts/0 root 1231 1229 0 17:58 pts/0 00:00:00 -bash root 1734 1188 0 19:54 ? 00:00:00 sshd: root@pts/1 root 1736 1734 0 19:54 pts/1 00:00:00 -bash root 1908 1231 1 21:28 pts/0 00:00:00 grep sh [root@backup ~]# pkill sh 此命令同时杀死了以上进程 |
- 标签：
-
技术分享
