全网备份

1.1全网备份项目介绍说明：

将全网架构中所有服务器上重要的数据进行汇总备份保存

自动化：数据信息的自动备份

规范化：避免备份数据出错

1.2 全网备份项目实施过程

①. 规划定义好备份服务器

a 部署rsync备份服务(采用rsync守护进程方式)

b 编写脚本文件管理备份数据信息

c 编写定时任务执行脚本管理数据（难点）

②. 确认验证好架构服务器

a 验证rsync备份服务

b 编写脚本文件统一备份数据信息（难点）

c 编写定时任务执行脚本备份数据

1.3 全网备份项目rsync守护进程模式部署

1.3.1 rysnc服务端部署操作

1. 验证软件是否存在

[root@backup~]# rpm -qa rsync

rsync-3.0.6-12.el6.x86_64

1. 检查配置文件

2. ##rsyncd.conf start## 配置文件描述信息

3. uid = rsync #用户 远端的命令使用rsync访问共享目录

4. gid = rsync #用户组

5. use chroot = no #安全相关

6. max connections = 200 #最大的连接数

7. timeout = 300 #超时时间

8. pid file = /var/run/rsyncd.pid #存放服务运行的时候 进程的ID号（PID）

9. lock file = /var/run/rsync.lock #进程的锁文件

10. log file = /var/log/rsyncd.log #运行程序日志文件，显示出错信息等

11. [backup] #模块名称

12. path = /backup #模块对应的位置（路径）

13. ignore errors #忽略错误程序

14. read only = false #是否只读

15. list = false #是否可以列表

16. hosts allow = 172.16.1.0/24 #允许访问rsync服务器的客户范围（白名单）

17. hosts deny = 0.0.0.0/32 #禁止访问rsync服务器的客户范围（黑名单）

18. auth users = rsync_backup #不存在的用户，只用于开门（认证）

19. secrets file = /etc/rsync.passwor #不存在的用户进行认证时的密钥文件

20. comment = "backup dir by oldboy" #

21. 创建虚拟用户管理rsync程序

[root@backup~]# # 创建用户

[root@backup~]# useradd -s /sbin/nologin -M rsync

创建完成后查看

[root@backup~]# id rsync

uid=500(rsync)gid=500(rsync) groups=500(rsync)

4. 检查rsync服务认证用户密码文件是否存在

[root@backup~]# cat /etc/rsync.password

rsync_backup:123456

记得检查密码文件权限是不是600

[root@backup~]# chmod 600 /etc/rsync.password

[root@backup~]# ll /etc/rsync.password

-rw------- 1root root 20 May 4 12:04/etc/rsync.password

5. 创建共享存储目录

[root@backup~]# # 创建目录

[root@backup~]# mkdir /backup -p

[root@backup~]# ll -d /backup/

drwxr-xr-x 2root root 4096 May 4 12:00 /backup/

[root@backup~]# # 修改备份目录权限

[root@backup~]# chown -R rsync.rsync /backup/

[root@backup~]# ll -d /backup/

drwxr-xr-x 2rsync rsync 4096 May 4 12:00 /backup/

6. 启动rsync 服务器

[root@backup~]# ps -ef |grep rsync

root 5138 1 0 01:31 ? 00:00:00 rsync --daemon

root 6503 6391 0 09:04 pts/1 00:00:00 grep --color=auto rsync

[root@backup~]# netstat -luntp |grep 873

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 5138/rsync

tcp 0 0 :::873 :::* LISTEN 5138/rsync

没有的话 打开

rsync --daemon

7. 将rsync启动命令放入到开机自启动文件中

[root@backup~]# echo "rsync --daemon" >> /etc/rc.local

[root@backup~]# tail -1 /etc/rc.local

rsync--daemon

1.3.2 rsync客户端验证操作

第一个里程碑要做

1. 创建用户认证密码文件，实现数据备份传输免密钥

[root@nfs01~]# cat /etc/rsync.password

123456

查看目录权限 修改成600

[root@nfs01~]# ll /etc/rsync.password

-rw-------1 root root 7 May 5 10:02/etc/rsync.password

2. 测试rsync服务数据备份传输

1.4 全网备份项目脚本编写

1.4.1 rsync客户端脚本编写需求

1. 本地创建backup备份目录 mkdir -p /backup

2. 将备份数据统一压缩进行保存 有软链接文件 tar -zchf

3. 推送备份目录数据到rsync备份服务器上 --password-file=

4. 删除本地保存的7天前的数据信息

find /backup/$Host_IP -type f -mtime+7 -name "*.tar.gz" |xargs rm -f

5. 对备份数据数据进行验证，加上指纹信息 md5sum 生成数据文件指纹信息

vim/server/scripts/backup_nginx.sh

#!/bin/bash

#oldboy at2017 5 backup data

Host_IP=$(hostname-I|awk '{print $2}')

Date_info=$(date+%F_week0%w)

# createbackup data dir

mkdir -p/backup

mkdir/var/html/www -p

mkdir/app/logs/ -p

# tar datainfo

cd /&&\

mkdir /backup/$Host_IP-p

tar zchf/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables

tar zchf/backup/$Host_IP/www_date_${Date_info}.tar.gz ./var/html/www

tar zchf/backup/$Host_IP/logs_date_${Date_info}.tar.gz ./app/logs

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt

# rsync pushdata to rsync_server

rsync -az/backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

# cleardata info for 7 day ago

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*" |xargs rm -f

1.4.2 rsync服务端脚本编写需求

a. 验证数据完整性 md5sum -c 客户端传输过来的指纹文件

b. 将完整性验证结果，通过邮件发送给监管人员 邮箱的配置 与 发送邮件的方式(两种方式发送邮件)

01：发送邮件方式，利用文件方式表示邮件内容

mail -s "check data" 18735676310@163.com

02：发送邮件，利用命令行方式表示邮件内容

# echo "系统有异常问题，请检查系统"|mail -s "异常告警" 18735676310@163.com

说明：echo后面接上要发送的邮件信息，mail -s后面接上邮件标题，最后表示要将邮件发送给谁

c. 将180天的数据进行删除，保留每周一的数据

find /backup/ -type f -mtime +180 !-name "*week01.tar.gz"|xargs rm -f

vim /server/scritps/backup_rsync.sh

[root@backuptmp]# cat /server/scripts/backup_server.sh

#!/bin/bash

Date_info=$(date+%F_week0%w)

# check datainfo

find /backup/-type f -name "finger_${Date_info}.txt" |xargs md5sum -c>/tmp/figer_cheak.txt

# send cheakinfo mail

mail -s"cheak date" 18735676310@163.com

# delete180day ago date ; save week01

find /backup/-type f -mtime +180 ! -name "*week01.tar.gz" |xargs rm -f

1.5 全网备份项目定时任务编写

① rsync客户端编写定时任务

nginx客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nginx.sh >/dev/null 2>&1

nfs客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nfs.sh >/dev/null 2>&1

② .rsync服务端编写定时任务

rsync服务端的定时任务

#crotab-id002:backup NFS nginx

00 06 * * * /bin/bash/server/scripts/backup_rsync.sh >/dev/null 2>&1

上面两个客户端的定时任务写的是每天晚上12点整进行打包发送，而rsync服务器的定时任务是每天早上6点进行发送。

1.6 全网备份项目难点分析

① . 每周一的数据进行保存，确认清楚什么是周一的数据

/backup/$(hostname-I|awk '{print $2}')/sysbak_date_$(date+%F_week0%w).tar.gz./var/spool/cron/root

所以在打包压缩文件的时候就考虑到了这一点$(date+%F_week0%w)这个在文件名字上面加上了周几，所以在保存数据的时候能起到关键性作用。

find /backup/ -type f -mtime +180 ! -name"*week01.tar.gz" |xargs rm -f

② . 验证数据完整性是什么概念

因为数据是从客户端传过来的，为了保证数据没有修改和丢失，在发送数据时，给数据进行加密处理，然后服务端收到数据和加密处理文件时，会进行比对。如果串码一样，说明没有丢失和修改。

If you do not leave me . I will by your side untillthe life end

四级水平：你如果不离开我，我就和你同归于尽，

六级水平：你若不离不弃，我必生死相依。

八级水平：问世间情为何物？直教人生死相许。

十级水平：天地合，乃敢与君绝。

佛祖水平：你在或不在，爱就在那里，不增不减。

1.7 全网备份项目部署

1.7.1 第一个里程碑：实现数据传输备份

rsync守护进程模式配置步骤

检查服务端

1. 1. 检查软件是否存在

[root@backup~]# rpm -qa rsync

rsync-3.0.6-12.el6.x86_64

1. 2. 检查配置文件

[root@backup~]# cat /etc/rsyncd.conf

##rsyncd.conftart##

uid =rsync

gid =rsync

usechroot = no

maxconnections = 200

timeout= 300

pidfile = /var/run/rsyncd.pid

lockfile = /var/run/rsync.lock

logfile = /var/log/rsyncd.log

[backup]

path= /backup

ignoreerrors

readonly = false

list= false

hostsallow = 172.16.1.0/24

hostsdeny = 0.0.0.0/32

authusers = rsync_backup,oldboy

secretsfile = /etc/rsync.password

[data]

path= /data

ignoreerrors

readonly = false

list= false

hostsallow = 172.16.1.0/24

hostsdeny = 0.0.0.0/32

authusers = rsync_backup,oldboy

secretsfile = /etc/rsync.password

1. 3. 创建虚拟用户管理rsync程序

[root@backup~]# # 创建用户

[root@backup~]# useradd -s /sbin/nologin -M rsync

1. 4. 检查rsync服务认证用户密码文件是否存在

[root@backup~]# cat /etc/rsync.password

rsync_backup:123456

记得检查密码文件权限是不是600

1. 5. 创建共享存储目录

mkdir /backup/ -p

修改目录的属组和属主

[root@backup~]# ll -d /backup/

drwxr-xr-x5 rsync rsync 4096 May 5 15:35 /backup/

1. 6. 启动rsync 服务器

[root@backup~]# ps -ef |grep rsync

root 5138 1 0 01:31 ? 00:00:00 rsync --daemon

root 6503 6391 0 09:04 pts/1 00:00:00 grep --color=auto rsync

[root@backup~]# netstat -luntp |grep 873

tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 5138/rsync

tcp 0 0 :::873 :::* LISTEN 5138/rsync

没有的话 打开

rsync --daemon

1. 7. 将rsync启动命令放入到开机自启动文件中

[root@backup~]# echo "rsync --daemon" >> /etc/rc.local

[root@backup~]# tail -1 /etc/rc.local

rsync--daemon

客户端：
1. 创建用户认证密码文件，实现数据备份传输免密钥

[root@nfs01~]# cat /etc/rsync.password

123456

查看目录权限 修改成600

[root@nfs01~]# ll /etc/rsync.password

-rw-------1 root root 7 May 5 10:02 /etc/rsync.password

2. 测试rsync服务数据备份传输

第二个里程碑：编写数据备份脚本

nginx nfs

--rsync客户端编写的备份脚本

客户端nginx编写的脚本

vim/server/scripts/backup_nginx.sh 要规范脚本的名称和存放脚本的目录

#!/bin/bash 命令解释器

#oldboy at2017 5 backup data 必要的注释

Host_IP=$(hostname-I|awk '{print $2}') 设置的别名

Date_info=$(date+%F_week0%w) 设置的别名

# createbackup data dir 要创建的目录

mkdir -p/backup

mkdir/var/html/www -p

mkdir/app/logs/ -p

# tar datainfo 打包目的的注释

cd /&&\ 一定要在根目录下面进行打包，

mkdir/backup/$Host_IP -p

tar zchf/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables 记得要加h参数，可以打包软链接

tar zchf /backup/$Host_IP/www_date_${Date_info}.tar.gz ./var/html/www

tar zchf/backup/$Host_IP/logs_date_${Date_info}.tar.gz ./app/logs

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt 把找到的文件进行加密

# rsync pushdata to rsync_server

rsync -az/backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

免密钥进行打包传输数据

# cleardata info for 7 day ago 删除七天前的文件

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*" |xargs rm -f

--nfs 客户端编写的备份脚本

vim/server/scripts/backup_nfs.sh 要规范脚本的名称和存放脚本的目录

#!/bin/bash 命令解释器

#oldboy at2017 5 backup data 必要的注释

Host_IP=$(hostname-I|awk '{print $2}')

Date_info=$(date+%F_week0%w)

# createbackup data dir

mkdir -p/backup

# tar datainfo

cd /&&\ 一定要在根目录下面进行打包

mkdir/backup/$Host_IP -p

tar zchf

/backup/$Host_IP/sysbak_date_${Date_info}.tar.gz ./var/spool/cron/root ./etc/rc.local./server/scripts ./etc/sysconfig/iptables 记得要加h参数，可以打包软链接

# rsync pushfiger info

find/backup/$Host_IP/ -type f -name "*${Date_info}.tar.gz" |xargs md5sum>/backup/$Host_IP/finger_${Date_info}.txt

把找到的文件进行加密

# rsync pushdata to rsync_server

rsync -az/backup/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

免密钥进行打包传输数据

# cleardata info for 7 day ago

find/backup/$Host_IP -type f -mtime +7 -name "*.tar.gz" |xargs rm -f

find/backup/$Host_IP -type f -mtime +7 -name "finger*" |xargs rm -f

备份服务器端 --rsync服务端编写备份脚本

--rsync服务端编写备份脚本

vim/server/scripts/backup_rsync.sh要规范脚本的名称和存放脚本的目录

#!/bin/bash 命令解释器

Date_info=$(date+%F_week0%w)

# check datainfo 查找传过来的密码就行比对，将结果追加到figer_cheak.txt文件中

find /backup/-type f -name "finger_${Date_info}.txt" |xargs md5sum -c>/tmp/figer_cheak.txt

# send cheakinfo mail 把文件的内容发送到邮箱

mail -s"cheak date" 18735676310@163.com

# delete180day ago date ; save week01 删除180天的文件除了每星期一的文件

find /backup/-type f -mtime +180 ! -name "*week01.tar.gz" |xargs rm -f

第三个里程碑：配置定时任务

①rsync客户端编写定时任务

nginx客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nginx.sh >/dev/null 2>&1

nfs客户端的定时任务

#crond-id-002:push backup torsync

00 00 * * * /bin/bash/server/scripts/backup_nfs.sh >/dev/null 2>&1

②. rsync服务端编写定时任务

rsync服务端的定时任务

#crotab-id002:backup NFS nginx

00 06 * * * /bin/bash/server/scripts/backup_rsync.sh >/dev/null 2>&1

上面两个客户端的定时任务写的是每天晚上12点整进行打包发送，而rsync服务器的定时任务是每天早上6点进行发送。因为如果服务端也是晚上12点整进行备份，怕客户端的还没有发送过来就没有文件，所有往后推一点时间最好。

1.8 全网备份用到的知识点

1.8.1 md5sum

对传输的文件进行加密

[root@nfs01~]# md5sum /etc/hosts

c559a5da81a3ecc708ae5d84985a0776 /etc/hosts

指纹加密特点：雪崩效应

1.8.2 发送邮件修改的配置文件 vim /etc/mail.rc

进入到邮件发送的配置文件中，编辑发送邮件的参数信息

vim/etc/mail.rc

setfrom=18735676310@163.com smtp=smtp.163.com

setsmtp-auth-user=18735676310@163.com smtp-auth-password=Zr950220 smtp-auth=login

setfrom=邮箱地址@163.com smtp=smtp.163.com <-邮件发送邮件服务器域名，此处为163邮箱的发送服务器域名

setsmtp-auth-user=邮箱账号 smtp-auth-password=登录邮箱密码 smtp-auth=login

说明：设置发送邮件是从哪个公共邮箱地址发送，采用的发送邮件服务器域名，公共邮箱账号和密码

1.8.3 发送邮件的方式(两种方式发送邮件)

01：发送邮件方式，利用文件方式表示邮件内容

mail -s "check data"2722982316@qq.com

02：发送邮件，利用命令行方式表示邮件内容

# echo "系统有异常问题，请检查系统"|mail -s "异常告警" 17778058507@163.com

说明：echo后面接上要发送的邮件信息，mail -s后面接上邮件标题，最后表示要将邮件发送给谁