Linux系统下数据同步服务RSYNC

一、RSYNC概述

1、什么是rsync

rsync的好姐妹

  • sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。

  • async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。

  • rsync 远程同步：==remote synchronous==

数据同步过程

sync数据同步 => 保存文件（目标）=> 强制把缓存中的数据写入磁盘（立即保存），实时性要求比较高的场景

asyn数据异步 => 保存文件（目标）=> 将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘，适合大批量数据同步的场景

2、rsync特点

  • 可以镜像保存整个目录树和文件系统

  • 可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl，文件属性(attributes)信息等

  • 传输==效率高==，使用同步算法，只比较变化的（增量备份）

    file1.txt file2.txt file3.txt(A服务器)

    rsync实现数据同步 => 只同步file3.txt => 增量备份

    file1.txt file2.txt(B服务器)

  • 支持匿名传输，方便网站镜像；也可以做验证，加强安全

3、rsync与scp的区别

两者都可以实现远程同步，但是相对比而言，rsync能力更强

① 支持增量备份 ② 数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

# man rsync
NAME
       rsync — a fast, versatile, remote (and local) file-copying tool
       //一种快速、通用、远程（和本地）的文件复制工具
SYNOPSIS
       //本地文件同步
       Local:rsync [OPTION...] SRC... [DEST]
       //远程文件同步
       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST        
OPTION选项说明
-v      详细模式输出
-a      归档模式，递归的方式传输文件，并保持文件的属性，equals -rlptgoD
-r      递归拷贝目录
-l      保留软链接
-p      保留原有权限
-t      保留原有时间（修改）
-g      保留属组权限
-o      保留属主权限
-D      等于--devices  --specials    表示支持b,c,s,p类型的文件
-R      保留相对路径
-H      保留硬链接
-A      保留ACL策略
-e      指定要执行的远程shell命令，ssh更改端口常用选项
-E      保留可执行权限
-X      保留扩展属性信息  a属性

PUSH：推，相当于上传；PULL：拉，相当于下载

2、本地文件同步

本地文件同步简单理解就是把文件从一个位置（同步=>拷贝）到另外一个位置（类似cp）

案例：/dir1、/dir2与/dir3，/dir1中创建三个文件file1、file2、file3，使用rsync本地同步

# mkdir /dir1
# mkdir /dir2
# mkdir /dir3
​
# touch /dir1/file{1..3}
​
# rsync -av /dir1/ /dir2        =>   把/dir1目录中的所有文件拷贝到/dir2目录中
# rsync -av /dir1 /dir3         =>   把/dir1目录整体同步到/dir3目录中

案例：rsync -R选项的应用（保留相对路径）

# rsync -avR /dir1/ /dir2

案例：rsync --delete（删除目标目录里多余的文件）

/dir1 === /dir2

file1、file2 file1、file2、file3

rsync --delete同步后，会自动删除file3文件。（让dir1与dir2目录中的文件高度一致）

# rsync -av --delete /dir1/ /dir2

3、远程文件同步

Push：上传文件到远程服务器端

# rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

案例：把linux.txt文档传输到远程服务器端（10.1.1.100）

# rsync -av linux.txt

案例：把shop文件夹传输到远程服务器端（10.1.1.100）

# rsync -av shop root@10.1.1.100:/root

Pull：下载文件到本地服务器端

# rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

案例：把远程服务器（10.1.1.100）的/etc/hosts文件下载到本地

# rsync -av root@10.1.1.100:/etc/hosts ./

案例：把远程服务器（10.1.1.100）的/shop文件夹下载到本地

# rsync -av root@10.1.1.100:/shop ./

思考：

问题1：rsync远程同步数据时，默认情况下为什么需要密码？如果不想要密码同步怎么实现？

rsync在远程同步时，之所以要输入密码的主要原因在于其底层还是基于SSH服务的。SSH有两种认证方式，如果没有配置免密则默认使用用户名+密码的认证方式。

不想要密码同步，可以考虑使用SSH免密操作。

Code => Backup

Code：

# ssh-keygen -t rsa -P ""
# ssh-copy-id root@10.1.1.100

问题2：如果Backup服务器端更改了SSH的默认密码，那这个数据该如何？

#  rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

4、rsync作为系统服务

默认情况下，rsync只是作为一个命令来进行使用的（ps在查询进程时，找不到对应的服务），但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路：

对外提供服务——>端口监听——>==启动服务==——>启动脚本——>配置文件

第一步：启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

# systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本，则没有启动脚本。必须求帮助：

# man rsync
# rsync --help
Use "rsync --daemon --help" to see the daemon-mode command-line options.
​
CentOS6：rsync作为系统服务
# touch /etc/rsyncd.conf
# rsync --daemon
​
# ps -ef|grep rsync
# netstat -tunlp |grep rsync    =>  -t tcp  -u udp

注：如果rsync作为系统服务单独运行，则其底层就不需要SSH服务了！

第二步：rsyncd服务的配置文件/etc/rsyncd.conf

# man 5 rsyncd.conf

三、任务解决方案(重点)

1、环境准备

编号IP地址主机名称角色
110.1.1.10code.itcast.cnCode（MIS）
210.1.1.100backup.itcast.cnBackup（Backup）

第一步：关闭防火墙与SELinux

# systemctl stop firewalld
# systemctl disable firewalld
​
# setenforce 0
# vim /etc/selinux/config
SELINUX=disabled

第二步：更改主机名称

# hostnamectl set-hostname code.itcast.cn
# hostnamectl set-hostname backup.itcast.cn
​
# su

第三步：更改IP地址（静态IP）

# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"         =>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"         =>    更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
​
# systemctl restart network

第四步：关闭NetworkManager

# systemctl stop NetworkManager
# systemctl disable NetworkManager

第五步：配置YUM源

略

第六步：时间同步

# ntpdate cn.ntp.org.cn

2、任务解决方案

==Code：10.1.1.10服务器==

第一步：准备代码文件

# mkdir /app/java_project -p
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java

第二步：把rsync作为系统服务运行

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
​
# systemctl start rsyncd
​
# ps -ef |grep rsync
# netstat -tnlp |grep rsync

==Backup：10.1.1.100==

第三步：创建备份目录

# mkdir /backup/app1_java -p

第四步：测试rsync是否可以连接到rsync服务

# rsync -a root@10.1.1.10::
app
-a：获取rsync服务对应的同步目录标签

下载文件到本地

# rsync -av root@10.1.1.10::app /backup/app1_java

第五步：编写计划任务 + Shell的脚本文件，自动实现代码备份

① 编写计划任务

# crontab -e
3 1 * * * /root/rsync_java.sh

② 编写rsync_java.sh脚本程序

# vim rsync_java.sh
#!/bin/bash
rsync -av root@10.1.1.10::app /backup/app1_java &>/dev/null
​
# chmod +x rsync_java.sh

3、任务总结

Code代码服务器 => 10.1.1.10 /app/java_project

Backup备份服务器 => 10.1.1.100

Code：

① 准备代码

② 编写/etc/rsyncd.conf文件，定义同步代码目录

③ 启动rsyncd服务

Backup：

① 测试rsync是否可以连接到Code服务器上的rsyncd服务

② 创建备份目录

③ 编写计划任务，凌晨1点03去Code服务器同步代码

④ 编写rsync_java.sh文件，实现同步操作

四、RSYNC课程扩展

1、给RSYNC服务添加密码

Code服务器：

① 打开/etc/rsyncd.conf配置文件

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
auth users = user1,user2                =>   用户名
secrets file = /etc/rsyncd.secrets      =>   密码文件

② 在/etc目录下创建rsyncd.secrets文件

# vim /etc/rsyncd.secrets
user1:123                               =>   设置密码，用户名:密码
user2:123

③ 更改密码文件权限为600

# chmod 600 /etc/rsyncd.secrets

④ 重启rsyncd服务

# systemctl restart rsyncd

Backup备份服务器：

# rsync -av user1@10.1.1.10::app ./
Password:123

2、RSYNC集合INOTIFY工具实现代码实时同步(重点)

第一步：在Code服务器端安装inotify-tools工具（监控器）

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make 
# make install
​
安装完后，就会产生下面两个命令
/usr/local/bin/inotifywait      等待
/usr/local/bin/inotifywatch     看守
​
/usr/local/bin/inotifywait
-m : 一直监控某个目录，create、delete、modify等行为
-r : 递归，不仅仅监控目录还要监控目录下的文件
-q : 获取操作信息，但是不输出
​
-e : 哪些行为需要被监控，modify,delete,create,attrib,move
modify: 文件被修改
delete: 文件被删除
create: 文件被创建
attrib: 文件属性被修改
move: 文件被移动

第二步：编写inotify.sh

# vim inotify.sh
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /app/java_project |while read events
do
    rsync -av --delete /app/java_project/ root@10.1.1.100:/backup/app1_java
    echo "`date +%F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done
​
我对/app/java_project做了两件事
① 在目录下创建了一个file9.java   =>   create
② 在目录下删除了一个file5.java   =>   delete
create,delete => while => 执行两次
create
rsync数据同步
delete
rsync数据同步

/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move

第三步：添加可执行权限

# chmod +x inotify.sh

第四步：让inotify.sh文件一直执行下去

# nohup ./inotify.sh  &
& : 让inotify.sh在计算机后台运行，可以使用jobs命令查看，kill %编号结束，当我们退出终端时，这个执行会自动结束
nohup : 让程序一直在后台运行，即使我们关闭了终端

扩展：如何查看rsync.log日志文件

# cat /var/log/rsync.log

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/124166.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Git】安装和常用命令的使用与讲解及项目搭建和团队开发的出现的问题并且给予解决

【Git】安装和常用命令的使用与讲解及项目搭建和团队开发的出现的问题并且给予解决

目录 Git的简介 介绍 Git的特点及概念 Git与SVN的区别 图解 ​编辑 命令使用 安装 使用前准备 搭建项目环境 ​编辑 团队开发 Git的简介 介绍 Git 是一种分布式版本控制系统，是由 Linux 之父 Linus Torvalds 于2005年创建的。Git 的设计目标是为了更好地管…
阅读更多...
图文并茂解读联合索引底层存储结构及索引查找过程

图文并茂解读联合索引底层存储结构及索引查找过程

文章目录 前言版本数据准备SQL数据创建结果有无联合索引执行情况无联合索引存在联合索引 底层存储结构查询过程最左匹配原则查询过程解析 联合索引优势支持复杂查询索引覆盖查询提高排序和分组性能减少索引数量 使用建议联合索引的列顺序十分重要建议能使用联合索引尽量使用联合…
阅读更多...
Mybatis-Plus同时使用逻辑删除和唯一索引的问题及解决办法

Mybatis-Plus同时使用逻辑删除和唯一索引的问题及解决办法

1 问题背景 在开发中，我们经常会有逻辑删除和唯一索引同时使用的情况。但当使用mybatis plus时，如果同时使用逻辑删除和唯一索引，会报数据重复Duplicate entry的问题。 举例来说，有表user，建立唯一索引（u…
阅读更多...
Docker本地部署Drupal并实现公网访问

Docker本地部署Drupal并实现公网访问

文章目录 前言1. Docker安装Drupal2. 本地局域网访问3 . Linux 安装cpolar4. 配置Drupal公网访问地址5. 公网远程访问Drupal6. 固定Drupal 公网地址 前言 Dupal是一个强大的CMS，适用于各种不同的网站项目，从小型个人博客到大型企业级门户网站。它的学习…
阅读更多...
ZYNQ_project:key_led

ZYNQ_project:key_led

条件里是十进制可以不加进制说明，编译器默认是10进制，其他进制要说明。 实验目标： 模块框图： 时序图： 代码： include "para.v"module key_filter (input wire …
阅读更多...
2020 ICPC 澳门（G，J，I）详解

2020 ICPC 澳门（G，J，I）详解

链接&#xff1a;The 2020 ICPC Asia Macau Regional Contest G Game on Sequence 题意 给定长度为 n n n 数组 a i a_i ai​&#xff0c;A与G博弈&#xff0c;G先手&#xff0c;给定初始位置 k k k&#xff0c;若当前在 i i i 点转移到 j j j&#xff0c;满足 i <…
阅读更多...
在虚拟机中新安装的Linux无法联网解决办法

在虚拟机中新安装的Linux无法联网解决办法

1、我们在虚拟机中新安装了linux&#xff0c;默认是无法连接网络的&#xff0c;这个时候&#xff0c;需要配置自动获取ip的网设置。 2、我们在VMware Workstatio需要配置net网络&#xff0c;如下图 3、进入linux系统&#xff0c;找到 /etc/sysconfig/network-scripts/ [rootn…
阅读更多...
软件测试|MySQL WHERE条件查询详解：筛选出需要的数据

软件测试|MySQL WHERE条件查询详解：筛选出需要的数据

简介 在数据库中&#xff0c;我们常常需要从表中筛选出符合特定条件的数据&#xff0c;以便满足业务需求或获取有用的信息。MySQL提供了WHERE条件查询&#xff0c;使我们能够轻松地筛选数据。本文将详细介绍MySQL WHERE条件查询的用法和示例&#xff0c;帮助大家更好地理解和应…
阅读更多...
Go uuid库介绍

Go uuid库介绍

简介&#xff1a; 在现代软件开发中&#xff0c;全球唯一标识符&#xff08;UUID&#xff09;在许多场景中发挥着重要的作用。UUID是一种128位的唯一标识符&#xff0c;它能够保证在全球范围内不重复。在Go语言中&#xff0c;我们可以使用第三方库github.com/google/uuid来方便…
阅读更多...
2023-11-09 node.js-有意思的项目-记录

2023-11-09 node.js-有意思的项目-记录

摘要: 2023-11-09 node.js-有意思的项目-记录 记录: 1、 NodeBB Star: 13.3k 一个基于Node.js的现代化社区论坛软件&#xff0c;具有快速、可扩展、易于使用和灵活的特点。它支持多种数据库&#xff0c;包括MongoDB、Redis和PostgreSQL&#xff0c;并且可以轻松地进行自定义…
阅读更多...
Java修仙传之神奇的ES2（巧妙的查询及结果处理篇）

Java修仙传之神奇的ES2（巧妙的查询及结果处理篇）

SDL语句查询 查询的基本语法 GET /indexName/_search {"query": {"查询类型": {"查询条件": "条件值"}} } 根据文档id查询 #查询文档 GET hotel/_doc/36934 查询所有 会弹出该索引库下所有文档// 查询所有 GET /indexName/_searc…
阅读更多...
Flutter StreamBuilder 实现局部刷新 Widget

Flutter StreamBuilder 实现局部刷新 Widget

Stream 就是事件流或者管道&#xff0c;是基于事件流驱动设计代码&#xff0c;然后监听订阅事件&#xff0c;并针对事件变换处理响应。 Stream 分单订阅流和广播流,单订阅流在发送完成事件之前只允许设置一个监听器&#xff0c;并且只有在流上设置监听器后才开始产生事件&…
阅读更多...
基于SSM的图书管理借阅系统设计与实现

基于SSM的图书管理借阅系统设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…
阅读更多...
2023亚太杯数学建模A题思路分析

2023亚太杯数学建模A题思路分析

文章目录 0 赛题思路1 竞赛信息2 竞赛时间3 建模常见问题类型3.1 分类问题3.2 优化问题3.3 预测问题3.4 评价问题 4 建模资料5 最后 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 1 竞赛信息 2023年第十三…
阅读更多...
字节流操作

字节流操作

for i in range(100):ai.to_bytes(2,byteorderbig)print(i,a,end )if i%40:print() 字节流 a5678 先把5678转换为二进制就变成 0001_0110_0010_1110拆分两个字节&#xff0c;高字节在前&#xff0c;低字节在后 hig_byte 0001_0110 对应的16进制 0x16 little_byte 0010_11…
阅读更多...
3 任务3 使用趋动云部署自己的stable-diffusion

3 任务3 使用趋动云部署自己的stable-diffusion

使用趋动云部署自己的stable-diffusion 1 创建项目&#xff1a;2 初始化开发环境实例3 部署模型4 模型测试 1 创建项目&#xff1a; 1.进入趋动云用户工作台&#xff0c;选择&#xff1a;当前空间&#xff0c;请确保当前所在空间是注册时系统自动生成的空间。 a.非系统自动生成…
阅读更多...
MATLAB｜风玫瑰图

MATLAB｜风玫瑰图

目录 扫一扫关注公众号 效果图 粉丝给的图&#xff1a; 复刻的图&#xff1a; 其他样式效果&#xff1a; 数据 绘图教程 绘制左边Y轴 绘制主、次网格和主、次刻度的极坐标区域。 添加刮风数据&#xff0c;添加数据和颜色、图列大小映射关系。 颜色条绘制​​​​​​…
阅读更多...
图的算法

图的算法

拓扑排序算法 解析 要求&#xff1a;无环有向图 编译过程使用的是拓扑排序。A依赖BCD&#xff0c;在BCD三个文件编译完成才能引入A&#xff1b;B依赖ECD&#xff0c;在ECD三个文件编译完成才能引入B。拓扑排序排出整体的编译顺序E→CD→B→A 算法实现 找到整个图入度为0的点&…
阅读更多...
4K壁纸下载器，多种风格壁纸，一键批量下载到本地，桌面壁纸，高清壁纸，壁纸下载

4K壁纸下载器，多种风格壁纸，一键批量下载到本地，桌面壁纸，高清壁纸，壁纸下载

一个桌面壁纸爬虫工具&#xff0c;该工具可以从内置的多个壁纸网站爬取高清壁纸&#xff0c;并支持将壁纸一键下载到本地&#xff0c;真正实现了所见即所得&#xff0c;不必再费心费力的翻看多个网站。 文末附工具下载链接~ 一、软件简介 本次带来的工具由吾爱的一位大佬开发…
阅读更多...
小白学爬虫：通过商品ID或商品链接封装接口获取淘宝商品销量数据接口|淘宝商品销量接口|淘宝月销量接口|淘宝总销量接口

小白学爬虫：通过商品ID或商品链接封装接口获取淘宝商品销量数据接口|淘宝商品销量接口|淘宝月销量接口|淘宝总销量接口

淘宝商品销量接口是淘宝开放平台提供的一种API接口&#xff0c;通过该接口&#xff0c;商家可以获取到淘宝平台上的商品销量数据。使用淘宝商品销量接口的步骤如下&#xff1a; 1、在淘宝开放平台注册并创建应用&#xff0c;获取API Key和Secret Key等必要的信息。 2、根据淘宝…
阅读更多...
最新文章

Copyright @ 2022~2023