Day43-2-企业级实时复制intofy介绍及实践

Day43-2-企业级实时复制intofy介绍及实践

  • 1. 企业级备份方案介绍
    • 1.1 利用定时方式，实现周期备份重要数据信息。
    • 1.2 实时数据备份方案
    • 1.3 实时复制环境准备
    • 1.4 实时复制软件介绍
    • 1.5 实时复制inotify机制介绍
    • 1.6 项目部署实施
      • 1.6.1 部署环境准备
      • 1.6.2 检查Linux系统支持inotify实时监控
      • 1.6.3 inotify-tools工具安装过程
      • 1.6.4 inotifywait命令参数
      • 1.6.5 监控事件说明
      • 1.6.6 测试事件
      • 1.6.7 inotify-tools软件部署项目实战
      • 1.6.8 生产脚本（nfs01）
      • 1.6.9 inotify-tools软件优化企业案例
  • 2. 排错思路：
    • 2.1 tree backup目录乱码问题
    • 2.2 检查脚本无误但是tree backup目录依然多出文件或目录
    • 2.3 推送文件报错(auth failed on module backup验证模块备份失败)
    • 2.4 执行脚本报错:
    • 2.5 能正常推送数据，但是报错
    • 2.6 双模块注意事项

集群架构-inotify-sersync-实时复制

1. 企业级备份方案介绍

1.1 利用定时方式，实现周期备份重要数据信息。

在这里插入图片描述

1.2 实时数据备份方案

在这里插入图片描述

1.3 实时复制环境准备

主机名称角色IP(eth1)目录信息
nfs01NFS服务器端172.16.1.31/data
backupRsync备份服务器172.16.1.41/backup

1.4 实时复制软件介绍

随着互联网技术的不断发展，数据复制软件服务也层出不穷，目前企业中较为常用的实时复制软件有如下两种列表显示：
实时复制软件对比

软件服务依赖程序部署难点说明
inotify-toolsrsync守护进程服务复制脚本编写监控目录数据变化，实时数据复制
sersync*rsync守护进程服务配置文件编写监控目录数据变化，实时数据复制

inotify-tools #原始的监控软件。sersync #封装了intotify，增加了一些功能。

实时复制细节实现说明

  • 实时复制软件会监控磁盘文件系统的变化，比如：指定一个/data目录，实时复制软件服务进程会实时监控这个/data目录中对应文件系统数据的变化。
  • 一旦/data目录文件发生变化，就会执行rsync命令，将变化的数据信息推送到备份服务器相应的备份目录中，从而完成数据的实时备份。

提示：根据实时复制原理描述，可发现rsync备份服务器是需要先行搭建的；搭建完成rsync备份服务器后，在进行实时复制软件服务的部署。

1.5 实时复制inotify机制介绍

Inotify是一种异步的系统事件监控机制，Linux内核从2.6.13起，加入了Imotify支持，通过notify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施这样监控的软件。实际上inotify-tools是一个监控指定目录数据实时变化的软件程序。

Inotify程序原理是一种事件驱动机制，它为应用程序监控文件系统事件提供了实时响应事件的机制，可以做到对事件处理的实时响应。

inotify的实现有几款软件：inotify-tools、sersync。

提示：sersync 软件在inotify基础上进行开发的，功能要更加强大些，支持配置文件配置，多了定时重试复制机制，过滤机制，提供接口做CDN数据更新，支持多线程操作。

  • inotify机制优点
    • 监控文件文件系统事件变化，通过复制工具实现实时数据复制。
    • 支持多线程实时复制。
  • inotify机制缺点
    • 实测并发如果大于200个文件(10-100k)，复制会有延迟

1.6 项目部署实施

1.6.1 部署环境准备

确保rsync服务端配置完成
确保远程数据传输服务部署完成

[root@nfs01 data]# rsync -avz /data rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
data/
data/oldboy-2.ev4
data/潘晓婷.jpg
data/花瓶美女1.jfif
data/花瓶美女2.jfif
data/老男孩Linux77期视频/
data/老男孩Linux77期视频/02-老男孩77期-什么是集群？.ev4
sent 51,802,259 bytes received 135 bytes 20,720,957.60
bytes/sec
total size is 52,144,218 speedup is 1.01
[root@nfs01 data]# rsync -avz /data rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
sent 310 bytes received 26 bytes 672.00 bytes/sec
total size is 52,144,218 speedup is 155,191.12

1.6.2 检查Linux系统支持inotify实时监控

[root@nfs01 data]# uname -r
3.10.0-1160.31.1.el7.x86_64
[root@nfs01 data]# ls -l /proc/sys/fs/inotify/
总用量 0
-rw-r--r-- 1 root root 0 7月 2 17:07 max_queued_events
-rw-r--r-- 1 root root 0 7月 2 17:07 max_user_instances
-rw-r--r-- 1 root root 0 7月 2 17:07 max_user_watches
[root@nfs01 data]# cat /proc/sys/fs/inotify/max_queued_events
16384
[root@nfs01 data]# cat /proc/sys/fs/inotify/max_user_instances
128
[root@nfs01 data]# cat /proc/sys/fs/inotify/max_user_watches
8192
文件名称作用说明
max_user_watches设置inotify命令可以监视的文件数量（单进程）
max_user_instances设置每个用户可以运行的inotify命令的进程数
max_queued_events设置inotify实例事件（event）队列可容纳的事件数量

1.6.3 inotify-tools工具安装过程

安装inotify-tools工具比较简单，执行的命令过程如下：
[root@nfs01 ~]# yum install epel-release -y #<==需先安装epel，默认官方没有。
[root@nfs01 ~]# yum install inotify-tools -y #<==下载inotify软件工具。
[root@nfs01 ~]# rpm -ql inotify-tools|head -2
/usr/bin/inotifywait #<==inotifywait软件命令（重要）。
/usr/bin/inotifywatch #<==inotifywatch软件命令（重要）。

# inotifywait：在被监控的目录等待特定文件系统事件（open、close、delete等）发生，执行后处于阻塞状态，适合在Shell脚本中使用，此命令是实现监控的重点。
# inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计。

1.6.4 inotifywait命令参数

命令参数参数说明
-m| --monitor始终保持事件监听状态(重要参数)
-d | --daemon类似于-m参数，只是将命令运行在后台记录触发的事件信息在指定文件中，利用–outfile参数定义程序日志使用–syslog参数
-r递归监控目录数据信息变化(重要参数)
-o | --outfile打印事件到文件中，相当于标准正确输出
-s | --syslog发送错误到syslog相当于标准错误输出
-q | --quiet输出信息少（只打印事件信息）
–exclude排除文件或目录时，不区分大小写
–timefmt指定时间输出的格式
–format打印使用指定的输出类似格式字符串；即实际监控输出的内容
-e指定监听指定的事件，如果省略，表示所有事件都进行监听。(重要参数)

1.6.5 监控事件说明

常用监控文件事件功能参数

事件名称事件说明
access文件或目录内容被读取
modify文件或目录内容被写入
attrib文件或目录属性改变
close_write文件或目录关闭，在写入模式打开之后关闭的。(重要参数)
close_nowrite文件或目录关闭，在只读模式打开之后关闭的
close文件或目录关闭，不管读或是写模式
open文件或目录被打开（重要）
moved_to文件或目录被移动到监控的目录中
moved_from文件或目录从监控的目录中被移动
move文件或目录不管移动到或是移动出监控目录都触发事件
create文件或目录创建在监控的目录中(重要参数)
delete文件或目录被删除在监控的目录中(重要参数)
delete_self文件或目录被删除
unmount文件系统包含的文件或目录不能卸

1.6.6 测试事件

测试create事件

# 在NFS服务器上开启inotify相应监控功能
[root@nfs01 ~]# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data     #<==监控/data目录创建事件显示信息。
14/04/19 19:26 /data/a.txt #<==目录随着下面的操作，文件实时出现。
14/04/19 19:26 /data/b.txt

#再开启一个NFS服务器连接窗口进行测试验证相应事件
[root@nfs01 ~]# touch /data/a.txt
[root@nfs01 ~]# touch /data/b.txt

说明：只监控create创建事件，其它事件并没有进行监控，其它事件产生，监控服务没有信息输出

测试delete事件

# 在NFS服务器上开启inotify相应监控功能。
[root@nfs01 data]# inotifywait -mrq -e delete /data
/data/ DELETE 1.txt
/data/ DELETE 2.txt
/data/ DELETE 3.txt

[root@nfs01 data]# inotifywait -mrq -e delete,close_write /data
/data/ CLOSE_WRITE,CLOSE oldboy.txt
/data/ CLOSE_WRITE,CLOSE oldboy.txt
/data/ DELETE oldboy.txt

1.6.7 inotify-tools软件部署项目实战

在NFS服务器上开启inotify相应监控功能

[root@nfs01 ~]# inotifywait -mrq -e close_write,delete/data #<==监控/data目录增删改事件。

# 编写实时监控和复制脚本
本例涉及while循环脚本语法示例：
[root@nfs01 ~]# seq 3 >test.txt #<==生成3个数字，每行一个到test.txt文件里。
[root@nfs01 ~]# cat test.txt #<==查看结果。
1
2
3
[root@nfs01 ~]# cat w.sh #<==开发脚本。
cat ./test.txt|\ #<==按行读取test.txt文件，将每一行赋值给下文的$line变量。
while read line #<==循环读取line变量的内容。
do
echo $line #<==打印line变量的内容。
done #<==读取完test.txt内容后才会终止循环。
[root@nfs01 ~]# sh -x w.sh #<==查看执行原理过程。
+ read line
+ cat ./test.txt #<==按行读取test.txt文件，将第一行赋值给line。
+ echo 1 #<==输出1。
1
+ read line #<==按行读取test.txt文件，将第二行赋值给line。
+ echo 2 #<==输出2。
2
+ read line #<==按行读取test.txt文件，将第三行赋值给line。
+ echo 3 #<==输出3。
3
+ read line
# 有关Shell知识，读者可以学习《跟老男孩学习Linux运维:Shell编程实战一书

1.6.8 生产脚本（nfs01）

#!/bin/sh
cmd="/usr/bin/inotifywait"
$cmd -mrq -e close_write,delete /data|\
while read line
do
cd /data&&\
rsync -az --delete ./ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
done
#sh -x 脚本名 #<==调试脚本

nfs01上执行脚本

/bin/sh /server/scripts/monitoy1.sh &
touch /data/{1..10}.txt

backup服务器上检查

ls /backup

nfs01上执行：

测试没有问题后，在nfs01上让脚本在后台运行，并放入/etc/rc.local里。
[root@nfs01 scripts]# /bin/sh /server/scripts/monitor.sh &>/dev/null & #<==&表示让脚本在后台运行。
[root@nfs01 scripts]# tail -2 /etc/rc.local
#inotify sync data by oldboy at 201808
/bin/sh /server/scripts/monitor.sh &>/dev/null & #<==放到开机自启动文件里。
说明：让脚本在后台运行

1.6.9 inotify-tools软件优化企业案例

利用inotify对应的proc目录中的三个文件，可以适当对inotify软件进行优化，企业实战中调整为如下配置：
[root@nfs01 scripts]# echo "50000000" >/proc/sys/fs/inotify/max_user_watches #<==单进程可以监控的文件数量。
[root@nfs01 scripts]# echo "50000000" >/proc/sys/fs/inotify/max_queued_events #<==队列容纳事件的数量。
# 说明：以上配置重启可能会失效，需要放置在rc.local文件中。
# 设置开机自动进行实时监控优化。

[root@nfs01 data]# tail -5 /etc/rc.local  #inotiy-tools 命令
/bin/sh /server/scripts/monitoy1.sh &
######inotify 优化
echo "50000000" >/proc/sys/fs/inotify/max_user_watches
echo "50000000" >/proc/sys/fs/inotify/max_queued_events

课后作业：
1）sersync实时复制工具
2）下图项目搞定。
在这里插入图片描述

2. 排错思路：

2.1 tree backup目录乱码问题

解决：
检查
/etc/hosts(主机名是否正确)
/etc/hostname(内网网址和对应主机名是否正确)

2.2 检查脚本无误但是tree backup目录依然多出文件或目录

解决:
(1)检查是否有每分钟执行脚本的定时任务crontab -l
(2)检查双方的/backup/目录是否有残留文件或目录，如果有用rm-rf *清空

2.3 推送文件报错(auth failed on module backup验证模块备份失败)

(1)密码是否正确
(2)认证用户rsync_backup是否正确
(3)模块名称和对应路径是否正确
(4)密码文件内容是否和backup服务器的/etc/rsync.password内的密码相符
(5)密码文件权限是否为600

2.4 执行脚本报错:

解决:
(1)脚本注释前没加"#"
(2)脚本变量前后不一致
(3)脚本内命令后有多余&&\或者if eles fi后缺少cd进目录&&
(4)命令格式是否多/少空格

2.5 能正常推送数据，但是报错

解决：
査看backup服务器上的rsync配置文件(/etc/rsyncd.conf)是否缺少fake super = yes选项
以及一些其它选项是否正确
黑白名单留一即可

2.6 双模块注意事项

(1)path指向路径目录必须有auth users属主和属组的权限
(2)第二模块认证用户必须写在模块下方
(3)第二模块组id，gid卸载模块下方都为第二模块建立的虚拟或普通用户
(4)secrets file密码路径后的密码文件不要和第一模块重名
(5)注意创建第二模块对应用户(并修改用户uid gid)
(6)对应路径密码文件权限为600

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/460857.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Hive借助java反射解决User-agent编码乱码问题

Hive借助java反射解决User-agent编码乱码问题

一、需求背景 在截取到浏览器user-agent&#xff0c;并想保存入数据库中&#xff0c;经查询发现展示的为编码后的结果。 现需要经过url解码过程&#xff0c;将解码后的结果保存进数据库&#xff0c;那么有几种实现方式。 二、问题解决 1、百度&#xff1a;url在线解码工具 …
阅读更多...
Hello，Spider！入门第一个爬虫程序

Hello，Spider！入门第一个爬虫程序

在各大编程语言中&#xff0c;初学者要学会编写的第一个简单程序一般就是“Hello, World!”&#xff0c;即通过程序来在屏幕上输出一行“Hello, World!”这样的文字&#xff0c;在Python中&#xff0c;只需一行代码就可以做到。我们把这第一个爬虫就称之为“HelloSpider”&…
阅读更多...
免费分享一套SpringBoot+Vue自习室(预约)管理系统，帅呆了~~

免费分享一套SpringBoot+Vue自习室(预约)管理系统，帅呆了~~

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的SpringBootVue自习室预约)管理系统&#xff0c;分享下哈。 项目视频演示 【免费】SpringBootVue自习室预约(预约)管理系统 Java毕业设计_哔哩哔哩_bilibili【免费】SpringBootVue自习室预约(预约)管理系统…
阅读更多...
flask库

flask库

文章目录 flask库1. 基本使用2. 路由路径和路由参数3. 请求跳转和请求参数4. 模板渲染1. 模板变量2. 过滤器3. 测试器 5. 钩子函数与响应对象 flask库 flask是python编写的轻量级框架&#xff0c;提供Werkzeug&#xff08;WSGI工具集&#xff09;和jinjia2&#xff08;渲染模板…
阅读更多...
关于Ubuntu虚拟机识别不了USB设备的解决方案

关于Ubuntu虚拟机识别不了USB设备的解决方案

唉昨天从网上找了一天的解决方案都没法让我的Ubuntu虚拟机识别USB设备&#xff0c;CSDN上有些方法是让从控制面板中进行修复&#xff0c;很多人都是一样的做法链接&#xff0c;那我觉得应该是可以解决的啊&#xff01; 结果我去控制面板执行修复的时候&#xff0c;显示报错“没…
阅读更多...
【QT 5 +Linux下qt软件点击.sh脚本运行+Dconf编辑器+学习他人文章+番外篇：点击脚本运行软件】

【QT 5 +Linux下qt软件点击.sh脚本运行+Dconf编辑器+学习他人文章+番外篇：点击脚本运行软件】

【QT 5 Linux下qt软件点击.sh脚本运行Dconf编辑器学习他人文章番外篇&#xff1a;点击脚本运行软件】 1、前言2、实验环境3、自我学习总结-本篇总结1、说明&#xff1a;代替qt的快捷方式2、适用性更广3、了解工具&#xff1a;Dconf编辑器注意事项&#xff1a; 4、参考链接-感谢…
阅读更多...
融入Facebook的世界：探索数字化社交的魅力

融入Facebook的世界：探索数字化社交的魅力

融入Facebook的世界&#xff0c;是一场数字化社交的奇妙之旅。在这个广袤的虚拟社交空间中&#xff0c;人们可以尽情展现自己、分享生活&#xff0c;与全球朋友、家人和同事保持紧密联系&#xff0c;共同探索社交互动的乐趣与魅力。让我们深入了解这个世界的魅力所在&#xff1…
阅读更多...
【Git】Github 上commit后，绿格子contribution却不显示？不知道怎么弥补？解决方法在这里

【Git】Github 上commit后，绿格子contribution却不显示？不知道怎么弥补？解决方法在这里

github 上commit后&#xff0c;绿格子&#xff08;contribution&#xff09;却不显示 问题描述 今天一直在github上面commit代码&#xff0c;但是github中并没有显示自己的contribution&#xff08;没有绿色的格子&#xff09;&#xff0c;全是空白&#xff0c;网上一查是因为…
阅读更多...
图像分类技术在电商平台的创新应用与实践

图像分类技术在电商平台的创新应用与实践

一、引言 在当今快速发展的互联网电商领域&#xff0c;商家面临着激烈的竞争和不断变化的市场需求。我们在服务电商的过程中&#xff0c;利用AI大模型技术创新性地引入了图像分类技术&#xff0c;为供应链管理带来了革命性的变革。接下来&#xff0c;我们将深入探讨这一项目的…
阅读更多...
macOS Monterey 12.7.4 (21H1123) Boot ISO 原版可引导镜像下载

macOS Monterey 12.7.4 (21H1123) Boot ISO 原版可引导镜像下载

macOS Monterey 12.7.4 (21H1123) Boot ISO 原版可引导镜像下载 3 月 8 日凌晨&#xff0c;macOS Sonoma 14.4 发布&#xff0c;同时带来了 macOS Ventru 13.6.5 和 macOS Monterey 12.7.4 安全更新。 本站下载的 macOS 软件包&#xff0c;既可以拖拽到 Applications&#xf…
阅读更多...
京东按图搜索京东商品（拍立淘） API 返回值说明

京东按图搜索京东商品（拍立淘） API 返回值说明

京东按图搜索商品&#xff08;拍立淘&#xff09;的API返回值包含了关于通过图片搜索到的京东商品的相关信息。由于我无法提供最新的京东API返回值的确切结构&#xff0c;以下是基于常见API设计原则的一个大致的返回值示例和说明&#xff1a; 调用链接获取详情 item_search_i…
阅读更多...
数据结构之链式二叉树

数据结构之链式二叉树

当我们初步了解二叉树后 我们就可以进一步去深入学习二叉树了 1.链式二叉树的遍历 这里我们先去定义链式二叉树的结构 分为两个指针 一左一右 他们分别指向左子树和右子树 typedef int BTDataType;typedef struct BinaryTreeNode {BTDataType data;struct BinartTreeNod…
阅读更多...
InnoDB和MyISAM存储引擎

InnoDB和MyISAM存储引擎

InnoDB mysql默认存储引擎 支持事务&#xff0c;行级锁&#xff08;并发量大&#xff09;&#xff0c;外键约束&#xff0c;容量大&#xff0c;支持缓存&#xff0c;支撑主键自增&#xff0c; 全文检索&#xff0c;不存储表的总行数&#xff0c;需要sql逐行统计 MyISAM 不…
阅读更多...
扩展学习|网络问政的价值增量与实现条件：基于数据资源挖掘的视角

扩展学习|网络问政的价值增量与实现条件：基于数据资源挖掘的视角

文献来源&#xff1a;[1]顾丹丹傅广宛.网络问政的价值增量与实现条件:基于数据资源挖掘的视角[J].中国行政管理, 2021, 000(004):76-82.DOI:10.19735/j.issn.1006-0863.2021.04.11. 一、技术赋能网络问政的机制生成 &#xff08;一&#xff09;技术赋能网络问政的流程&#xf…
阅读更多...
Naive Ui Admin：企业级中后台项目开箱即用框架/让你少写一些代码

Naive Ui Admin：企业级中后台项目开箱即用框架/让你少写一些代码

欢迎加入我们的前端组件学习交流群&#xff0c;可添加群主微信&#xff0c;审核通过后入群。 Naive Ui Admin&#xff1a;企业级中后台项目开箱即用框架/让你少写一些代码 在数字化时代&#xff0c;中后台系统对于企业的运营至关重要。然而&#xff0c;构建这样的系统往往需要…
阅读更多...
202109青少年软件编程（图形化） 等级考试试卷（二级）

202109青少年软件编程（图形化） 等级考试试卷（二级）

第1题：【 单选题】 执行下图所示程序， 舞台上的角色？（ ） A:在 1 秒内滑行到随机位置 B:不断地重复滑行到随机位置 C:只有按下空格键的时候， 才会滑行到随机位置 D:只有按下空格键以外键的时候， 才会滑行到随机位置 【正确答案】: C 【试题解析】 : 第2题：【 单…
阅读更多...
【C++】实现红黑树

【C++】实现红黑树

目录 一、认识红黑树1.1 概念1.2 定义 二、实现红黑树2.1 插入2.2 与AVL树对比 一、认识红黑树 1.1 概念 红黑树是一个二叉搜索树&#xff0c;与AVL树相比&#xff0c;红黑树不再使用平衡因子来控制树的左右子树高度差&#xff0c;而是用颜色来控制平衡&#xff0c;颜色为红色…
阅读更多...
详细分析Java中Stream流和for循环的差异之处

详细分析Java中Stream流和for循环的差异之处

目录 前言1. 基本知识2. Demo 前言 事情起因是遍历大数据的时候&#xff0c;数据卡顿很严重 对于Java的基本知识推荐阅读&#xff1a;java框架 零基础从入门到精通的学习路线 附开源项目面经等&#xff08;超全&#xff09; 1. 基本知识 在Java中&#xff0c;Stream API提供…
阅读更多...
Ubuntu 安装 KVM 虚拟化

Ubuntu 安装 KVM 虚拟化

1. Ubuntu 安装 KVM 虚拟化 KVM 是 Linux 内核中一个基于 hypervisor 的虚拟化模块&#xff0c;它允许用户在 Linux 操作系统上创建和管理虚拟机。 如果机器的CPU不支持硬件虚拟化扩展&#xff0c;是无法使用KVM(基于内核的虚拟机)直接创建和运行虚拟机的。此时最多只能使用…
阅读更多...
HDS-NAS分配资源并挂载win和linux

HDS-NAS分配资源并挂载win和linux

1、首先创建系统文件。 选择nas存储池 2、根据自己的需求创建相应的挂载方式 3、window配置 配置成功 最后即可在window系统网络位置映射网络即可&#xff0c; 格式为\\123.3.4.5\test 注&#xff1a;IP地址 4、liunx挂载方式 创建完成之后即可挂载&#xff0c;注意目的主…
阅读更多...
最新文章

Copyright @ 2022~2023