没有磁盘整列下的多机分布式存储:使用rysnc+多服务器文件/文件夹内容同步

目录

0.为什么要定时同步

1.程序安装

2.文件夹设置rsync使用

3.使用cron进行定时任务


0.为什么要定时同步

作为科研党,实验室有多个服务器,但是都是分批买的没有上磁盘整列,所以一个服务器上跑的东西并不能同步,有时候挂任务要分着两个服务器来挂,存储也是要两个服务器分开看结果。

数据集的话,如果可以同步,就可以在多个服务器上公用。非常方便。在这里因为同步监控开销大,建议每10分钟同步一次,选择自己合适的频率进行同步。

本文介绍的方法比其他方法更为简单实用,测试已经通过。

1.程序安装

这里需要用到Rsync和Crontab,以linux为例,首先进行安装,如果已经安装请跳过


sudo apt install rsync
sudo apt install cron

需要将rsyncd.conf更改权限。将rsyncd.conf这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 一般都设置好了每个用户都可以使用。

2.文件夹设置rsync使用

这里建议常用的常登录的服务器作为主服务器,具有跳板机的权限,比如我的主服务器是50002,其他的服务器是3090,A6000,我已经设置了50002作为跳板机,其他服务器作为目标机。

参考博文:VS Code 跳板机登录服务器(手打密码+秘钥登录)-CSDN博客

local->50002--->3090
             |->4090
             |->A6000

在本机上设置需要备份的文件:建议在~/下设置一个数据集文件夹和一个算法文件夹用于储存共享的算法,这样可以提高同步效率。

命令参考:rsync(一):基本命令和用法-CSDN博客

这里使用的命令如下

#从192.168.5.37主机的~/share文件夹同步至本服务器(主服务器)
rsync -avP --link-dest=~/share zhf@192.168.5.37:~/share/ share/

#从本服务器同步~/share到192.168.5.37目标服务器下的~/share文件夹
rsync -avP --link-dest=~/share share/ zhf@192.168.5.37:~/share/

当主服务器作为密钥登陆跳板机以后就可以直接同步,无需输入密码。

加了-avP是为了对比同步,当文件有修改时才会同步该文件,其他文件参考之前的备份,这个一定要加,保证同步的效率

3.使用cron进行定时任务

将上面介绍的rsync命令写入主服务器的用户根目录下,成为bash文件,例如命名这个文件叫time-run.bash。使用cron定时运行time-run.bash

编辑用户下的cron任务:

#编辑一个新的维护任务表
crontab -e

如果第一次执行,默认会使用nano编辑器进行编辑,且创建新的crontab,这个按照默认的来就好了,在其中加入内容

#以下是示例,选择一个合适的就好

#每10分钟执行一次
*/10 * * * * /bin/bash ~/time-run.sh

#每30分钟执行一次
*/30 * * * * /bin/bash ~/time-run.sh

#每1小时执行一次
* * /1 * * * /bin/bash ~/time-run.sh

重点:启动cron服务,这个需要用sudo或者有权限的账户进行,一定要使用,并查看。

#启动
sudo service crond restart

#服务状态查看
service crond status

第一次同步会较为耗时,后面就能实现多台服务器自动同步了。以上只写了两台服务器间,可以可以扩展到多台。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/480433.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Ajax(异步刷新技术)与jQuery(待完善)

文章目录 1. Ajax1.1 无刷新的好处1.2 传统Web与Ajax的差异1.3 Ajax工作流程1.4 XMLHttpRequest对象 1. Ajax Ajax(Asynchronous JavaScript and XML)是一种无需刷新整个页面而能更新部分页面内容的技术。它通过在后台与服务器进行数据交换,…

【NBUOJ刷题笔记】递推_递归+分治堂练

0. 前言 PS:本人并不是集训队的成员,因此代码写的烂轻点喷。。。本专题一方面是巩固自己的算法知识,另一方面是给NBU学弟学妹们参考解题思路(切勿直接搬运抄袭提交作业!!!)最后&…

独角兽深兰科技人工智能培训

欢迎私聊我交流学习,全套课程。

第十五届蓝桥杯嵌入式模拟考试I

第十五届蓝桥杯嵌入式模拟考试I 时隔多日,蓝桥杯比赛将之,听老师说还有模拟题这个东西(以前从没听说过),不模拟不知道,一模拟吓一跳,废话不多说直接上图,这是只做编程题的得分满分85,剩下的几分我实在拿不…

Orbit 使用指南 08 | 登记注册环境 | Isaac Sim | Omniverse

如是我闻: 在上一个指南中,我们学习了如何创建一个自定义的车杆环境。我们通过导入环境类及其配置类来手动创建了一个环境实例 # create environment configurationenv_cfg CartpoleEnvCfg()env_cfg.scene.num_envs args_cli.num_envs# setup RL envir…

软件测试相关内容第五弹 -- 自动化测试Selenium

写在前:hello这里是西西~ 这边博客主要学习关于自动化测试的相关内容,首先了解自动化测试的相关理论知识,其次学习web应用中基于UI的自动化测试框架 - selemium[需要重点掌握selenium工作原理],实操selenium,最后学习Junit相关知识…

BUUCTF---week3(小明的密码题)

题目: from Crypto.Util.number import * from secret import * flag_part flag_content # secret_token p getPrime(512) q getPrime(512)m bytes_to_long(flag_part.encode())e 5 n p*qc pow(m,e,n)print(n , n) print(c , c) print(flag_part , flag_p…

比一比gitee、gitlab、github

gitee、gitlab、github,哪个是目前国内大型公司使用最多的呢?共同点:三者都是基于git的代码托管工具,都支持版本管理。 gitee:适合国内开发者,更友好的本地化服务,形成了一个适合中国宝宝学习的…

1、goreplay流量回放

目的 在实际项目中,会有大量的回归测试工作,通常会使用自动化代码的手段来实现回归,但是对于一个庞大的系统来说,通过自动化脚本的方式来实现回归测试,又显得很费时费力。并且如果有定期将线上数据同步到测试环境的需求…

Java代码基础算法练习-递归求数-2024.03.22

任务描述: 利用递归函数调用方式,将所输入的5个字符,以相反顺序打印出来。 任务要求: 代码示例: package march0317_0331;import java.util.Scanner;/*** m240322类,提供了一个反转输入字符串前5个字符的…

linux之sed编辑器指令练习

目录 一、sed编辑器 二、sed使用案例 1.1 s命令(substitute替换) 一、sed编辑器 sed编辑器比交互式编辑器快的多,可以简化数据处理任务,sed编辑器并不会修改文件,只会将修改后的数据,输出。 二、sed使用案例 首先…

ts js vue 验证文件 MD5 值 spark-md5

ts js vue 验证文件 MD5 值 spark-md5 如何在前端中验证要上传的文件的 md5 值 一、安装 spark-md5 插件 需要用到 spark-md5 这个插件 官方 github:https://github.com/satazor/js-spark-md5/tree/master yarn add spark-md5 // 或 npm i spark-md5使用的时候引…

JavaWeb的MVC设计模式

JavaWeb的MVC设计模式学习笔记 JSP Model1 在JSP Model1架构中,JSP页面既充当了视图(View)的角色,又包含了处理业务逻辑和数据处理的代码,承担了Controller和Model的责任。这种架构简单直接,适用于小型项…

使用阿里CICD流水线打包Vue项目到阿里的docker镜像私仓,并自动部署到服务器启动服务

文章目录 使用阿里CICD流水线打包Vue项目到阿里的docker镜像私仓,并自动部署到服务器启动服务1、功能实现原理大家可以看我之前的两篇文章2、打包vue项目和打包咱们的Java项目过程差不多相同,大家可以看着上面的Java打包过程进行实验,下面是v…

MySQL数据库:索引

一、索引: 1. 索引的概念: 索引是一个排序的列表,在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址。 使用索引后可以不用扫描全表来定位某行的数据,而是先通过索引表找到该行数据对应的物理地址然后访问相应的数据…

框架结构静力分析matlab有限元编程【Matlab源码+PPT讲义】| 梁单元 | 弯矩图 |坐标变换

专栏导读 作者简介:工学博士,高级工程师,专注于工业软件算法研究本文已收录于专栏:《有限元编程从入门到精通》本专栏旨在提供 1.以案例的形式讲解各类有限元问题的程序实现,并提供所有案例完整源码;2.单元…

第1篇:Mysql数据库表结构导出字段到Excel(一个sheet中)

package com.xx.util;import org.apache.poi.ss.usermodel.*; import org.apache.poi.xssf.usermodel.XSSFWorkbook;import java.sql.*; import java.io.*;public class DatabaseToExcel {public static void main(String[] args) throws Exception {// 数据库连接配置String u…

RuoYi 自定义字典列表页面编码翻译

“字典数据”单独维护,而不是使用系统自带的字典表,应该如何使用这样的字典信息呢? 系统字典的使用,请参考: 《RuoYi列表页面字典翻译的实现》 https://blog.csdn.net/lxyoucan/article/details/136877238 需求说明…

【C++】1597. 买文具

问题:1597. 买文具 类型:基本运算、整数运算 题目描述: 花花去文具店买了 1 支笔和 1块橡皮,已知笔 x 元/ 支,橡皮 y元 / 块,花花付给了老板 n 元,请问老板应该找给花花多少钱? 输…

数字孪生底层技术框架

数字孪生是一种将现实世界中的物理实体、过程或系统数字化并映射到计算机模型中的方法。它在数学建模与仿真方面具有重要作用,为了实现数字孪生,以下是一些底层技术框架和方法,希望对大家有所帮助。北京木奇移动技术有限公司,专业…