Linux下的分布式迁移工具dsync使用

一、Linux下的分布式迁移工具dsync使用

dsync 是一个在 Linux 系统上用于迁移文件和目录的工具。它可以在不同的存储设备之间进行数据同步和迁移操作。dsync 是 rsync 工具的一个衍生版本,专注于在本地文件系统之间进行数据迁移。
这里是官网:dsync

1、以下是一些关于 dsync 工具的主要特点和用法:
  1. 数据同步:dsync 可以在源和目标之间进行数据同步,确保两个位置的文件和目录内容保持一致。
  2. 增量传输:dsync 采用增量传输的方式,仅传输源和目标之间发生变化的部分。这可以大大减少传输的数据量,提高效率。
  3. 权限和时间戳保留:dsync 在文件迁移过程中可以保留文件的权限、所有者、时间戳等元数据信息。
  4. 删除文件同步:dsync 可以在目标位置删除与源位置不一致的文件和目录,确保目标位置与源位置完全一致。
  5. 递归同步:dsync 可以递归地同步整个目录结构,包括子目录和文件。
  6. 高度可定制:dsync 支持多种命令行选项和参数,可以根据需求进行灵活的配置和调整。
2、下面是 dsync 的基本用法示例:

dsync [选项] <源路径> <目标路径>

其中,<源路径> 指定源文件或目录的路径,<目标路径> 指定目标文件或目录的路径。

一些常用的选项包括:

  • -v--verbose:显示详细的输出信息。
  • -n--dry-run:模拟执行,显示将要进行的操作,而不实际执行。
  • -r--recursive:递归同步整个目录结构。
  • -u--update:仅传输源和目标之间发生变化的文件。

请注意,dsync 工具需要在 Linux 系统上安装,并且可能在不同的发行版中具有不同的安装方式。可以通过在终端中运行 man dsync 命令来获取关于 dsync 的详细帮助文档。

3、dsync sample
[root@node01 dsync]# cat dsync-sample.sh
#!/bin/bash
mpirun --allow-run-as-root -machinefile /root/hostf -mca btl_tcp_if_include eth0 --oversubscribe -np 96 dsync  /root/dsync/dsync-sample.sh  /tmp/dsync-sample.sh  |grep -v llist

[root@node01 dsync]# cat /root/hostf   # 这里要注意下默认情况下执行该命令的节点会作为master节点,其余节点为worker节点
172.11.11.11
172.11.11.12
172.11.11.13
172.11.11.14
172.11.11.15

二、dsync安装

[root@node01 dsync]# cat intsall.sh
#!/bin/bash
mkdir /opt/lib/
tar zxvf /root/dsync/mvapich.tar.gz -C /opt/lib/
mkdir /opt/tool/
tar zxvf /root/dsync/spack.tar.gz -C /opt/tool/
yum install -y environment-modules
echo -e '. /opt/tool/spack/share/spack/setup-env.sh\nspack load mpifileutils\nspack load mpi' >> /root/.bashrc



#### mvapich.tar.gz 和 spack.tar.gz 放到csdn资源中,安装脚本执行完后,就可以正常迁移数据了
https://download.csdn.net/download/qq_28513801/87971804

三、迁移例子

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/34360.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

游泳买耳机买什么的比较好,列举几款实战性好的游泳耳机

对于运动用户来说&#xff0c;在运动时都会选择听一些节奏感比较强的音乐&#xff0c;让自己运动是更有活力。现在已经是三伏天中的前伏期间&#xff0c;不少人会选择在三伏天的日子里进行减肥瘦身&#xff0c;耳游泳已经成为很多人都首选运动&#xff0c;游泳是非常好的有氧运…

吐血整理!可免费使用的国产良心软件分享,几乎满足你办公需求

在这个信息化时代&#xff0c;软件已经成为我们办公和生活的必备工具。然而&#xff0c;市面上的大部分国产软件都需要付费才能使用&#xff0c;给我们的经济负担增加了不少。幸运的是&#xff0c;国内有一些良心软件&#xff0c;它们质量上乘&#xff0c;功能强大&#xff0c;…

2023牛客网秋招国内大厂最牛的 Java 面试八股文合集(全彩版)

秋收即将来临&#xff0c;找工作的小伙伴比比皆是&#xff0c;很对小伙伴早早的就开始储备技术&#xff0c;准备秋招面试了。 为了帮助小伙伴更好的应对面试&#xff0c;我拉来十几个大佬&#xff0c;汇总一线大厂的情况&#xff0c;给你整了一套超全的面试资料&#xff1a; 16…

深度学习项目实战二: LetNet5网络结构搭建

深度学习项目实战二: LetNet5网络结构搭建 文章目录 深度学习项目实战二: LetNet5网络结构搭建@[TOC](文章目录)一、卷积基本运算公式二、LetNet5网络1. 网络结构![在这里插入图片描述](https://img-blog.csdnimg.cn/0008fe6e5886414eac09eed49556ad99.png)2. 导入相关包3. 代码…

熔断与降级 Hystrix

一、Hystrix(豪猪)简介 1、Hystrix的设计目的 &#xff08;1&#xff09;对依赖服务调用时出现的调用延迟和调用失败进行控制和容错保护。 &#xff08;2&#xff09;阻止某一个依赖服务的故障在整个系统中蔓延&#xff0c;服务A->服务B->服务C&#xff0c;服务C故障了…

四、交换网络实验4——单臂路由配置

更多网络基础内容可见: 网络基础学习目录及各章节指引 4.6.4 配置单臂路由器 实验目的 学习配置单臂路由 实验工具 Cisco Packet Tracer 实验环境 安装模拟器的Windows系统 实验步骤 第一步:根据拓扑配置基本信息

【Linux修炼】开发工具使用

&#x1f307;个人主页&#xff1a;平凡的小苏 &#x1f4da;学习格言&#xff1a;命运给你一个低的起点&#xff0c;是想看你精彩的翻盘&#xff0c;而不是让你自甘堕落&#xff0c;脚下的路虽然难走&#xff0c;但我还能走&#xff0c;比起向阳而生&#xff0c;我更想尝试逆风…

无人机遥感在农林信息提取中的实现方法与GIS融合制图教程

详情点击链接&#xff1a;无人机遥感在农林信息提取中的实现方法与GIS融合制图 遥感技术作为一种空间大数据手段&#xff0c;能够从多时、多维、多地等角度&#xff0c;获取大量的农情数据。数据具有面状、实时、非接触、无伤检测等显著优势&#xff0c;是智慧农业必须采用的重…

Vue指令案例

案例需求&#xff1a; 将Vue数据模型中的数据以表格的形式渲染展示 具体代码如下&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-wid…

《MySQL》对表进行操作(DDL语句)

文章目录 &#x1f4a1;创建表&#x1f4a1;修改表&#x1f4a1;删除表 在了解下列语句前&#xff0c;先掌握一下指令 # 查看表内容 desc [表名] # 详细查看表内容 show create table [表名] \G&#x1f4a1;创建表 # 创建表 create table [表名] ([字段1] [类型1],[字段2] […

ChatGPT实战:高考志愿填报

近期&#xff0c;随着各地陆续发布高考成绩&#xff0c;高考志愿填报市场随之升温&#xff0c;“高报师”再次成为“香饽饽”。填报志愿对中学生来说太难&#xff0c;在一个懵懂的年纪做这样一个决策&#xff0c;份量是比较重的。当普通人没很多的信息做参考的时候&#xff0c;…

pytorch快速入门中文——01

PyTorch 深度学习&#xff1a;60分钟快速入门 原文&#xff1a;https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html 作者&#xff1a; Soumith Chintala https://www.youtube.com/embed/u7x8RXwLKcA 什么是 PyTorch&#xff1f; PyTorch 是基于以下两个…

Linux历史及环境搭建(VMware搭建CentOS7环境以及使用XShell连接Vmware)

Linux历史及环境搭建 1.Linux历史1.1 UNIX发展的历史1.2 Linux发展历史1.2.1 开源1.2.2 官网1.2.3 发行版本 2.VMware配置CentOS7环境2.1 CentOS下载2.2 配置环境2.3 切换国内阿里源2.4 无图形化界面开机2.5 使用XShell连接VMware 结语 1.Linux历史 在这里简要介绍Linux的发展…

AI医疗。

随着技术的发展&#xff0c;人工智能&#xff08;AI&#xff09;已经渗透到了我们生活的许多领域&#xff0c;包括凭其强大的预测和分析能力已经走入了医疗卫生领域。特别是在使用OpenAI的GPT-4技术的chatbot&#xff0c;如chatGPT和GPT-4等&#xff0c;已经成为了给医疗行业注…

Bert

参考资料&#xff1a; 《机器学习》李宏毅 1 Bert 是怎么运作的&#xff1f; Bert 是一种自监督学习&#xff08;Self-supervised Learning&#xff09;模型。Bert 的目标是 pre-train 出一个能够理解语义的多功能语言模型&#xff0c;使之能够在特定任务上只学习较少的带标…

MAVEN的学习

MAVEN的作用是什么&#xff1f; 依赖管理&#xff1a;方便快捷的管理项目的资源&#xff08;jar包&#xff09;&#xff0c;避免版本冲突问题统一项目结构&#xff1a;提供标准、统一的项目结构项目构建&#xff1a;标准跨平台&#xff08;Linux、windows、MacOS&#xff09;的…

幂等性及解决方案

什么是幂等性 幂等性简单的说就是相同条件下&#xff0c;一次请求和多次重复的请求&#xff0c;接口的执行结果是相同的。 什么情况下会出现幂等性问题呢&#xff1f; 前端重复提交表单&#xff1a;如用户在提交表单的时候&#xff0c;由于网络波动没有及时给用户做出提交成…

可信数据库大会,不见不散!

由中国信息通信研究院、中国通信标准化协会指导&#xff0c;中国通信标准化协会大数据技术标准推进委员会&#xff08;CCSA TC601&#xff09;、InfoQ 极客传媒联合主办的 2023 可信数据库发展大会将于今日在北京国际会议中心隆重召开。 本届大会以“自主 创新 引领”为主题…

STM32微控制器:现状与竞争力的评估

STM32是意法半导体&#xff08;STMicroelectronics&#xff09;开发的一系列32位ARM Cortex-M微控制器。它们被广泛用于嵌入式系统开发&#xff0c;并在许多应用领域中得到了广泛应用&#xff0c;包括消费电子、工业自动化、汽车行业和物联网等。 尽管我无法提供最新的市场趋势…

Linux 内核源代码情景分析(一)

系列文章目录 Linux 内核设计与实现 深入理解 Linux 内核 Linux 设备驱动程序 Linux设备驱动开发详解 深入理解Linux虚拟内存管理 Linux 内核源代码情景分析&#xff08;一&#xff09; 文章目录 系列文章目录一、存储管理1、外部设备存储空间的地址映射&#xff08;1&#xff…