一、Linux下的分布式迁移工具dsync使用
dsync 是一个在 Linux 系统上用于迁移文件和目录的工具。它可以在不同的存储设备之间进行数据同步和迁移操作。dsync 是 rsync 工具的一个衍生版本,专注于在本地文件系统之间进行数据迁移。
这里是官网:dsync
1、以下是一些关于 dsync 工具的主要特点和用法:
- 数据同步:dsync 可以在源和目标之间进行数据同步,确保两个位置的文件和目录内容保持一致。
- 增量传输:dsync 采用增量传输的方式,仅传输源和目标之间发生变化的部分。这可以大大减少传输的数据量,提高效率。
- 权限和时间戳保留:dsync 在文件迁移过程中可以保留文件的权限、所有者、时间戳等元数据信息。
- 删除文件同步:dsync 可以在目标位置删除与源位置不一致的文件和目录,确保目标位置与源位置完全一致。
- 递归同步:dsync 可以递归地同步整个目录结构,包括子目录和文件。
- 高度可定制:dsync 支持多种命令行选项和参数,可以根据需求进行灵活的配置和调整。
2、下面是 dsync 的基本用法示例:
dsync [选项] <源路径> <目标路径>
其中,<源路径>
指定源文件或目录的路径,<目标路径>
指定目标文件或目录的路径。
一些常用的选项包括:
-v
或--verbose
:显示详细的输出信息。-n
或--dry-run
:模拟执行,显示将要进行的操作,而不实际执行。-r
或--recursive
:递归同步整个目录结构。-u
或--update
:仅传输源和目标之间发生变化的文件。
请注意,dsync 工具需要在 Linux 系统上安装,并且可能在不同的发行版中具有不同的安装方式。可以通过在终端中运行 man dsync 命令来获取关于 dsync 的详细帮助文档。
3、dsync sample
[root@node01 dsync]# cat dsync-sample.sh
#!/bin/bash
mpirun --allow-run-as-root -machinefile /root/hostf -mca btl_tcp_if_include eth0 --oversubscribe -np 96 dsync /root/dsync/dsync-sample.sh /tmp/dsync-sample.sh |grep -v llist
[root@node01 dsync]# cat /root/hostf # 这里要注意下默认情况下执行该命令的节点会作为master节点,其余节点为worker节点
172.11.11.11
172.11.11.12
172.11.11.13
172.11.11.14
172.11.11.15
二、dsync安装
[root@node01 dsync]# cat intsall.sh
#!/bin/bash
mkdir /opt/lib/
tar zxvf /root/dsync/mvapich.tar.gz -C /opt/lib/
mkdir /opt/tool/
tar zxvf /root/dsync/spack.tar.gz -C /opt/tool/
yum install -y environment-modules
echo -e '. /opt/tool/spack/share/spack/setup-env.sh\nspack load mpifileutils\nspack load mpi' >> /root/.bashrc
#### mvapich.tar.gz 和 spack.tar.gz 放到csdn资源中,安装脚本执行完后,就可以正常迁移数据了
https://download.csdn.net/download/qq_28513801/87971804