利用Rclone将阿里云对象存储迁移至雨云对象存储的教程,对象存储数据迁移教程

使用Rclone将阿里云对象存储(OSS)的文件全部迁移至雨云对象存储(ROS)的教程,其他的对象存储也可以参照本教程。

Rclone简介

Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。

它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件,它具有单向同步功能,使目录完全相同,它具有加密、缓存和联合后端,支持 Fuse 安装,并且可以通过 HTTP、WebDAV、FTP、SFTP 或 DLNA 服务本地或远程文件。

它支持超过 40 种不同的云存储服务,包括 Amazon S3, Google Drive, Dropbox, Microsoft OneDrive, Google Cloud Storage, Amazon Drive, OpenStack Swift, Backblaze B2, Yandex Disk, SFTP, WebDAV, FTP, SFTP, Minio, Wasabi, Alibaba OSS, SwiftStack, Tencent COS, Wasabi, Yandex.Disk, Yandex.Files等等。

rclone 支持多种文件传输方式,包括复制,同步,移动,删除文件。它还支持文件加密和压缩,支持分块上传和分块下载,可以暂停和恢复传输,支持文件的校验和合并。

rclone 的主要优势在于它的灵活性和可扩展性。它可以用来做很多事情,包括备份,文件同步,数据迁移等。它可以在各种平台上运行,包括 Windows,macOS,Linux,FreeBSD,NetBSD 等。

rclone 的配置简单,可以使用命令行或者配置文件来配置。使用 rclone 可以非常方便的操作云存储,支持的命令也非常丰富,使用起来非常方便。

简单来讲,主要的功能如下:

  • 将文件备份(和加密)到云存储
  • 从云存储还原(和解密)文件
  • 将云数据镜像到其他云服务或本地
  • 将数据迁移到云,或在云存储供应商之间迁移
  • 将多个、加密、缓存或不同的云存储挂载为磁盘
  • 使用 lsf、ljson、size、ncdu 分析和核算云存储上保存的数据
  • 将文件系统合并在一起,将多个本地和/或云文件系统呈现为一个

准备

注册账号并创建存储桶

首先需要注册个雨云账号并新建一个存储桶。

雨云优惠注册地址:https://www.rainyun.com/zeruns_?s=csdn

优惠码:zeruns

使用优惠码注册后绑定微信可获得5折优惠券

雨云账号注册&云服务器购买和使用教程:https://www.bilibili.com/video/BV1Kj411x7G6/

存储桶创建教程可以参考这篇文章:https://blog.zeruns.tech/archives/743.html

下载安装Rclone

Rclone官方下载地址:https://rclone.org/downloads/

window版雨云对象存储下载地址:https://cn-sy1.rains3.com/rainyun-assets/Pic/2023/12/rclone-v1.65.0-windows-amd64_f23f79a27f93b504a2c9b4938c376e6e.zip

本篇教程用windows版,如果你会Linux也可以用Linux,rclone指令都是一样的。

将下载的windows版压缩包解压到你要安装的目录,然后将这个目录路径添加到系统环境变量中,如下图所示。

然后打开CMD,输入命令 rclone --version 来看看有没有安装成功,出现如下图信息就是成功了。

如果不行也可以使用cd命令进入到这个目录,然后用 ./rclone --version 命令

Rclone常见命令

rclone config - 以控制会话的形式添加rclone的配置,配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址,跳过已复制完成的。
rclone sync - 将源数据同步到目的地址,只更新目的地址的数据。
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下,文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件,进行删除/重命名操作。

配置对象存储

查看雨云对象存储的信息,还有要迁移的对象存储的信息。

配置雨云对象存储ROS

在CMD输入命令 rclone config 来进入交互式配置选项,进行添加、删除、管理对象存储等操作。

然后输入n来新建一个存储,按照提示输入雨云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入ROS

选择存储类型,雨云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择其他31 / Any other S3 compatible provider,输入序号31

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入雨云控制台显示的Access Key和Secret Key

  • region> :输入序号1
  • endpoint> :输入雨云对象存储控制台显示的API端点地址,将地址后面的存储桶名称去掉,例如https://cn-sy1.rains3.com
  • location_constraint> :留空,直接回车

acl> :输入序号1

  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在雨云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls ROS:zeruns-test2 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的ROS替换成你上面设置存储名时输入的,zeruns-test2替换成你自己的存储桶名称。

配置阿里云OSS

在CMD输入命令 rclone config 来进入交互式配置选项。

然后输入n来新建一个存储,按照提示输入阿里云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入OSS

选择存储类型,阿里云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择阿里云2 / Alibaba Cloud Object Storage System (OSS) formerly Aliyun,输入序号2

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入从阿里云控制台获取的AccessKey ID和AccessKey Secret。

选择对象存储endpoint,我创建的阿里云OSS区域选的是华北6(乌兰察布),所以选择9 / North China 6 (Ulanqab),输入序号9,你们根据自己实际情况选。也可以手动输入阿里云控制台显示的Endpoint(地域节点)

acl> :输入序号1

  • 选择存储类型,我创建OSS存储桶(Bucket)时选的是标准存储,所以输入序号2,选项1是默认,选项3是归档存储,选项4是低频访问存储.
  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在阿里云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls OSS:zeruns-alioss 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的OSS替换成你上面设置存储名时输入的,zeruns-alioss替换成你自己的存储桶名称。

迁移数据

在CMD输入下面的命令将数据从阿里云OSS同步到雨云ROS

rclone sync OSS:zeruns-alioss ROS:zeruns-test2 --progress
# 命令格式:rclone sync 源(配置文件名称): 源数据Bucket  目标源名称:目标bucket (这句是注释,不用输入)

上面命令中的OSS替换成你上面设置阿里云OSS时输入存储名的,zeruns-alioss替换成你自己的阿里云OSS存储桶名称,ROS替换成你上面设置雨云对象存储时输入存储名的,zeruns-test2替换成你自己的雨云ROS存储桶名称。

等待同步完成即可在雨云对象存储控制台看到文件已经同步过来了。

你也可以使用这个工具将本地文件夹同步到对象存储里。

教程到此结束了。

推荐阅读

  • 雨云服务器快速搭建Cloudreve网盘网站并挂载雨云对象存储的教程:https://blog.zeruns.tech/archives/743.html
  • PicGo+雨云ROS搭建自己的图床,可配合Typora使用:https://blog.zeruns.tech/archives/734.html
  • 雨云游戏云MCSM面板服使用&我的世界Forge服务端开服教程:https://blog.zeruns.tech/archives/736.html
  • 雨云虚拟主机使用教程&WordPress博客网站搭建教程:https://blog.zeruns.tech/archives/737.html
  • 雨云游戏云VPS搭建MCSM面板和我的世界Paper服务器教程:https://blog.zeruns.tech/archives/738.html
  • 雨云服务器搭建内网穿透服务器教程,NPS搭建和使用教程:https://blog.zeruns.tech/archives/741.html
  • 高性价比和便宜的VPS/云服务器推荐: https://blog.zeruns.tech/archives/383.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/236439.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

RE2文本匹配调优实战

引言 在RE2文本匹配实战的最后,博主说过会结合词向量以及其他技巧来对效果进行调优,本篇文章对整个过程进行详细记录。其他文本匹配系列实战后续也会进行类似的调优,方法是一样的,不再赘述。 本文所用到的词向量可以在Gensim训练…

如何用CHAT写方案?

问CHAT:帮我写一份航空无动力乐园的可执行方案 CHAT回复: 方案一:概念及地点筛选 航空无动力乐园是指以航空运动为主题,利用自然地形与风力进行滑翔、跳伞等无动力航空运动的户外休闲娱乐乐园。鉴于此,首需要确定乐园…

Java入门项目--蚂蚁爱购

简介 这是一个靠谱的Java入门项目实战,名字叫蚂蚁爱购。 从零开发项目,视频加文档,十天就能学会开发JavaWeb项目,教程路线是:搭建环境> 安装软件> 创建项目> 添加依赖和配置> 通过表生成代码> 编写Ja…

力扣111. 二叉树的最小深度

给定一个二叉树,找出其最小深度。 最小深度是从根节点到最近叶子节点的最短路径上的节点数量。 说明:叶子节点是指没有子节点的节点。 示例 1: 输入:root [3,9,20,null,null,15,7] 输出:2 示例 2: 输入…

这样的Python自动化测试面试题,测开来了都不一定都会把!

十、接口自动化 10.1 接口自动化怎么测试 ( Python requestspytest 版本) 原来我们接口自动化是用 python request pytest 执行 接口自动化其实主要就是接口测试的基础上填加了断言,参数化,动态关联 做接口自动化之前,我们也会划分模块&#…

【数据结构】C语言实现堆(附完整运行代码)

🦄个人主页:修修修也 🎏所属专栏:数据结构 ⚙️操作环境:Visual Studio 2022 目录 一.了解项目功能 二.项目功能演示(以大堆为例) 三.逐步实现项目功能模块及其逻辑详解 1.实现堆程序主函数 2.创建堆结构 3.堆的初始化 4.数据元素入堆 5.数据元素…

Linux上编译和测试V8引擎源码

介绍 V8引擎是一款高性能的JavaScript引擎,广泛应用于Chrome浏览器和Node.js等项目中。在本篇博客中,我们将介绍如何在Linux系统上使用depot_tools工具编译和测试V8引擎源码。 步骤一:安装depot_tools depot_tools是一个用于Chromium开发…

边缘智能网关如何应对环境污染难题

随着我国工业化、城镇化的深入推进,包括大气污染在内的环境污染防治压力继续加大。为应对环境污染防治难题,佰马综合边缘计算、物联网、智能感知等技术,基于边缘智能网关打造环境污染实时监测、预警及智能干预方案,可应用于大气保…

【华为OD题库-076】执行时长/GPU算力-Java

题目 为了充分发挥GPU算力,需要尽可能多的将任务交给GPU执行,现在有一个任务数组,数组元素表示在这1秒内新增的任务个数且每秒都有新增任务。 假设GPU最多一次执行n个任务,一次执行耗时1秒,在保证GPU不空闲情况下&…

ELK综合案例

综合案例 ELKfilebeatnginxjson nginx配置 1,在nginx服务器上安装nginx # yum install epel-release # yum install nginx 2,将nginx日志改成json格式,这样各个字段就方便最终在kibana进行画图统计了 # vim /etc/nginx/nginx.conf ​ http {log_format main $remote_ad…

解决Git提交错误分支

如果 Git 提交到错误的分支&#xff0c;可以通过以下步骤将其转移到正确的分支上&#xff1a; 1.检查当前所在的分支&#xff0c;可以通过 git branch 命令查看。 git branch2.切换到正确的分支&#xff0c;可以通过 git checkout <正确的分支名> 命令进行切换。 git …

windows系统proteus中Ardunio Mega 2560和虚拟机上Ubuntu系统CuteCom进行串口通信

在文章利用proteus实现串口助手和arduino Mega 2560的串口通信-CSDN博客 中&#xff0c;实现了windows系统的proteus中Ardunio Mega 2560和SSCOM通过虚拟串口进行通信。虚拟串口的连接示意图如下图所示。 在文章windows系统和虚拟机上ubuntu系统通过虚拟串口进行通信-CSDN博客…

高级网工在Linux服务器抓包,少不了这几条常用的tcpdump命令。

Linux 的命令太多&#xff0c;tcpdump 是一个非常强大的抓包命令。有时候想看线上发生的一些问题&#xff1a; nginx 有没有客户端连接过来…… 客户端连接过来的时候 Post 上来的数据对不对…… 我的 Redis 实例到底是哪些业务在使用…… tcpdump 作为网络分析神器就派上用场…

2023年四川网信人才技能大赛 实操赛Writeup

文章目录 Crypto比base64少的baseaffine简单的RSA Misc不要动我的flagSimpleUSB猜猜我是谁不聪明的AI Pwngetitezbbstack Reverse谁的DNA动了Dont Touch Me Weblittle_gamejustppbezbbssmart 题目附件&#xff0c;文章末尾微信公众号点点关注亲&#xff0c;谢谢亲~ 题目附件链接…

Ubuntu安装TensorRT

文章目录 1. 安装CUDAa. 下载CUDAb. 安装CUDAc. 验证CUDA 2. 安装CUDNNa. 下载CUDNNb. 安装CUDNNc. 验证CUDNN 3. 安装TensorRTa. 下载TensorRTb. 解压TensorRTc. 安装TensorRTd. 安装uff和graphsurgeone. 验证是否安装成功f. 备注 关注公众号&#xff1a;『AI学习星球』 回复&…

机器学习算法性能评估常用指标总结

考虑一个二分问题&#xff0c;即将实例分成正类&#xff08;positive&#xff09;或负类&#xff08;negative&#xff09;。对一个二分问题来说&#xff0c;会出现四种情况。如果一个实例是正类并且也被 预测成正类&#xff0c;即为真正类&#xff08;True positive&#xff0…

Halcon 简单的ORC 字体识别

文章目录 仿射变化识别使用助手自己训练 仿射变化 将图片进行矫正处理 dev_close_window() dev_open_window(0, 0, Width, Height, black, WindowHandle) read_image(Image,C:/Users/Augustine/Desktop/halcon/image.png) *获取图片的大小 get_image_size(Image, Width, Height…

宝塔面板部署Apache服务器搭建本地站点发布到公网可访问【内网穿透】

文章目录 前言1. 环境安装2. 安装cpolar内网穿透3. 内网穿透4. 固定http地址5. 配置二级子域名6. 创建一个测试页面 正文开始前给大家推荐个网站&#xff0c;前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家…

什么是HTTP/2?它与HTTP/1.x相比有什么改进?

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 欢迎来到前端入门之旅&#xff01;感兴趣的可以订阅本专栏哦&#xff01;这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…

php 接入 百度编辑器

按照github上的操作下载百度编辑器的包后&#xff0c;根据文档上的步骤操作&#xff08;可能会遇到报错&#xff09;&#xff1a; 1、git clone 仓库 2、npm install 安装依赖&#xff08;如果没有安装 grunt , 请先在全局安装 grunt&#xff09; 我的是报了下面的错&#…