开始使用高性能、低延迟的对象存储服务 Amazon S3 Express One Zone

8bffe4785088f06c4f51bbcca88d835d.gif

全新的对象存储服务 Amazon S3 Express One Zone 旨在提供比 Amazon S3 Standard 高出10倍的性能,同时每秒可处理数十万个请求,并且延迟始终保持在个位数毫秒级,因此非常适合存储最常访问的数据和要求最苛刻的应用程序。将对象存储和复制到单个亚马逊云科技可用区内的专门构建硬件上,这样就可将存储和计算(Amazon EC2、Amazon ECS 和 Amazon EKS)资源放在同一位置,以进一步减少延迟。

  • Amazon S3 Express One Zone :

    https://aws.amazon.com/s3/storage-classes/express-one-zone/

Amazon S3 Express One Zone

由于计算和存储之间的延迟非常低,对象存储服务 Amazon S3 Express One Zone 可以协助显著缩短数据密集型应用程序的运行时间,尤其是使用成百上千个并行计算节点处理大量数据以进行 AI/ML 训练、财务建模、媒体处理、实时广告投放、高性能计算等操作的应用程序。这些应用程序通常会在相对较短的时间段内保存数据,但在此期间以非常高的频率访问数据。

此全新的对象存储服务可以处理任何规模的对象,但对于较小的对象来说尤其作用明显。这是因为对于较小的对象,第一个字节的处理时间与最后一个字节的处理时间非常接近。在所有存储系统中,较大的对象需要更长的时间进行流式处理,因为在传输过程中需要下载更多的数据,并且因此存储延迟对对象读取总时间的影响较小。因此,与大型对象相比,较小的对象可以从较低的存储延迟中获得巨大的优势。由于对象存储服务 Amazon S3 Express One Zone 具有持续的极低延迟,因此与 Amazon S3 Standard 相比,读取小型对象的速度最多可以提升 10 倍。

对象存储服务 Amazon S3 Express One Zone 提供的极低延迟,加上比对象存储服务 Amazon S3 Standard 低 50% 的请求成本,意味着您的 Spot 和按需计算资源可更高效地使用,并且可以更早关闭,从而降低总体处理成本。

每个对象存储服务 Amazon S3 Express One Zone 目录存储桶都存在于选择的单个可用区中,可以使用一组常用的 S3 API 函数进行访问:CreateBucket、PutObject、GetObject、ListObjectsV2 等。这些存储桶还支持一组精心选择的 Amazon S3 功能,包括字节范围提取、分段上传、分段复制、预签名 URL 和 S3 对象存储访问分析器。可以直接上传对象、编写使用 CopyObject 的代码或使用 Amazon S3 对象存储批量操作。

为了减少延迟并使该对象存储服务尽可能高效和可扩展,我们引入新的存储桶类型、新的身份验证模型和存储桶命名惯例:

新的存储桶类型 – 全新的目录存储桶特定用于该存储类别,每秒支持处理数十万个请求。它们具有分层命名空间,并以类似目录的方式存储对象键名称。路径分隔符必须为“ / ”,并且提供给 ListObjectsV2 的任何前缀都必须以分隔符结尾。此外,列表操作会在不先排序结果的情况下返回结果,因此无法执行“特定位置之后开始”的检索。

新的身份验证模型 – 全新的 CreateSession 函数返回会话令牌,该令牌授予对特定存储桶的访问权限,为期五分钟。在对运行于存储桶或其中对象的其他 S3 API 函数发出的请求中必须包含此令牌,CopyObject 除外,该函数需要 IAM 凭证。最新版本的 Amazon SDK 会自动处理会话创建。

存储桶命名 – 目录存储桶名称在其亚马逊云科技区域内必须是唯一的,并且必须以特殊格式的后缀指定可用区 ID。如果我的基础存储桶名称是 jbarr,并且它存在于可用区 use1-az5(美国东部(弗吉尼亚北部)区域中的可用区 5)中,那么我向 CreateBucket 提供的名称将是 jbarr--use1-az5--x-s3。尽管存储桶存在于特定的可用区内,但可以从该区域中的其他可用区访问该存储桶,并且对于从一个可用区中的计算资源到同一区域内另一个可用区中的目录存储桶的请求,不会收取数据传输费用。

Amazon S3 Express One Zone 实际操作


接下来使用此全新的对象存储服务。我将重点介绍命令行,但也可以使用亚马逊云科技管理控制台和 API 访问。

我的 EC2 实例正在我的 us-east-1f 可用区中运行。我使用 jq 将此值映射到可用区 ID:

$ aws ec2 describe-availability-zones --output json | \
  jq -r  '.AvailabilityZones[] | select(.ZoneName == "us-east-1f") | .ZoneId'
use1-az5

左滑查看更多

我创建一个存储桶配置(s3express-bucket-config.json)并包括 ID:

{
        "Location" :
        {
                "Type" : "AvailabilityZone",
                "Name" : "use1-az5"
        },
        "Bucket":
        {
                "DataRedundancy" : "SingleAvailabilityZone",
                "Type"           : "Directory"
        }
}

左滑查看更多

安装最新版本的亚马逊云科技命令行界面(Amazon CLI)后,我创建自己的目录存储桶:

  • 亚马逊云科技命令行界面(Amazon CLI)

    https://aws.amazon.com/cli/

$ aws s3api create-bucket --bucket jbarr--use1-az5--x-s3 \
  --create-bucket-configuration file://s3express-bucket-config.json \
  --region us-east-1
-------------------------------------------------------------------------------------------
|                                       CreateBucket                                      |
+----------+------------------------------------------------------------------------------+
|  Location|  https://jbarr--use1-az5--x-s3.s3express-use1-az5.us-east-1.amazonaws.com/   |
+----------+------------------------------------------------------------------------------+

左滑查看更多

然后,我可以像往常一样使用目录存储桶作为其他 CLI 命令的目的地(第二处是解压缩 Amazon CLI 的目录):

$ aws s3 sync aws s3://jbarr--use1-az5--x-s3

左滑查看更多

列出目录存储桶的内容时,我看到 StorageClass 是 EXPRESS_ONEZONE:

$ aws s3api list-objects-v2 --bucket jbarr--use1-az5--x-s3 --output json | \
  jq -r '.Contents[] | {Key: .Key, StorageClass: .StorageClass}'
...
{
  "Key": "install",
  "StorageClass": "EXPRESS_ONEZONE"
}
...

左滑查看更多

S3 的管理控制台在单独的选项卡上显示通用存储桶和目录存储桶:

2186d123a5b9d31c593f438841bb7832.png

如上所示,我可以使用导入按钮将现有存储桶(或内容的前缀子集)的内容导入目录存储桶中。我选择一个源存储桶,单击“导入”,然后输入将用于生成源存储桶清单和创建 S3 批量操作作业的参数。

  • S3 批量操作

    https://aws.amazon.com/s3/features/batch-operations/

7ae2c023bc5257b80024855882bc9eee.png

作业已创建并开始执行:

1fa42fe928abe94fa7eef5c87649024f.png

注意事项


以下是有关此全新对象存储服务 Amazon S3 的一些重要事项:

区域 – 对象存储服务Amazon S3 Express One Zone 在美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、亚太地区(东京)和欧洲地区(斯德哥尔摩)区域推出,并计划在一段时间内扩展到其他区域。

其他亚马逊云科技服务 – 可以将对象存储服务 Amazon S3 Express One Zone 与其他亚马逊云科技服务(包括 Amazon SageMaker Model Training、Amazon Athena、Amazon EMR 和 Amazon Glue Data Catalog)结合使用,以加速处理您的机器学习和分析工作负载。还可以使用适用于 Amazon S3 对象存储的 Mountpoint,以面向文件的方式处理您的 S3 对象。

定价 – 与其他对象存储服务 Amazon S3 一样,按使用量付费方式定价。在美国东部(弗吉尼亚州北部)区域,您每月支付 0.16 USD/GB,每个对象的最低计费时间为一小时,某些请求类型还会额外收费。对于任何超过 512KB 的请求部分,您需要按 GB 额外支付费用。有关更多信息,请参阅 Amazon S3 对象存储定价页面。

耐用性 – 在全部或部分亚马逊云科技可用区丢失或损坏的极少数情况下,对象存储服务 Amazon S3 One Zone 中的数据可能会丢失。例如,火灾和水灾等事件可能导致数据丢失。除了这些类型的事件外,我们的 One Zone 存储类使用与区域存储类相似的工程设计来保护对象免受独立磁盘、主机和机架级故障的影响,并且每种类型都旨在提供 99.999999999% 的数据耐用性。

SLA – 对象存储服务 Amazon S3 Express One Zone 旨在提供 99.95% 的可用性,可用性 SLA 为 99.9%;有关信息,请参阅 Amazon S3 服务等级协议页面。

  • Amazon S3 服务等级协议

    https://aws.amazon.com/s3/sla/

这一全新的对象存储服务现已推出,您可以立即开始使用!

本篇作者

163b20c8aa5f676c1d26a311fdf159cd.jpeg

Jeff Barr

亚马逊云科技副总裁、首席布道师。

05bb5b0bf8a004d8abfa029aeaac295c.gif

星标不迷路,开发更极速!

关注后记得星标「亚马逊云开发者」

df8695caffb7503208366bd38bab9716.gif

听说,点完下面4个按钮

就不会碰到bug了!

51b129f67272799b4df9513ef0e2c010.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/221174.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【链表Linked List】力扣-24 两两交换链表中的节点

目录 题目描述 解题过程 题目描述 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换)。 示例 1: 输入:he…

⭐ Unity里 用OpenCv 插件 将图片生成Gcode

现在遇到一个需求,用Unity里用图片生成Gcode 告知硬件让它去画出来 翻阅了一些资料,最后决定用OpenCV去做 下图左侧是生成的Gcode文件 右侧是要画的图片 话不多说直接上代码 using System.IO; using UnityEngine; using OpenCVForUnity.CoreModule; …

第十五届蓝桥杯模拟赛B组(第二期)C++

前言: 第一次做蓝桥模拟赛的博客记录,可能有很多不足的地方,现在将第十五届蓝桥杯模拟赛B组(第二期)的题目与代码与大家进行分享,我是用C做的,有好几道算法题当时自己做的也是一脸懵&#xff0c…

财报解读:立足海外音视频直播战场,欢聚的BIGO盾牌还需加强?

如今,音视频社交平台出海早已不是新鲜事,随着时间推移,一批“坚定全球化不动摇”的企业也实现突围,站在出海舞台中心。 若提到中国企业出海范本,欢聚集团定是绕不开的存在。作为最早一批出海的中国互联网企业&#xf…

CS144(2023 Spring)Lab 0:networking warmup(环境搭建 webget bytestream)

文章目录 前言其他笔记相关链接 1. Set up GNU/Linux on your computer2. Networking by hand3. Writing a network program using an OS stream socket3.1 Linux配置3.2 C规范3.3 Writing webget3.3.1 实现3.3.2 测试 4. An in-memory reliable byte stream4.1 思路分析4.2 代…

记录 | vscode设置自动换行

右上菜单栏 -> 查看 -> 打开自动换行 或者还有种方式,如下, 左下角小齿轮,点击设置 然后输入 Editor: Word Wrap ,把开关打开为 on

扩散模型实战(十四):扩散模型生成音频

推荐阅读列表: 扩散模型实战(一):基本原理介绍 扩散模型实战(二):扩散模型的发展 扩散模型实战(三):扩散模型的应用 扩散模型实战(四&#xff…

使用 Go Modules 管理依赖:简明教程

一、GoLang 中包的介绍和定义 包(package)是多个 Go 源码的集合,是一种高级的代码复用方案Go 语言为我们提供了很多内置包,如 fmt、strconv、strings、sort、errors、times、encoding/json、os、io 等Golang 中的包可以分为三种&…

C# WPF上位机开发(图形显示软件)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 在实际应用中,有一种情况就是,我们需要经常对数据进行图形化显示,这样会比较直观一点。比如经济统计里面的同比…

宝塔部署appache部署ssl证书无法访问443端口

原因: 不是部署方法错误,而是操作不当,原来一开始为了测试我去修改了appache默配置路径下的httpd-ssl.donf,此文件一般 在appche/conf/extra/目录下(版本不同目录可能有所区别)。 导致问题: 在…

【数据结构和算法】到达首都的最少油耗

其他系列文章导航 Java基础合集数据结构与算法合集 设计模式合集 多线程合集 分布式合集 ES合集 文章目录 其他系列文章导航 文章目录 前言 一、题目描述 二、题解 三、代码 四、复杂度分析 前言 这是力扣的2477题,难度为中等,解题方案有很多种&…

用友NC Cloud FileParserServlet反序列化RCE漏洞复现

0x01 产品简介 用友 NC Cloud 是一种商业级的企业资源规划云平台,为企业提供全面的管理解决方案,包括财务管理、采购管理、销售管理、人力资源管理等功能,实现企业的数字化转型和业务流程优化。 0x02 漏洞概述 用友 NC Cloud FileParserServlet接口存在反序列化代码执行漏…

Amazon CodeWhisperer 正式可用, 并面向个人开发者免费开放

文章作者:深度-围观 北京——2023年4月18日,亚马逊云科技宣布,实时 AI 编程助手 Amazon CodeWhisperer 正式可用,同时推出的还有供所有开发人员免费使用的个人版(CodeWhisperer Individual)。CodeWhisperer…

微服务1 springcloud学习笔记P1-P40

b微服务技术栈_哔哩哔哩_bilibili 文档资料: 链接:https://pan.baidu.com/s/1P_Ag1BYiPaF52EI19A0YRw?pwdd03r 提取码:d03r 一 了解微服务技术 二 Eureka (1) Eureka配置 (2) 注册user-service (3) 总结 Ribbon 负载均衡 (1) 流程 三 nacos配置管理…

在AWS EC2中部署和使用Apache Superset的方案

大纲 1 Superset部署1.1 启动AWS EC21.2 下载Superset Docker文件1.3 修改Dockerfile1.4 配置管理员1.5 结果展示1.6 检查数据库驱动1.7 常见错误处理 2 Glue(可选参考)3 IAM与安全组3.1 使用AWS Athena3.2 使用AWS RedShift或AWS RDS3.2.1 查看AWS Reds…

JavaScript <md5加密的两种不同输出结果分析>--案例(二点一)

前言: 问题是这样的,在浏览器中看到这段代码 然后在控制台进行输出.得到: 紧接着,就在,js文件里面进行转译: 可是,得到的结果是: 这是问题!!! 正题: 为什么相同的js代码,在 .js 文件中的输出与 Chrome 控制台中的输出不一样? 环境差异:不同的JavaScript环境&…

dante(centos)安装

下载安装包 https://www.inet.no/dante/doc/latest/config/index.html 下载软件 解压 tar -zxvf dante-1.4.3.tar.gz 或者 wget http://www.inet.no/dante/files/dante-1.4.3.tar.gz tar -xvzf dante-1.4.3.tar.gz 编译 cd dante-1.4.3 yum install gcc make -y ##编译必备 …

活动目录是什么?

企业在进行数字化转型时,也会面临日益增长的网络用户和复杂的身份管理需求。为了高效地管理用户身份、控制访问权限以及保护企业的数据安全,许多企业选择使用微软的Active Directory,即微软活动目录,来作为网络身份管理系统。 1、…

DS图应用--最短路径

Description 给出一个图的邻接矩阵,再给出指定顶点v0,求顶点v0到其他顶点的最短路径 Input 第一行输入t,表示有t个测试实例 第二行输入n,表示第1个图有n个结点 第三行起,每行输入邻接矩阵的一行,以此类…

关于先更新再缓存这种缓存方案设计的思考

这两天正在做公司缓存方面的设计,然后就把自己的思考过程整理一下。 网上对于这块的内容讲解也非常的多,有些说的也都非常的在理,关于缓存一致性的方案也就那么几种,如:先更新、再删,先删、在更新&#xff…