拓展 Amazon S3 技术边界:Amazon S3 Express One Zone 的创新之路

授权说明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道

自 Amazon S3 服务推出以来,一直是全球各行各业数百万客户钟爱的云存储服务。然而,随着新兴用例的不断涌现,传统存储方式面临性能瓶颈,尤其是对于对延迟极为敏感的应用程序。为前不久展开的亚马逊云科技 re:Invent 2023 大会上发布了存储相关的产品 Amazon S3 Express One Zone ,一种高性能存储类,为客户提供最快的数据访问速度和卓越的性能。

目录

一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

2. 技术突破:Amazon S3 Express One Zone 的创新

3. 技术突破:与计算资源并置的一体化解决方案

4. 技术突破:解决复杂性与提高灵活性

二、体验测试使用

三、体验感悟和个人总结


一、降本增效:S3 Express One Zone 的性能优势与成本削减

1. 技术挑战:数据访问速度与性能需求

随着新兴用例的崛起,一些应用程序每分钟需要执行数百万次的数据写入和访问,并对个位数毫秒级的响应时间提出苛刻要求。特别是在人工智能和机器学习模型训练、交互式分析、财务模型模拟等场景中,数据的快速访问对于计算效率至关重要。传统存储方式难以满足这些性能需求,客户通常将最常访问的数据移动到自定义缓存解决方案,以降低存储延迟。

2. 技术突破:Amazon S3 Express One Zone 的创新

Amazon S3 Express One Zone 创新性地解决了数据访问速度与性能需求之间的矛盾。通过在专用硬件和软件上复制和存储数据,它实现了比 Amazon S3 Standard 快 10 倍的访问速度,大幅提高了数据处理速度。为了进一步支持每分钟数百万个请求,引入了一种新的存储桶类型,即 Amazon S3 目录存储桶,有效降低了请求成本。

3. 技术突破:与计算资源并置的一体化解决方案

Amazon S3 Express One Zone 提供了与计算资源并置的选择,使客户能够更快地运行性能关键型应用程序。通过将数据与计算资源置于同一 亚马逊云科技 可用区,降低了计算成本,满足了对处理要求最苛刻的工作负载的需求。性能关键型应用程序如查询密集型分析实现了个位数毫秒级的数据访问速度,同时相较于 Amazon S3 Standard,请求成本降低了多达 50%,计算成本降低了多达 60%。

4. 技术突破:解决复杂性与提高灵活性

传统方式中,客户通过移动数据到自定义缓存解决方案来解决性能问题,但这也带来了操作负担和对应用程序的修改。Amazon S3 Express One Zone 帮助客户摆脱这一困境,无需管理多个存储系统以实现低延迟工作负载。通过使用相同的 Amazon S3 API 访问数据,客户不再需要额外的存储基础架构,从而简化了架构,降低了复杂性。

二、体验测试使用

在亚马逊云科技官网进行账号登录,没有账号的可以注册一个账号,登录之后进入个人控制台,在顶部搜索栏搜索S3存储桶服务

存储桶类型分为通用存储桶和目录存储桶,目录存储桶是针对需要稳定毫秒级延迟的应用场景进行了优化,这里我们选择创建目录存储桶,通过点击图中右方按钮创建存储桶

创建存储桶时,我们选择存储桶类型为目录--新建,用于低延迟应用场景,其他配置信息根据开发需求进行选择

进入目录存储桶,可以进行一些相关的操作,包括对资源的上传和管理操作,进入上传界面之后

我们可以通过拖拽目标文件和文件夹,也可以从本地上传文件和文件夹资源,S3 Express One Zone支持在目录存储桶中执行批量操作,包括清单操作。用户可以方便地操作和管理目录存储桶中的对象,同时保留清单的有效性和完整性

上传资源后,只需稍等片刻,即可查看上传状态。如图所示,照片已成功上传。在这里,我上传了一些照片,S3 Express One Zone是Amazon S3的一种存储类别,为用户提供了默认的服务器端加密(SSE-S3)和传输中的HTTPS安全访问。通过区域和区域API终端节点,用户可以根据实际需要选择访问方式。此存储类别支持用户选择校验和算法,包括SHA和CRC,用于在上传或下载期间验证数据完整性

进入我们要查看的存储桶,可以获得存储桶的相关信息,当其他功能中需要使用到存储桶时,可以根据相关名称和信息进行选中和使用

创建目录存储桶后,您将立即体验到极低的读写延迟。这一体验可以通过建立VPC终端节点连接来实现,或者通过使用区域和区域终结点进行管理对象和目录存储桶的API操作。

目录存储桶 S3 Express 单区添加创建存储桶策略示例在 IAM 用户的身份下,确保用户拥有s3express:CreateBucket 权限。这可以通过向用户的 IAM 策略中添加如下权限来实现例如:以下示例存储桶策略允许 AWS 账户 ID 将 API 操作用于默认会话 对于指定的目录存储桶。此策略授予对区域终结点(对象)的访问权限 level) API 操作。

例 – 允许使用默认会话进行调用的存储桶策略CreateSessionReadWrite
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadWriteAccess",
            "Effect": "Allow",
            "Resource": "arn:aws:s3express:us-west-2:111122223333:bucket/DOC-EXAMPLE-BUCKET--usw2-az1--x-s3",  
            "Principal": {
                "AWS": [
                    "111122223333"
                ]
            },
            "Action": [//获得对应权限
               "s3:CreateBucket",
               "s3:PutBucketPolicy",
               "s3:GetBucketPolicy"            ]
        }
    ]
}					

Amazon S3 Express One Zone存储类支持区域级别(存储桶或控制平面)和对象级别(数据平面)的终端节点API操作,以创建存储桶为例,请求语法如下:

PUT / HTTP/1.1
Host: Bucket.s3.amazonaws.com
x-amz-acl: ACL
x-amz-grant-full-control: GrantFullControl
x-amz-grant-read: GrantRead
x-amz-grant-read-acp: GrantReadACP
x-amz-grant-write: GrantWrite
x-amz-grant-write-acp: GrantWriteACP
x-amz-bucket-object-lock-enabled: ObjectLockEnabledForBucket
x-amz-object-ownership: ObjectOwnership
<?xml version="1.0" encoding="UTF-8"?>
<CreateBucketConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
   <LocationConstraint>string</LocationConstraint>
   <Location>
      <Name>string</Name>
      <Type>string</Type>
   </Location>
   <Bucket>
      <DataRedundancy>string</DataRedundancy>
      <Type>string</Type>
   </Bucket>
</CreateBucketConfiguration>

同时Amazon S3 还提供了接入点功能,如图所示,都有着对应的适用场景和用途。接入点是连接到可用于执行 S3 对象操作的存储桶的命名网络终端节点。接入点别名提供与接入点 ARN 相同的功能,并且可以替代 S3 存储桶名称在任何地方使用(通常用于数据访问)

批处理操作是可以对 Amazon S3 对象执行大规模分批操作。我们可以通过创建作业实现对一系列S3对象执行批处理操作

三、体验感悟和个人总结

在学习和使用Amazon S3 Express One Zone之后,我深刻感受到了技术的革新如何极大地改善了数据处理的效率。Amazon S3 Express One Zone有着出色的数据访问速度,为我的日常工作带来了很多帮助相比传统存储方式,S3 Express One Zone以专用硬件和软件复制存储数据,让访问速度比以往更快,这使得处理大规模数据时的体验变得高效而便捷。在处理人工智能和机器学习模型训练、交互式分析等场景时,我感受到了数据访问速度带来的显著提升,同时为我的工作提供了更大的灵活性和可操作性。

值得一提的是,Amazon S3 Express One Zone引入了全新的存储桶类型,即Amazon S3目录存储桶,这种创新性的设计在降低请求成本方面发挥了巨大作用。不仅在性能上有所提升,同时在经济效益上也更为划算。这种高性能与经济实惠的完美结合,使得数据处理体验方面也变得尤为出色。

Amazon S3 Express One Zone的技术革新为数据访问速度与性能需求之间的矛盾提供了一种极为出色的解决方案。通过专用硬件和软件的创新应用,实现了对数据的更快访问速度,为性能关键型应用程序带来了显著的改善。新型存储桶设计的引入进一步提高了整体效能,有效降低了请求成本,为用户提供了更为经济实惠的选择。这一系列的技术革新不仅提升了数据处理的速度和效率,同时也为用户带来了更加灵活和可控的数据管理体验。 Amazon S3 Express One Zone通过技术的前瞻性应用,为用户创造了一个更加智能、高效且经济实惠的数据处理环境。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/244876.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

DevEco Studio 项目启动工程和Device Manage

DevEco Studio 项目启动工程和Device Manage 鸿蒙&#xff08;HarmonyOS&#xff09; 一、操作环境 操作系统: Windows 10 专业版 IDE:DevEco Studio 3.1 SDK:HarmonyOS 3.1 二、创建虚拟机&#xff08;Device Manage&#xff09; 鸿蒙IDE创建虚拟设备入口有2个地方&…

MySQL——数据类型

目录 一.数据类型分类 二. 数值类型 1.tinyint类型 2.bit类型 3.float类型 4.decimal 三.字符串类型 1.char 2.varchar 四.日期和时间类型 五.enum和set 一.数据类型分类 关于数据库的数据类型有非常多&#xff0c;但是并非所有的数据类型都是我们常用的&#xff…

【PIE-Engine 数据资源】全球海面温度产品

文章目录 一、 简介二、描述三、波段四、示例代码参考资料 一、 简介 数据名称全球海面温度产品时间范围2002年- 2018年空间范围全球数据来源毛克彪教授团队代码片段var images pie.lmageCollection(“CAAS/SSTG”) 二、描述 全球海面温度产品是 2002-2019 年的全球海面温度…

Linux——Samba文件共享服务配置

SMB/CIFS协议 SMB协议(Server Message Block 又称Common Internet File System&#xff08;CIFS&#xff09;) 是由微软开发的网络传输协议&#xff0c;用来实现网络共享文件系统、打印机等资源。 SMB协议有多个版本和不同的兼容性。 SMBv1/CIFS: 也称为SMB1或CIFS。最初由Micr…

排序算法(详解)

排序在日常生活中十分重要&#xff0c;购物平台上商品的排序&#xff0c;各国高校等级的排序......可以说&#xff0c;现代生活中已经离不开排序了&#xff1b;因此学好排序算法至关重要&#xff0c;本篇文章就来讲讲常见的排序算法 排序的种类非常多&#xff0c;按照种类划分&…

SQL进阶理论篇(四):索引的结构原理(B树与B+树)

文章目录 简介如何评价索引的数据结构设计好坏二叉树的局限性什么是B树什么是B树总结参考文献 简介 我们在上一节中说过&#xff0c;索引其实是一种数据结构&#xff0c;那它到底是一种什么样的数据结构呢&#xff1f;本节将简单介绍一下几个问题&#xff1a; 什么样的数据结…

2024 年,新程序员如何与AI共赢!!

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…

C++笔记汇总(随时更新)

你好&#xff0c;这里是争做图书馆扫地僧的小白。 个人主页&#xff1a;争做图书馆扫地僧的小白_-CSDN博客 目标&#xff1a;希望通过学习技术&#xff0c;期待着改变世界。 目录 前言 一、C语言向C语言过度的知识点 二、C语言的相关知识 总结 前言 2023.12.13 之前撰写的笔…

RobotFramework自动化测试框架的基础关键字

1.1.1 如何搜索RobotFramework的关键字 有两种方式可以快速的打开RIDE的关键字搜索对话框 1、选择菜单栏Tools->Search Keywords&#xff0c;然后会出现如下的关键字搜索对话框&#xff0c;这个对话框就类似提供了一个关键字的API的功能&#xff0c;提供了关键字的…

决策曲线 DCA 学习

roc回顾ROC及曲线面积汇总学习-CSDN博客 原理 P&#xff1a;给真阳性患者施加干预的受益值&#xff08;比如用某生化指标预测某患者有癌症&#xff0c;实际也有&#xff0c;予活检&#xff0c;达到了确诊的目的&#xff09;&#xff1b; L&#xff1a;给假阳性患者施加干预的…

进程调度算法

进程调度算法 优先调度算法 先来先服务调度算法&#xff08;FCFS&#xff09; 当在作业调度中采用该算法时&#xff0c;每次调度都是从后备作业队列中选择一个或多个最先进入该队列的作业&#xff0c;将它们调入内存&#xff0c;为它们分配资源、创建进程&#xff0c;然后放…

使用qt实现四则运算计算机项目

这是我们要包含的头文件 #include <QWidget> #include<QStack> #include<string.h> #include<string> 这是我在ui界面创建的计算机基础框架。 接下来要实现按住每个按钮在白框内显示&#xff1b; 因此我们要定义一个QString 类型的变量 QString e…

react-router-dom v6中优雅处理404重定向问题

在基于React的单页面应用&#xff08;SPA&#xff09;中&#xff0c;使用 react-router-dom 库来管理路由是一项关键任务。当用户访问一个不存在的页面时&#xff0c;我们通常希望能够以优雅的方式处理404情况&#xff0c;从而提升用户体验。本文将探讨如何在React应用中使用re…

【算法Hot100系列】无重复字符的最长子串

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

python下使用Open3D

1.切记不要安装最新的python否则无法使用open3D &#xff0c;官网显示只支持python3.8-3.11 这是我安装的python版本 2.由于访问github很慢&#xff0c;所以我手动下载ply文件 https://github.com/isl-org/open3d_downloads/releases/download/20220201-data/fragment.ply 3…

Python占位符%详解:格式化字符串的利器

更多资料获取 &#x1f4da; 个人网站&#xff1a;ipengtao.com 在Python中&#xff0c;%占位符是一种强大的工具&#xff0c;用于格式化字符串。本文将深入解析Python中占位符的使用方法&#xff0c;包括字符串格式化、数字格式化、日期格式化等多个方面。通过丰富的示例代码…

设计模式(2)--对象创建(2)--生成器

1. 意图 将一个复杂对象的构建与它的表示分离&#xff0c;使得同样的构建过程可以创建不同的表示。 2. 四种角色 指挥(Director)、抽象生成器(Builder)、具体生成器(Concrete Builder)、产品(Product) 3. 优点 3.1 可以改变一个产品的内部表示(通过定义新的生成器)。 3.2 将构…

软件项目总结报告

1. 项目进度 1.1. 进度表 1.2. 总结偏差 2. 项目成本 2.1. 项目规模 2.2. 项目工作量 3. 项目质量 3.1. 评审 4. 计划偏差 5. 测试总结 5.1. 缺陷分析 5.2. 测试Bug分布统计 5.3. Bug分布图 5.4. 总结 6. 最佳实践 7. 经验教训 7.1. 项目过程管理 7.2. 合同完成度管理 7.3. 项目…

Apifox接口测试工具详细解析

最近发现一款接口测试工具--apifox&#xff0c;我我们很难将它描述为一款接口管理工具 或 接口自测试工具。 官方给了一个简单的公式&#xff0c;更能说明apifox可以做什么。 Apifox Postman Swagger Mock JMeter Apifox的特点&#xff1a; 接口文档定义&#xff1a; Api…

Kibana搜索数据利器:KQL与Lucene

文章目录 一、搜索数据二、KQL查询1、字段搜索2、逻辑运算符3、通配符4、存在性检查5、括号 三、Lucene查询1、字段搜索2、逻辑运算符3、通配符4、范围搜索5、存在性检查6、括号 四、总结 一、搜索数据 默认情况下&#xff0c;您可以使用 Kibana 的标准查询语言&#xff0c;该…