Amazon云计算AWS(二)

目录

    • 三、简单存储服务S3
      • (一)S3的基本概念和操作
      • (二)S3的数据一致性模型
      • (三)S3的安全措施
    • 四、非关系型数据库服务SimpleDB和DynamoDB
      • (一)非关系型数据库与传统关系数据库的比较
      • (二)SimpleDB
      • (三)DynamoDB
      • (四)SimpleDB和DynamoDB的比较


三、简单存储服务S3

(一)S3的基本概念和操作

  简单存储服务(Simple Storage Services,S3)构架在Dynamo之上,用于提供任意类型文件的临时或永久性存储。S3的总体设计目标是可靠、易用及低成本。

  S3存储系统的基本结构,其中涉及两个基本概念:桶(Bucket)和对象(Object)。

在这里插入图片描述
1、桶

  桶是用于存储对象的容器,其作用类似于文件夹,但桶不可以被嵌套,即在桶中不能创建桶。目前,Amazon限制了每个用户创建桶的数量,但没有限制每个桶中对象的数量。桶的名称要求在整个Amazon S3的服务器中是全局唯一的,以避免在S3中数据共享时出现相互冲突的情况。在对桶命名时,建议采用符合DNS要求的命名规则,以便与CloudFront等其他AWS服务配合使用。

2、对象

  • 数据:任意类型,但大小会受到对象最大容量的限制。
  • 元数据:数据内容的附加描述信息,通过名称-值(name-value)集合的形式来定义。
元数据名称名 称 含 义
last-modified对象被最后修改的时间
ETag利用MD5哈希算法得出的对象值
Content-Type对象的MIME(多功能网际邮件扩充协议)类型,默认二进制/八位组
Content-Length对象数据长度,以字节为单位

3、基本操作

  S3中支持对桶和对象的操作,主要包括:Get、Put、List、Delete和Head。下表列出了五种操作的主要内容。

操 作 目 标GetPutListDeleteHead
获取桶中对象创建或更新桶列出桶中所有键删除桶——
对象获取对象数据和元数据创建或更新对象——删除对象获取对象元数据

(二)S3的数据一致性模型

  与其构建的基础Dynamo相同,S3中采用了最终一致性模型。在数据被充分传播到所有的存放节点之前,服务器返回给用户的仍是原数据,此时用户操作可能会出现后面几种情况:

用户操作结果
1写入一个新的对象并立即读取它服务器可能返回“键不存在”
2写入一个新的对象并立即列出桶中已有的对象该对象可能不会出现在列表中
3用新数据替换现有的对象并立即读取它服务器可能返回原有的数据
4删除现有的对象并立即读取它服务器可能返回被删除的数据
5删除现有的对象并立即列出桶中的所有对象服务器可能列出被删除的对象

在这里插入图片描述

(三)S3的安全措施

在这里插入图片描述
1、身份认证(Authentication)

在这里插入图片描述
在这里插入图片描述
2、访问控制列表(Access Control List)

  访问控制列表是S3提供的可供用户自行定义的访问控制策略列表。S3的访问控制策略(ACP)提供如下所列的五种访问权限。

在这里插入图片描述
注意:S3的ACL不具有继承性

S3中有三大类型的授权用户:

(1)所有者(Owner)

  所有者是桶或对象的创建者,默认具是WRITE_ACP权限。所有者默认就是最高权限拥有者。

(2)个人授权用户(User)

  两种授权方式,一种是通过电子邮件地址授权的用户,另一种是通过用户ID进行授权。

(3)组授权用户(Group)

  一种是AWS用户组,它将授权分发给所有AWS账户拥有者;另一种是所有用户组,这是一种有着很大潜在危险的授权方式。

四、非关系型数据库服务SimpleDB和DynamoDB

(一)非关系型数据库与传统关系数据库的比较

传统的关系数据库非关系型数据库
数据模型对数据有严格的约束key和value可以使用任意的数据类型
数据处理满足CAP原则的C和A,在P方面很弱满足CAP原则的A和P,而在C方面比较弱
接口层以SQL语言对数据进行访问的,提供了强大的查询功能,并便于在各种关系数据库间移植通过API操作数据,支持简单的查询功能,且由于不同数据库之间API的不同而造成移植性较差

总结:

在这里插入图片描述

(二)SimpleDB

  SimpleDB基本结构图如下,包含了域、条目、属性、值等概念。

在这里插入图片描述
1、域(Domain)

  域是用于存放具有一定关联关系的数据的容器,其中的数据以UTF-8编码的字符串形式存储。每个用户账户中的域名必须是唯一的,且域名长度为3~255个字符。每个域中数据的大小具有一定的限制。但域的划分也会为数据操作带来一些限制,是否划分域需要综合多种因素考虑。

2、条目(Item)

  条目对应着一条记录,通过一系列属性来描述,即条目是属性的集合。在每个域中,条目名必须是唯一的。与关系数据库不同,SimpleDB中不需要事先定义条目的模式,即条目由哪些属性来描述。操作上具有极大的灵活性,用户可以随时创建、删除以及修改条目的内容。

3、属性(Attribute)

  属性是条目的特征,每个属性都用于对条目某方面特性进行概括性描述。每个条目可以有多个属性。属性的操作相对自由,不用考虑该属性是否与域中的其他条目相关。

4、值(Value)

  值用于描述某个条目在某个属性上的具体内容。一个条目的一个属性中可以有多个值。

例如:某类商品除颜色外其他参数完全一致,此时可以通过在颜色属性中存放多个值来使用一个条目表示该商品,而不需要像关系数据库中那样建立多条记录。

在这里插入图片描述
  如图显示了SimpleDB的树状组织方式,其中可以看出SimpleDB对多值属性的支持。

在这里插入图片描述

SimpleDB与其他AWS组件综合使用的方式
  • 限制:SimpleDB中每个属性值的大小不能超过1KB。
  • 导致:SimpleDB存储的数据范围极其有限。
  • 解决:将相对大的数据存储在S3中,在SimpleDB中只保存指向某个特定文件位置的指针。

(三)DynamoDB

DynamoDB的特点:

  DynamoDB以表为基本单位,表中的条目同样不需要预先定义的模式。DynamoDB中取消了对表中数据大小的限制,用户设置任意大小,并由系统自动分配到多个服务器上。DynamoDB不再固定使用最终一致性数据模型,而是允许用户选择弱一致性或者强一致性。DynamoDB还在硬件上进行了优化,采用固态硬盘作为支撑,并根据用户设定的读/写流量限制预设来确定数据分布的硬盘数量。

(四)SimpleDB和DynamoDB的比较

  SimpleDB和DynamoDB都是Amazon提供的非关系型数据库服务。

  SimpleDB:限制了每张表的大小,更适合于小规模复杂的工作。自动对所有属性进行索引,提供了更加强大的查询功能。

  DynamoDB:支持自动将数据和负载分布到多个服务器上,并未限制存储在单个表中数据量的大小,适用于较大规模负载的工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/663986.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Elasticsearch 认证模拟题 -2

一、题目 有一个索引 task3,其中有 fielda,fieldb,fieldc,fielde 现要求对 task3 重建索引,重建后的索引新增一个字段 fieldg 其值是fielda,fieldb,fieldc,fielde 的值拼接而成。 …

基于JSP的高校二手交易平台

开发语言:Java 数据库:MySQL 技术:JSP技术 工具:浏览器(如360浏览器、谷歌浏览器、QQ浏览器等)、MySQL数据库 系统展示 系统功能界面 用户注册与登录界面 个人中心界面 商品信息界面 摘要 本文研究了高…

Go 优雅的爬虫框架 - Colly

Colly 是一款用 Go 语言编写的优雅网络爬虫框架,速度快、灵活且易于使用 关键特性包括: 线程安全。用户友好的 API。支持 XHR(Ajax)和 WebSocket。缓存和持久化。支持速度限制和分布式爬取。强大的可扩展性。colly采集器配置 AllowedDomains: 设置收集器使用的域白名单,设…

TrueNAS开启SSH登录ROOT

简介: 从 SCALE Bluefin 22.12.0 开始,为了加强安全性并遵守联邦信息处理标准 (FIPS),root帐户登录已被弃用。所有 TrueNAS 用户都应创建具有所有必需权限的本地管理员帐户,并开始使用它来访问 TrueNAS。当根用户密码被禁用时,只有管理用户帐户才能登录 TrueNAS Web 界面。…

深入剖析 Kubernetes 原生 Sidecar 容器

1 Sidecar 容器的概念 sidecar 容器的概念在 Kubernetes 早期就已经存在。一个明显的例子就是 2015 年的这篇 Kubernetes 博客文章,其中提到了 sidecar 模式。多年来,sidecar 模式在应用程序中变得越来越普遍,使用场景也变得更加多样化。 其…

大语言模型拆解——Tokenizer

1. 认识Tokenizer 1.1 为什么要有tokenizer? 计算机是无法理解人类语言的,它只会进行0和1的二进制计算。但是呢,大语言模型就是通过二进制计算,让你感觉计算机理解了人类语言。 举个例子:单1,双2&#x…

【银河麒麟V10服务器OS-系统根分区扩容】指导教程手册

【银河麒麟V10服务器OS-系统根分区扩容】指导教程手册 环境信息:VMware虚拟软件16.0 首先查看KylinOS服务器版本:nkvers 备注: (Tercel) 版本是 V10 SP1 版本, (Sword) 版本是 V10 SP2 版本, (Lance) 版本是 V10 …

Apache SeaTunnel On SparkEngine 集成CDP

随着数据处理需求的日益增长,选择一个高效、灵活的数据处理工具变得尤为关键。SeaTunnel,作为一个开源的数据集成工具,不仅支持多种数据处理引擎,还提供了丰富的连接器和灵活的数据同步方案。 本文将详细介绍 SeaTunnel 的优势和…

笔记:Windows故障转移集群下的oracle打补丁

以下方法比较暴力,请谨慎使用 1,关闭并禁用故障转移集群的服务,如下 2,关闭故障转移集群中资源的自启动 3,重启服务器 4,手动关闭服务 net stop msdtc net stop winmgmt 5,分别对所有节点打…

公路资产三维实景快速建模技术方案

目录 1. 应用背景点云矢量建模特征提取1. 路面标识线自动提取2. 交通标志牌自动提取3.护栏、路缘石自动提取4.路面矢量高程自动纠正 属性及编码计算1.里程桩号自动计算2.单体化要素自动编码 公路三维实景模型自动化建模 1. 应用背景 随着“数字交通强国”建设的不断深入&#x…

「多客」圈子论坛社区交友系统开源版小程序源码|圈子社区系统

简述 社交圈子论坛系统是一种面向特定人群或特定话题的社交网络,它提供了用户之间交流、分享、讨论的平台。在这个系统中,用户可以创建、加入不同的圈子,圈子可以是基于兴趣、地域、职业等不同主题的。用户可以在圈子中发帖、评论、点赞等互…

表格中附件的上传及显示#Vue3#后端接口数据

表格中附件的上传及显示#Vue3#后端接口数据 实现效果&#xff1a; 表格中上传附件 代码&#xff1a; <!-- 文件的上传及显示 --> <template><!-- 演示地址 --><div class"dem-add"><!-- Search start --><div class"dem-ti…

利用audacity和ffmpeg制作测试音频文件

最近要用SIPP测试一个场景&#xff0c;需要发送双声道/16K采样率/16bit量化的PCM流&#xff0c;但是下载的素材往往不能满足参数要求。那么就自己制作。 首先下载mp3文件&#xff0c;并用audacity打开。 接下来&#xff0c;点击菜单栏中轨道-重采样&#xff0c;将采样频率设为1…

【机器学习】Samba-CoE实现高效推理部署

Samba-CoE&#xff1a;突破AI内存墙&#xff0c;实现高效推理部署 一、引言二、Samba-CoE系统概述三、突破AI内存墙的关键技术流数据流三层内存系统 四、Samba-CoE的推理部署与优化动态模型切换资源优化分配性能加速 五、代码实例与实现细节六、结语 一、引言 随着人工智能技术…

AI视频下载:ChatGPT数据科学与机器学习课程

ChatGPT是一个基于OpenAI开发的GPT-3.5架构的AI对话代理。作为一种语言模型,ChatGPT能够理解并对各种主题生成类似人类的响应,使其成为聊天机器人开发、客户服务和内容创作的多用途工具。 此外,ChatGPT被设计为高度可扩展和可定制的,允许开发人员对其响应进行微调并将其集成到…

在“AI PC”中使用NPU运行 Phi-3-mini

欢迎关注我的公众号“ONE生产力”&#xff0c;获取更多AI、云计算资讯分享&#xff01; 前段时间&#xff0c;我做了一系列微软Phi-3-mini小语言模型的教程&#xff0c;很多朋友参考教程进行了实践&#xff0c;其中有一个朋友反馈说模型token推理很慢&#xff0c;没有答道我说…

【论文精读】SAM

摘要 本文提出Segment Anything&#xff08;SA&#xff09;&#xff0c;一个可prompt的视觉分割模型&#xff0c;通过一个 能实现视觉特征强大泛化的任务在包含大量图像的数据集上对模型进行预 训练&#xff0c;旨在通过使用prompt工程解决新数据 分布上的一系列下游分割问题。…

FPGA新起点V1开发板(七-语法篇)——程序框架+高级语法(选择性做笔记)

文章目录 一、模块结构二、赋值三、条件语句 一、模块结构 默认是wire类型&#xff0c;assign是定义功能。 上面这两个always都是并行 例化 二、赋值 有两种赋值“”和“<” “”是阻塞赋值&#xff0c;也就是从上到下&#xff0c;依次完成 “”是非阻塞赋值&#xff0c;…

PMP认证与NPDP认证哪个含金量高?

PMP和NPDP&#xff0c;哪个含金量更高呢&#xff1f; PMP可以全面提升你的职业发展&#xff0c;无论你是技术人员还是项目管理人员&#xff0c;都能帮助你打破思维定式&#xff0c;拓宽视野&#xff0c;并提升管理水平和领导能力。 NPDP不仅帮助个人了解新产品开发流程和原理…

032.最长有效括号

题意 给你一个只包含 ( 和 ) 的字符串&#xff0c;找出最长有效&#xff08;格式正确且连续&#xff09;括号子串的长度。 难度 困难 示例 输入&#xff1a;s "(()" 输出&#xff1a;2 解释&#xff1a;最长有效括号子串是 "()" 输入&#xff1a;s …