The Design and Implementation of a Capacity-Variant Storage System——论文泛读

FAST 2024 Paper 分布式元数据论文整理

问题

随着SSD的使用,其性能稳步下降。如图1所示,SSD的性能随着SSD的磨损的下降率为4.2%,吞吐量下降不太可能是由于垃圾收集造成的,因为(1)这是几个月来每天测量的,(2)在测量过程中只发出读取。最终,在写入9 PB的数据后,随机读取和顺序读取的吞吐量分别降低了37%和38%。

SSD退化也会导致高达3.65×[40]的延迟峰值,并且由于闪存的可靠性会随着时间的推移而持续恶化[25,40,66],对整体系统性能的影响会持续增加。

两个观察:

  • 当闪存最终出现故障时,它会以部分故障的方式出现故障。SSD的故障单元是一个单独的闪存块[3,44,50],而SSD内部磨损均衡算法是模拟硬盘驱动器类故障停止行为的人工产物[25,31]。

  • SSD只能进行性能和可靠性下降的平衡,因为存储设备的容量从安装到退役一直保持固定。SSD的内部数据重新读取[4,5,42,53]或预防性重新写入[6,18]都是导致故障缓慢症状的选择[30,31]。

本文方法

为了避免SSD性能下降影响到上层文件系统的性能,本文提出了基于闪存的固态驱动器(SSD)的容量可变存储系统(CVSS)。通过允许存储容量随着时间的推移而适度减少,从而防止出现慢故障症状,从而在SSD的整个使用寿命内保持高性能。包括三个关键组件:

  • CV-SSD,通过避免使用老化和性能较差的块,来保持其性能和可靠性,同时减少写放大。因为无需维护固定容量,简化了闪存管理固件,避免了故障缓慢症状,并延长了其使用寿命。

  • CV-FS,用于弹性逻辑分区的日志结构文件系统。基于存储设备的老化状态动态调整逻辑分区大小,以在线、细粒度的方式减少容量,并仔细管理用户数据以避免数据丢失。

  • CV管理器,基于存储系统的状态来编排系统组件的用户级程序。为主机提供必要的接口以应对容量差异,用户可以通过命令设置设备的性能和可靠性要求,然后CV管理器自适应地协调CV-FS和底层CV-SSD。

开源代码:https://github.com/ZiyangJiao/FAST24-CVSS-FEMU

实验展示了CVSS在合成和实际工作负载下的有效性,并展示了与固定容量存储系统相比,在延迟、吞吐量和寿命方面的显著改进。在实际工作负载下,CVSS可分别降低延迟、提高吞吐量和延长使用寿命8–53%、49–316%和268–327%。

实验

实验环境:

数据集:FIO、Filebench[60]、YCSB、Twitter[64]

实验对比:吞吐量、延迟、IOPS、

实验参数:容量、

总结

针对SSD上的文件系统,随着SSD老化如何保证文件系统性能稳定。本文提出了基于SSD的容量可变存储系统(CVSS),允许存储容量随着时间的推移而适度减少,在SSD的整个使用寿命内保持高性能。包括三个关键组件:(1)CV-SSD,避免使用老化和性能较差的块,来保持其性能和可靠性,同时减少写放大。(2)CV-FS,用于弹性逻辑分区的日志结构文件系统。基于存储设备的老化状态动态调整逻辑分区大小,以在线、细粒度的方式减少容量,并仔细管理用户数据以避免数据丢失。(3)CV管理器,基于存储系统的状态来编排系统组件的用户级程序。为主机提供必要的接口以应对容量差异,自适应地协调CV-FS和底层CV-SSD。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/430835.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

手写分布式配置中心(二)实现分布式配置中心的简单版本

这一篇文章比较简单,就是一个增删改查的服务端和一个获取配置的客户端,旨在搭建一个简单的配置中心架构,代码在 https://gitee.com/summer-cat001/config-center 服务端 服务端选择用springboot 2.7.14搭建,设计了4个接口/confi…

Guava处理异常

guava由Google开发,它提供了大量的核心Java库,例如:集合、缓存、原生类型支持、并发库、通用注解、字符串处理和I/O操作等。 异常处理 传统的Java异常处理通常包括try-catch-finally块和throws关键字。 遇到FileNotFoundException或IOExce…

49、WEB攻防——通用漏洞业务逻辑水平垂直越权访问控制脆弱验证

文章目录 前置知识点水平越权——YXCMS 前置知识点 逻辑越权原理: 水平越权:同级用户权限共享。用户信息获取时未对用户与ID比较判断直接查询等;垂直越权:低高级用户权限共享。数据库中用户类型编号接受篡改或高权限未作验证等。 …

Unity 使用AddListener监听事件与取消监听

在Unity中,有时候我们会动态监听组件中的某个事件。当我们使用代码动态加载多次,每次动态加载后我们会发现原来的和新的事件都会监听,如若我们只想取代原来的监听事件,那么就需要取消监听再添加监听了。 如实现如下需求&#xff…

一加 Ace 3 原神刻晴定制机首销现象级火爆,京东天猫双平台火速售罄

3 月 5 日上午 10 点,一加 Ace 3 原神刻晴定制机正式开售,京东天猫双平台火速售罄。一加 Ace 3 原神刻晴定制机以打造2024行业深度定制新标杆为目标,凭借行业首创工艺、典藏级限定周边、深度的系统定制以及专业的游戏表现,一经发布…

elementUI el-table中的对齐问题

用elementUI时&#xff0c;遇到了一个无法对齐的问题&#xff1a;代码如下&#xff1a; <el-table :data"form.dataList" <el-table-column label"验收结论" prop"checkResult" width"200"> <template slot-sco…

少儿编程 中国电子学会C++等级考试一级历年真题答案解析【持续更新 已更新82题】

C 等级考试一级考纲说明 一、能力目标 通过本级考核的学生&#xff0c;能对 C 语言有基本的了解&#xff0c;会使用顺序结构、选择结构、循环结构编写程序&#xff0c;具体用计算思维的方式解决简单的问题。 二、考核目标 考核内容是根据软件开发所需要的技能和知识&#x…

Premiere Pro 2024:革新视频编辑,打造专业影视新纪元

在数字化时代&#xff0c;视频已经成为人们获取信息、娱乐消遣的重要媒介。对于视频制作者而言&#xff0c;拥有一款功能强大、易于操作的视频编辑软件至关重要。Premiere Pro 2024&#xff0c;作为Adobe旗下的旗舰视频编辑软件&#xff0c;凭借其卓越的性能和创新的特性&#…

去中心化钱包应用:数字货币时代的自由与安全之选

​小编介绍&#xff1a;10年专注商业模式设计及软件开发&#xff0c;擅长企业生态商业模式&#xff0c;商业零售会员增长裂变模式策划、商业闭环模式设计及方案落地&#xff1b;扶持10余个电商平台做到营收过千万&#xff0c;数百个平台达到百万会员&#xff0c;欢迎咨询。 随…

设计模式:六大原则 ③

一、六大设计原则 &#x1f360; 开闭原则 (Open Close Principle) &#x1f48c; 对扩展开放&#xff0c;对修改关闭。在程序需要进行拓展的时候&#xff0c;不能去修改原有的代码&#xff0c;实现一个热插拔的效果。简言之&#xff0c;是为了使程序的扩展性好&#xff0c;易…

证明高维度神经网络模型是低纬度神经网络模型的加和

神经网络中矩阵乘法的分解与应用 启发标题&#xff1a;神经网络中矩阵乘法的分解与应用摘要&#xff1a;引言&#xff1a;方法&#xff1a;实验&#xff1a;结论&#xff1a;参考文献&#xff1a;附录1附录2实验数据 启发 理论上 更具矩阵乘法 A[p,mn]B[mn,q]C[p,q] Acat(A[:,…

3分钟开通GPT-4

AI从前年12月份到现在已经伴随我们一年多了&#xff0c;还有很多小伙伴不会开通&#xff0c;其实开通很简单&#xff0c;环境需要自己搞定&#xff0c;升级的话就需要一张visa卡&#xff0c;办理visa卡就可以直接升级chatgptPLSU 一、虚拟卡支付 这种方式的优点是操作简单&…

离散系统的频率响应

离散系统的频率响应 方法一&#xff1a;利用 freqz() 方法一&#xff1a;利用\textbf{freqz()} 方法一&#xff1a;利用freqz() 方法二&#xff1a;利用自定义 freqz_m() 方法二&#xff1a;利用自定义\textbf{freqz\_m()} 方法二&#xff1a;利用自定义freqz_m() 方法一&#…

JimuReport积木报表 v1.7.1 版本发布,低代码报表工具

项目介绍 一款免费的数据可视化报表&#xff0c;含报表和大屏设计&#xff0c;像搭建积木一样在线设计报表&#xff01;功能涵盖&#xff0c;数据报表、打印设计、图表报表、大屏设计等&#xff01; Web 版报表设计器&#xff0c;类似于excel操作风格&#xff0c;通过拖拽完成报…

游戏引擎渲染流程

一、渲染概述 我们首先看到渲染技术的发展 游戏渲染面临的挑战&#xff1a; 一个容器中同一时刻有大量的游戏对象需要进行渲染&#xff0c;并且不同对象渲染的形式、算法还有所差异&#xff0c;这些使得游戏的绘制系统变得非常复杂&#xff1b;其次&#xff0c;游戏引擎的渲染…

win11下安装mysql

一、下载MySQL 官方下载传送门 我安装的版本是5.7.83 二、安装MySQL 1.双击安装包 2.选择Custom(自定义安装)&#xff0c;然后Next> 3.根据你的系统做选择&#xff0c;我的是64位&#xff0c;所选MySQL Servers 5.7.38 -x64&#xff0c;然后按箭头将选中的版本移到右边…

如何根据企业司法涉诉大数据合理规避风险?

在当前的商业环境中&#xff0c;企业司法涉诉的信息越来越成为衡量一家企业信誉和运营风险的重要标准。大数据时代的到来&#xff0c;让我们有了更加丰富的手段对这些信息进行挖掘与分析&#xff0c;从而对企业可能面临的风险进行预警。本文将探讨如何通过对企业司法涉诉的大数…

Android9-W517-使用NotificationListenerService监听通知

目录 一、前言 二、前提 三、方案 方案一 方案二 方案三 方案四 方案五 方案六 方案七 关于NotificationListenerService类头注释 四、结论 一、前言 NotificationListenerService可以让应用监听所有通知&#xff0c;但是无法获得监听通知的权限&#xff0c;如下六种…

JavaWeb JSP

JSP&#xff08;Java Server Page&#xff09;是J2EE的功能模块&#xff0c;是Java服务器页面&#xff0c;由Web服务器执行&#xff0c;作用就是降低动态网页开发难度&#xff0c;将Java代码与HTML分离&#xff0c;降低开发难度&#xff0c;本质就是Servlet。 Servlet的缺点&a…

元素水平垂直居中的方法有哪些?

文章目录 css 实现垂直水平居中实现方式利用定位margin&#xff1a;auto利用定位margin&#xff1a;负值利用定位transformtable布局flex布局grid网格布局小结有需要的请私信博主&#xff0c;还请麻烦给个关注&#xff0c;博主不定期更新组件封装和文章编写&#xff0c;或许能够…