云存储节点的写负载分析与优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:seacowo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现在大型商业云服务提供商,如阿里云,需要以最小的成本为用户提供高质量服务。因此这些云数据中心内部广泛部署由固态硬盘(Solid State Drive,SSD)和机械硬盘(Hard Disk Drive,HDD)组成的混合存储节点,同时提供SSD的高性能和HDD的大容量。这些混合存储节点通常会将应用数据先写入SSD,以保证较低的写入延迟,然后后台线程将其合并批量写到对应的HDD。这种写模式被称为SSD写回(SSD Write Back,SWB)模式。
  通过全面分析来自阿里云底层大型存储系统——盘古的实际生产工作负载,有以下两点发现:(1)该存储系统中存在很多写主导(写请求超过77%)的混合存储节点(Write-dominated Storage Nodes,WSN);(2)在SWB模式下,这些WSN中的SSD承受高强度写,并且遭受严重的长尾延迟。为了解决WSN中的这些问题,提出一种运行时IO调度机制——SSD写重定向(SSD Write Redirect,SWR)。SWR会根据运行时系统状态,有选择地将部分或全部发往SSD的写请求重定向到HDD。通过有效地将发往过重负载SSD的写请求,策略性转发到未被充分利用的HDD,SWR能够很大程度上改善WSN的写性能,显著提高了SSD的耐久性。
  通过重放从盘古收集的生产工作负载Trace,对SWR进行了评估。实验表明,SWR减少了SSD写请求的平均延迟和第99百分位尾部延迟,分别最多降低了13%和47%,显著提高了系统整体性能。同时,写入SSD的数据量最多减少了70%,从而提高了SSD的使用寿命。
其他文献
近年来,随着城市化进程的迅速发展,因城市交通路网密度增大而导致的一系列交通问题日益严重,同时因交通拥堵而带来的经济损失也非常巨大,如何有效显著地解决城市交通问题,缓解交通压力是当前研究的重点方向。由于城市交通信号控制系统的复杂性、多变性和不确定性,传统的交通信号配时方法不能很好地进行调整以适应动态的交通环境。当今社会随着科技的进步,人工智能技术得以快速地发展,智能交通自适应控制系统成为了当前主要的
随着信息化、智能化的发展,陆战场中信息感知的重要性也逐渐提高。而现代战争中经常会受到电子干扰的影响,使得光学观察设备成为了较为稳定的目标监视与侦察的手段。但在陆战场中目标可能会被不断遮挡,仅通过人力进行监视效率较低,因此目标跟踪技术由此引入。  相关滤波跟踪算法在目标跟踪领域中不论是鲁棒性还是精度均能够处于领先的地位。虽然相关滤波算法具有高鲁棒性,但对于复杂遮挡场景中进行目标跟踪依然存在较多问题。
学位
高炮系统在零飞工作状态下的动态跟踪瞄准误差是武器验收的一项重要指标,目前国内外靶场测试中普遍使用零飞仪来测量该指标,在测试过程中,零飞仪用来传输图像数据的光纤线缆随着炮管转动,容易造成磨损和断裂,给测量带来不便从而影响图像传输。为了解决此问题,研究了一种适用于无线传输的实时图像压缩系统。主要研究内容包括:  首先,分析了零飞仪的基本结构、工作原理和测试过程,并对测试试验中的视频序列图像进行仿真,得
学位
惯性导航系统作为一门新兴高科技产业,在军事、工业产品、国民新兴经济领域都得到了广泛的应用。但其自主式导航的系统特性使导航过程中产生的误差不能依靠外界信息得到修正,从而降低导航系统精度。研究发现,惯性组件作为惯性导航系统的参数测量单元,其性能优劣直接制约导航系统精度,因此,在目前制造工艺水平有限的情况下,如何优化惯性组件性能,进而提高惯性系统导航精度是国内外相关领域的科研热点。本文主要研究基于系统辨
复杂环境下的目标识别技术是引信近感探测的难点问题。脉冲激光作为一种主动探测手段,通过发射、接收激光束,对接收信号适当处理后与发射信号进行比较,可获得目标的相关信息,从而对飞机、导弹、坦克等目标进行探测及识别。对比无线电、磁及红外探测,激光在探测过程中更不容易受主动电磁干扰,但对复杂的战场自然环境,如云雾、烟尘环境,可能会使激光引信在探测的过程中误把干扰因子识别为目标,造成虚警。因此,研究激光引信在
学位
人体目标检测与跟踪技术是当今社会的主要研究方向和流行趋势。由于人体作为非刚体的代表,相关技术应用到行人方面具有重要的研究价值,而且某些目标与人体目标对象可能具有相似的外形,不利于对人体多目标的检测与跟踪,使目标人体对象的特征提取变得极为困难。因此,对不同应用场景和平台下的多目标人体特征进行有效的检测与跟踪具有深远的应用潜力。  针对不同平台、场景和传统算法对人体多目标检测率低的问题,本文在残差网络
学位
在空空对抗的毁伤效能评估体系中,由于弹丸炸点位置依赖引信接收到的目标反射回波能量大小,目标的博弈性根据炸点位置的变化随机改变,使多发引信炸点与敌目标之间具有博弈对抗关系,双方攻防对抗特性的探索使近炸毁伤这一领域的研究更贴合现代战场的发展方向。国内对于这一方面的研究较少,很难系统的给出破片式战斗部对目标毁伤的数学模型和此过程的可视化模拟仿真。因此,研究不确定目标姿态、不确定炸点位置、不确定破片场空间
学位
为解决听障人群沟通需求日益增长与手语普及率低之间的矛盾,以及用户体验需求的便捷性与智能设备功能的复杂性之间的矛盾,本文借助深度神经网络对人机交互领域的连续手语语句识别问题展开研究,主要研究工作包括:  (1)提出了一种基于区域-卷积神经网络(Region-Convolutional Neural Networks,R-CNN)算法与伽马变换相结合的手部区域分割算法。R-CNN用于检测彩色图像中的目
学位
随着互联网技术的快速发展,用户对存储系统容量和性能的要求越来越高。基于NAND闪存的固态盘由于其大容量和高性能等特性被广泛使用。为满足用户不断增长的容量需求,闪存厂商通过多层单元存储以及3D闪存技术提升存储密度,但在增加闪存容量的同时降低了闪存性能。闪存芯片提供双模切换操作允许单元存储比特数在多位及一位间进行切换,以利用高性能的SLC(Single-Level Cell, 1 bit/cell)模
21世纪,由于全球油价上涨,油页岩工业复苏。在2019年,美国从页岩中开采的致密油已达到其原油产量的半数以上。中国的“十二五”与“十三五”计划,也将油页岩工业提升到了重要的战略地位。  然而,页岩油资源的开采难度较大,成本较高。测井评价作为油页岩工业中的重要一环,有重要的研究意义。将机器学习运用于测井评价,有助于在传统方法的基础上,进一步提高测井评价的准确性,并为发现测井数据的内在规律提供新思路。
学位