瓦记录磁盘系统性能优化方法的研究

来源 :华中科技大学 | 被引量 : 1次 | 上传用户:pingpinggangan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,如何存储海量数据成为一个巨大挑战。由于具有低成本、大容量的优点,磁盘仍将长期在存储系统中发挥重要作用。受超顺磁效应的影响,传统磁盘面密度的增长已达到极限,而瓦记录技术能够在传统磁记录技术的基础上以较低的成本进一步提高磁盘面密度。瓦记录磁盘不仅已应用在消费级场景,而且已逐步部署在亚马逊、华为、脸书等公有云厂商或社交网络公司的数据中心中。对瓦记录磁盘的管理可以在磁盘内部、主机端、主机端和磁盘协作这三个层面实现,据此,瓦记录磁盘可以分为三种:驱动器管理的瓦记录磁盘、主机管理的瓦记录磁盘、主机感知的瓦记录磁盘。然而由于瓦记录技术存在写放大问题,瓦记录磁盘的性能在写密集的工作负载下通常会严重下降。针对上述挑战,本文针对三种不同的瓦记录磁盘在数据布局、利用主机资源优化磁盘性能等方面展开了研究,以提高瓦记录磁盘性能,使其得到更广泛的应用。
  针对驱动器管理的瓦记录磁盘数据清理形成的性能瓶颈问题,提出分区权重感知的瓦记录磁盘性能加速方法(Zone-weightAwarePerformanceacceleration,ZAP),提高驱动器管理的瓦记录磁盘性能。磁介质缓存向瓦记录分区清理数据引起数据迁移,导致性能下降。已有的研究仅对磁介质缓存数据清理策略进行优化,忽视了工作负载访问特征和数据布局对瓦记录磁盘性能的影响。ZAP结合工作负载的写访问特征,计算瓦记录分区的权重,分别设计了分区权重感知的数据布局策略和数据清理策略。数据布局策略将部分权重较大的瓦记录分区采用动态映射方式管理,减少写向磁介质缓存的数据,而数据清理策略优先选择权重最小的瓦记录分区执行数据清理,两者可有效减少数据清理引起的数据迁移,从而提高瓦记录磁盘性能。ZAP还设计了局部读-更改-写操作,计算并只迁移瓦记录分区中受写数据影响的数据,进一步减少了数据清理引起的数据迁移,提高了瓦记录磁盘性能。与当前针对驱动器管理的瓦记录磁盘的优化方法相比,ZAP的带宽提高了33%,延迟降低了30%。
  针对主机管理的瓦记录磁盘垃圾回收导致性能下降问题,提出基于负载局部性的瓦记录磁盘管理方法(WorkloadlocalitybasedmanagementApproachtoHost-managedSMRdrives,WAH),提高主机管理的瓦记录磁盘性能。现有的研究仅对垃圾回收策略进行优化,较少考虑工作负载的局部性特征以及空间分配策略对瓦记录磁盘性能的影响。WAH方法充分利用了工作负载冷热数据分布的局部性特征,设计了基于负载局部性的空间分配策略和与之相适应的垃圾回收策略。空间分配策略通过分配瓦记录分区将冷数据和热数据分别相对集中存储,初步实现了冷热数据分离,而垃圾回收策略则在瓦记录分区数据合并过程中将冷数据和热数据分别合并于不同的瓦记录分区,进一步实现了冷热数据分离,从而有效减少了垃圾回收过程中主机管理的瓦记录磁盘所迁移的数据,提高了瓦记录磁盘的性能。相比当前针对主机管理的瓦记录磁盘的其它优化方法,WAH方法可将瓦记录磁盘的平均带宽提高16%,将平均延迟降低29%。
  充分利用瓦记录分区对主机开放的地址信息,提出面向瓦记录分区写请求顺序化的固态盘缓存方法(SSDcachingappROachtowriterequestsequentializationforshingledmagneticreCOrdingzones,ROCO),提高主机感知的瓦记录磁盘性能。已有研究仅优化主机感知的瓦记录磁盘的数据组织方式,没有充分利用瓦记录分区对主机开放的地址信息,也较少考虑非顺序写数据的访问特征,这使得非顺序写数据导致主机感知的瓦记录磁盘性能下降。分析发现非顺序写数据主要由乱序写数据和更新数据组成,ROCO结合瓦记录分区开放的地址信息,设计了面向瓦记录分区的写请求顺序化策略,将乱序写数据转化为顺序写数据,同时使用固态盘缓存更新数据,并设计了面向瓦记录分区的固态盘缓存替换算法,结合主机读-更改-写操作,优先面向瓦记录分区替换顺序写数据,其次替换属于同一瓦记录分区的更新最少的数据。ROCO有效减少了写向主机感知的瓦记录磁盘的非顺序写数据,提高了瓦记录磁盘的性能。实验表明,与不使用固态盘缓存相比,ROCO的性能可以提高82%,与使用了固态盘缓存的其他方法相比,ROCO的性能可以提高45%。
其他文献
随着大数据、物联网等技术的发展,层出不穷的新型服务和不断扩大的网络规模都要求现有网络能快速动态地配置网络资源。但由于现有网络的复杂性和臃肿性,使得这种需求难以被满足。SDN作为下一代网络架构之一,把现有的网络分成了三个相互分离的平面,将网络的控制大权交给了集中式的控制器。其转控分离、集中式控制的特点虽然能够满足对网络设备的快速配置,但同时也带来了单点失效的风险,使它更易成为DDoS攻击的目标。  
近年来,无人机作为一种常见的通过遥控或自动驾驶的飞行设备,被广泛应用于对地震、火灾、洪水等灾害现场的勘察和搜救工作,以及航拍、摄影等娱乐活动。但无人机技术给人类生产生活带来便利的同时,也造成了许多安全隐患,机场、军事区域的无人机黑飞现象更是屡见不鲜,因此需要对无人机进行有效的管控。  无人机的管控不仅需要有关部门出台相应的政策以及对操作者的普及教育,更需要对黑飞无人机采取有效的反制措施,其中通信干
学位
中国自古是纺织大国,在大数据时代背景下,纺织品图像数据正在爆炸式増长,每天需要进行检测的纺织品图像成千上万,这给图像处理领域带来了巨大挑战。加上目前大部分织物检测采用的是效率低、准确率低、主观性强的传统人工方法,因此基于云计算的纺织品瑕疵检测与分类方法的研究对我国纺织业的发展具有十分重要的现实意义。本文研究的内容主要包括纺织品图像预处理算法、纺织品瑕疵检测算法、纺织品瑕疵分类算法以及基于云计算的纺
学位
近年来随着我国经济的不断发展和医疗水平的不断提高,我国的人口数目呈现快速的增长趋势。截至2017年末,中国大陆的人口数量已经达到十三亿九千万人,特别是一线城市,人群密集度达到一种极高的水平。另一方面,人们消费水平的不断提高也使得人们参加演唱会,观光游览,大型比赛等集会的次数更加频繁。人群密集度过高导致的踩踏事件和恐怖事件发生的次数越来越多。这些事件时时警醒人们,同时也显现出对人群密度进行估计和人流
红外夜视图像在军事、医学、民事安全、监控、遥感等领域发挥着不可替代的作用。但是受其热辐射成像机理、大气传输和成像系统的限制,红外夜视图像往往呈现出对比度低、边缘模糊、细节表达能力弱等缺点,并不能充分发挥其优势。为获得更丰富的图像信息,提升红外夜视图像的信息表达能力,本文对超分辨率重建模型展开研究。针对红外夜视图像的特点,重点研究了红外夜视图像对比度增强及基于卷积神经网络的超分辨率重建模型。并建立了
肺癌是世界范围内患病率和死亡率最高的肿瘤之一,目前年轻男性的发病率和死亡率呈上升趋势,公共卫生正面临着沉重的肺癌筛查负担。所以,研究有效的肺结节检测和诊断方法,对于肺癌的早发现和早治疗,并提高潜在肺癌病人存活率有着重要作用。然而,中国乃至全球高端医疗检测设备被外企所垄断,导致癌症诊断费用居高不下。因此,在持久的抗癌和反垄断斗争中,肺结节智能检测和识别方法研究对于肺癌的早发现、提高潜在肺癌病人检出率
学位
Skyline查询解决的是多标准决策问题,随着用户开始关注由多个数据点形成的集合的重要性,组合skyline(Combination skyline,简写为 C-skyline)查询逐渐成为研究的热点,它查询的对象基本单位不再是独立的数据点,而是由若干数据点形成的组合。当前算法存在的问题主要是,输出结果渐进性较差、对无用数据的剪枝率不高,且仅适用于静态数据集。鉴于此,本文分别针对二维数据集、多维数
学位
开关电源技术已有几十年的历史。近些年来,电力电子技术有了飞速的发展,高频化、高功率密度和高效率也逐渐成为了开关电源技术发展的趋势。本文研究的是在微波磁控管的基础上设计的开关电源,其对效率和高频化有着较高的要求,但是传统的开关电源技术由于在高频化与高效率上存在着诸多的局限,因此本文提出了用半桥LLC谐振变换器作为输出电源的策略,其能够实现开关管的零电压导通,且在输出端能实现二极管的零电流关断,在高频
随着互联网的蓬勃发展与智能设备的广泛普及,云计算已经成为当下的主流服务模式。通过云计算服务模式所提供的可用的、便捷的、可配置的计算资源(包括网络、服务器、存储、应用和服务等),个体用户和企业级用户均能充分享受云计算所带来的便利性、灵活性和可扩展性。针对大量用户的外包数据,传统数据去重技术虽然能够通过去除冗余数据提高云环境的存储效率与用户体验,但是难以保护用户大量的隐私敏感数据。为了平衡用户对外包数
学位
随着人工智能、深度学习与计算机视觉技术的不断进步,数字图像处理应用于先进制造、无人飞机、无人驾驶汽车等最有前景的领域,因而对图像处理技术的进步需求最迫切。在这种社会背景下,我们进行了图像去色技术和图像分割研究工作。首先,我们研究了图像去色技术,期望在转化后的灰度图像能够重现彩色图像的视觉感受,保存更多细节和对比度。这些特征,可以为图像分割提供更多信息。随后,我们主要集中精力研究图像分割技术。目前为
学位