基于一致性哈希的分层混合存储系统设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qiuyueguangxuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,数据海量增涨,支持低成本、大容量、高效率存储是构建存储系统的关键。研究表明,根据80/20定理,80%的请求访问了20%的数据,即大部分的请求集中于对小文件、热数据的访问。传统硬盘(HDD)和纠删码存储策略适用于大文件、冷数据存储;新型固态硬盘(SSD)和副本存储策略适用于小文件、热数据存储。因此针对不同特性数据选择不同存储介质及存储策略已成为发展趋势。在OpenStack Swift对象存储系统的基础上,本文根据存储介质、存储策略的差异性,设计分层一致性哈希环,对应固态硬盘集群和传统磁盘集群分别构建固态硬盘集群哈希环(SSD Ring)和传统磁盘集群哈希环(HDD Ring),其中固态硬盘集群采用三副本的存储策略,传统磁盘集群采用纠删码存储策略。存储对象通过其重要性、访问频率、容量等指标进行分层存储,使得热数据、小文件采用副本存储策略,通过SSD Ring分配到固态硬盘集群;冷数据、大文件采用纠删码存储策略,通过HDD Ring分配至传统磁盘集群。此外引入监控系统模块,确定不同时间段采集数据频率及其迁移阈值,提出数据迁移调度策略。监控系统定期监控固态硬盘集群使用率,当固态硬盘集群存储容量超过其阈值时,按数据访问次数和最后访问时间两个指标选择确定冷数据,将其迁移至传统磁盘集群,实现降级迁移调度策略。升级迁移调度策略引入温数据概念,减少因偶然事件引起的不必要数据迁移。当传统磁盘集群中某数据在一定时间段被频繁访问,该数据热度标志位由冷、温标志上升至热标志,则认定数据再次变热,触发升级调度,将其迁移至固态硬盘集群。实验表明,针对负载特性进行分层存储,根据存储对象特点提供不同存储介质及存储策略,增强系统灵活性、提高系统读写性能,并保证其稳定性。
其他文献
合金钢LIBS定量成分分析是LIBS研究的热点和难点。本文对合金钢LIBS定量分析中谱线自动识别和元素成分分析进行研究,主要内容分为两部分:一是研制以谱线识别算法和原子光谱软
Al GaN/GaN高电子迁移率晶体管(HEMT)具有高的载流子浓度和高的迁移率,在高频和高功率等领域表现出了优异的性能。一方面,HEMT器件在实际的使用过程中可能会受到外部应力的作用,对其特性产生影响。研究应力对于HEMT器件影响的作用机理十分重要,另一方面,相关文献表明能带和二维电子气的浓度会随着压电效应极化电荷而改变,HEMT器件可以用来做压力传感器,因此拓展并且加深HEMT器件的应用非常重
在国家某大型工程建设中,侧装模块需要装入到主体装置。侧装模块种类多,数量大,洁净度要求高,安装空间复杂,定位精度高,装卸频率高。本文针对侧装模块装卸任务的需求,设计了
近年来,随着数据量的急剧增长,传统的存储方案已经难以满足用户的存储需求,云存储作为一种新的分布式存储模式越来越受到研究者和用户的青睐。多云存储解决了单云存储存在的
随着大数据时代的到来,各领域的信息呈现爆炸式增长的景象,如何去管理大规模的数据开始受到人们的广泛关注。Hadoop作为用于对海量数据进行分布式存储和并行处理的软件架构,
研究了 SnAgCu钎料与铜基的钎焊接头在等温时效、热循环时效和热力耦合时效过程中,接头界面金属间化合物IMC的形成与形貌和尺寸及性能的演变,计算了时效过程中IMC层的生长规
绝大多数的控制问题可以分为镇定问题、调节问题和跟踪问题三类,它们都属于轨迹跟踪问题。而跟踪性能的好坏是评判控制算法优良的重要标准之一,传统的非线性自适应控制中的性
手机由于功能丰富、使用便捷而深受大学生群体的依赖和认可,但是部分高校大学生对手机依赖的程度特别严重,本文将此现象归结为“手机依赖症”现象。大学生不分时间不分场合过度使用手机,不同层面地影响到了高校学风建设。在手机大量普及的今天,禁止手机使用既不现实也不科学。因此高校教育工作者应该扭转观念和思路,科学理性地面对和处理“手机依赖症”对学风建设的影响。本研究通过文献阅读法、问卷调查法和访谈法三种研究方法
本文是在经典算子理论的基础上,结合前辈们对算子半群的研究成果和方法,提出了双参数有界算子C群的概念,研究了双参数有界算子C群的扰动、Yosida定理和Yosida逼近、逼近问题
随机延迟微分方程是一种带延迟量的不确定性模型,在某些情况下它能够合理地描述自然界中行为的演变规律,因此随机延迟微分方程在医学、物理、金融等领域被广泛地应用于刻画这