【摘 要】
:
移动互联网环境下,数据访问出现高并发、高随机、热点变化快、关联性强等特点,导致数据中心出现严重的性能瓶颈。混合存储系统通过部署高命中率的数据缓存机制,可以有效地提
论文部分内容阅读
移动互联网环境下,数据访问出现高并发、高随机、热点变化快、关联性强等特点,导致数据中心出现严重的性能瓶颈。混合存储系统通过部署高命中率的数据缓存机制,可以有效地提升存储系统的I/O性能。但是海量的小文件的访问特点使得传统缓存架构、替换策略、数据访问关联及热度分析算法出现了性能瓶颈。课题对现有混合存储架构进行深入研究,并对数据访问特征进行统计分析,从数据访问关联性和固态驱动器的硬件特性入手,设计高效准确的数据分组预取算法和层次缓存替换策略。课题基于Openstack swift对存储架构进行了实现,并采用广泛使用的数据集对所提架构和算法进行了验证。课题首先提出缓存事务的定义和缓存事务特征的构建方法,对传统特征表示方法的属性覆盖范围和可计算性进行了优化;其次,课题提出一种基于缓存事务的混合存储系统文件分组预取算法,通过数据预分块算法和高关联优先的数据分组算法,从不同粒度对数据访问关系进行挖掘,提升了数据访问关系挖掘效率和准确度,并提出数据合并存储策略,提升了分组数据的访问效率;再次,课题提出一种海量小文件访问热度实时分析算法,对数据访问热度索引效率和内存占用进行优化;最后,课题针对海量小文件的访问特征及各级缓存设备的硬件特性,对各级缓存的数据布局策略和替入替出策略进行设计,减少SSD缓存对热点数据的替换频率,整体提升访问效率并减少SSD硬件损耗。实验结果展示出了课题所提出算法和策略的正确性和合理性,从而证明了所提出混合存储架构的有效性。本课题所提出的模型和算法对混合存储架构的关键问题进行了优化,大幅提升了海量小文件环境下混合存储系统的数据访问效率,进而提升存储系统的并发量和吞吐率,为后续的相关研究提供了理论和实践上的参考和依据。
其他文献
近年来,作为机器学习非常重要的一个分支,深度学习技术在国内外得到了迅速的发展和广泛的关注,其实际应用也越来越广,比如图像分类、目标检测、自动驾驶技术等。但是,最近的
低电压(小于2V)和易制备的高性能薄膜晶体管器件和功能电路等在远程传感、可穿戴电子和物联网等领域具有广泛的应用前景。近年来,已受到人们越来越多的关注。半导体碳纳米管
从上世纪工业机器人被发明以来,随着工业技术的发展,焊接机器人作为工业机器人的一大类被广泛应用于工业生产中,起到推动生产、提高制造业经济效益的关键作用。近年来,传统的
当前,第三次工业革命已然兴起,生产方式发生变革,信息技术、通信技术开始进入消费、制造全过程,核心是智能装备,载体是智能工厂,本质便是催生新的分工。第四次的工业革命,在
捕食-食饵模型是种群动力学模型中一类非常重要的模型.近年来考虑时滞因素对模型解的稳定性和周期解以及各种分支现象影响的研究日益成为具有重要意义的研究课题之一.由于种
气体分子的超快精密成像是物质结构探索中的重难点,也是一种研究物理、化学、生物医学等领域上中很多基础问题的重要方法。由于气体中分子密度低,要想获得充足的光学信号就必
随着产品需求日益多样化、个性化以及产品生命周期的缩短使得多品种小批量生产成为众多企业必须采用的生产模式。在这种背景下,传统刚性生产组织模式,如典型流水线暴露出了诸
随着人类对未知的探索,在不同环境下开展物质探测难以避免,外太空或高海拔地区的物质分析检测,成为了人们亟需解决的问题。激光诱导击穿光谱技术作为一种非接触、实时且无损
近年来,随着公共安全问题受到了越来越多的关注,监控系统已经被广泛地运用到了社会的各个角落,也因此产生了大量的数据,要在众多视频数据中快速搜寻和追踪目标行人就显得越来
超奈奎斯特(Faster-Than-Nyquist,FTN)传输技术是一种非正交传输技术,可以高于奈奎斯特第一准则的速率传输数据,从而获得更高的频谱利用率。但是,采用FTN传输技术会引入严重的