基于闪存固态盘的重复数据删除技术的设计与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:taobaowang1312
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,飞速增长的数据量给存储系统带来了巨大的挑战。同时,以闪存Flash为代表的新型存储介质迅猛发展,给存储系统注入了新的活力。闪存固态盘SSD有独特的性能优势,但是使用寿命限制了其发展和应用。根据SSD的特性,本文设计了重复数据删除系统,将SSD与重复数据删除技术结合,提升SSD的性能和使用寿命。首先,现有的在SSD内部实现重复数据删除的研究都处于模拟阶段,针对这种现状,本文利用FPGA芯片在SSD的开发板上实现了重复数据删除系统,真实评估基于SSD的重复数据删除系统的优劣。根据硬件实现的特性,本文采用了分组指纹匹配和间接地址映射的策略。对重复数据删除系统进行评估时发现,传统重复数据删除机制的指纹计算开销巨大,会成为SSD的性能瓶颈。而后,针对传统重复数据删除的性能瓶颈问题,本文提出了一种新型弱指纹重删机制NF-Dedupe,通过消除冗余数据,既改善了SSD的使用寿命,也提升了性能。这种机制采用计算开销小的CRC32函数,计算写入的数据页的弱指纹值。通过比较各个数据页的弱指纹值找出可能重复的数据页。对于写入的页,将与之可能重复的页从Flash存储中读出,通过进行字节级别的直接比较的方式,检测是否为重复数据,而不是采用传统的匹配指纹值的方式。通过模拟器来对NF-Dedupe进行评估,实验结果显示,NF-Dedupe优于现有的其他重删方法,实现了5.3%到29.9%的重删率,消去了数据集中的大部分重复数据。同时,SSD的写延迟最多提升了21%,平均提升了12%。因此,本文找到了一种合理的方式,在SSD内部实现重复数据删除,充分发挥了两者的优势,有助于推动SSD的发展。
其他文献
随着人类基因组测序工作的完成,蛋白质分子序列数据呈几何级数增长。通过对蛋白质的分子序列的折叠结构的研究和分析,可以预测蛋白质的功能。这对于生物学、医学的研究发展有
高性能计算在气象预报、航空航天等领域有着广阔的应用前景,MPI是当前高性能计算应用进程间消息传递事实上的标准,集合通信是影响高性能计算应用性能的重要因素之一。自由光
矢量线可视化法以其能表示矢量场的连续性,绘制效果直观而广泛应用在工程实践中,已成为流场可视化的重要方法。随着科学模拟精度不断提高,矢量场的数据规模不断增大,传统的矢
提高软件的开发效率和质量是软件工程领域的一个巨大挑战,软件复用技术是解决这一问题的根本途径。开源软件的蓬勃发展,越来越多的软件发者、业余爱好者参与到开源软件开发中
无线传感器网络是一种无基础设施的无线网络,综合了传感器技术、嵌入式计算技术、分布式信息处理技术和无线通信技术。该技术现已成为国内外远程抄表系统中解决监控点地域广
在信息海量增长的压力下和人们对计算模式的移动性需求下,存储与计算的分离成为未来计算模式发展的趋势,网络计算是符合存储与计算分离要求的计算模式。iSCSI (internet SCSI
随着社会信息化的推进,信息量越来越庞大。如何保证这些信息被充分利用,实现信息价值的最大化,是一个迫切需要解决的问题。此外,信息类型也呈现多样化的特征,大量半结构化以
手机短信因具有移动性好、价格低廉、收发便捷和娱乐性强等特点而使人们逐渐习惯于用短信的方式来传送信息和进行沟通交流。但垃圾短信问题也变得日益严峻。因此,研究短信智
随着计算机科学技术的发展,计算机得到越来越广泛的应用,越来越多的科研单位和院所都使用自己的科研管理系统来进行日常的业务管理工作。但目前使用的这些科研管理系统大多是早
1991年物联网概念的提出掀起了互联网的一场革命,伴随而来的智能家居将人们日常生活息息相关的设备接入互联网;智能交通、智能电网、工业4.0等新技术,更是将国家关键基础设施和