近年来,随着与数据相关的信息技术的高速发展,全球数据量呈现爆炸式增长,大数据给我们带来了很多方便,但也存在大量的重复数据存储,因此有效的处理重复数据达到节省存储空间的目的,在大数据环境下提出了新的挑战。目前提出的重复数据删除技术,能很大程度地节省系统的存储空间,但是系统的性能、可靠性和扩展性也因此受到影响。本文对提升重复数据删除系统的性能进行研究,提出一种基于指纹分类的索引方案,并在此基础上设计和实现了一种新的重复数据删除系统,主要工作和创新点如下:(1)为了减少磁盘访问次数,提高重复数据删除的性能,本文提出一种基于指纹分类的 B 树二级索引方案 SIAR(a Secondary Index Assisted Read scheme)。首先根据指纹的值域将其进行分类,对于每类指纹建立一颗B树,相比于包含所有指纹的B树,每一类指纹对应的B树高度更小,由此可以减少磁盘随机访问的次数,提升系统的读性能。此外,对SIAR方法中的性能提升和内存开销的平衡关系进行了理论分析,依据存储系统的数据量大小,设置相应的参数,达到优化系统的读性能的目的。分析和实验验证了 SIAR方法的有效性和高效性。(2)设计并实现了一种新的重复数据删除系统,系统由客户端和服务器端两部分构成,客户端采用文件类型分类的方式对不同文件进行分类处理,不同类型的文件根据其内容特点采用与之适应的文件分块算法,这样可以保证重复删除率的情况下减少计算开销。客户端首先发送数据块指纹到服务端检测,确保是非重复数据块再传输数据到服务端,减少重复数据块的网络传输开销。服务器端采用布鲁姆过滤器初步判断数据块是否存在,然后运用SIAR索引确认数据块是否重复,最后采用TFS(Taobao File System)系统对数据进行存储,利用TFS的平滑扩容和容错机制,保证了系统的可靠性和可扩展性。