随着互联网技术的急速发展,人们迎来了大数据时代,数据类型更为复杂,体量更为庞大。大数据不仅为企业带来了多样化的商业价值,同时也为存储行业带来了巨大的挑战。因此,以分布式存储技术为核心的云存储,以效率高、收费低的优势占据存储市场。但无论是当前主流云存储系统,还是传统的数据存储系统,都无法避免存储大量冗余数据的情况,尤其在归档或备份系统中,冗余数据能占到存储总量的70%,冗余存储极大地提升了存储成本。通过删除重复数据,来提高存储空间的利用率,从而减少硬件成本与能耗十分必要。但传统重复数据删除应用于云存储时,存在两个关键性问题:一是如何在平衡重复数据删除率与系统资源利用率的同时,提高系统整体效率,二是如何有效减少重复数据删除对云存储系统的影响。基于上述问题,论文做了如下工作。1.现有重复数据删除系统过分追求重复数据删除率,导致系统效率低、开销大。针对该问题,提出基于数据相似聚类的重复数据删除机制。该机制利用数据的相似性进行聚类,并根据聚类结果,设计构建了二级索引结构。为了提升数据的检索和比对效率,根据数据间的关联性特征设计了缓存置换算法,进一步提高索引缓存命中率。与其他重复数据删除机制进行实验对比,结果表明所提出的机制在保证较高的重复数据删除率情况下,能够大幅提升系统效率。2.在Ceph分布式存储架构下,重复数据删除不仅会加剧原有OSD的负载不均问题,且会对Ceph的读写性能造成影响,针对该问题,对工作1的机制进一步优化,提出了OSD的负载再均衡策略,该策略综合考虑系统读写的性能来进行数据迁移,从而使得集群整体负载更加均衡,同时通过对重复数据删除读写流程优化,减少对Ceph读写效率的影响。与原生Ceph分布式存储系统的实验比较的结果表明,OSD负载再均衡策略能够有效解决重复数据删除带来的Ceph负载不平衡问题,并提高读写效率。研究工作表明,基于相似聚类的重复数据删除机制与OSD负载再平衡策略,不仅能够有效提高去重效率和空间利用率,而且能大大减少Ceph负载不平衡的情况,具有较好的实用意义。