随着大数据技术的发展,生产生活所产生的数据量呈爆炸式增长,无论是个人还是企业,数据存储的成本越发高昂。如何提供有效可靠的数据存储备份服务是一研究热点。重复数据删除是一种用于消除冗余数据、提供可靠存储的技术,广泛应用于大型存储系统之中,但也仍存在一些不足:（1）当前基于内容分块算法存在块大小方差过大和吞吐量过低的问题;（2）基于Map Reduce的重复数据删除系统需要大量写磁盘操作,计算迭代效率较低;（3）现阶段基于HDFS的分布式重复数据删除系统并没有考虑HDFS分块与基于内容分块大小不相匹配的问题,导致出现了过多HDFS小文件;（4）采用本地指纹库的分布式重复数据删除系统难以检测节点之间的重复数据,导致系统重复数据删除率较低。针对以上问题,本文提出了快速双极值（Rapid Double Extreme,RDE）分块算法和S-Dedupe重复数据删除系统。首先,针对分块算法块大小方差过大的问题,RDE采用双极值的判断策略,旨在提升算法对低熵字符串的处理能力。然后,针对分块算法吞吐量过低的问题,RDE使用多字节的滑动窗口以控制窗口滑动速度和极值计算粒度。其次,针对基于Map Reduce大量写磁盘操作的问题,S-Dedupe使用Spark框架对重删流程进行并行化和流水线化,目的在于提高计算效率和吞吐量。接着,针对基于HDFS的重复数据删除系统存在过多HDFS小文件问题,S-Dedupe通过块聚合策略减少小文件的产生。最后,针对本地指纹库导致系统重复数据删除率较低的问题,S-Dedupe使用HBase构建分布式指纹库,旨在缓解本地指纹库在分布式环境下对重复数据删除率的影响。实验结果表明,RDE在块大小方差方面取得了显著的提升,在块吞吐量方面也表现优秀。S-Dedupe在吞吐量上相较于常规重复数据删除系统提升达2.26倍,并且在系统重复数据删除率和控制HDFS小文件数量方面也表现出色。