由于全球数据量的呈指数性增长,各大存储服务商担负着巨大的存储压力。分层存储已经成为同时实现高效访问和廉价存储的必要方案。但单一的分层存储系统面临着重复数据的问题,一方面,呈指数增长的重复数据不断降低分层存储系统在效率和成本上的收益,另一方面,目前重复数据删除技术与分层存储技术的简单叠加关系使两者无法充分发挥各自的优势。本文结合分层存储和重复数据删除技术的优点,提出一种基于变长数据块的重复数据感知分层存储模型DAMS。为了进行更有效的缓存替换,我们分析了ARC算法的缺陷,提出一种高效、可变、兼容的缓存替换算法D-ARC,适宜应用在DAMS模型中。作为可行性验证,本文基于DAMS模型实现了一种宜广泛应用的存储系统实例Store X,Store X使用D-ARC进行缓存替换,并在细节技术上有创新实现,如引入数据块长度以降低hash冲突率,联合存储活跃度信息和数据指纹信息以节省空间。最后,通过两个测试工具生成随机数据,在不同参数下对Store X进行全面评估,对D-ARC算法做出对比实验。本文针对高效、大容量存储的需求,进行深入研究,具体工作内容如下。(1)分析数据量过大的问题,归纳该问题的研究现状,总结出增量数据访问局部性、大量重复数据的两个基本特点,以此作为研究的突破点。(2)提出基于变长数据块的重复数据感知分层存储模型DAMS,模型通过桥梁结构结合了分层存储和重复数据删除的优势,对强关联部分进行重叠,是高效、大容量存储的解决方案。(3)提出D-ARC。通过对ARC缓存替换算法进行分析,总结出4个缺陷,D-ARC在保留ARC优势的基础上进行了3方面的改进,在小幅提高效率的前提下,具有更高的命中率、可变性和兼容性。(4)在DAMS模型的基础上,实现了可广泛应用的存储系统实例Store X。Store X使用D-ARC进行数据调度,涉及数据分割、指纹存储等技术的具体实现,并在实现细节进行创新,如引入数据长度以降低hash冲突率、联合存储数据活跃度信息和数据块指纹以充分利用hash表的优势。(5)分析可能的过拟合,实现重复数据生成工具和模拟读取工具,在可控参数的情况下生成随机测试数据,得出对Store X和D-ARC的全面评估。