新一代IT技术发展浪潮已经来到了我们身边。云计算及其相关技术作为这股浪潮的核心组成部分,正潜移默化地影响着我们的生产和生活方式。分布式存储技术作为构建云计算基础设施的关键技术,面临着全新挑战。如何在超大规模、海量数据、高可用性、高可扩展性的云计算环境下,构建高性能、高可靠性的大规模分布式存储系统,受到了工业界和学术界的广泛关注。基于对现有云计算以及分布式存储相关技术发展现状的理解和认识,本文对相关研究成果进行了全面、深入、具体的分析和探讨,并且就云计算环境下分布式存储关键技术开展了细致入微的研究工作,取得了部分研究成果和创新。本文的研究成果和创新包括:1、提出了一种新的基于数据块合并的重复数据删除算法。现有的重复数据删除算法着重考虑数据块划分粒度、指纹计算、索引查询及更新优化等问题,没有考虑子数据块合并引入的额外开销。本文提出的新算法在子数据块的合并过程中,同时考虑最小子数据块数目和最大子数据块数目,并且通过动态调整子数据块合并的数目,从而减少了算法中子数据块的合并开销,降低了重复数据删除算法的时间复杂度,提高了存储空间的利用效率。2、设计了一种基于金刚石拓扑结构的消息传播策略。现有的消息传播策略,或者注重消息传播的高效性,或者在部分节点失效时,仍能保证其它正常节点接收到消息。本文提出的消息传播策略能够在两者之间取得较好的均衡,既可保证消息快速传播到系统中正常工作的节点,又能利用金刚石拓扑结构中层级节点之间的冗余连接,确保部分节点失效时其余节点仍然能够收到消息。3、实现了一种基于免疫优化策略的副本放置算法。现有的副本放置算法,仅仅考虑部分影响因素,如网络带宽使用率、副本放置节点与用户之间的距离,用户访问副本代价等。本文引入了免疫系统核心思想,通过免疫优化算法的克隆选择和免疫记忆过程,计算分布式存储系统中所有节点的亲和度,然后根据亲和度结果选择合适的节点用于放置数据副本。该副本放置算法收敛速度快,并且能够降低用户访问副本的响应时间。4、提出了一种基于代理的一致性算法A*Raft。Raft是一种针对经典Paxos算法进行优化的一致性算法,但是该算法存在着领导者节点单点失效、节点日志一致化过程效率低的问题。本文提出的A*Raft算法,通过对节点日志一致化过程开销进行定义,选出合适的代理节点,用于分担领导者节点在日志一致化过程中的开销,均衡领导者节点负载。此外,A*Raft算法能够减少领导者节点的选举次数,减少算法的时间复杂度。综上所述,本文从重复数据删除技术、消息传播策略、副本放置策略和一致性算法的角度,对云计算环境分布式存储关键技术进行了深入研究,为构建高性能、高可靠性的分布式存储系统进行了有益的探索。