论文部分内容阅读
文件系统元数据描述文件系统及其管理的文件,其访问效率是文件数据访问性能的关键因素。在海量网络存储环境中,随着系统应用的多样化、应用需求规模的不断扩大,如何充分利用系统资源,提供高扩展能力的文件系统元数据服务,成为大规模分布式文件系统研究的热点问题。多种典型应用的访问统计结果表明,文件系统元数据具有活跃性、局部性、动态性、需要更改文件系统的多元数据请求的比例很少等特点。基于此特性,本文的主要创新点是,提出动态灵活的分布式文件系统元数据服务机制和策略,支持文件系统元数据服务的动态扩展。它包括元数据存储和访问两个方面:1)集中共享的元数据虚拟存储模型。以虚拟存储技术支持的存储资源透明扩展、分层的存储资源管理和动态的元数据资源分配、元数据对所有请求服务器可见等为基础,元数据存储服务有效分离元数据的存储和访问,为动态灵活的元数据请求服务提供支持。2)动态灵活的元数据请求服务机制和策略。文件系统元数据表现出活跃性、局部性和动态性等特征。动态分布决策将文件系统名字空间结构与元数据类型相结合,由用户访问动态驱动活跃元数据的请求分布。初步的对比评估结果表明,相对于目录子树分区法,其请求处理能力将提高30%左右。动态灵活的元数据服务机制为服务扩展能力提供基础。为解决两阶段提交等传统协议的不足,本文提出通过动态迁移协议,集中处理跨服务器请求,有效保证请求的原子性。在最坏情况下,动态迁移协议也能够减少25%的处理时延,且其错误恢复的影响也小得多。针对传统和新兴应用的实验验证了元数据服务扩展能力的有效性。针对生物信息计算BLAST的评估表明,元数据服务器的增加将带来20%左右的元数据服务时间降低。通过对系统实现的优化,将可能获得近线性的元数据服务扩展能力。同时,实验结果还为未来的工作方向提供了参考:1)原型系统的实现优化;2)自适应的元数据请求分布决策模型;3)系统结构的优化,以更好支持超大规模的系统扩展需求。