论文部分内容阅读
计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显著提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。