机群文件系统性能与正确性研究

来源 :中国科学院研究生院(计算技术研究所) | 被引量 : 2次 | 上传用户:dingxiaoyun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显著提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。
其他文献
基于人工神经网络的理论,提出了快速识别数字调制信号的方法:1)BP神经网络量化共轭梯度算法;2)径向基(RBF)神经网络法;3)小波系数的BP和RBF神经网络法.这些方法收敛速度快,性能好,仿真结
运用文献资料法、问卷调查法等科研方法对跆拳道运动员专项身体素质与运动成绩的关系进行了研究,确定了影响跆拳道运动成绩的四类专项身体素质,通过对不同专项身体素质因子的测
科技的进步发展,是不断开发、应用、实践的结果。大力推广科技成果,加快科学技术商品化,正确判断、识别并坚持机械自动化技术的发展走向,对于机械自动化技术的发展至关重要。
针对文本类型数据的分类进行研究,用VSM模型和TF-IDF技术对文本文件进行了数据样本抽取加权,得到文本相似度矩阵;采用不同样本距离计算方法和K-Means算法对数据进行了聚类实
随着VLSI技术的迅猛发展与应用需求的不断提高,单纯依靠提高主频已经很难进一步提高微处理器的性能,采用以多核微处理器为代表的先进体系结构已经逐渐成为提高微处理器性能的
目的:观察醒脾养儿颗粒在小儿轮状病毒性肠炎中的应用。方法:将120例患儿随机分为对照组和治疗组,对照组50例口蒙脱石散联合双歧四联活菌片治疗,治疗组70例口服醒脾养儿颗粒(
采用多核体系结构能够提高处理器的性能,但多核处理器中有多个处理器核访问存储器,对存储系统带宽需求增加,“存储墙”问题表现更为突出,给存储系统设计带来了挑战。本文全面