论文部分内容阅读
机群结构由于具有良好的可扩展性、可用性、高性价比等优势已经成为高性能计算机的主流结构。然而,由于磁盘访问的性能远落后于CPU、内存和网络传输的性能,使得机群系统的I/O性能往往会成为系统性能的瓶颈。机群文件系统作为解决机群I/O瓶颈的核心技术,对其进行评价就具有重要的意义。
本文从机群文件系统的性能评价、老化评价和可靠性评价三个方面对机群文件系统进行了评价。主要贡献在于:
第一,针对性能评价如何尽量反映应用的真实性能的问题,提出了面向应用的机群文件系统性能评价方法:首先利用基于SystemTap技术的文件系统负载收集工具进行实际应用负载的trace收集和整理,然后通过分析它们的负载,进而构造一个接近真实应用的负载进行性能测试。具体的贡献有:
1.实现了一个基于SystemTap技术的文件系统负载收集工具,它使用简单,对系统的干扰低,对应用环境的通用性高,在客户端进行收集具有很好的扩展性。
2.在三个比较典型的应用环境下进行了负载的收集,并对这些负载从文件系统的请求比例、读写特性、时间特性、文件系统的当前状态等方面进行了负载特征分析,同时也跟SPECsfs的负载进行了对比,分析了这些负载之间的相似和不同之处。
3.性能评测结果表明了SPECsfs的评测结果还是跟模拟的真实负载的性能有差距,也反映了面向具体应用进行性能评测的必要性和该方法的有效性。
第二,针对目前老化问题不容易测试和缺乏测试和分析工具的现状,分析了文件系统老化的主要原因来自磁盘上文件数据的不连续性,并且用实验进行了验证;进而从单个文件的老化度、所有文件的整体老化度和空闲空间的老化度这三个不同的维度量化定义了文件系统老化程度的评价指标;最后实现了一个老化程度的统计工具,能够对仍然在线使用而无法进行性能测试的文件系统进行老化性的评价。
第三,主要针对目前流行的大规模分布式文件系统的数据块复制放置机制,采用模拟的方法,对大规模文件系统的可靠性进行了评价,分别比较了影响可靠性的各个因素,模拟的结果显示有的因素对可靠性影响很大,有的并不是很大,最后提出了两个改进可靠性的数据放置算法,经过模拟验证证明了两个新算法分别可以获得不同程度的可靠性的提高。