基于模式识别的高性能计算系统故障检测研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:hzzaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算系统契合了大数据和云计算在运算能力、高性能存储等方面的需求,因此高性能计算是大数据、云计算发展的技术支持。随着大数据、云计算技术的广泛应用,高性能计算系统的应用领域越来越广,系统的规模越来越大,系统复杂度越来越高,导致系统运行过程中发生故障的几率呈指数增长,因此如何建立有效的自动故障检测机制成为高性能计算系统研究的一个热点和突出问题。高性能计算系统中相对于海量的正常数据而言,故障还是很罕见的,所以故障检测可以看做为一个模式识别的二分类问题。无监督学习的模式识别方法仅仅依赖于对现有样本数据本身的分析,因此适用于规模不断扩大的高性能计算系统。因此本文提出用模式识别的方法解决高性能计算系统的故障检测问题,拓展了模式识别方法的应用领域,并且基于无监督的故障检测方法具有可扩展性和实时性。本文围绕如何针对大规模的高性能计算机群系统建立有效的在线智能故障检测系统展开了如下研究:首先,针对本文的研究对象:操作系统的底层数据,提出利用Linux的系统指令获取描述各种活动行为(如:内存、CPU、I/O和网络)的特征信息作为研究的原始数据,并构建出适用于模式识别方法的特征矩阵。然后,提出基于PCA进行特征提取和基于距离的孤立点检测进行异常判断的自动的故障检测机制,并通过实验验证该故障检测机制的有效性。实验过程中对单一错误和多种错误的情形分别进行了分析研究,结果发现PCA算法对于单一错误情形的故障检测的准确率较高,误判率较低;而对于多种错误并存的情形,该方法效果不佳。为了弥补PCA算法对非高斯特性的数据的不可分离性,提出基于ICA的特征提取方法,该方法理论上对分离数据集的相关性可行性很高,并通过实验验证了 ICA方法的有效性,发现ICA方法不仅具有很高的检测准确率,而且误检率很低。并通过实验对比PCA和ICA两种方法,发现基于ICA的故障检测机制的检测效果比PCA的检测效果好。并且发现在多种错误并存的情形下,PCA算法的准确率很低,误检率和漏检率都很高。最后,结合PCA和ICA的优劣性,提出先PCA进行线性分离,再利用ICA进一步进行独立元分离的PCA-ICA方法。实验结果表明,该方法比ICA具有更好的故障检测效果。结论部分对主要内容和创新点进行总结和阐述,并对论文的不足之处和未来的研究工作进行展望。
其他文献
1917年俄国革命是20世纪最重要的历史事件之一,它扭转了俄国的发展方向,影响了世界历史的进程。如何认识和理解俄国革命及其对苏联发展道路的影响,至今仍是我们面临的问题。
吴语进入文学作品的现象依据方言成分的出现方式分成三个阶段,其代表分别为韩邦庆《海上花列传》、张爱玲的中短篇小说,以及范小青《裤裆巷风流记》。文章结合这些作品,讨论北部
提出一种独立轮对柔性耦合转向架的方案。通过理论分析得知,一旦耦合刚度合理匹配,该转向架就会在二系悬挂系统和柔性耦合元件的协调作用下自动把前后轮对调整到径向位置,这
稻瘟病菌(Magnaporthe oryzae)属半知菌亚门,在田间引发水稻稻瘟病害,严重威胁着全球水稻产量和粮食安全。稻瘟病菌具有典型的侵染循环,其通过产生分生孢子来传播病害。分生
近年来,我国农村土地流转已经成为一个普遍的现象,流转的农地面积总量也在持续增加,而我国现有的由农户自主性流转的模式已经很难满足现实的需求。因此创新土地流转模式,已经
信托与银行、证券、保险并称现代金融的四大工具,它以自身极大的弹性特质创造了各种各样的财产管理模式,形成了“得人之信、受人之托、代人理财”的特点。信托制度起源于英国
直齿锥齿轮主要应用于汽车差速器内,是汽车车桥差速器的重要组成零件。其主要作用为带动左右车轮以不同转速滚动,减少轮胎的磨损。采用精密锻造成型工艺加工的齿轮能显著提升
当前,文化创意产业日益成为促进我国经济社会发展与软实力提升的新动力,许多省市将其视为促进区域经济转型和产业结构升级的新手段。江浙沪地区是我国经济最发达的地区之一,
<正> 浮选的生产实践促进了浮选药剂的研究;优良浮选药剂的应用又常常推动浮选技术的发展。自从1924年引用脂肪酸皂类于选矿工业以来,大大促进了金属氧化矿及非金属矿选矿的
我国中小企业的增值税筹划工作刚刚起步,很多方面都没有统一的规范,相关法律法规不健全,导致中小企业在开展增值税筹划工作时缺乏指导意见,很难发挥增值税筹划工作的有效作用