基于深度神经网络与迁移学习的硬盘故障预测

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:by090706
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,对存储设备的容量、性能和可靠性都有了更高的要求,硬盘作为一种重要的存储设备,一旦发生故障可能造成数据永久性丢失,即使数据能够恢复所需的时间和成本也很可观。目前硬盘普遍采用自我监测、分析及报告技术(Self-Monitoring Analysis and Reporting Technology,S.M.A.R.T.)系统,但该系统自带的检测算法在故障发生前检出故障的概率非常低,无法给更换故障硬盘留出足够的时间。随着机器学习特别是深度学习技术的发展,一系列硬盘主动故障预测算法将硬盘故障预测定义为多变量时序数据分类问题,将硬盘分为健康与即将故障两类,对即将故障的硬盘转移备份数据,避免数据丢失造成的损失。但该任务是典型的不平衡时序数据分类任务,这些算法在检测健康硬盘上表现良好,但在更为关键的检测即将故障硬盘上的表现则有待提高。同时,不同型号硬盘的S.M.A.R.T.数据分布存在差异,这些算法通常只在特定型号上性能较好,一旦型号发生变化,其性能明显下降。为提高性能,提出基于多变量全卷积长短时记忆网络(Multivariate Fully Convolutional Long Short Term Memory Network,MFCN-LSTM)的硬盘故障预测算法,并且先采用基于聚类的下采样技术对硬盘S.M.A.R.T.数据进行预处理,平衡不同类别的数据。卷积网络模块用于提取S.M.A.R.T.数据特征,并加入挤压-激励层,允许网络特征重新进行校准,网络可以从全局信息中选择性地关注有用特征并且忽略无用特征。长短时记忆模块能够提取数据之间的时序依赖关系,进一步提高分类性能。针对不同型号硬盘S.M.A.R.T.数据分布存在差异这一问题,基于迁移学习的模型自适应方法在全连接层使用多核最大均值误差(Multi Kernel-Maximum Mean Discrepancies,MK-MMD)计算不同型号硬盘的S.M.A.R.T.数据通过长短时记忆模块与卷积网络模块提取特征的差异,并将该差异加入损失函数的计算以优化模型。同时该方法对卷积网络模块的前两层卷积参数进行直接迁移,对第三层卷积和长短时记忆块的参数进行微调,使迁移过程中能够训练出更加针对目标型号硬盘的网络模型,提取出更加有针对性的特征。基于S.M.A.R.T.硬盘数据集的实验结果表明,同未使用下采样直接进行分类相比,AUC指标平均提升0.2165,AUC指标常被用来评价模型的分类效果。使用MFCN-LSTM同Bayes相比,AUC指标平均提升0.4356;同LSTM-CNN相比,AUC指标平均提升0.3503;同FCN相比,AUC指标平均提升0.2038。针对不用型号硬盘,同重新训练的模型相比,基于迁移学习的模型自适应方法的AUC指标平均提升0.0431。
其他文献
党的十八大以来,习近平总书记高度重视红色文化的保护传承工作,多次发表重要论述。红色文化不仅蕴含着中国优秀传统文化的丰富内涵,也承载了中国共产党领导全国各族人民进行革命、建设和改革的伟大成就。传承红色文化,既是对中华优秀传统文化的转化与发展,也是对中国共产党理想信念和革命传统的传承和发扬,更是在新时代实现中华民族伟大复兴的精神支撑。黑龙江省红色文化资源非常丰富,这里有大量的遗址遗迹、红色档案等,充分
学位
香港作家西西从20世纪50年代中期开始文学创作,以其多样化的叙事实验及鲜明的文化意识在香港文坛乃至整个华文文学界占据重要地位,近年来她的创作也引起了大陆学者的关注。西西在尝试中寻求突破,作品中呈现的女性主义叙事是她趋新求变创作中的又一个方向。西西不愿意给自己贴上女性主义的标签,也没有刻意强调女性性别特征,但西西在创作中让女性发出自己的声音,重新确立女性的话语权威,以女性循环时间观念和独特的空间结构
学位
近年来,世界各国自然灾害、社会安全、公共卫生等方面的突发事件频发,给各个国家和人民的生产生活和生命财产安全都带来了极大的影响。我国幅员辽阔,人口众多,各级各类突发事件的出现对我国现行应急管理法律体系提出了严峻挑战。完善应急管理法律体系可以及时有效的促进政府在处理突发事件时快速反应、科学应对,并且使应急管理过程有法可依、效能提高。本文主要内容与观点如下。首先,分析我国当前应急管理法律体系存在的问题。
学位
公司实践中,一些投资者冒用他人名义设立公司或向公司出资,而被冒名股东对此默许放任甚至浑然不知。被冒名股东被诉诸法院后,往往出现被告股东身份确认难、民事责任认定不一等问题,危及交易安全,扰乱市场秩序。我国《公司法》没有涉及对被冒名股东的规定,虽然《公司法司法解释三》第二十八条对被冒名股东的概念、民事责任的承担等方面有所涉及,但我国法院有关被冒名股东的股东资格认定标准不一,有的法院仅依公司登记机关的登
学位
金属拉链作为一个金属小部件,涉及生产工艺流程复杂,某企业在生产金属拉链时,发现金属链牙存在力学性能较低的缺陷,经过分析发现,金属链牙力学性能不佳,造成金属链牙咬合力不强,金属拉链拉合强度不高,其主要原因是金属链牙多道次轧制成形中H65铜线材轧制过程未能充分提高金属链牙力学性能,尤其是轧制所得“Y”型铜材截面的根部强度较低。针对“Y”型铜线材牙根部力学性能较差的现象,采用有限元方法和实验方法结合的方
学位
近几年,伴随着互联网的普及、信息技术的发展、大数据技术的兴起,以人工智能为核心驱动的第四次工业革命使人类社会逐渐步入科技革命时代。中国结合生产成本优势下降、人口红利逐渐消失的国内经济发展的客观现实,以及发达国家以技术创新为主导的“再工业化”的国际竞争新形势,将智能化发展提升到国家发展战略层面。制造业企业能否实现智能化转型,不仅关系到制造业的生存问题,也关系到我国是否能抢占人工智能的发展先机,实现经
学位
目的研究慢性肾脏病患者血清中性粒细胞明胶酶相关脂质运载蛋白(neutrophil gelatinase associated lipocalin,NGAL)与肾性贫血的相关性。方法筛选124例慢性肾脏病(chronic kidney disease,CKD)患者,根据是否伴有贫血分为贫血组(n=84)和非贫血组(n=40)。进一步亚组分组将贫血患者根据是否进行维持性血液透析分为透析组(n=72)和
学位
梳篦从石器时期起就出现在人类的生活中,拥有实用功能和审美功能。历史上梳篦的变化既能反映制梳工艺的进步、时代审美的变迁同时也能反映出不同文化之间互相的交流和影响。汉代至南北朝是中国古代梳篦从朴素发展到华丽的重要时期,本文以汉代至南北朝出土的梳篦为研究对象,主要运用考古资料与文献相结合、美术学、图像学等研究方法,梳理汉代至南北朝时期梳篦的发展变化,探讨梳篦所反映的文化交流情况和梳篦体现的审美要素。本文
学位
党的十八大以来,全面从严治党被提升到了治国理政的战略高度,驰而不息治理党风政风成为了重要而紧迫的工作任务。激励问题在许多的领域中都已经有了广泛的研究,但针对乡镇纪检监察干部激励问题进行的研究很少,几乎没有。这类群体身处反腐斗争的第一线,其素质高低、能力水平,将对基层反腐败工作成效造成一定的影响。乡镇纪检监察干部的组织人事和工作性质存在特殊性,只有有效的激励才能推动乡镇纪检监察干部更好的履职。本文基
学位
随着经济的发展,石化产业也成为国家的支柱产业。石化产品的生产成本中采购成本占了大部分。如何在企业的正常运营中有效控制采购成本、提高采购效率是企业管理者重点关注的内容。采购管理过程的有效优化是企业提高采购效率的有效手段。本文阐述了采购相关概念,对采购模式、合同谈判理论、供应商管理理论、流程再造及优化理论,选用合理的理论指导解决问题。介绍了GLPC公司的基本情况和采购管理的做法。采用对相关人员发放问卷
学位