基于深度学习的运维数据异常检测

来源 :西南财经大学 | 被引量 : 0次 | 上传用户:haojian19831212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网时代,大量面向公众提供服务的互联网公司都需要监控自身的网络服务情况和服务器健康状态等数据,以保证能够提供正常的服务访问,也就是运维工作。但随着上网用户的激增,互联网能够提供的服务越来越多,需要监控的数据也在不断增加,传统的人工运维已经无法再适应高速发展的互联网时代。运维技术也随着人工智能技术的进步而进入了智能运维(AIOps)时代,异常检测任务的目标则是通过使用人工智能算法自动的发现运维数据中存在的异常波动,为后续的故障定位和根因分析等运维工作提供决策支持。在实际的运维场景中,由于异常数据的稀缺、运维数据类型和异常模式的多样,给运维场景中的异常检测任务带来了很大的挑战。本文主要针对的是运维场景下的异常检测问题,目前提出的基于运维数据的异常检测模型大多都是通过选择合适的阈值去划分正常和异常数据,而选择一个合适的阈值非常依赖于丰富的专家经验,若阈值不合适,模型性能则会出现下降,随机性大,不够灵活。且大多数异常检测模型都是采用LSTM作为提取时序特征的模型组件,而LSTM的计算会依赖于上一个时间步的计算结果,不能进行并行处理,在n个时间步的序列数据中,LSTM模型会计算n次,但自注意力层只需要计算一次。且在运维数据这样的高维数据中,计算复杂度会比自注意力层的计算复杂度更大。所以本文将多头自注意力机制引入了运维数据异常检测领域,并通过结合卷积神经网络分类模型,设计了MHSA-CNN(Multi-head Self-attention CNN)异常检测模型。该模型共包括三个部分,分别是数据校正和特征提取、基于运维数据的时序特征提取和序列异常识别。数据校正和特征提取部分负责原始数据的标准化,通过滑动窗口进行数据的划分和异常数据的注入,在本文中改进了只能用于单维序列数据的异常注入方法,使其能够应用于运维场景的多维序列数据上。时序特征提取部分通过结合多头自注意力机制和位置编码技术进行时序数据建模,还增加了一个前馈神经网络层增加非线性变换,增强模型的表达能力。序列异常识别部分则通过使用卷积神经网络分类器将数据分类为异常样本和正常样本。本文希望通过结合自注意力机制擅长捕捉数据的内部相关性和对全局建模的能力,以及自注意力计算方法对局部信息不敏感,使得模型易受异常点影响的特性,并结合卷积神经网络关注局部信息的能力,能够在运维数据的异常检测任务上得到好的效果。为了验证MHSA-CNN模型在运维数据异常检测任务上的性能,本文在SKAB异常检测公开数据集上进行性能评估,并选择使用四个基准算法与MHSA-CNN模型进行对比。评估结果表明,MHSA-CNN模型在SKAB数据集中35个子数据集中的大多数子数据集上都取得了优异的效果,且异常漏报率远远低于其他基准模型。
其他文献
随着互联网时代的到来,网络数据呈现出爆炸式增长的现象。该现象从社会各层面反映出来,包括法律与军事、金融与商业、医疗与科技、文化与娱乐等领域。计算机硬件技术的飞速发展,为海量数据的存储和研究提供了可能。数据中包含着潜在知识和价值,科学家们利用知识图谱对学到的知识建模从而更好地对其整理和探究。知识图谱是结构化的语义网络知识库,能够描述客观世界中的实体及其相互联系,可被看作是由结点和边连接所构建的大型网
学位
信息效率是衡量资本市场资源配置能力的重要指标,较高的信息效率意味着股票价格能够较大程度反映真实的公司信息。然而,当前我国资本市场不发达,资本市场的资源配置能力和运行效率远不如发达国家,股票价格随市场价格和行业价格波动的“同涨同跌”现象更使得资本市场信息效率大打折扣。近年来,金融科技的迅猛发展使得我国传统金融行业焕发出新的生机与活力,极大地促进了金融产品创新、金融服务增质改效、金融资源优化配置、金融
学位
2006年以来,随着我国证券市场改革的深入,基金的持续发展和QFII机制的实施,机构投资者走上了飞速发展的道路,逐渐形成了以基金为主,合格境外投资者、券商、保险、信托等其他机构投资者共同发展、和谐发展的格局。机构投资者投资规模大,投资活动会对市场产生巨大影响。本文通过整理机构投资者投资行为相关文献,发现分析师建议是影响机构投资者行为的一个重要因素。卖方分析师可以充当机构投资者的信息中介,机构从卖方
学位
对北京大兴国际机场航站楼核心区空调水系统进行了水力平衡调适,对比了调适前后各机房回水温度一致性和典型区域的温差,通过工程实例阐述了经过水力平衡调适后的空调水系统可以表现出更好的运行性能;对比了2021、2022年核心区制冷季水系统平衡调适前后的空调系统能耗,发现调适后的系统能耗降低约24.9%。综合考虑室外温度、客流量及机组运行情况等参数对空调系统能耗的影响,比较了8月核心区空调系统能耗,结果表明
期刊
农村生活污水治理关系着农村人居环境的持续改善。文章介绍了农村生活污水特点及常用治理方式,指出目前农村生活污水治理存在的问题,针对问题提出相应的解决策略,为推动农村生活污水治理工作的有序开展提供参考。
期刊
在当前研究环境中,复杂的模型在数据集上的表现通常比轻量模型好,因此不少研究学者将大量精力花费在如何设计更复杂更精巧的模型上,但是这样的研究在应用落地时却常常遇到资源受限的问题。毕竟虽然我们在训练模型时可以尽可能地使用计算资源,但是到了实际应用环境中,能给程序调用的计算资源还是有限的。因此,为了能让研究的模型在实际环境也能发挥效用,各式各样压缩模型的技术被研发出来,它们能在尽量不损失模型精度的前提下
学位
管理和预防地方政府债务风险是一个全球性话题。在中国,由于存在诸如隐性债务、债务积压、借新还旧、不同省份经济发展和财政表现不均衡等问题,使得我国的地方政府债务问题更加复杂。因此,在本文中,我们建立了一套能够全面有效地评价地方政府债务风险的多指标评价体系,帮助地方政府科学地评估自身债务状况,并建立了一套基于机器学习的地方政府债务风险预警系统,帮助地方政府提前判断债务风险可能的发展趋势,防患于未然。本文
学位
在当前“大资管”和“房住不炒”、“居民财富搬家”、“全民养老”的时代背景下,股票型公募基金的市场快速扩容。无论是直接投资基金的投资者,还是设立基金中的基金(FOF)产品的机构投资者,基金绩效的研究与评价是在筛选基金“择优去劣”时不可或缺的核心环节,是组合投资经理、基金投资顾问的投研能力核心体现,具有理论研究价值以及指导投资者如何构建投资组合的现实意义。在这一背景下,本文试图探讨如何更好地评价股票型
学位
线缆成卷是线缆生产过程中的重要环节,在线缆成卷过程中受线缆盘具不规整的影响容易产生线缆跳匝与叠匝现象以及塌边问题,造成缠线质量不稳定。由于缠线质量的原因容易造成线缆表皮的刮伤、不美观以及长度不精准等问题,影响产品的销售。随着自动化与机器视觉的发展,需要一种采用视觉技术的智能成卷系统来解决目前依赖人工调节的缠线方式,因此研发一款自动化程度高、稳定、高效的线缆成卷系统具有重要意义。目前在线缆成卷过程中
学位
近年来,互联网借贷蓬勃发展,出现了一系列风险管理问题,导致借款人合法权益受损,相关部门也出台了政策对互联网借贷的发展进行约束和管理。信托公司作为具备贷款发放资格的金融机构,近年来也在积极转型,通过移动互联网这一便捷高效的获客途径为广大借款申请人提供小额贷款资金,为了合规、高效地开展互联网借贷项目,信托公司也需要主动拥抱机器学习技术来对互联网借贷项目进行风险管理,以更大限度的减少项目损失、提升项目盈
学位