基于深度学习的云平台日志异常检测方法研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:bingdongfenxing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随信息科学、人工智能等技术的发展,云计算日益蓬勃发展,但任何云服务访问失败都会带来灾难性结果,因此用户亟需稳定、高可用的云平台。为提高云平台连续性服务质量,需要对云平台运行状态进行监控,由于云平台每天可产生数以万计的文本日志消息,因此利用人工智能技术对云平台日志解析和异常检测成为近几年国内外的研究热点问题。但云平台日志具有多源、异构、非结构化和复杂等特点,为日志解析和异常检测带来了巨大的挑战。本文从日志解析准确率和时效性问题入手,提出一种面向云平台的在线高效日志解析方法,在此基础上提出了基于日志模式与日志参数的异常检测方法,为云平台的连续性服务提供保障。具体研究内容如下:(1)针对当前绝大多数日志解析方法不能实时解析日志和解析准确性低的问题,本文提出一种基于字符串聚类和模板生成树的在线云平台日志解析方法LSC-TGT(Log String ClusteringTemplate Generating Tree)。利用任务标识符区分异构日志,将日志按照长度分类,通过日志字符串对日志二次聚类,使用模板生成树提取日志模板。实验结果表明,LSC-TGT提高解析准确率的同时降低了解析时间,实现了高效准确地解析非结构化日志数据。(2)针对当前绝大多数异常检测方法无法检测未知异常和漏判异常的问题,提出一种基于日志模式和日志参数的异常检测方法Log2P(Log Pattern and Log Parameter)。利用特征表示和长短期记忆网络(Long Short Term Memory,LSTM)训练日志模式异常检测模型;再利用谱残差算法压缩参数值数据,将参数值序列输入LSTM网络训练参数值异常检测模型;将两个模型融合实现全面准确的云平台异常检测。实验结果表明,相比于现有的监督学习方法和无监督学习方法,Log2P具有更高的准确性。(3)综合上述研究与成果,设计了基于日志和网络流量的云平台入侵检测模型。该模型结合主机日志数据和网络流量数据实现混合入侵检测,包含基于日志的入侵检测方法、基于网络流量的入侵检测方法和响应模块3个模块。实验结果表明本文模型在提高了检测率的同时能保证较低的误报率。
其他文献
该文以中交水运规划设计院有限公司工作实践为例,介绍了如何利用国产数字缩微设备完成归档电子档案的批量制作,以及灾备数据存储与快速还原的方法,为电子档案无纸化管理模式的广泛应用提供支持。
期刊
在现有研究中,研究者往往将目光放在了文学发展的中心——上海、北京等地,而对于文学发展相对欠缺的地域则关注较少。早在1920年代,冯至、顾随、陈翔鹤等就曾在青岛教书,1927年,王统照又定居青岛,而30年代更是汇聚一大批文化名人,如梁实秋、闻一多、沈从文、老舍等等。但是,在后世的研究中,青岛新文坛并没有受到足够的重视。因此,不论是尝试叙写空间文学史,还是尽可能挖掘文学史料,填补文学史空白,对青岛的新
学位
近年来,我国的公共文化治理水平有了很大提升,但是依然存在文化设施不健全、运营管理不善、城乡区域发展不协调等考验。创新文化供给模式,构建现代化的文化体系需要得到研究者的关注。因此,本文旨在探究实现多元合作供给公共文化服务的方法和路径,提升社会力量提供公共文化产品和服务的积极性。本文首先将国内外公共文化的实践和研究发展进行梳理,然后对本文涉及的基本概念和理论进行界定和分析。接着,对山西大阳镇消夏晚会这
学位
伤害厌恶是指个体经历(实施、想到、看到或听到)伤害行为或结果时产生的不安反应,其是个体抑制攻击等伤害行为的重要道德机制。对伤害厌恶的研究不仅对于揭示道德的心理机制具有重要的理论价值,对于攻击等伤害行为的预防和干预也有实践意义。但是,伤害厌恶的脑基础尚不清楚,而且很难查到关于伤害厌恶的脑关联研究。这可能是由于目前尚未有可以有效操纵伤害厌恶的实验任务。因此本研究首先尝试建立可以有效操纵伤害厌恶的实验任
学位
新中国特殊教育经过70余年的发展,已经建立了具有中国特色的特殊儿童教育安置格局。我国特殊教育正向着内涵式方向发展,融合教育已成为发展的趋势,为了更好落实“办好特殊教育”的要求,提高随班就读的教育质量,特殊教育资源中心应运而生。2017年《残疾人教育条例》、《第二期特殊教育提升计划(2017-2020)》正式在全国层面第一次明确“特殊教育资源中心制度”,特殊教育资源中心成为我国特殊教育支持体系的重要
学位
近年来,课程思想政治教育课已然成为一种尤为热点的议题。习近平总书记在全国普通高等学校教师思政大会上强调:“发掘各学科中蕴藏的丰富思想政治教学资源,进行三全教育”。在这个物质生活高度发达的今天,具备良好的竞争意识已成为人们融入现代社会所必不可少的基本素养。当代大学生很有必要增强自我素质,养成能适应竞争激烈社会环境竞争意识。以正确的竞争意识迎接社会所提供的巨大挑战,并通过自己的力量去抓住最有限的机遇。
学位
习近平法治思想是中国特色社会主义法治理论的最新发展成果,十八大以来,以习近平同志为核心的党中央全面把握中国特色社会主义的发展全局,形成了高瞻远瞩的法治定位,通过全面布局法治建设,增强执法力度,为新的时代条件下更为全面的推进依法治国进程提出了更具创新性的思想、理念和战略,最终形成了全面系统的习近平法治思想。习近平同志在中央全面依法治国会议上着重强调,全面推进依法治国,必须树立以人民为中心的理念,这是
学位
企业网是汇聚企业中各种网络设备和信息资源的网络,用以支撑各种生产要素向社会提供某种服务。然而,企业网一旦建成,它所承担的重要任务使它难以更新技术和装备,从而导致企业网的“僵化”。企业网的僵化迟滞了网络技术进步,引发了许多技术难题,是一个长期困扰我们的技术难题。本学位论文提出了网络功能虚拟化(NFV)企业网的概念,研究了利用软件定义与真实企业网等价的NFV企业网系统的技术,探索发展企业网技术的新手段
学位
深度学习视角下的高中物理单元教学模式是在深度学习和单元教学相关理论的指导下,为完成深度学习视角下的高中物理单元教学目标和教学内容,落实高中物理核心素养而设计的,包含“规划单元教学主题-确定单元教学目标-设计单元教学活动-评价单元教学活动”四个环节的单元教学活动结构框架和活动程序。为推进课程改革,发展学生核心素养,培养社会所需要的人才,本研究尝试构建了深度学习视角下的高中物理单元教学模式,并探讨了该
学位
云南民国时期书家众多,流派纷呈,形成了丰富多彩的书法状况。本文分为以下六个方面。第一部分是云南民国时期书法的文化背景。这个部分是云南民国五大书家群体书法风格形成的文化背景。第二部分是“颜钱”书家群体。“颜钱”书家群体是云南民国时期最有代表性的一个书法群体,这个群体又可以分为四个小群体,即陈荣昌群体、赵藩群体、袁家书群体以及何绍基书风群体。第三部分是篆隶书家群体。云南民国时期篆书书家主要取法甲骨文、
学位