基于编码长度与频谱残差的时序异常检测研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:sb198908240015
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来与人工智能的发展,对海量数据的分析与处理成为了一项重要的任务。其中,对时间序列进行异常检测是数据挖掘中一项必要但繁琐的工作。针对时间序列的异常检测研究可以应用于数据噪声检测,防止黑客攻击公司服务器的入侵检测等等用途,在现实生活中有大量的应用实例。因此,研究并开发高效的时序异常检测算法有着现实意义。本次研究中的时序异常检测模型首先使用基于编码长度构建的算法判断时序片段是否含有异常;接下来,使用改进后的频谱残差异常时序检测模型进行点异常的检测。最后基于提出的异常检测算法构建了离线时序异常检测系统。主要工作包括:1.分析处理时序数据的传统机器学习方法与深度学习方法的优势与不足,指出经典机器学习算法难以检测集合异常的问题。为解决该难点,引入了最大编码函数的概念,研究开发了结合最大编码率衰减理论的异常检测算法MCR2N,用于检测时间子序列片段是否含有点异常或集合异常,同时为频谱残差算法提供需要检测点异常的时序范围。实验结果显示,MCR2N在KDD测试集上有100.00%的Precision,98.39%的Recall;在巢湖流域水位数据集上得到100.00%的Precision,88.77%的Recall。除此之外,MCR2N的训练速度比神经网络更快,且有可解释性。2.在频谱残差异常检测算法的基础上,提出了改进后的频谱残差算法ISR,提供点异常检测功能。频谱残差算法在KDD测试集上有100.00%的Precision,61.67%的Recall;在巢湖流域水位数据集上得到100.00%的Precision,61.56%的Recall。接下来,为提高频谱残差算法检测点异常的准确率,在频谱残差模型中引入超参数,得到改进的频谱残差算法。ISR异常检测模型在KDD测试集上获得了100.00%的Precision,76.11%的Recall;在巢湖流域水位数据集上得到99.89%的Precision,75.58%的Recall,超过了频谱残差模型的Recall。最后将MCR2N与ISR模型结合在一起,构成了最终的时序异常检测算法。3.为提供快捷高效的时间序列清洗工具,本次研究在Nodejs与Python语言环境下,构建了离线时序异常检测系统。离线时序检测系统包含基于MCR2N算法的时序片段异常检测功能,以及基于ISR异常检测算法的点异常检测功能。通过简单界面操作即可获得异常检测结果,提高了时序分析的速度。
其他文献
以简便高效的方式构建复杂的分子结构骨架,一直以来都是有机合成领域的主要挑战之一,也是有机化学家们不变的追求。其中,碳-碳键或碳-杂原子键的高效构建也一直是有机合成化学领域的核心研究内容。目前,文献已报道了许多合成策略来构建复杂有机分子,包括选择性的惰性碳-氢键活化/官能团化反应、过渡金属催化的偶联反应等。作为上述策略的重要补充,通过自由基介导的碳-碳单键断裂策略,在温和条件下实现碳-碳键或碳-杂原
学位
随着网络空间中数据流转的速度和规模显著提升,越来越多有关数据认证的安全问题暴露出来,例如恶意攻击者在信道中截获并篡改信息导致直接或间接的损失。属性基签名是解决认证问题的新兴密码学技术。它不仅实现了传统数字签名技术的消息认证、抗伪造和抗抵赖的特性,还打破了对公钥证书的依赖,实现了更灵活的属性层面的细粒度认证,能够被应用到无线通信、云计算和物联网等许多新型场景。然而,相较于强监管场景和强匿名场景对密码
学位
随着化石燃料的枯竭、相关的环境污染和全球变暖问题,正在推动科研人员对各种高效、低成本和环境友好的清洁和可持续能源转换、储存技术的深入研究。其中水的电催化分解(2H2O=2H2+02)备受关注,然而电解过程动力学缓慢,特别是对于析氧反应(OER)而言,被认为是涉及四电子转移反应的关键速率限制步骤,需要高过电位来驱动反应。近年来,钙钛矿氧化物(ABO3)电催化剂由于其组成和结构灵活性、价格相对低廉、含
学位
交互动作检测旨在识别人与人之间、人与物体之间发生的交互动作,在许多领域都发挥着关键性作用,例如人机交互、自动驾驶、安防监控等。近年来,基于深度学习的方法显著提升了交互动作检测的性能,但是仍然存在一些不足,导致检测准确率无法满足实际应用的需求。因此,本文选择了交互动作检测中的两个相关任务,包括人物交互检测和视频动作检测,分别考虑了静态图像和动态视频两种模态的数据,能够满足目前大多数的应用场景需求。其
学位
木质纤维素生物质是世界储量和分布最丰富的资源之一,由于其组分的可再生性和丰富的官能团,促使其在多领域有着广泛的应用。其中应用最多的组分为纤维素和木质素,这两者均含有大量的含氧官能团,使得其反应性和修饰的可能性大大提高,并与多种材料有着复合的亲和性。这些特性也同样引起了超级电容器领域的关注,用于缓解现有商业超级电容器电极存在的高污染和高成本的问题。在本文的第二章中,由氯化胆碱、尿素和甘油组成的深共晶
学位
随着深度学习技术的发展,数据量逐渐成为制约网络效果的重要因素,对数据进行人工标注工作量极大,伪标签作为一种简易获取标签的方式,可以减小获取大型数据集的复杂程度,目前得到了研究人员的广泛关注。立体匹配任务是指对左右输入图片之间的视差进行估计,在相机内外参信息的辅助下,可以进一步得到图片的深度信息。立体匹配在自动驾驶,人脸识别以及机器人导航等领域有着重要应用场景。目前立体匹配任务的一个重要瓶颈便是缺少
学位
人脸图像是人类重要的生物识别特征之一,包含着丰富的纹理、结构以及语义信息。但在人脸图像的采集过程中,常会出现障碍物遮挡等影响识别精度的问题。人脸补全技术可以填补人脸图像中的破损区域,去除人脸图像中的遮挡,从而提高人脸识别等任务的准确率。同时,人脸补全技术也可以用于修复照片、去除水印,在数字化社会有着广泛而丰富的应用场景。早期的人脸补全技术通常采用基于扩散或补丁的方法,前者依据破损区域周边的图像区域
学位
有机无机杂化钙钛矿材料因其带隙可调、光致发光产率(photoluminescence quantum yield,PLQY)高、载流子迁移率高等优异的光电特性,被广泛的应用于钙钛矿发光二极管(perovskite light-emitting diodes,PeLEDs)的研究中。经过不到十年的迅速崛起,PeLEDs的外量子效率(external quantum efficiency,EQE)已经
学位
核工程领域中,蒙特卡罗方法是重要的粒子输运计算方法,传统蒙特卡罗粒子输运程序的前处理过程主要依靠手工编写输入文本的方式完成,在核设施与核装置越来越大型化、精细化和复杂化的发展趋势下,手工编写输入模型的前处理方法变得十分耗时且困难。针对此问题,本文基于Open CASCADE开源几何引擎完成边界表示法的CAD模型到构造实体几何表示法的蒙卡计算模型转换,主要的研究内容包括:(1)发展基于中性格式STE
学位
酒桌言语礼节是在酒桌交际场合使用的特殊的言语礼节类别,用餐时营造出和谐的氛围,以便于用餐者进行信息和思想情感交流。酒桌交际是指交际双方用餐时进行信息交换和情感交流的过程。酒桌交际是否成功取决于两个主要因素。首先,取决于参与者对行为规则和酒桌礼节的了解程度。每个参与者必须遵守交际人所代表的文化群体所认可的礼节,否则交际中断。其次,交际人的言语行为应符合其交际目的,并采用相应的言语策略。达到交际目的的
学位