时序数据异常检测方法研究

来源 :山东财经大学 | 被引量 : 0次 | 上传用户:rqcai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序数据通常含有一些不符合预期模式的异常。精准、全面、低时延地检测异常有助于提取重要信息并及时地处理异常。时序数据的异常检测是数据挖掘领域的重要研究问题之一,已被广泛应用于网络流量异常检测、工业故障检测和交易欺诈检测等领域。时序数据的异常检测方法可大致分为两类:传统的基于邻近度的方法和基于深度学习的方法。基于邻近度的方法主要利用数据分布的概率密度比来度量时间子序列间的邻近度以捕捉时序异常。基于深度学习的方法大多采用循环神经网络或长短期记忆网络来捕捉时序依赖性,并利用自编码器以重构数据,进而根据重构误差的大小实现异常检测。虽然这两类方法均实现了较高的异常检测率,但是仍存在检测时延较长、计算效率较低和鲁棒性较低的问题。为缓解这些问题,本文分别对这两类时序数据的异常检测方法进行研究,主要贡献如下:(1)针对传统的基于邻近度的方法检测时延较大和计算复杂度较高的问题,提出一种基于全变分比分隔距离的检测方法(TVRSE-AD)。采用全变分提取序列波动特征,进而计算全变分比分隔距离度量序列的邻近度。该距离的计算可避免复杂的参数估计,有助于提高方法的计算效率,并降低方法的检测时延。针对噪声干扰问题,引入相对全变分以进一步增强方法的鲁棒性和检测准确度。实验结果表明,TVRSE-AD方法在检测精度、时延以及计算效率三个方面均具有较好的表现。(2)针对基于深度学习的方法中网络所含参数较多导致方法计算效率较低的问题,提出一种基于串行自编码器的异常检测方法(SEAE-AD)。该方法含有两个自编码器(AE1和AE2),其结构简单且所含参数较少,较少的参数加快了方法的训练和推理速度。此外,通过将AE1和AE2串行拼接,即AE1的输出作为AE2的输入,提高AE2的解码器对正常数据特征的解码能力,有助于提升方法的检测准确率。实验结果表明,相较于其他新近提出的异常检测方法,SEAE-AD方法取得了更高的精确率、召回率和F1值以及更快的推理速度。本文采用TVRSE-AD方法计算子序列之间的邻近度,实现高效的异常检测。当数据维度和数据量较大时,描述数据分布的难度加大,导致该方法的异常检测率和计算效率降低。为此,SEAE-AD方法借助神经网络较强的特征提取和数据表示能力,有效提高了检测性能。本文为时序数据的异常检测领域提供了两种较为有效的方法,并为后续工作提供一定的研究思路。
其他文献
显著性检测是基于视觉注意力机制的图像理解任务,该建模任务从人类视觉系统理解图像的角度出发,把图像中引起人眼兴趣的像素点设定为前景目标,其余像素点定义为背景区域。显著性检测的相关研究首先在自然图像领域展开,目前随着相关研究的不断深入,研究人员发现视频的时序线索对于显著性检测有着重要意义,添加时序线索有助于仿真视觉注意力机制在动态场景下的视点转移,从而提升最终的显著性检测效果,因此基于视频的显著性检测
学位
在计算机视觉与计算机图形学领域中,人脸图像合成一直是一个研究热点和难点。二维人脸图像合成是指根据输入信息合成一张达到预期值的高真实感人脸图像,其涉及到诸多研究问题,如人脸表情迁移、人脸属性编辑、人脸图像重建等。近年来,基于深度学习思想特别是对抗生成思想的二维人脸图像合成技术,得到了很多学者的关注,取得了长足发展,并被广泛应用在动画制作、数字娱乐、安全防控等领域。由于人脸的特殊性,即使细微的面部变化
学位
时间序列分析已被广泛应用于金融市场预测、电力负荷预测、天气和环境状态预测等实际问题。由于预测时间序列数据的准确值比较困难,近期的研究主要集中在判断时间序列的未来趋势上。时间序列预测通常可以被看作一个分类问题,即预测时间序列的未来趋势方向,例如上升、下降和稳定。作为时间序列分析中最常用的技术指标之一,移动平均线指标可以通过简单快捷的方式对过去一段时间内时间序列的整体变化规律进行总结。虽然移动平均线在
学位
作为人类社会中最常用的信息载体,图像中往往存在大量信息。人类的视觉感知机制可以在复杂图像中快速定位出最吸引注意的内容。研究人员希望计算机可以模拟人类的视觉注意力,具备自动定位场景中显著性内容的能力,于是便提出了显著性目标检测这一任务。该任务旨在从输入图像中自动识别并获取最具吸引力的区域。作为一种基本和有效的预处理方法,它不仅可以帮助降低场景分析的复杂度,还广泛应用于图像和视频压缩、语义分割、视觉跟
学位
在绿色金融与市场型环境规制不断发展的背景下,“十三五”规划指出要“建立健全用能权、用水权、排污权、碳排放权初始分配制度,培育和发展交易市场”。为了实现2030年“碳达峰”、2060年“碳中和”目标的庄严承诺,中国一直努力擘画绿色发展、创新发展的宏伟蓝图,主动担当作为,努力实现“绿水青山”和“金山银山”的双重政策目标,积极为全球低碳经济发展做出贡献。碳金融交易政策是减少温室气体排放的有效途径,该政策
学位
得益于改革开放的政策红利,我国对外贸易在这段时期内取得了惊人的发展速度,其中出口成为我国国民经济发展的主要动力。随着经济全球化进程的推进,以劳动要素驱动经济增长的模式已经成为过去,创新驱动随着科技兴国战略的实施逐渐成为未来发展的趋势。在这个过程中,企业是创新和出口的主力军,担负着扩大出口规模,提升创新能力的重任。但就目前而言,企业仍然面临着科研资金缺乏、创新动力不足的困境,供应链金融作为缓解融资约
学位
在减税降费和“六稳”“六保”的大背景下,纳税人固有的逐利思想也随之日益放大,在追求利益最大化的过程中,便有可能触及税收违法红线。税收风险一旦既成事实,将导致国家税款的流失。如何控制税收风险,减少税收违法行为,是税务机关当下面临的重要挑战。采金企业的高利润率和高回报率使得该行业的税收收入往往在当地占比较高。鉴于采金企业在当地税收中的重要地位,对于采金企业的税收风险管理则显得尤为重要。采金企业因其产金
学位
自然资源是保证人类生存和发展的关键要素,是实现人类对美好生活向往的重要保证。然而,随着人口增长和经济发展,我国自然资源过度消耗和生态环境污染问题日趋明显,严重影响了自然资源和经济发展的和谐共生、永续发展。为推进生态文明建设,有效保护和永续利用自然资源,降低资源耗用对生态环境和社会经济的损害,十八届三中全会提出开展自然资源资产负债表的实践目标。水资源作为重要的自然资源,对维持生态平衡、保证生产生活和
学位
教育事业的发展对于中华民族的伟大复兴具有决定性的意义,教育对于个体家庭又是改变命运的途径,人们用于教育支出的费用越来越高,推动着校外培训机构的发展壮大。随着网络技术的普及,在线教育的方式进入人们的视野。2020年初的新冠疫情“停课不停学、停课不停教”的线上教学模式更是为在线教育企业的发展带来了机遇。然而,涌入在线教育行业赛道的企业越多,市场竞争越发激烈,大多数在线教育企业还处于高投入、低收益的阶段
学位
卫生监督工作是维护群众健康权益、维护医疗卫生行业秩序、建设健康中国的重要保障。在新冠肺炎疫情常态化防控工作中,卫生监督部门对公共场所、发热门诊等高风险区域的监管发挥着十分重要的作用。随着财政部门不断加大卫生经费的投入,加强卫生健康经费绩效管理、评价卫生监督部门履职情况的意义重大。目前,对卫生监督部门的研究主要集中在档案信息化建设、人力资源等领域,国内外对于部门整体支出绩效评价虽有一定的研究成果,但
学位