基于海量高频时序数据的实时故障预警方法与系统的研究与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:hj11254
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国内物流行业的发展,商用车数量持续上涨,运输危化品、易燃易爆特征材料的商用车需要确保运输过程的安全性,运输普通货物的商用车需要确保货物能够及时到达目的地,因此故障预警变得至关重要。故障预警可以提前预知设备未来的运行状况并及时反馈,提示操作人员设备已出现故障征兆,有助于操作人员及时采取预防性维护或维修,使设备始终处于良好的运行状态,避免因故障造成的严重灾难,减少因故障带来的严重损失。目前的故障预警方法包括传统的故障预警方法和基于数据驱动的故障预警方法。基于数据驱动的方法克服了传统方法中对外部因素的依赖问题,可以仅使用历史数据分析未来的故障情况,具有良好的通用性。商用车联网技术的兴起使我们拥有了海量高频的多变量时间序列数据,恰好为基于数据驱动的模型提供了丰富的数据支持,秒级的数据采集频率为结果反馈的实时性创造了条件。因此,使用数据驱动模型实现海量高频数据环境下的实时故障预警具备可行性。目前基于海量高频时序数据的实时故障预警方法与系统仍存在以下不足:首先,故障发生前会有不同程度的异常,轻度异常会干扰故障预警结果,目前的模型尚未通过分析多变量时序数据间的复杂关系,量化异常严重程度,排除轻度异常,更好地分析未来的故障情况。其次,数据驱动模型通常具有较高的时间复杂度,直接应用到实时数据环境中会造成故障预警的延迟。最后,现有的系统通常通过监控和简单的相似计算进行故障预警,应用复杂数据驱动模型对海量高频数据分析并预警的系统并不多见。针对以上不足,基于与某大型商用车制造企业的合作项目,本文提出了故障预警模型 HIT-FEW(Real-time Fault Early Warning on Massive High-frequency Time Series Data),并将其集成到实时系统中实现基于海量高频时序数据的实时故障预警。模型通过学习设备采集的多变量时序数据的时序规律以及变量间隐含的局部关系,将异常按严重程度进行分类,并通过快速的故障类型匹配算法计算严重异常的故障类型,以较低的延迟返回设备未来的故障情况。系统基于Flink实现数据的秒级处理,开发异动检测功能实现海量筛选,减少模型计算量,缩短故障预警的延迟。本文的主要工作和贡献概括如下:1.提出了基于多变量时序数据的故障预警模型HIT-FEW。该模型通过学习不同尺度时空特征量化异常严重程度,排除轻度异常对故障预警准确性的干扰,并可以有侧重的判断严重异常会引发的故障类型,实现方向明确的故障预警。模型分为异常检测模块和故障类型匹配模块。异常检测模块基于生成对抗网络构建,生成器通过学习不同局部范围中的多尺度时间依赖特征重构时空特征图,判别器结合不同尺度的时序信息计算重构图的异常概率值,使其反映异常的严重程度,在对抗训练中拟合正常数据模式,实现异常检测的同时量化异常的严重程度。在故障类型匹配模块中,通过长短序列区分以及粗细粒度结合的方式,计算异常序列与不同类型故障历史序列的相似度,实现故障类型判断的同时缩短计算延迟,使模型更好的适应实时数据环境。2.基于两个真实的数据集进行了大量实验,验证所提出的HIT-FEW模型的有效性。首先,设计模型与基线方法的对比实验,实验验证了 HIT-FEW模型在Precision、Recall、F1-score三个评价指标上的综合性能优于基线方法。接着,对HIT-FEW模型的不同特征提取模块进行了消融实验,分别验证了时间依赖特征、空间依赖特征以及多尺度特征对故障预警结果准确性的影响。通过对比实验分析模型在两个数据集上所选用的时间序列长度,实验结果分别确定了使模型表现最佳的时间序列长度以及预警的时间范围。最后,通过实验对比分析了本文故障类型匹配算法在效率上的优势。3.研发了基于海量高频时序数据的实时故障预警系统,实现HIT-FEW模型在实时系统中的有效集成,兼顾了数据的秒级处理与故障预警的准确性。系统使用Flink,Kafka,Zookeeper,ClickHouse等大数据组件构建,设计并实现了实时数据同步、实时数据处理、数据的存储与更新以及实时故障预警四个模块。通过实时数据处理中的异动检测,筛选潜在异常的同时缩小需要计算的数据量,有效降低了实时故障预警的延迟,实现了在海量高频数据环境下的实时故障预警。
其他文献
在逻辑上相互关联的命题上聚合个体判断的任务称为判断聚合。判断聚合过程的操作首先由List和Dietrich等人开始研究,Endriss等人是第一次从计算角度研究判断聚合过程。Baumeister等人扩展了他们关于操纵的结果,并在判断聚合中引入了贿赂和控制的概念,再次聚焦算法和复杂性理论性质。关于控制操作,外部操纵人员可以试图通过增加或删除法官个人判断集的方式来影响选举结果;对于操纵操作,外部人员可
学位
主题模型及其相关方法,通常被用于学习语料库中一系列隐含的主题,以及预测隶属于每个主题的每个文档中每个单词的概率。因此,主题模型是用于学习文本的隐含表示的最主流的方法之一。而基于贝叶斯理论的概率主题模型则是其中最经典的代表。概率主题模型有很连贯的理论证明以及很强的可解释性,适用于长文本。但是现有的大部分概率主题模型都有一个关键性的弱点,就是需要大量的文档数据,进而依赖大量的统计数据来生成可靠的主题。
学位
舞蹈是一种蕴含丰富人文内涵、美学价值的艺术形式,舞者的生理条件和乐感越出众、对编舞的理解越准确,其呈现出的舞蹈通常越专业。随着三维建模技术的发展,以动作捕捉设备为主要工具的舞蹈数字化技术,在数字电影和动画制作领域发挥着重要作用。然而,舞蹈的专业性对舞者的形体动作具有严苛要求,使得动捕过程中的重复采集现象频繁出现,导致专业舞蹈序列的获取成本十分高昂。因此,如何利用智能处理方法提升数字舞蹈序列的专业性
学位
现场可编程门阵列(Field Programmable Gate Array,FPGA)被广泛应用于航空航天、高性能计算、5G通信等领域,具有开发周期短、易升级维护、现场可编程等独特优势,但其硬件安全问题也逐渐显现。硬件木马(Hardware Trojan,HT)攻击近年来已成为FPGA的一大安全威胁,国内外许多机构和学者将机器学习算法与FPGA安全检测相结合,收到了较好的效果。但是,这些研究大多
学位
图被广泛应用于各种领域的关系建模,比如社会学、生物信息学、基础设施、万维网等。现实生活中的图通常是全局稀疏,但局部紧密,也就是平均度数往往相当小。因此,如何在一个大规模的图网络中挖掘出这些紧密子图是一个非常热门的研究课题,它可以帮助人们找到图中的关键节点或者群体。目前的研究中已经给出了很多的紧密子图模型,比如k-core、k-truss、clique等,但这些都只是考虑图的拓扑结构。而真实的网络图
学位
随着智能设备的普及,群智感知逐渐成为一种普适感知新范式。群智感知基于众包理念,其充分利用大量拥有智能设备、具备感知能力的个体,实现海量异构数据的采集,解决大规模数据需求问题。与传统的传感器网络相比,群智感知系统不需要大量部署专门的传感器设备即可获取海量感知数据,大大降低了数据获取的成本。目前,群智感知已经被广泛的应用在对现实物理世界的感知中(如交通信息采集、空气质量监测、城市WiFi勘测等)。尽管
学位
随着计算机视觉方向的研究日渐深入,社会安全对计算机视觉技术的需求不断增长,智能安防成为城市安全防护的重要手段。传统的人脸识别虽然可以通过人脸信息来定位人的身份,但是却无法在模糊的监控影像中对整个人体起作用。行人重识别正是解决此难点关键的研究方向之一,这种技术被用来对画面中的行人进行再识别,以确定每个人的身份信息。行人重识别是一项具有挑战性的图像检索问题。由于实际场景复杂多变,行人的前景和背景无法被
学位
植物能够通过改变各种功能性状和资源分配模式,产生多种应对不同胁迫或干扰环境的生态策略。植物生态策略研究对于解答植被演替、生物多样性保护、生态系统功能维持及全球环境变化响应等生态学前沿热点问题具有重要意义,但现有研究多聚焦于植物种间水平的宏观分析,对植物生态策略的遗传与环境驱动机制的了解相对较少,特别是缺乏对种内遗传谱系分化作用的研究,限制了生态策略的机理探究与应用推广。本研究通过将野外调查和多年同
学位
计算机辅助设计(Computer Aided Design,CAD)广泛应用于我国诸多行业中。目前我国的CAD几何引擎技术落后于国外,CAD市场更是处于被国外垄断的状态。为了摆脱该现状,我国需要早日开发出完全由中国自主研发的CAD几何引擎并广泛投入使用。为了开发出中国自主研发的CAD几何引擎,我国早已将对产品数据模型表达与交换标准(Standard Exchange of Product data
学位
参数曲线和曲面是计算机辅助设计应用的重要出发点,通常情况下,渲染、求交以及裁剪曲线和曲面等相关应用的算法是基于它们的参数化而不是固有的几何形状。曲面可以有许多不同的参数化形式,根据实际的应用选择合适的参数化对曲面进行重新参数化往往能得到较为理想的结果。应用结果会受到曲面参数化质量的影响,比如在曲面离散、曲面求交、曲面纹理映射、曲面渲染、曲面配准等应用中,曲面参数的一些诸如正交性等性质能够带来更加稳
学位