时间序列分类的端到端深度学习方法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:sjhung888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据科学是利用科学方法、算法和系统从数据中提取价值的跨领域学科。时间序列分析是数据科学的一个重要领域,分析按时间顺序排列的一系列数据点。时间序列分析可以通过数据揭示趋势、关联和相似性。很多领域都包含时间序列数据,例如,医疗保健、金融、遥感、天气预报、交通控制、工业等。近年来,时间序列分类已经成为工业界和学术界的一个重要研究问题,为此,研究人员提出了大量的时间序列分类模型。一般来说,好的时间序列分类模型可以捕获和泛化时间序列模式,可以对不可见的数据进行分类。深度学习是一个新兴的领域,以更复杂和抽象的方式象征统计数据。随着深度学习技术在文本、音频等多个序列数据分析领域的成功应用,研究人员开始采用深度学习技术解决时间序列数据挖掘问题。许多深度学习技术具有检测时间不变特征的能力,并且需要较少的数据来发现时间序列数据中的模式。它还可以处理高维数据,如多变量时间序列数据等。端到端方法可以直接从原始输入数据中学习特性,而且它们与领域无关,适用于任何类型的数据集。因此,本文采用端到端深度学习方法分类单变量和多变量时间序列数据。本文提出了四种基于端到端深度学习的单变量和多变量时间序列分类方法,在不需要大量数据预处理、特征加工、微调和细化的情况下提高了性能。本文的主要创新点如下。首先,双向长短时记忆(BiLSTM)是对传统长短时记忆(LSTM)的扩展,可以提高模型在序列分类问题上的性能。在输入序列的所有时间步长都可用的问题中,双向LSTM在输入序列上训练两个而不是一个LSTM。受此启发,可以利用BiLSTM为序列相关方法带来突破,并采用擅长特征提取的全卷积网络(FCN)作为时间序列的分类基线。因此,本文提出了一种新的BiLSTM-FCN模型用于单变量时间序列分类,它增加了两个分支,BiLSTM和FCN。本文还发现注意机制在BiLSTM-FCN上的有效性,提出了另一个模型ABiLSTM-FCN。在加州大学河滨分校(UCR)单变量时间序列档案的85个数据集上验证了这些模型的性能。实验结果表明,本文提出的模型全面优于当前最好的方法、传统技术和基线。其次,针对单变量时间序列分类问题,本文提出了另一种新的鲁棒方法残差LSTM(Res-LSTM)。Res-LSTM将残差网络(Res Net)和LSTM技术集成在一个单一的混合网络中,利用LSTM来学习长期依赖关系,并解决了消失梯度问题。有了Res Net,梯度可以直接流过跳过连接,从后面的层向后流到初始过滤器。因此,Res Net也可以帮助避免随着LSTM消失的梯度问题。此外,Res Net被认为是提出用于时间序列分类的最深层次的体系结构,可以从时间序列数据中提取深度空间特征。Res-LSTM模型是端到端的模型,不需要任何特性加工、数据预处理或微调。本文在85个单变量公共可用数据集上对Res-LSTM的性能进行了评价,实验结果表明,本文提出的方法比当前最好的方法、传统的方法和基线的性能更优越。再次,在两个端到端混合深度学习体系结构中,本文引入了注意机制、深度门控循环单元(deep Gated Recurrent Unit,d GRU)、挤压激励块(squeeze-and-励磁块)和FCN。利用注意机制构造dGRU的深度,并从时间序列数据中建立长期依赖模型。相比之下,FCN用来提取特征层次,SE块有助于从整体上重新校准特征映射,抑制信息较少的特征映射,并且可以很好地与FCN进行多元分类任务。不同领域的多变量和多变量数据集上的实验结果表明,本文所提出的模型比其他方法的性能更优越,并且不需要大量的数据预处理,可以部署在实时系统上。最后,本文研究了循环神经网络(RNN)及其变体,如双向循环神经网络(BiRNN)、双向长短期记忆(BiLSTM)、门控循环单元(GRU)和双向门控循环单元(BiGRU)等,用于多元时间序列分类。本文通过在MLSTM-FCN中替换LSTM来单独增加这些RNN变体,MLSTM-FCN是LSTM、SE块和FCN的组合。此外,本文在FCN中集成了SE块,以利用其在多变量时间序列分类任务中的高性能。由此产生的算法不需要大量的预处理或特征编码。因此,它们可以很容易地部署在实时系统上。通过对35个标准多元数据集进行综合评估,验证了本文所提方法比当前最好方法和基线的性能更优越。综上,大量的实验结果表明,本文所提出的模型新颖、高效,并且可以显著优于最先进的技术、传统方法和基线,而不需要任何繁重的数据预处理、特征加工、精炼或微调,可以很容易地部署在实时应用程序上。
其他文献
Ti/Al异种材料焊接结构以其钛合金耐高温、铝合金易成形等结构功能化和结构轻量化特点,在航空、航天领域具有广阔的应用前景和迫切需求。新一代大推重比航空发动机、大推力液体运载火箭发动机等急需突破中厚Ti/Al结构可靠焊接难题。近年来,国内外研究人员围绕Ti/Al异种材料激光熔钎焊的界面理论、组织性能调控方法开展了大量研究,主要集中在采用激光热导焊的方法解决1~2mm厚的薄板连接问题。为解决中厚板激光
深入理解撞击作用下含能材料中热点的形成及演化机制是提高含能材料性能和安全性的基础。然而,由于撞击诱导形成的热点具有温升速率快、持续时间短、空间尺寸小且为单次事件等特点,导致其原位实时诊断非常困难,需要时间和空间分辨率高的非接触式高速测温技术。荧光测温技术能够克服辐射和拉曼测温技术在中低温区(<1000 K)测量信号弱的问题,可用于诊断该温区的热瞬态事件,但目前报道的绝大多数热敏荧光探针的弛豫寿命在
当前心血管疾病已经成为导致居民死亡的最主要原因,包括Framinham心脏研究在内的多项研究表明,心血管疾病与风险因素密切相关。我国医疗现状面临着多重挑战,医疗资源分配不均衡、患者医疗知识缺乏、医生看病压力大等问题严重制约着医疗行业的发展。随着信息技术的发展,远程医疗、智能问诊等一批试探性的应用已经证明了信息技术可以在医疗领域发光发热,这在今年的抗击新冠疫情中得到有效验证。信息挖掘、信息推荐等技术
平面激光诱导荧光技术(Planar Laser-Induced Fluorescence,PLIF)是一种可以实现流场浓度分布测量的激光光谱测量技术,该技术凭借其优异的示踪粒子跟随性、多组分同步测量等优势,可以应用于飞行器外流场结构可视化和发动机内流场当量比测量。然而,目前的PLIF技术难以实现流场结构动态变化过程中的稳定性分析,而用于测量当量比分布的双示踪剂PLIF技术由于缺少示踪剂相互影响规律
捷联航姿系统在进入正常工作模式前必须要进行初始对准,以获得初始姿态基准,因此初始对准过程的对准速度和精度将直接决定捷联航姿系统的启动时间和姿态测量精度。然而,传统初始对准方法在进行对准时依赖外部设备提供纬度信息。针对卫星信号失锁、拒止及水下等无法接收定位信号的复杂环境,传统初始对准方法将无法开展初始对准工作,因此亟需开展无纬度初始对准方法研究。目前,关于无纬度条件下初始对准研究还不成熟,角运动和线
传统数控系统的完全集成化结构和单机化工作样式已经成为制约数控系统顺应工业4.0时代发展的瓶颈问题所在。虽然当前有多个旨在打破完全集成化结构的开放式数控系统原型,但它们的开放程度受到组件技术的固有缺陷等其他因素的影响,且其开放化结构仍然是基于单机化工作样式的。今天,云平台和因特网等技术的快速发展和广泛应用为打破单机化工作样式创造了条件,使得将数控软件移植到云端并通过因特网同时控制现场端的多台设备成为
推力在大范围内可调的电推进系统成为近年来空间电推进技术的研究热点。对于为离子推进器和霍尔推进器提供电子的空心阴极需求随之进一步提升。本文针对空心阴极在变工况过程中产生的问题开展研究。主要内容如下:首先,研究了在大范围内改变放电电流对传统定电流空心阴极放电特性和腐蚀特性的影响。结果表明,放电电流在大范围变化时,空心阴极放电电压上升。发射体温度随放电电流增加而增加。放电电流低于设计电流时,发射体温度降
近年来,司法部深入贯彻习近平网络强国战略思想,着力提高司法行政事业发展的科技含量和信息化水平,全面展开科技创新和技术攻关,建设“数字法治、智慧司法”科技创新工程,法律咨询服务和辅助判案是其中重要项目。目前,法律咨询服务智能化程度低,无法准确描述法律咨询语句,难以理解用户法律咨询意图,进而为其提供个性化、多元化法律咨询服务。传统辅助判案技术对案件描述粒度较粗,无法捕捉案件间关联信息,影响案件罪名判定
电致变色是指在外加周期电场的作用下,材料表面的光学属性发生可逆变化的现象。常见的电致变色材料包括过渡金属氧化物、导电聚合物、有机小分子及络合物等,可广泛应用于节能建筑智能窗、航天器热控涂层、防炫目后视镜等应用领域。本论文面向节能建筑智能窗的应用需求,以Ni O薄膜、WO3薄膜、含有不同离子的电解质以及由其组成的固态器件为研究对象,通过对比Ni O薄膜在不同组分电解质中的电致变色性能,以此来探究电解
锗由于具有较高的理论比容量和较低的工作电压,成为具有研究潜力的锂离子电池负极材料之一。但作为合金型负极材料,锗在嵌脱锂过程中会发生较大的体积膨胀和收缩,反复的体积变化会阻碍电荷的传输,降低活性材料与集流体的电接触,使电极材料断裂/粉化,从而导致容量衰减严重,电池性能降低。论文从缓冲锗基材料的体积膨胀和提高电化学性能出发,利用紫外辅助离子液体电沉积技术,不使用催化剂和粘结剂,在不同基底上原位生长一维