时间序列在现实生活中有广泛的应用,如何对时间序列数据进行有效的建模成为广大研究的焦点之一。时间序列分类与时序异常检测任务在现实的时序信息系统中具有重要的实际应用价值,近年来许多深度学习方法在这些时序建模任务中取得了较大的进展。传统回声状态网络具有建模时间信息短期依赖特征的能力,在混沌时间序列建模任务中取得了优异的性能。在时间序列分类任务中,近年来基于回声状态网路的时序分类方法取得了优异的性能,然而这些方法在时间序列的长时依赖关系建模上存在欠缺。在时间序列异常检测任务中,基于网络重构的深度学习方法近年来取得了一定的成果,但其难以捕捉到时间序列正常样本片段的多尺度信息模式,导致这些方法在下游检测异常任务中仍然有所受限。基于目前已有的研究工作及其缺陷,本文提出了以下两种基于深度学习的时间序列建模方法:（1）多头自注意力机制的卷积回声状态网络（Multihead Echo Self-Attention Memory Network,MESAMN）。具体来说,MESAMN由一个多头自注意编码器和一个卷积记忆学习器组成。在多头自注意编码器中,我们采用多个不同的储备池,将输入时间序列通过储备池高维投影映射形成高维的回声状态特征。紧接着,我们利用自注意力机制对回声状态特征中的长时依赖关系进行建模。最后,由卷积记忆学习器建模多头自注意编码器所提取到的特征信息并应用于下游分类任务。实验结果表明,与现有模型相比,MESAMN在18个多变量时间序列分类任务以及三个基于3D骨骼节点的动作序列识别任务上表现出优越的性能。此外,我们验证了MESAMN的捕获长期依赖特征的能力。（2）基于多尺度自监督判别式网络的时序异常检测方法（Self-Supervised Discrimi-native Network,S~2DN）。具体来说,我们的S~2DN包括多尺度下采样模块,特征提取模块和代理监督模块。多尺度下采样模块通过不同采样率来创建不同的时序子模式及其伪标签,从而捕获时间序列中的多尺度时序信息。然后,基于卷积网络特征提取模块通过分类任务学习在不同下采样尺度情况下的多尺度时序信息。最后,代理监督模块通过自监督损失函数（交叉熵损失函数）进行优化训练并将异常样本与正常样本分离。实验结果表明,所提出的S~2DN在18个时间序列异常检测任务上表现出优异的性能。