论文部分内容阅读
循环神经网络(Recurrent Neural Networks,RNNs)是用于序列数据建模的著名模型,但学习序列数据中的多尺度依赖以及长期依赖对于循环神经网络来说是具有挑战性的。本文基于长短期记忆网络以及回声状态网络,提出了两种新型的多尺度循环神经网络,用于学习序列数据中的多尺度依赖以及长期依赖。1)一种新型的层次化多尺度循环神经网络——时间金字塔循环神经网络(Temporal Pyramid Recurrent Neural Networks,TP-RNNs):该模型的每一层内由多条时间上的跳跃连接串连起来的金字塔群结构可以高效地聚合输入序列的信息,并提供许多的梯度反向传播的短路径,从而有效地缓解了梯度消失问题,降低了模型学习长期依赖的难度。而层次化的网络结构则通过多个这样的层内金字塔群结构堆叠而成,其堆叠方式为将低层的层内金字塔群结构中产生的多尺度聚合状态序列作为高层的输入序列。通过这种方式,该模型不仅可以显式地学习多尺度依赖,还因为缩短了输入序列和梯度反向传播路径的长度而可以有效地学习长期依赖。实验结果证明TP-RNNs模型比起现有的RNNs模型可以更有效地学习序列数据中的多尺度依赖和长期依赖,并在多种序列数据分类任务上取得更好的表现。2)一种新型的结合卷积网络的多尺度回声状态网络——卷积多尺度回声状态网络(Convolutional Multiscale Echo State Networks,ConvMESNs):模型的多尺度记忆编码器由多个具有不同长度跳跃连接的储备池组成,可以有效地捕获序列数据中的多尺度动态,并产生一种多尺度回声状态表示。随后的卷积记忆学习器则由一层卷积层和一层全连接层构成,用于对多尺度回声状态表示中的多尺度特征进行学习和融合,应用于序列分类。此外,免训练的记忆编码器和浅层的记忆学习器使得该模型具有计算高效性。实验结果证明ConvMESNs模型相比现有的序列分类方法可以在多个序列分类任务上取得更好的表现,并能高效地学习序列数据中的多尺度依赖。