大数据时代的到来促进了数据分析方法的创新,基于神经网络的深度学习技术在多个领域取得了突破性的进展。递归神经网络(RNN)在处理连续时间序列的问题中起到了主导地位,被广泛应用于自然语言处理、计算机视觉、语音识别等多个研究领域。然而,RNN在实际应用场景中仍面临着模型结构复杂、训练耗时、计算通信比低、分布式训练实现困难、解码延迟高、长期依赖关系难以学习等诸多问题。本文围绕RNN的高效训练算法、可扩展分布式训练、快速解码算法和长期依赖关系学习等关键问题展开研究,主要研究内容包括以下四个部分。(1)针对RNN训练中存在的数据耦合性高、难以并行化等问题,实现了一种数据解耦的流水线时域反向传播(BPTT)算法。该算法以基于GPU平台的RNN训练为研究对象,对RNN训练中的计算逻辑关系进行梳理,发掘其中可并行化的模块,将RNN训练中的前后向计算流程划分为多个可并行模块,利用多个计算流独立地加载各个模块的计算任务,从而有效地提升了 RNN训练算法在GPU平台上的执行效率。(2)针对现有的RNN分布式训练算法带宽需求高、可扩展性差等问题,设计了一种基于数据并行方式的RNN分布式训练算法。该算法将计算节点组成环形拓扑结构,采用类令牌环方式实现节点间的信息同步,与传统的主从式等算法相比降低了系统中的通信负载。在此基础上,利用RNN模型存在的梯度稀疏性特征,对计算节点间通信传输的梯度值进行阈值裁剪,将低于预设阈值的梯度更新延迟到后续迭代中。实验结果表明,当阈值设置合适时,该分布式训练算法可以在多个计算节点上实现近乎线性的无损加速。(3)针对RNN模型在序列分类任务中解码延迟过高的问题,提出了一种基于矩阵低秩分解技术的参数压缩方法,充分利用RNN隐含层权重矩阵的奇异值分布特征,对网络权重进行低维重构,从而有效地降低了网络在解码过程中的计算和存储复杂度。实验结果表明,该参数压缩方法可以有效加快RNN在测试阶段的解码速度。(4)针对RNN处理长期依赖关系问题中存在的梯度消失现象,对传统的RNN结构进行扩展,提出了一种基于上下文信息的轻量级循环单元(LRU),与传统模型相比LRU隐层中存储的上下文信息可以在时域上传输更远的距离,且具备良好的可解释性。在数百甚至数千长度的序列学习任务上,LRU均取得了优于长短时记忆网络(LSTM)等传统模型的识别结果。