回复式神经网络（Recurrent Neural Networks,RNNs）是深度学习领域中的一种基础的人工神经网络,其作为处理序列数据的记忆模型被广泛应用。如何处理好梯度消失与梯度爆炸问题一直是训练RNN的关键和难点。长久以来,人们提出了多种方法来解决RNN训练时的梯度问题,不断设计新的RNN变体用以处理更长的序列。尽管许多经典的模型已经被提出,如何使RNN模型在快速应对序列中短期变化的同时捕获并学习到序列中更长的依赖关系仍然是一个挑战。该研究以深度学习、神经网络、梯度反向传播算法相关知识为理论基础,以分治不同尺度的依赖为研究方向,结合多种不同类别RNN的设计思路,解决RNN难以同时学好长期和短期依赖的问题。文章针对几个典型的RNN进行了深入的研究,提炼出其中的关键的思想理论与设计动机,并在其基础上,提出了两种新型的回复式神经网络结构:（1）本论文提出了基于多层RNN中不同尺度依赖分布规律设计的成对回复式神经网络DuRNN。DuRNN方法依据多层RNN的依赖分布倾向性理论,使用了分层分治依赖的策略,使得长期和短期依赖被不同层的回复连接结构捕获,进一步提升了其对依赖的学习效果。与LSTM相比,DuRNN可以适应更长的序列,同时也能够快速应对短期变化。文章对提出的回复式神经网络进行了全面的分析,并使用了一些具有代表性的实验对模型进行了验证。（2）本论文提出了结合双向回复式脉冲网络BRITS和独立回复式神经网络Ind RNN两者特点的双向独立回复式脉冲网络BIRITS。BIRITS模型利用BRITS模型中的双向连接策略,弥补了独立回复式神经网络神经元相互作用不充分的缺陷。同时BIRITS可以使得长期和短期的依赖关系在时序和非时序两个方向上分别被学习,提升了网络在复杂任务上的表现。两种提出的回复式神经网络结构以不同的方式,在不同程度上分治了序列中的依赖,但都提高了RNN学习序列信息的能力。两种网络还可以结合起来使用,形成合力,取得更优秀的表现。