论文部分内容阅读
针对循环神经网络（RNN）结构在深层网络中收敛较慢和训练效果较差的问题，分析了长短期记忆（LSTM）和Highway网络的门结构特征，提出了一种将层间信息进行跨层连接的门结构单元（CIGU）。结合循环神经网络时间扩展的特点，通过设计层间门结构，使CIGU模型在空间上反向梯度下降时能够像LSTM在时间上传播一样具有长短期记忆能力，从而加强循环神经网络在空间上的深度学习能力。将设计的结构应用到LSTM中，并通过FIB语言数据集对不同的门结构进行训练和测试。结果表明：随着模型层数的加深，CIGU的训练收敛速度和