论文部分内容阅读
近年来,端到端的神经机器翻译取得了极大的成功,其翻译性能超越了传统统计机器翻译。端到端的神经机器翻译采用“编码器-解码器”结构完成翻译过程:编码器循环神经网络对源语言句子单词序列进行编码,形成源语言句子的连续表示。解码器循环神经网络对该连续表示进行解码,产生目标统计机器翻译词汇语言句子的单词序列。然而,目前的神经机器翻译以序列形式对源语言和目标语言句子进行建模。自然语言句子结构属性的缺失,导致神经机器翻译出现译文不忠实等问题。本文以神经机器翻译中引入结构信息为切入点进行探索,从词汇对齐结构、短语结构和句法结构三个层次出发,有效地将不同层次的结构信息引入神经机器翻译解码器。本文研究的主要内容分为以下三个部分:(1)融合词汇对齐结构的神经机器翻译在词汇层面,由于词汇对齐结构的缺失,神经机器翻译的译文存在流畅而不忠实的问题。本文在词汇层面对神经机器翻译提出一种融合词汇对齐结构的框架。在所提框架下,神经机器翻译解码器在每一步解码过程中接收外部的词汇对齐信息,以进一步缓解词汇对齐结构缺失问题。具体地,本文采用统计机器翻译的词对齐结构作为外部词汇对齐信息,将其引入至神经机器翻译的解码步骤中。模型以神经机器翻译为主,以神经网络和词语连续表达为基础对统计机器翻译词汇对齐结构进行融合。在模型解码阶段,统计机器翻译系统根据神经机器翻译的解码信息提供合适的词汇对齐信息,并依据词汇对齐信息进行词汇推荐,以指导神经机器翻译解码器更准确地估计其在目标语言词表上的概率。实验表明融合词汇对齐结构的神经机器翻译模型能够有效地吸收统计机器翻译的词汇知识,提升翻译性能。(2)融合短语结构的神经机器翻译在短语层面,本文对神经机器翻译提出一种融合短语结构的框架。在所提框架下,神经机器翻译解码器在每一步解码过程中接收外部的短语知识,以缓解短语结构缺失问题。具体地,本文采用统计机器翻译的短语知识为外部短语知识,将其引入至神经机器翻译的解码步骤中,以帮助神经机器翻译进行短语生成工作。然而,神经机器翻译解码器以单词为单位进行序列生成,短语生成和其单词生成的粒度不匹配。为此,本文在传统神经机器翻译“编码器-解码器”结构上嵌入一个短语记忆装置,并为神经机器翻译解码器设计一种兼容单词和短语的生成模式。在每个解码时刻,统计机器翻译根据神经机器翻译的解码信息提供合适的短语推荐并写入短语记忆装置。神经机器翻译结合当前解码信息决定是否进行短语生成。如果进行短语生成,神经机器翻译模型会读取短语记忆装置中的短语并选择合适的短语进行生成。实验表明短语结构的引入能够帮助神经机器翻译合理地进行短语生成,有效地提升神经机器翻译的翻译效果。(3)融合句法结构的神经机器翻译在融合短语层面结构信息之后,本文进一步提出一种融合句法结构的框架,以帮助神经机器翻译捕获句法结构。具体地,本文提出一种捕捉句法结构的基于句法结构骨架的神经机器翻译模型。此模型以“编码器-解码器”结构为基础,将解码器部分分解为骨架解码器和属性解码器两个子解码器,以捕获目标语言句子的句法结构信息。本文利用两个子解码器提出一种二次解码方式完成融合句法结构的目标语言句子的生成工作:首先骨架解码器解码出目标语言句子骨架,然后利用属性解码器在句子骨架的基础上解码生成完成的目标语言句子。实验表明,以句法信息为基础的基于句法结构骨架的神经机器翻译模型在翻译过程中能够自主地进行句法短语生成工作,并实现翻译性能的提升。借助于上述词汇对齐结构、短语结构和句法结构的融入,本文对神经机器翻译由浅入深地完成了不同层次中结构信息的建模。期待本文取得的初步成果能够引导探索神经机器翻译中结构信息的研究,对机器翻译的研究产生一定的参考价值并促进机器翻译研究的发展。