论文部分内容阅读
样例指导的神经机器翻译研究了一类特殊的翻译场景,在此场景下,模型除了对给定的源语句进行处理之外,还会为源语句检索得到一个相似的样例句对,此时检索得到的样例句对扮演对源语句的翻译有益的外部知识的角色,并在之后的过程中指导源语句的翻译,以帮助提升源语句的翻译质量。该翻译场景的典型应用包括在机器翻译中融合翻译记忆库、实例驱动的领域适应等,因此具有重要的研究和应用价值。本文开展了样例指导的神经机器翻译研究,主要内容如下:(1)基于门控机制的样例指导的神经机器翻译。为了将样例句对引入翻译模型中,本文提出使用一个额外的样例编码器来编码样例句对的目标端信息。这种方法可以将样例句对信息引入模型,但是检索得到的样例句对与源语句不会完全一致,直接将其引入无疑会将无关的噪音带入模型中,影响源语句的翻译。为了利用样例句对中的有用信息,同时又能避免噪音的影响,本文提出通过门控机制控制样例句对信息的流动,以提升源语句的翻译,中英语向上的实验结果证明了提出方法的有效性。(2)基于噪音掩盖编码器与辅助解码器的样例指导的神经机器翻译。门控机制是一种较为隐式的避免样例句对中噪音的方法,在获得了样例句对与源语句之后,我们可以通过直接比较其源端,从而显式的获得其中的匹配部分与不匹配部分。之后通过词对齐工具,我们可以将样例句对目标端中的噪音内容用一个特殊符号掩盖掉。这种方法可以直接去掉样例句对目标端中的噪音,但词对齐信息也可能存在错误,我们进一步提出了辅助解码器模型,引入了辅助解码器来帮助模型进一步学习使用样例句对中的信息,通过联合训练与参数共享,标准解码器在辅助解码器的帮助下能够更好地重用样例句对中的信息。本文在中英、英德与英西语向上进行了实验,实验结果与分析表明提出的方法在面对任意相似程度的样例句对时都可以获得提升。(3)基于数据扩充的样例指导的神经机器翻译。上面两种方法主要从模型结构的角度出发,通过样例编码器编码样例信息,这会带来参数的增加。除了使用这种方式将样例句对融合到翻译过程中外,本文也提出了基于数据扩充的方法来融合样例句对。具体而言,本文将检索得到的样例句对目标端拼接在源语句之后,并通过标签向量区分两者,这可以同时实现数据扩充与引入样例句对信息两个目的。实验结果表明将样例句对拼接在源语句之后,能够比直接将其作为训练语料加入模型带来更多的收益。