论文部分内容阅读
进入信息时代,日益频繁的跨语言交流极大地增加了人们对于语言翻译的需求,而传统的人工翻译已无法满足当前的翻译需求,机器翻译技术成为了人们应对当前巨大翻译需求的有效手段。在诸多的机器翻译研究方法中,基于数据驱动的统计机器翻译和神经网络机器翻译因其良好的学习能力和较好的翻译效果得到了广泛的应用。模型学习是基于数据驱动的翻译方法的基础性问题,模型的好坏决定了机器翻译系统能否充分地刻画语料中的翻译知识,并最终决定了翻译系统能否有效地完成翻译任务。统计机器翻译模型中,由于采用了对数线性模型框架,使得其具有易于融入多样性特征的能力。然而,基于对数线性模型框架的统计机器翻译在模型学习方面依然面临若干重要的问题,其中一个问题是,现有的对数线性模型的判别式参数训练方法通常将训练问题分解为翻译候选对的排序问题,无法利用到整个翻译候选列表的全局序信息,从而影响模型参数训练的效果。另一个问题是,对数线性模型框架基于模型得分和特征间的线性相关假设通过线性方式组合特征建模翻译,无法深度刻画特征的潜在信息并且缺乏判别能力。在神经网络机器翻译模型中,当前的模型通常仅仅基于字或者词级别的表示来学习句子表示并以此建模翻译问题,难以有效地利用在统计机器翻译中已经证明有效的多粒度信息和短语、句法等结构信息,进而无法充分地对句子的层次结构信息和结构化的上下文信息进行刻画和利用。本文针对上述问题展开对机器翻译中的模型学习问题的研究,主要工作包括:1.提出了一种基于翻译候选列表排序优化的统计机器翻译的参数学习算法。针对当前统计机器翻译中判别式参数学习方法无法利用翻译候选列表全局信息的问题,该方法直接建模列表的排序,更好地拟合了列表样本,避免了将列表排序分解为翻译对排序所造成的信息损失。在此基础上,本文还提出了顶序增强的损失函数,使训练目标更加关注于包含更多信息量的高质量译文的排序错误。实验结果表明,本文提出的基于列表排序优化的学习框架和顶序增强的损失都能够显著改善翻译译文的质量。2.提出了一种基于非线性框架的统计机器翻译模型。该模型通过神经网络自动学习特征的表示和组合关系,允许特征之间存在更加复杂的交互关系,从而能够更好地表示潜在的特征信息和增强模型对优劣翻译的判别能力。同时,本文也研究了启发式网络结构设计和自主网络结构学习的方法,增强了神经网络模型的学习能力。实验表明,随着模型的表达能力和判别能力的提升,翻译系统的翻译结果也得到了显著的提升。3.提出了一种融合多粒度信息的神经网络机器翻译模型。为了能够利用不同粒度的信息(字、子词和词等)进行翻译建模,首先,本文提出了带字注意力机制的编码器,通过字级别的信息来增强源端的词和子词级别的表示学习;其次,本文还提出了多级注意力机制的解码器,使得字和词的信息能够协同控制目标端的译文生成。实验表明,本文提出的方法有效地提高了机器翻译模型的翻译质量。4.提出了一种句法结构增强的神经网络机器翻译模型。为了将句子的句法结构信息引入到翻译过程中,本文基于神经网络翻译模型,提出了显式融合源端句法树信息的编码器-解码器框架,设计了双向树编码器机制用以同步学习序列化和句法结构的上下文信息;同时,本文还设计了一个树覆盖度机制以利用源端树结构控制译文生成。实验表明明,引入句子结构信息极大地改善了机器翻译的质量。