融合结构信息的神经机器翻译模型研究

来源 :苏州大学 | 被引量 : 5次 | 上传用户:roattrjca
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,端到端的神经机器翻译取得了极大的成功,其翻译性能超越了传统统计机器翻译。端到端的神经机器翻译采用“编码器-解码器”结构完成翻译过程:编码器循环神经网络对源语言句子单词序列进行编码,形成源语言句子的连续表示。解码器循环神经网络对该连续表示进行解码,产生目标统计机器翻译词汇语言句子的单词序列。然而,目前的神经机器翻译以序列形式对源语言和目标语言句子进行建模。自然语言句子结构属性的缺失,导致神经机器翻译出现译文不忠实等问题。本文以神经机器翻译中引入结构信息为切入点进行探索,从词汇对齐结构、短语结构和句法结构三个层次出发,有效地将不同层次的结构信息引入神经机器翻译解码器。本文研究的主要内容分为以下三个部分:(1)融合词汇对齐结构的神经机器翻译在词汇层面,由于词汇对齐结构的缺失,神经机器翻译的译文存在流畅而不忠实的问题。本文在词汇层面对神经机器翻译提出一种融合词汇对齐结构的框架。在所提框架下,神经机器翻译解码器在每一步解码过程中接收外部的词汇对齐信息,以进一步缓解词汇对齐结构缺失问题。具体地,本文采用统计机器翻译的词对齐结构作为外部词汇对齐信息,将其引入至神经机器翻译的解码步骤中。模型以神经机器翻译为主,以神经网络和词语连续表达为基础对统计机器翻译词汇对齐结构进行融合。在模型解码阶段,统计机器翻译系统根据神经机器翻译的解码信息提供合适的词汇对齐信息,并依据词汇对齐信息进行词汇推荐,以指导神经机器翻译解码器更准确地估计其在目标语言词表上的概率。实验表明融合词汇对齐结构的神经机器翻译模型能够有效地吸收统计机器翻译的词汇知识,提升翻译性能。(2)融合短语结构的神经机器翻译在短语层面,本文对神经机器翻译提出一种融合短语结构的框架。在所提框架下,神经机器翻译解码器在每一步解码过程中接收外部的短语知识,以缓解短语结构缺失问题。具体地,本文采用统计机器翻译的短语知识为外部短语知识,将其引入至神经机器翻译的解码步骤中,以帮助神经机器翻译进行短语生成工作。然而,神经机器翻译解码器以单词为单位进行序列生成,短语生成和其单词生成的粒度不匹配。为此,本文在传统神经机器翻译“编码器-解码器”结构上嵌入一个短语记忆装置,并为神经机器翻译解码器设计一种兼容单词和短语的生成模式。在每个解码时刻,统计机器翻译根据神经机器翻译的解码信息提供合适的短语推荐并写入短语记忆装置。神经机器翻译结合当前解码信息决定是否进行短语生成。如果进行短语生成,神经机器翻译模型会读取短语记忆装置中的短语并选择合适的短语进行生成。实验表明短语结构的引入能够帮助神经机器翻译合理地进行短语生成,有效地提升神经机器翻译的翻译效果。(3)融合句法结构的神经机器翻译在融合短语层面结构信息之后,本文进一步提出一种融合句法结构的框架,以帮助神经机器翻译捕获句法结构。具体地,本文提出一种捕捉句法结构的基于句法结构骨架的神经机器翻译模型。此模型以“编码器-解码器”结构为基础,将解码器部分分解为骨架解码器和属性解码器两个子解码器,以捕获目标语言句子的句法结构信息。本文利用两个子解码器提出一种二次解码方式完成融合句法结构的目标语言句子的生成工作:首先骨架解码器解码出目标语言句子骨架,然后利用属性解码器在句子骨架的基础上解码生成完成的目标语言句子。实验表明,以句法信息为基础的基于句法结构骨架的神经机器翻译模型在翻译过程中能够自主地进行句法短语生成工作,并实现翻译性能的提升。借助于上述词汇对齐结构、短语结构和句法结构的融入,本文对神经机器翻译由浅入深地完成了不同层次中结构信息的建模。期待本文取得的初步成果能够引导探索神经机器翻译中结构信息的研究,对机器翻译的研究产生一定的参考价值并促进机器翻译研究的发展。
其他文献
目的分析依那普利叶酸片对中青年H型高血压患者血压及血压变异性的影响。方法选取我院2013年7月—2015年12月收治的中青年H型高血压患者87例,随机分为观察组(n=46)和对照组(n=41
<正> 一、出奇制胜的商标设计 商标一般由文字图案或符号形式表示。但是,在当今琳琅满目的商品中要使消费者对你的商标印象深刻只靠一般的文字图形是不行的,因为消费者不再是
近年来在我国电厂实际发展的过程中,热动系统的节能优化受到广泛重视,主要就是针对电厂热动力系统的运行工艺参数进行调整,积累分析其中的数据信息,利用节能优化的方式提升电
一、前言近年来,随着内燃机强化指标的提高,对内燃机排气门锥面的耐磨、耐蚀性提出了更高的要求。对一般气门专用钢材来说,既要满足在高温工作条件下(约700℃左右)的综合机械
消防员等高温环境工作者都会配备热防护服,保障高温作业人员在接近热源时免受伤害。热防护服通常由三层织物材料构成,服装与人体皮肤之间还有一定的空隙,可认为人体与外环境
当前我国社会经济发展较为迅猛,也让人民群众物质生活水平有了长足的进步,在这样的背景之下,人们在精神生活方面的需求日益提升,文化消费数量不断上涨。作为新时代接班人,在
目的对中晚期孕妇进行产前超声胎儿畸形检查,并对其漏诊的原因加以分析,以降低胎儿畸形产前超声漏诊率。方法选取我院2013年1月—2014年1月行产前超声检查的18 000例中晚期孕
研究了当前民爆企业发展所面临的新形势,分析了民爆企业信息化的发展现状,讨论了民爆企业信息化未来的发展趋势及变革方向,提出了一种以“爆”为主线的顶层设计方案,制定了发
目的探讨在脊柱外科中应用护理风险管理的临床效果。方法选取我院2014年6月—2015年10月期间脊柱外科收治的150例患者,根据其入院的时间进行分组,分为参照组和试验组,每组75
目的研究改道切开、开窗保留皮桥治疗复杂性肛瘘的临床疗效。方法选择2010年2月—2011年2月我院80例复杂性肛瘘患者作为研究对象,采用随机数字表法分为2组,每组40例。观察组