基于混淆网络的机器翻译系统融合研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yangjunshisb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,系统融合成为机器翻译领域的一个研究热点。系统融合研究如何充分利用各种不同机器翻译系统的优势来提高翻译的性能。目前系统融合方法可以分为句子级别和词级别两大类。句子级别系统融合主要是基于最小贝叶风险解码,词级别系统融合则是以混淆网络的形式融合。词级别的系统融合因为能够稳定、显著地提高翻译性能,已成为系统融合的主要方法。基于最小贝叶斯风险解码的句子级别系统融合需要对最小贝叶斯风险定义损失函数。损失函数对句子级别系统融合有影响。词级别系统融合需要先对多个机器翻译结果进行词对齐,再依据词对齐结果构建混淆网络,最终从混淆网络中解码输出融合结果。词对齐质量和混淆网络的解码直接关系到词级别系统融合的效果。本文对目前句子级别和词级别的系统融合方法进行了较为详细的分析与总结。针对句子级别系统融合中的损失函数问题,分别设计了三种基于不同机器翻译评测标准的损失函数。针对词级别系统融合中词对齐没有考虑语言信息、词对齐方式单一的问题,提出了融入语言信息、融合一致性词对齐结果的两种改进词对齐质量的方法,以通过改善词对齐质量来提高词级别系统融合的效果;针对单个混淆网络系统融合过于依赖参考句子、调序能力有限的问题,提出了多个混淆网络的重评分和最小贝叶斯风险的解码方法,以通过多个混淆网络搜索到更好的融合结果。本文的主要工作表现如下:1、句子级别和词级别系统融合的研究与实现句子级别系统融合基于最小贝叶斯风险解码。为了对最小贝叶斯风险解码的有效性进行全面测试,本文设计了基于BLEU、TER(翻译错误率)和WER(词错误率)的三种损失函数。经典的词级别系统融合方法主要是基于TER对齐、GIZA++对齐。将多个翻译结果对齐后,词级别系统融合构建出混淆网络,以对数模型融合了语言模型、词后验概率、词惩罚因子等多特征,最终以柱搜索算法从混淆网络中找到最佳融合结果。实验证明了句子级别系统融合可以提高0.5个BLEU,词级别系统融合可以提高1个BLEU。2、改进词对齐质量的系统融合研究词对齐是词级别系统融合中非常关键的一步。为改进词对齐质量,在词对齐过程中融入语言信息、融合一致性词对齐结果。本文主要在词对齐过程中采用了词干和同义词两种信息;通过一致性对齐方法获得一致性词对齐结果,并将一致性词对齐与GIZA++词对齐以并集、交集的方式进行融合。语言信息的加入可以缓解词对齐中的数据稀疏问题,一致性词对齐的加入可以提高词对齐的准确率。实验证明改进词对齐质量的系统融合可以比经典的词级别系统融合提高0.1-0.5个BLEU。3、改进混淆网络解码方法的系统融合研究改进混淆网络解码方法是针对单个混淆网络融合过分依赖参考句子、调序能力有限的改进,以多个混淆网络的形式融合,并提出以重评分和最小贝叶斯风险解码两种方法对多个混淆网络进行一致性解码。实验证明改进混淆网络解码方法的系统融合可以比没有改进的融合方法提高0.5个左右的BLEU。
其他文献
随着经济发展,汽车数量急剧增加,交通拥堵、事故、尾气污染等交通问题日益严重。智能交通系统(ITS)是目前公认的解决交通问题的途径,而ITS的各部分功能都围绕着对基础交通信
混杂动态系统的概念在近二十年被提出后就引起了自动控制界理论与工程方面研究的极大兴趣和广泛关注,切换系统的发展可以被认为是随着对混杂系统的研究而逐渐开展的。切换混
电力工业是国民经济中一个非常重要的部门,它的发展水平不仅对其它的行业部门都会产生巨大的影响,还涉及到一次能源的消耗和巨额的投资。合理的进行电力系统规划可以获得很大的经济利益和社会效益。相反,电力系统规划的失误会给国家建设带来不可弥补的损失。而其中的电网规划由于其非线性、多目标性和多约束性等特点使其在电力规划中占据重要的位置,因此对其进行规划可以大大的提高整个电力系统的可靠性、经济性和安全性。本文研
在电子电路、航空航天等各个领域,传统的线性模型已经不能很好的对系统进行描述,其结构中包含的对象模型参数并不是固定不变的,相比传统的定常系统模型,参数依赖不确定模型是
永磁同步电动机(permanent-magnet synchronous motor,简称PMSM)因其结构简单、功率密度高、可靠性强、精度高等特性,在要求高精度、高性能的伺服驱动领域得到了广泛的应用,而PMSM无速度传感器控制也成为了现代电伺服驱动系统的一个发展趋势。转子的位置角θ和速度ω是控制系统的关键参数。在传统的控制系统中,一般是通过传感器来测量θ和ω。但是这些传感器不仅增加了系统的复杂度
近年来,低成本微机械惯性导航系统在消费电子领域,特别是在旋翼式飞行器、相机稳定平台、虚拟现实及增强现实设备中得到了越来越广泛的应用。为了满足市场需求,实现低成本微
现实世界充斥着随机问题,不确定问题,时滞问题。在控制问题中,这些概念有时是必须考虑的,否则会直接影响到系统的稳定性以及其他方面的性能。本文正是从这一现象出发,综合分
超声定位是用于室内环境中移动目标精确定位的重要方法。在很多复杂以及作业恶劣的室内环境中,它能够给需要确定自身位置的移动人员或目标终端等,提供较准确的坐标信息,从而实现
随着三维仿真技术的快速发展,虚拟组装的运用越来越广泛,为此,本文提出了一种通用的虚拟组装技术流程,对其涉及的关键技术进行了研究。   本文首先介绍了当前虚拟组装技术
学位
随着航天事业的不断发展,采用多体航天器编队进行深空探测是当前空间技术发展的一种新趋势。多体绳系卫星系统作为航天器编队中的一种特殊形式,具有控制精度高、响应速度快以