融合预训练语言模型的机器译文质量评估

来源 :北京交通大学 | 被引量 : 4次 | 上传用户:Monkeysct
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,神经机器翻译技术取得了重大突破并得到了迅速的应用和推广。但是,依然存在诸如机器译文质量评估问题、集外词问题、长句翻译问题、过翻和漏翻问题等。机器译文质量评估(Quality Estimation,QE)是研究如何解决在没有参考译文的情况下对机器译文的质量进行评估的问题,其研究成果不仅可以帮助机器翻译系统过滤掉低质量的翻译结果,以及构建高质量的平行语料库,还可减少译后编辑的工作量。因此,该研究具有重要的研究意义和实用价值。现有的QE方法主要包括两类,一种是基于机器学习的方法,另一种是基于深度学习的方法。这两种方法都致力于提取与QE任务紧密相关的特征,抽取的特征的好坏决定了系统性能的优劣。近期,预训练语言模型刷新了多个自然语言处理任务的最佳成绩,展现出强大的表征学习能力。因此,本文主要探索如何将预训练语言模型融入到QE任务中,以提升QE的性能。本文的主要工作和创新点包括:(1)提出了一种将ELMO、GPT和BERT等预训练语言模型提取出的机器译文特征和“双语专家”模型提取出的特征相融合的机器译文质量评估方法。两者提取到的特征相互补充可有效缓解QE任务特征稀疏问题。实验结果证明,在句子级别和词级别两个子任务上都取得了显著提升。(2)提出了基于BERT+LSTM+MLP架构的句子级别机器译文质量评估方法。LSTM网络将多语版BERT提取到的源语句和目标译文高层特征编码为固定大小的向量表示,并送入全连接神经网络中进一步学习,最终得到模型预测得分。实验结果表明,该方法可达到目前QE的最好水平。(3)提出了一种融合依存句法信息的机器译文质量评估方法。将源语句和目标译文中每个词的依存标签转化为向量表示并与各自的词向量进行拼接,拼接后的向量送入模型中进行训练,显示地使模型学习依存句法结构信息。实验证明,QE模型的性能得到了进一步提升。总之,本文创新性地提出了将预训练语言模型和依存句法信息融入QE任务的方法,并通过实验验证了提出方法的有效性、先进性和实用性。
其他文献
八十年代至九十年代中国教育投资变化趋势分析胡晖教育不发展,经济发展必将受到制约,这已逐渐成为人们的共识。但是在现实中,“重视教育”很大程度上并没有落在实处。表现之一,我
针对作战飞机对地攻击的效能评估问题,以单机对具有防空火力支援的敌地面目标打击为研究对象,运用markov随机过程理论,建立了攻击机对地攻击过程的动态模型,推导了状态转移矩阵。
“没声音,再好的戏也出不来。”李雪健的这句经典广告词,形容近期大热的综艺节目《声临其境》,再恰当不过。节目开播五期,不管是赵立新、唐国强这样的“老戏骨”,还是韩雪、马思纯
报纸
简要介绍了虫草素的性质,重点对虫草素的提取及其在新饮料开发方面研究进展进行综述,对当前虫草素发展中所存在的问题及今后的研究方向进行了探讨。
由于沥青路面对太阳辐射的吸收率较大,夏季时沥青路面易于吸热引起路面温度升高,一方面易引发车辙病害,降低路面使用寿命;另一方面沥青路面作为“热源”烘烤着大气,加剧城市
伴随城市化进程加剧,城市热岛等城市病日益突显,尤其是在肌理复杂、人口密集的城市中心区,城市热环境对城市市民室外公共生活品质更有着重要影响。城市热环境是多学科交叉领
习近平生态文明思想具有丰富的生态政治智慧。习近平生态文明思想的生态智慧突出地表现为将生态问题看作是关系党的使命宗旨的重大政治问题和关系民生的重大社会问题,是一种
目的分析和评价PDCA循环应用于手术室低年资护士的管理对手术室工作质量的影响作用。方法将2015年7月—2016年8月该院手术室开展PDCA循环之前的20名手术室低年资护士收入参照
无线通信技术的不断进步推动着无线通信设备向高性能、集成化、多用途方向发展,这对位于无线通信系统前端的天线提出了更高的要求。作为天线领域的重要分支,圆极化天线以其突
本文介绍了美国和英国的图书馆学硕士点设置,描述了该学科在两国的院系归属情况,比较了图书馆学的不同英文名称,分析了名称不统一的原因和所反映出来的对学科的认识现状。