基于单语语料与强化学习的蒙汉神经机器翻译的研究

来源 :内蒙古工业大学 | 被引量 : 0次 | 上传用户:quyeliang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国经济的快速增长,不同地区之间的合作越来越多,民族间交流越来越多。蒙古语是我国蒙古族使用的语言,实现蒙古语到汉语之间的翻译对民族间共同发展起到举足轻重的作用。现阶段,蒙汉机器翻译效果不够显著,原因在于,蒙汉翻译模型是端到端模型,其在训练时是以带有标注的对齐数据进行训练,而推理时是根据模型自身的预测进行推理,存在训练与推理不统一的问题;同时也存在着交叉熵损失函数与BLEU值的评价级别不一致问题。本文将强化学习引入蒙汉机器翻译的研究来解决上述两个问题。另一方面,蒙汉对齐语料不足制约着模型质量的提升。本文利用蒙古语单语词向量嵌入的方法和目标端单语反向翻译的方法来获取额外的数据信息进而提升模型的质量。具体工作如下:(1)对语料进行切分处理,探究不同级别的语料粒度下对模型的影响。从字符、词、子词级别下分别探究对蒙汉神经机器翻译的影响;同时,对BPE算法的独立与联合两种不同处理方式进行实验,实验表明对蒙汉两种语言采用独立BPE的处理方式更有利于蒙汉翻译模型的提升。(2)词向量的质量直接影响着最终模型的质量,本课题利用大量蒙古语单语词向量嵌入模型提高翻译模型的质量,使用三种不同的词向量生成模型对蒙古语单语数据进行词向量的生成,并将词向量进行可视化观察。对不同模型生成的蒙古语单语词向量对翻译模型质量的影响进行实验,同时探究四种词向量维度对翻译模型的影响,最后将去噪自编码引入翻译模型来进一步提高译文流畅度。实验表明,将大量蒙古语单语词向量嵌入蒙汉翻译模型和使用去噪自编码学习语言特征能够使模型效果得到显著提升,并且在当前实验条件下,词向量维度在512维时的蒙汉翻译模型质量最佳。(3)将强化学习引入蒙古语到汉语翻译模型的训练之中,让翻译模型的训练与推理统一在预测值的角度解决训练推理不一致问题;同时让评测BLEU值直接参与到模型的训练解决评价级别不一致问题。此外,针对奖励级别,分别设置了终端奖励与单词级别的奖励进行实验探究,通过与交叉熵损失函数线性结合得到实验模型的较优结果,并且针对译文生成方式进行了实验探究;最后,在蒙汉机器翻译任务中将目标单语反向翻译与强化学习训练相结合提升模型质量,并达到本课题最高BLEU值。
其他文献
本文是一篇基于《经济学在国际贸易与投资争端中的应用》的英汉翻译实践报告。本次翻译实践的源文本选自国际经济与贸易领域一书《经济学在国际贸易与投资争端中的应用》(The Use of Economics in International Trade and Investment Dispute)的第二章和第四章内容。该书是由剑桥大学于2017年首次出版,所选章节分别由两位国际贸易和国际法领域专家撰写的
学位
学位
随着管道服役年限增加,管道失效情况严重。管壁的腐蚀、漏洞、穿孔等失效形式,会造成管内介质外泄,引发安全事故,故需要对管道进行定期巡检。采用管道机器人新技术可以有效克服传统检测手段中作业困难、效率低、成本高等问题。现有管道机器人管径适应范围小,爬坡能力较弱,运动方式单一,运行效率低。针对以上问题,设计一种可以变化运动方式的管道机器人。论文主要研究内容如下:首先,结合机器人的工况环境,得出设计需求;对
随着现代工业化速度加快,越来越多的行业都在采用焊接构件,因此对焊接构件的安全性提出了更高的要求。近年来将超声波应用于材料和冶金领域逐渐成为重要研究方向,超声振动施加于焊接烙池来改善焊接质量越来越引起行业内的关注。本课题将视觉跟踪机器人与超声技术相结合,应用于焊接领域,设计了一种全方位移动超声空化机器人控制系统,可实现在焊接时机器人通过视觉反馈随焊行走,保证超声波始终作用于焊接熔池,使凝结后的焊缝组
平绥铁路是由中国完全自主设计建造的首条铁路,线路修筑18年,全长800余公里,经历了清朝和民国两个历史时期,是中国工程技术史上浓墨重彩的一笔。其不仅以代表中国当时铁路工程技术的最高水平而载入史册,还留有一批数量可观、种类丰富、价值较高的铁路建筑遗产,这些建筑分散于旧时的铁道两旁,向过往的旅人诉说着其背后的历史故事与象征意义。本文所研究的内蒙古地区平绥铁路建筑,特别是站房建筑与京张段的铁路建筑呈现出
准确判别交通道路拥堵情况以及根据未来时刻的路况提供最优的行驶路径对缓解交通拥堵、提高市民出行效率、提升居民幸福指数均具有重要意义。随着智能交通系统(Intelligent Traffic System,ITS)的发展,交通流预测、车速预测、路况预测等问题逐渐成为研究热点。针对目前交通路况预测研究中存在的单因素无法准确表征交通路况、聚类算法不具备对未来路况的预测能力、所用机器学习算法模型参数寻优和测
近些年,随着合成孔径雷达(SAR)成像技术快速的发展,在海洋舰船目标检测领域,SAR技术已经可以提供较成熟且语义信息丰富的高分辨率SAR图像。其中,目标检测是SAR图像解译中的焦点部分,为海洋监测与海防事业的建设提供了强有力的技术支撑。本文基于深度学习目标检测技术,重点研究了不同SAR图像舰船特征下深度学习算法的检测性能,旨在寻求相适应的算法且提升检测性能,提高检测的精准率与可信度,具体研究内容如
蛋白质是组成人体一切细胞、组织的重要成分,是新陈代谢和细胞生命活动的主要承担者。而蛋白质功能的实现离不开配体的参与,蛋白质只有与配体结合形成稳定的复合物才能实现它的生理功能,金属离子是一种相当重要的蛋白质结合配体,影响着人体中诸多必要的生理进程。因此,对蛋白质-金属离子配体结合位点的预测具有重要意义,这不仅能够完善人类对蛋白质功能实现过程的认识,也有助于从细胞和分子水平上为重大疾病的诊断、预防和治
缠绕工艺是当前复合材料制备应用较为广泛的一项制造技术。凭借在筒形类基础构件制造中的独特优势,在航空、航天等高科技领域中得到广泛应用。复合材料缠绕制品的性能不仅取决于材料自身,更取决于成型过程中工艺参数的选取与控制。如果工艺参数的控制较差,会导致制品难以达到所需的性能要求,最终影响成型制品的力学性能。因此,对复合材料缠绕过程中工艺参数进行精准控制,有利于保证缠绕制品的力学性能。首先,论文从预浸带缠绕