基于深度学习的垂直领域英汉机器翻译研究

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:apple321lg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今全球语言的互通互译已经成为全世界人类友好交流必不可少的条件。机器翻译随着计算机技术的进步也从学术研究发展到了工业应用。同时深度学习作为机器学习的一个新兴热门分支,在计算机视觉、自然语言处理等多个研究方向都取得了优秀的成果。本文旨在基于深度学习网络,以提高机器翻译性能为目的,面向英汉神经机器翻译模型进行研究,主要研究工作如下:首先,面向英汉双语方向构建并比较各种深度学习机器翻译任务的网络模型性能,同时尝试利用注意力机制解决各网络的缺陷。包括循环神经网络在长距离序列中容易产生梯度消失和梯度爆炸问题;长短期记忆网络无法体现出长距离序列中信息权重问题。本文通过实例比较,认为引入注意力机制可以提高模型生成目标语言序列过程中对上下文信息的关注度,从而使翻译译文还原度和流畅度更高。其次,设计了一个面向垂直领域,基于迁移学习的神经机器翻译方法,改善了神经机器翻译语义理解和综合性能。该方法使用随机屏蔽的方式构造端到端编码器-解码器框架语言预训练模型,对源语言序列输入中的随机连续字符片段进行屏蔽,再由网络模型进行预测。然后在此基础上将机器翻译作为迁移学习的目标任务进行微调,将预训练语言模型中的先验知识应用到目标任务中,并使用检查点平均的方法改善模型过拟合状况。通过实验结果得出将语言模型迁移到目标任务的方式能够有效提升机器翻译模型性能,同时得出了微调行为能改变模型输出文本的风格偏好的结论。最后,针对机器翻译模型的性能优化问题,提出了一种基于全局权值共享的多任务学习方法,将机器翻译作为主要任务,在端到端的编码器-解码器框架中同时对词性标注任务进行训练。通过实验表明,该方法对机器翻译性能有一定的提升效果。
其他文献
中国海监是我国重要的海上执法力量,肩负着维护国家海洋权益的重要使命,海监船员是海监队伍的中坚力量。随着建设“21世纪海上丝绸之路”宏伟构想的实施,迫切需要建立一支稳定、高素质、职业化的海监船员队伍。从本文的统计调查来看,海监船员职业发展面临诸多瓶颈,这些问题不但影响个人的职业发展,也很大程度上制约着海洋事业的蓬勃发展。本文以海监船员职业发展瓶颈为切入点开展研究,首先,简述选题背景和意义,以及国内外
在测绘技术飞速发展的今天,测量仪器和观测手段愈加丰富,观测数据中隐含了很多先验信息,而经典的测量平差不能充分利用这些信息,造成数据资源的浪费。针对目前工程测量数据处理不能有效利用先验信息的问题,本文研究了附不等式约束平差模型的算法和精度评定方法,并将不等式约束平差用于变形监测数据处理中,参数估值较经典平差的结果明显更符合工程实际变形情况,同时提高了参数估计的精度。本文主要研究工作如下:1.为提取工
随着全球化进程的加快和社会的不断发展,能源短缺的问题逐渐被人们所重视。在我国,建筑能耗量逐年上升,随着物质水平的提高,人们开始追求健康舒适的生活环境,因此针对建筑方面的节能减排的呼声越来越高。本文针对现存的既有居住建筑存量大,以南京地区住宅建筑为例,研究围护结构主要参数的改变对建筑负荷的影响并给出合适的节能改造方案。本文通过对比分析了国内外常见的能耗模拟软件,归纳总结了各能耗模拟软件的特点,介绍了
随着消费者需求的多样化、个性化,物流需求呈现出小批量、多品种、高频次的特点,因此对货物输送与分拣过程的个性化需求日益增加。然而目前的输送带一般为单向传送,仅以传输为主,功能单一,而且货物只能按照输送带既有的场地布局行进,不能实现不同货物按照不同轨迹行进;为实现货物分拣功能,需要在输送带的基础上单独设置分拣装置,成本高且耗能大不利于广泛推广。针对以上问题,本文创新性地提出了一种基于全向轮的可编程输送
粘土实心砖是最常见的砌体材料,由于生产粘土实心砖存在浪费资源、毁坏耕地以及建筑能耗高等问题,21世纪以来,国家一直在出台各种政策限制其使用,2012年,国家实行“限粘禁实”工作,第一批要求国内183个城市“限粘”,397个县城实现“禁实”,2016年,国内实行第二批“限粘禁实”政策,在巩固第一批成果的基础上,要求实现186个城市“限粘”,411个县城“禁实”。然而在国内一些城市的郊区、县城、乡镇、
混凝土广泛应用于各类基础设施建设工程中,并因空气中CO2发生碳化作用。为了探究偶然动荷载作用下长期暴露在空气中的混凝土动态力学性能,利用碳化箱对混凝土试件进行3d、7d、14d、28d碳化模拟,并通过直径50mm分离式Hopkinson压杆装置开展冲击压缩与劈裂试验,研究不同碳化龄期与不同冲击气压混凝土试件的应力应变与破裂破碎特性,分析了试件动态峰值应变、动态弹性模量、动态抗压和抗拉强度、破碎块度
随着电子商务的飞速发展,目前城市社区的快递包裹量根据实地调查上百所社区的数据统计分析显示月平均揽投量可达2万件左右,城市社区已经成为包裹快递末端的主力市场之一。目前城市社区内有关网点的类型多样、服务质量参差不齐,并且相互间激烈的竞争导致网点与消费者之间关系紧张。根据对城市社区居民的问卷调研显示消费者对于社区揽投末端网点的服务要求越来越高,因此在保证选择需求点高的社区作为建立揽投末端网点时提高消费者
地下水资源是人类赖以生存的水资源,随着社会经济高速发展,对地下水资源的依赖程度越来越高,尤其对于我国水资源匮乏的西部鄂尔多斯盆地尤为重要。从矿产资源开发长期地下水动态监测分析发现,人类采掘活动对地下水动态变化影响较大,不仅减少地下水资源储存量,同时也改变了地下水流系统,对矿山水害防治与生态环境保护至关重要。鄂尔多斯盆地侏罗系地层蕴藏着丰富煤炭资源,煤层开采时受其顶板砂岩水害威胁,采前疏放和采后疏干
随着云计算的快速发展,单一的服务已经不能满足现实功能的需求,需要在资源池中选择一组原子服务来相互协作,云服务组合的概念因此而来。云服务组合问题被视为NP难问题,也成为了云计算体系中的一个研究热度颇高的技术难点。近年提出的飞蛾扑火算法(MFO)具有易于操作、参数简单、便于编程等优点,有学者尝试将它用于解决云服务组合这一难题,取得了一些成果,但是由于飞蛾扑火算法存在收敛过快,缺乏种群内部交流,容易出现
新时代背景下,高质量发展为适应经济新常态而提出。建筑业作为我国三大支柱产业之一,建筑业的高质量发展则成为了不可或缺的一环。“一带一路”和长江经济带的重合,使长三角在我国现代化建设和开放格局中拥有示范意义。因此,研究长三角地区建筑业的高质量发展水平在新时代有着重要意义。在广泛的文献研究的基础上,本文首先归纳总结了建筑业高质量发展相关文献,为后续定量分析奠定了理论基础。其次,分析了长三角建筑业发展的现