基于有限语料的文言文神经网络机器翻译研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xiaosanhuah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,伴随着生活水平飞速发展,越来越多的人已经开始转向追求精神生活。文言文是我国文化的瑰宝,推广文言文不管是在学习还是生活上都有重大益处。本研究的目的是利用机器模型自动在文言文和现代文之间进行翻译,使得文言文的使用更加方便。由于文言文和现代文平行语料库的缺少,我们的研究就是如何在缺少语料资源的情况下,建立出一套合格的文言文神经网络机器翻译模型。我们的研究主要分为以下两个部分。文言文和现代文平行语料库的建立。使用神经网络建立翻译模型,需要有已经建立好的双语平行语料。本研究提出了利用深度语义匹配模型建立平行语料库的方法DSSAM(Deep Structured Semantic Alignment Model)。该模型是利用深度语义匹配模型,通过对文言文原文和现代文译文做句子间的语义匹配,实现句子对齐,最终建立双语平行语料库。其中研究还利用Triplet Loss改进了深度语义匹配模型。本文通过句子间的语义相似度进行对齐的结果,比以往基于句长比例、对齐模式、共现字特征等特征的方法,准确度有了很大的提升。利用单语语料和平行语料库训练模型。由于通过自动生成的平行语料还不足以训练模型,本文提出了结合单语语料训练文言文和现代文机器翻译的模型SCCT-NMT(Semi-supervision Classical Chinese Translation Neural Machine Translationg)。其中包含了几个设计要点:第一点,在本模型独特的框架中,文言文和现代文使用同一个编码器,而解码端则是两个独立的解码器,两个语言间可以实现互相翻译;第二点,本文针对输入做了特殊处理,文言文的分词采用了字对齐和辅助字典的方法,并且每个输入都加入了词性信息;第三点,提出了结合词性的注意力机制CPS-Attention(Content and Part of Speech Attention),在计算的时候,引入了额外的词性信息帮助模型理解句子的语义;第四点,在解码端,本研究提出了结合复制机制和语言模型辅助解码生成,帮助解决在文言文和现代文翻译的时候,共现字多和生成语句不通顺的问题;第五点,在针对单语语料训练的时候,使用了噪声还原和反向翻译的方法。最终,本文的模型能在缺少大量平行语料的情况下,同其他机器翻译模型相比,有了不错的提升。
其他文献
由于毒品成瘾的神经生物学机制未被攻破,国内戒毒治疗目前效果暂不可观,与此同时暂无有效戒毒手段这一现状成为毒品猖獗于社会的重要原因之一,这让全国250万深受毒品侵害的戒毒患者无法回归正常。2014年温哥华心理学教授布鲁斯.亚历山大提出了戒毒新观点,他认为目前能有效解决戒毒问题的关键不在于化学制瘾物,而是需要给予戒毒患者心理依赖,这一观点通过不断的临床研究,逐渐被主流接受。因此,本次课题抱着人性关怀的
近年来,许多学者不断探索如何能深入有效地引导和组织大学生开展课外科技活动,主要是由于大学生课外科技活动不但能增强大学生科技意识、增长科普知识储备,而且能培养大学生创新
脂肪酶在不同的体系中可以催化脂类物质水解和转酯等反应的发生,并被广泛应用于食品、洗涤及饲料等生产行业。来源于耶氏解脂酵母的脂肪酶LipY2除了具有催化活性高、生产工艺
随着当今社会人们对生活中潜在风险的意识逐渐提高,越来越多的消费者开始将目光投向保险商品和服务,逐渐开始对其进行接触和了解,这让保险业快速迅猛地发展起来,保险商品也成
哮喘是一种慢性小气道炎症疾病,属于I型超敏反应。哮喘的主要病理特征包括气道高反应性,以嗜酸性粒细胞浸润为主的炎症、杯状细胞化生及黏液过度分泌等。目前缺乏安全治愈哮
随着我国教育改革的深入,高校教务管理的工作量和难度不断增加。为保证并提高教学质量,迫切需要对现有的高校教务管理平台进行改造升级。首先需要加以显著改进的是该类系统中的信息过载问题,增加必要功能(如图书个性化推荐)。其次,对教务管理平台中的现有缺陷(如选课冲突)加以改进,以更好地帮助教师、学生和管理人员等用户提高教学效率、改进教学效果。因此,本文根据调研得到的用户主要需求,设计、开发了具备图书精准推荐
本文主要论述了数据挖掘技术在高校教务管理中的应用,在阐述数据挖掘技术研究背景的基础上,对其国内外研究现状做了相关分析。
本文就离退休干部思想政治工作的重要性做出阐释,并提出了在新形势下如何进一步加强与改进该项工作提供策略建议。
目的探讨降钙素原(PCT)在诊断细菌性感染疾病中的应用价值。方法选取109例细菌性感染疾病的患者作为观察组,另选取49名健康人群作为对照组。分别采用免疫荧光法与免疫投射比浊
“一带一路”契合了我国企业“走出去”战略,大力推行以公私合作模式(PPP)为主的对外基础设施建设投资模式。但由于PPP涉及政府行政职权、私人主体、以及一系列的合同,结构复杂,争端也不可避免,而本文基于“一带一路”投资特性抽取我国企业与“一带一路”沿线国家间PPP项目争端解决方式进行研究。其中研究核心集中在:PPP争端及产生原因,争端解决方式相关内容及其选择依据。对PPP争端解决方式的具体研究可分为