【摘 要】
：
神经机器翻译(NMT)模型通常具有庞大的参数量,例如Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化且存储模型的资源需求也越高.本文提出了一种压缩方法用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型.本文提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递
【出 处】
：
第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
论文部分内容阅读
神经机器翻译(NMT)模型通常具有庞大的参数量,例如Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化且存储模型的资源需求也越高.本文提出了一种压缩方法用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型.本文提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递进式半知识蒸馏方法指运用过一次半知识蒸馏方法压缩以后,再把当前的半知识蒸馏压缩的模型作为新的教师模型,再次运用半知识蒸馏方法得到全压缩模型.在广泛使用的中英和日英数据集上进行实验,结果表明本文方法对NMT系统有积极影响.本文提出的方法的最佳性能明显优于基准模型2.16个BLEU值.与词级别和句子级别的传统知识蒸馏方法相比,本文提出的方法比词级别知识蒸馏方法优于1.15个BLEU值,并且高于句子级别的知识蒸馏方法0.32个BLEU值.
其他文献
虚词具有丰富的语法意义,对句子理解起着不可或缺的作用.虚词的语言学研究成果丰富,但缺乏形式化表示,无法直接被计算机利用.为了表示虚词的句法语义信息,首先在抽象语义表示(AMR)这种基于概念图的语义表示方法的基础上,增加了词语和概念关系的对齐信息,使得虚词对应于概念节点或节点之间的关系弧上.其次,选取了语言规范的人教版小学语文课本8587句作为语料,进行AMR的标注.然后,针对语料中24801个虚词
近年来,基于注意力(attention)机制的循环神经网络在文本分类中表现出显著的性能.然而,当训练集数据有限时,测试集数据中许多领域实体指称项在训练集中处于低频,甚至从未出现,如,中文话语领域分类任务.本文提出结合特殊领域实体识别的远监督话语分类模型.首先,通过远监督(distant supervision)的方式获取数据集中的领域知识,显著地减少了人工操作;其次,利用特殊领域实体识别和本地构建
情绪原因识别是文本情绪分析领域中一个前沿的研究方向.传统情绪原因识别方法需要进行制定规则、特征抽取等过程,而本文从情绪原因的语言特点出发,结合Bi-LSTM模型和注意力机制,提出一种基于情绪上下文位置注意力神经网络的情绪原因识别方法(ECPA).该方法考虑了情绪词和情绪类别的情绪信息,学习了Bi-LSTM模型建模后的上下文语义信息,引入了基于位置信息的注意力机制模型,进而构建情绪原因识别模型.实验
现有的基于深度学习的情感原因发现方法往往缺乏对文本子句之间关系的建模,且存在学习过程不易控制、可解释性差和对高质量标注数据依赖的不足.针对以上问题,本文提出了一种结合规则蒸馏的情感原因发现方法.该方法使用层次结构的双向门限循环单元(Bi-GRU)捕获词级的序列特征和子句之间的潜层语义关系,并应用注意力机制学习子句与情感关键词之间的相互联系,同时结合相对位置信息和残差结构得到子句的最终表示.在此基础
日渐丰富的少数民族跨语言文字信息资源,对其进行有效的管理、挖掘与利用有着重要的应用价值.为了解决语言间的差异,解决语言鸿沟问题,针对中朝跨语言文本分类任务,提出了双语主题词嵌入模型.该模型将主题模型与双语词嵌入模型相结合,解决了一词多义引起的歧义性对跨语言文本分类的精度带来的影响.首先,在大规模包含词对齐信息的平行句对中训练双语单词的词嵌入表示;其次,对双语分类语料进行主题模型的建模,并获得双语单
为了挖掘用户细粒度的情感表达,方面级情感分析引起了研究者们的关注.现有的研究方法通常将方面判别任务与情感分析任务分离,且在给定方面的基础上进行情感分析.然而现实的评论数据大多没有标注方面标签,因此,对于给定的评论文本,需要同时判断方面类别及其情感极性.本文利用多个分类器同时对评论的方面及其情感进行预测,使用两层长短期记忆网络对评论的上下文信息和方面信息进行编码,并利用注意力机制对评论中相关方面的情
蒙古文形态素切分是蒙古文自然语言处理的核心任务之一.该文针对传统蒙古文的构词特点,提出了一种新的蒙古文形态素标注方法,在蒙古文天然的词边界划分基础上,进一步将形态素进行划分.相比传统的蒙古文词切分方法,本文重点研究构词成分的形态素单元切分,提出的方法在充分学习蒙古文词和字知识的同时,通过自动学习蒙古语构词的形态素成分上的语言学知识,能够更加有效地捕捉形态素单元上的语义信息.该文使用新标注方法并基于
反讽是一种复杂的语言现象,被广泛应用于社交媒体当中.如何让计算机具有识别反讽的能力成为了自然语言处理研究领域的热门研究内容之一.该文针对反讽识别中缺乏上下文语境信息和修辞表达信息的问题,提出了基于多语义融合的反讽识别方法.该方法采用ELMo从大规模反讽文本中训练得到领域词嵌入表示,并融合基于词性和基于风格信息的语义表示,使用双向长短期记忆网络和卷积神经网络进行反讽识别.实验结果表明,所提出模型能够
网络小说根据目标读者的性别可以分为男频小说和女频小说.由于目标群体不同,男频和女频小说在很多方面具有不同的特征.目前对于男频和女频小说的分析大都停留在定性分析,定量分析很少,总体来说缺乏客观性和数据支撑.本文利用机器学习的手段来对男频、女频小说文本进行分析.构造了两个数据集,分别对应男频、女频网络小说.对于每一部作品分别抽取计量风格学特征、小说标题特征和小说文本LDA主题特征,从三个方面分别建立分
汉语复合名词短语因其使用范围广泛、结构独特、内部语义复杂的特点,一直是语言学分析和中文信息处理领域的重要研究对象.国内关于复合名词短语的语言资源极其匮乏,且现有知识库只研究名名复合形式的短语,包含动词的复合名词短语的知识库构建仍处于空白阶段,同时现有的复合名词短语知识库大部分脱离了语境,没有句子级别的信息.针对这一现状,该文从多个领域搜集语料,建立了一套新的语义关系体系,标注构建了一个具有相当规模