神经机器翻译模型的实现验证及其剪枝压缩

来源 :南京大学 | 被引量 : 0次 | 上传用户:lsui321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代科技的飞速发展,数据成为各行各业不可或缺的宝贵资源。但是,随着数据量级的爆炸性增长,人工对数据进行分析与处理的难度与日俱增,人工智能与机器学习逐渐走入人们的视线。以深度学习为标志的机器学习技术,凭借其准确把握数据特征的优势,在图像处理、自然语言处理、语音识别等领域取得了令人瞩目的成绩。其中,自然语言处理(包含机器翻译、情感分析、语义识别等应用)由于与人们的日常生活密切相关,尤其受到学界和产业界的重视。在这一领域,循环神经网络(RNN,Recurrent Neural Network)扮演着重要的角色,受到了研究者的青睐。到目前为止,在机器翻译领域,基于循环神经网络的神经机器翻译模型已经形成了比较成熟的体系。但是,机器翻译应用往往需要相当大规模的语料数据进行训练,由此带来了大量的存储压力和运行成本,因此,神经机器翻译模型的压缩与优化成为了该领域的研究重点。为了缩短运行时间、降低存储消耗,学术界提出了多种模型压缩方法,目前较为主流的模型压缩方法包括数据量化、参数修剪以及知识蒸馏等。本文基于开源的神经机器翻译框架OpenNMT-py实现了目前较为主流的包含注意力机制的Seq2Seq模型,并在主流数据集上对其效果进行了评估验证;然后采用基于权值绝对值大小的剪枝方法对该模型进行了压缩优化,针对不同剪枝比例对模型精度的影响进行了实验分析,并对不同类型的权值对整个模型的重要性进行了探索,在此基础上,本文提出了分类剪枝的方法,使得剪枝后的模型具有接近未剪枝模型的精度效果;最后采用剪枝-重新训练的方法使得剪枝模型的精度恢复到剪枝前的基线水平,并探讨了重复迭代该过程对模型精度的影响。神经网络的剪枝压缩方法由于其压缩效果明显、实现方式简单,经常被应用于各种深度学习模型压缩,但是,较高比例的剪枝往往会带来较高的精度损失。本文针对权值剪枝带来的精度损失,探索了剪枝模型的精度恢复方法,根据不同类型权值对模型精度影响重要程度的不同,对不同类型的权值采取不同的剪枝比例,使得剪枝模型的精度达到接近未剪枝模型的水平,可以在模型大小压缩70%的基础上,精度仅损失20%,并采用剪枝-重新训练的方法使得任意比例的剪枝模型精度回归到未剪枝的基线水平,这为神经机器翻译模型实现更细粒度的压缩与优化提供了思路。
其他文献
目的:初步探讨输卵管炎性不孕患者盆腔微生态及某些细胞因子与输卵管通畅者的差异,其输卵管粘连、扭曲的程度与CT、UU感染和某些细胞因子检测值及与中医证型分布的关联性,并
随着社会、经济、文化的发展,西方现代园林设计经过现代主义、后现代主义时期,到20世纪90年代之后已经清楚地呈现出多元化发展的趋势,逐渐形成一些风格独特的设计类型。由于
“MOST 总线实验与开发平台”的技术开发重点集中在平台的硬件系统设计和软件系统设计上。本文主要围绕建立平台的硬件系统和软件系统而展开研究工作。论文在“MOST 总线实验
中国目前社会治安问题十分突出,已经严重威胁到了人民的安全与社会稳定,影响到了中国特色社会主义现代化建设进程。究其原因,随着中国经济体制改革丌展与深入,中国社会由传统
我没有到过西藏,也很少观赏描绘西藏的画作。当然,我看过反映西藏的作品,也去过甘南,到过拉卜楞寺,拍了一部分照片回来,但那只能算是"随喜"。"随喜",说不上是生活,更说不上是对藏
期刊
随着工业化和城市化程度的不断提高,合成洗涤剂、化肥和农药的广泛使用,大量磷营养物进入水体,水体富营养化日益严重。因此废水中的磷的去除已成为废水处理的热点。生物除磷
本篇题为《中国古代碗的造型发展研究》的论文,通过对中国各历史时期中各种碗的资料收集,从人类新石器时代饮食器具的产生一直延续到清代,再将这些素材进行数据整理,在高度和
稻飞虱是田东县水稻常发性、普发性、重发性害虫,近10a来主害代发生都在3级以上,给水稻生产造成严重威胁。根据田东县历年稻飞虱发生为害情况与气候、苗情、田间管理、防治措施
随着公立医院改革的开展和深入,公立医院的补偿问题成为改革中较为突出的问题。本文以北京市卫生局和财政局对市属公立医院的以成本核算为基础的补偿方式初探为基础,对公立医
王符是东汉中后期著名的政论家、思想家,东汉社会批判思潮的重要代表。近来年,对王符及其著作《潜夫论》的研究日渐增多,但前人仅侧重于对王符生平、思想层面的研究。鉴于此,