【摘 要】
：
在自然语言处理中,由于神经网络的结构需要人工设计,容易导致复杂的神经网络结构中存在大量冗余.为了减少冗余,人们常采用剪枝等模型压缩方法,但是这类方法通过一些与训练过
【基金项目】
：
国家自然科学基金(61432013,61732005,61876035);中央高校基本科研业务费专项(N161604007);辽宁省高等学校创新人才支持计划(LR20170606)
论文部分内容阅读
在自然语言处理中,由于神经网络的结构需要人工设计,容易导致复杂的神经网络结构中存在大量冗余.为了减少冗余,人们常采用剪枝等模型压缩方法,但是这类方法通过一些与训练过程无关的指标直接对模型进行裁剪时往往造成性能损失.因此探索了一种神经网络中神经元连接的自动学习方法,通过在训练中对神经元连接进行动态生长和删除的方法,可以更好地对网络连接进行动态操作,从而得到更紧凑、高效的网络结构.使用该方法在神经语言模型上进行自动生长和消去,在保证网络性能不变的前提下,网络规模可缩小49%.
其他文献
无论同传统社会主义制度相比,还是同西方国家的资本主义制度相比,中国特色社会主义制度都有独特的优势。执政党与参政党协调一致,避免出现相互倾轧的乱象;坚持人民利益至上,
新生代农民弃农是当前和未来农村改革发展遇到的重大约束性难题。基于国家农业统计数据,结合对山东省莘县相关实际调查,分析当前新生代农民弃农的现状及其对农村发展的影响,
本文通过分析政府公共关系的要素即主体、客体和环境,揭示政府公共关系的本质特征在于公共性,并通过分析公共性的行使手段和方式进一步理解公共性的本质,从而理解政府公共关
Android操作系统作为目前市场份额最大的开源智能终端操作系统得到了广泛应用,但是Android的开放性也使得其安全性大大降低。本文从Android的系统架构入手,分析了Android现有
目的分析缺失型Duchenne型肌营养不良症(DMD)缺失热区第46号外显子缺失后形成的连接片段的断裂点的分子结构特点,并分析分子结构特点与内含子高不稳定性及外显子缺失的关系.
近年来,Transformer模型中多层注意力网络的使用有效提升了翻译模型的译文质量,但同时大量注意力操作的使用也导致模型整体的推断效率相对较低.基于此,提出了从粗粒度到细粒
背景与目的:胰腺癌是预后很差的消化道肿瘤,常规的全身化疗效果很不理想。本实验探讨幼猪胰腺区域血管结扎后动脉灌注化疗的安全性和可行性。方法:14只幼猪分为3组,A组和B组
中国网民数量的迅速扩大,推动了网络消费的迅猛发展,也使网上购物越来越广泛地进入人们的生活。如何获取和利用网上消费者情报,为众多的网上商店吸引顾客服务,以及如何有效的
基坑支护工程是保障建筑施工工程质量的一项重要施工技术。作为一名建筑工程技术人员，笔者结合自己多年的工作经验，简要介绍了建筑工程基坑支护存在的问题及施工技术要点。