【摘 要】
:
深度神经网络由于尺寸过大难以在资源有限的嵌入式设备中部署,同时,其存在严重的冗余和过高的复杂度。因此,对深度神经网络进行高效的压缩和加速,十分具有研究价值。为了解决这一问题,本文提出了采用粒子群算法优化深度神经网络压缩。本文提出的深度神经网络压缩方法分为四步进行:第一步,对预训练模型使用基于稀疏度的剪枝方法,将其冗余的权值删除;第二步,使用K--means++方法对剪枝后的网络各层权值进行聚类,原
论文部分内容阅读
深度神经网络由于尺寸过大难以在资源有限的嵌入式设备中部署,同时,其存在严重的冗余和过高的复杂度。因此,对深度神经网络进行高效的压缩和加速,十分具有研究价值。为了解决这一问题,本文提出了采用粒子群算法优化深度神经网络压缩。本文提出的深度神经网络压缩方法分为四步进行:第一步,对预训练模型使用基于稀疏度的剪枝方法,将其冗余的权值删除;第二步,使用K--means++方法对剪枝后的网络各层权值进行聚类,原先权值用聚类所得的中心值代替,各层共享中心权值进而压缩了网络的规模;第三步,量化各层聚类后的权值,量化过程减少了表示权值所需要的比特位从而实现了深度神经网络的最终压缩;第四步,使用粒子群算法微调网络参数,避免陷入局部最优解,恢复网络准确度。本文通过在LeNet-300-100、LeNet-5和VGG-16网络中进行压缩实验,得出压缩率和准确率。在准确率不下降甚至提升的前提下,压缩方法可以达到30-40倍的压缩效果,使得深度神经网络可以在嵌入式设备中进行部署。
其他文献
随着国家的逐步发展,部分企业的偷排漏排现象日益突出。现目前的排查方法普遍存在效率不高,过度消耗人力物力等问题,因此需要一个减少人力成本并结合群众效应的监测系统。该
受硬件设备和传输介质等物理条件的影响,最终呈现在终端等显示设备上的图像分辨率仍然无法满足人们的需求,特别是对于图像细节要求较高的军事及医疗等领域。基于深度学习的发展以及所获取到的大规模数据,研究人员已经将深度学习应用到超分辨率重构中。通过线下端到端的训练方式,利用已知的低分辨率图像重构出对应的高分辨率图像。后续研究表明可动态调节感受野的卷积网络具有更好的特征传递与表达能力,然而,目前大部分的超分辨
顺南地区一间房组、鹰山组上段多为碳酸盐岩储层发育段,多口井常规测试获高产工业气流。但碳酸盐岩成分单一、结构复杂,沉积演化过程中受控因素多,使用传统资料,识别预测难度
本文主要研究上市公司股票卖空限制、多元化经营和公司多元化折价之间的关系。多元化经营是公司发展到一定阶段的普遍选择。上市公司通常为具有一定规模和盈利能力的优质公司,很多上市公司都在实行多元化经营战略。多元化折价是指一家公司在多个行业开展业务之后,由于受到委托代理问题、有限关注问题、信息不对称和管理无效等因素的影响,公司价值或绩效发生明显下降的现象。多元化折价现象已经被众多研究从实证中观测到,产生多元
随着无线网络的高速发展,人们对基于室内位置信息的服务需求与日俱增。而全球定位系统GPS在室内环境中信号微弱,无法提供可靠的服务。目前主流的室内定位系统包括Wi-Fi、可见
为虚拟角色设计运动控制器是一项有挑战的任务。本篇文章使用深度神经网络作为运动控制器来控制OpenAI Gym工具包上的虚拟角色。现有的将神经网络作为虚拟角色运动控制器的方法更多地关注角色运动的鲁棒性,而忽视了其运动姿态的自然性与风格化。此外,OpenAI Gym上的环境也缺少虚拟角色在障碍地形下的运动仿真。本文提出基于时空约束的神经网络运动控制器:通过在训练过程中将时空约束加入至回报函数中,来优化
中国和东盟国家海洋渔业资源丰富,发展潜力巨大,在海洋渔业合作上有着广阔的前景。中国与东盟国家的海洋合作,是新时期我国发展海洋经济的重要战略选择。对东盟海洋渔业产量进行分析预测,既是中国-东盟海洋大数据平台的功能需求,也有利于全方位认清中国和东盟海洋渔业产业状况,为中国-东盟渔业合作提供正确方向和战略支持。现有的相关研究大多停留在理论阶段,很少有针对中国和东盟渔业产量做预测分析的实际应用。因此本文结
政府预算在财政体制和国家治理中居于重要地位,其既是政府的收支计划,又是规范、约束和监督政府行为的法律文件,它体现出政府在政治、经济、社会等方面的公共政策和民主制度。预算制度改革是财政体制改革的重要内容。新中国成立初期,预算依附于计划存在,其地位和作用都不明显;1978年后,随着财政制度的转型,预算的地位和作用也在不断增强;1995年《预算法》的实施意味着财政收支开始受到法律的约束;1998年以后,
生物识别技术是目前最为方便与安全的识别技术,利用生物识别技术进行身份认定,安全、可靠、准确。而指纹具有终身不变性、唯一性、方便性、可靠性等特点,已几乎成为生物特征
近年来,电流诱导磁化翻转的磁随机存储器器件迅速占据了磁随机存储器研究的主导地位,研究重点之一就是如何有效降低诱导磁化翻转的临界极化电流。相关实验表明,采用高自旋极化的材料和具有垂直磁各向异性的磁结构均有利于降低诱导磁化翻转的临界极化电流。Co基Heusler合金因为具有大的自旋极化、阻尼小、居里温度高等特点,成为实现垂直磁各向异性的理想铁磁层代表,因此,本论文以具有典型的高自旋极化率的Co基Heu