基于卷积神经网络的模型压缩研究及应用

来源 :河南大学 | 被引量 : 0次 | 上传用户:u482366
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络一直是人工智能方面研究的热点,它通过对低层次的特征进行组合,进而形成更加抽象的高层次的特征表示。随着深度学习技术的不断发展以及计算机硬件系统的不断更新升级,近年来,很多问题,如图像识别、目标检测、语义分割、图像检索等已经采用深度神经网络,并取得了广泛成功。强大的计算机硬件使得更深层的网络得以容易的训练,而深层的神经网络显而易见会有更好的识别精度。随着社会经济的发展,人们对于移动设备的使用也越来越频繁,如手机、平板电脑、行车记录仪等。人们开始思考把深度神经网络部署在这些移动设备上,以便使得移动设备的功能更加强大。显而易见,在移动设备上运行深度神经网络有很多好处,如更好的实时处理等。但由于复杂的神经网络十分庞大,它们大量的权重参数会消耗相当大的存储空间、内存带宽以及计算资源,这就阻止了深度神经网络在移动应用上的运行。为此,本文基于TensorFlow框架对当前主流的深度神经网络模型进行了压缩,以便把深度模型部署到移动设备上,本文的主要工作包括:(1)在保持神经网络的精度不变的前提下,对网络连接进行修剪,删除冗余的连接,只保留阈值以内的有效连接,以便减少神经网络所需的存储空间。之后对修剪过的网络进行稀疏训练,以便剩余的连接可以弥补被剪枝的连接,保持精度。(2)将存储权重参数的稀疏矩阵转化为CSR(Compressed Sparse Row)表示,并以存储有效权重的相对索引来代替绝对位置。而后利用K-Means聚类算法对网络的权重和其梯度进行量化,再通过使多个连接共享相同的权重来限制我们需要存储的有效权重的数量,以进一步压缩。(3)运用哈夫曼编码技术对网络进行压缩。对网络中的权重参数,根据其出现概率大小,对不同编码长度的参数用较少的bit表示,从而解决了因编码长短不一而带来的冗余问题。(4)基于Android的图像分类手机APP的实现。将压缩后的网络模型移植到移动端,并在此基础上开发一个手机应用,以实现用卷积神经网络在移动端对图像进行分类的目的。
其他文献
格莱美音乐奖拥有公正而权威的评奖系统,代表了世界流行音乐的较高水平,因此吸引了世界音乐人的关注。通过格莱美奖来看我国国内的众多而评奖水平参差不齐的的音乐奖项和赛事
道路是一类重要基础地理信息,高精度、及时更新路网信息对交通管理、城市规划、自动车辆导航、应急事务处理都有非常重要的作用。随着遥感技术的发展,高分辨率卫星图像质量不
明末清初,学术思想出现变异,理学衰微而朴学兴起。处于这一时期的钱澄之,深受实学思潮的影响,其治学整体呈现求实、务实的风格。尤其受到明中叶以来的《诗》学折中派的影响,
本文从目前高职院校就业课程设置、教材内容、教学形式、师资队伍等方面重点分析了大学生职业发展与就业指导课程中存在的问题,为高职院校就业指导课程的设置提供参考。
近年,虽然我国已经出现了一批具有全国性影响的集团性家装企业。但是,家装业在我国还只是处于起步与发展阶段。经营方式单一,营销方式简单是我国家装企业普遍存在的问题。在
在我国社会经济快速发展的过程中,工民建筑工程项目也越来越多,在工民建筑中节能施工技术的应用是建筑技术未来发展的主要方向。本文通过对节能施工技术的分析和研究来详细说
20世纪80年代是我国文学史上一个极为重要的时期,是一个社会急遽变动的时期,也是文学创作日新月异的时期。尤其是70年代末80年代初期,政治和经济的拨乱反正给文化的自由与繁
<正>氧化锆增韧氧化铝(ZTA)陶瓷材料具有高强度、高韧性和良好的耐磨性等优点,因而被广泛应用。但是不同方法制备的ZTA陶瓷材料性能差异较大。ZTA陶瓷材料的生坯密度和ZrO2晶粒
会议
当前,我国正处在政治体制和经济体制的转型期,各种社会矛盾凸显,各种经济成分、利益格局不断发生变化,群众利益诉求呈现多元化趋势,而利益诉求渠道的不畅导致各种矛盾所引发