资源受限下的卷积神经网络模型优化研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:sme_william
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机技术迅猛发展,人工智能在图像识别、无人驾驶、语音识别等领域取得了突破性的进展。以深度学习技术为代表的新一代人工智能技术,正在逐步渗透到越来越多的领域中,推动着社会的发展。而作为深度学习技术一个重要分支的卷积神经网络,依靠其局部感知、权值共享以及时间或空间亚采样等特点,在图像分类和人脸识别等任务中取得了很好的成绩。但是在实际应用中,需要大量的数据来训练卷积神经网络。然而在很多情况下,对于新的应用场景,现有的公开数据集不能训练出合适的模型,特别是对于需要人工标注标签的数据集,很难获得足够的训练样本。此外,使用卷积神经网络进行训练和推断需要大量的计算,并且会占用大量的内存空间。因此,对于一些资源受限的设备,例如已经渗透到现代生活各个方面的物联网设备,将在高性能GPU上训练和应用的深度卷积神经网络模型应用在它们上是不可行的。压缩技术是加速卷积神经网络模型训练和推断的重要方法。为此,本文进行了基于压缩技术的卷积神经网络加速算法研究。本文的主要研究内容和创新如下:本文旨在通过修改输入层的同时减少网络的宽度(每层节点的数量),提出了一种新的压缩卷积神经网络模型用于图像分类,称其为CS-CNN。CS-CNN引入压缩理论以降低输入层的维数,同时使用奇异值分解提取输入中最有用的信息来生成投影矩阵。本文用TensorFlow框架里的卷积函数实现压缩过程以减少压缩产生的系统资源占用。CS-CNN在输入层和第一个卷积层之间增加了一个具有固定权值的卷积层,以此来压缩原始数据,进而提取有用信息。增加的这个卷积层的参数是固定的,在训练过程中不对其进行更新。同时,由于输入层的参数数量在整个网络的总参数数量中占主导地位,输入层的显著压缩可避免样本不足时的难以训练出最优模型的问题。这是一个优化的卷积神经网络框架,它可以被应用在许多嵌入式视觉系统和物联网设备上。最后,本文对提出的框架CS-CNN进行了实验验证研究。本文在用于深度学习任务的公开数据集MNIST和CIFAR-10上进行训练和测试,通过多个衡量标准说明CS-CNN可以大幅加速训练和推断过程。同时,当用于训练的数据库规模较小时,CS-CNN比传统的卷积神经网络模型分类精度更高。
其他文献
<正>安踏的案例告诉我们,能力之路才是怎么都绕不开的路。机会可以向外求,功夫只能向内求。中国是一个高度变化的新兴市场,是全球品牌都在这里充分竞争的国际化市场。中国经
月亮无论在东方文化中还是西方文化中都拥有丰富的意象,这些意象既有一些相同之处如都是阴性的,月亮的圆缺变化都蕴含着人生盛衰变化的哲理等又有各自的不同。比较它们的异同
在连片特困地区成为我国扶贫攻坚主战场的背景下,连片特困地区的妇女贫困问题成为扶贫工作的新议题。从可持续生计视角来看,脆弱性是导致连片特困地区妇女贫困的重要原因,生
随着信息网络化时代的到来,中共党史文献资料匮乏和搜集整理困难的状况,将逐步得到解决。研究新时期的中共党史,需要我们利用信息化技术,采用科学的方法对中共党史文献信息资
<正> 十九世纪中叶,爆发在黄淮平原上的“捻”义军起义,先后长达十数年,纵横十数省。太平天国失败后(一八六四年),这支义军仍以大无畏的英雄气概,继续擎起抗清大旗,又苦战了
目的:观察腰脊神经后内侧支射频毁损治疗腰椎术后腰痛的有效性。方法:40例临床诊断腰椎术后腰痛患者,随机分为脊神经后支射频毁损组(R组)和脊神经后支阻滞组(B组),在X线透视
目的 对进行平板运动负荷试验的2型糖尿病(type 2 diabetes mellitus,T2DM),运动前、中、后各时段心率(HR)进行分析,探讨该检查方式能否对T2DM心脏自主神经损伤进行早期诊断。方
<正>机械噪声源的噪声控制是从根本上消除或降低声源的噪声.它是噪声控制中最主要和最根本的途径.声源噪声的降低,可以大大简化传播途径的控制措施.机械噪声的类型很多,按声
本文广泛求证和搜集三十年来宁波市GDP的相关数据,运用统计学和计量经济学原理从时间序列的定义出发,探索宁波市GDP时间序列的平稳性,并结合统计软件EVIEWS运用ARMA建模法,对
南阳乃东汉"帝乡"(光武帝刘秀出生地),于东汉一朝有着独特的政治地位,因此南阳太守群在出身、政绩、与朝廷的关系等方面,都有着与其他郡太守不同的特征。本文略述东汉南阳太