论文部分内容阅读
近年来,随着计算机技术迅猛发展,人工智能在图像识别、无人驾驶、语音识别等领域取得了突破性的进展。以深度学习技术为代表的新一代人工智能技术,正在逐步渗透到越来越多的领域中,推动着社会的发展。而作为深度学习技术一个重要分支的卷积神经网络,依靠其局部感知、权值共享以及时间或空间亚采样等特点,在图像分类和人脸识别等任务中取得了很好的成绩。但是在实际应用中,需要大量的数据来训练卷积神经网络。然而在很多情况下,对于新的应用场景,现有的公开数据集不能训练出合适的模型,特别是对于需要人工标注标签的数据集,很难获得足够的训练样本。此外,使用卷积神经网络进行训练和推断需要大量的计算,并且会占用大量的内存空间。因此,对于一些资源受限的设备,例如已经渗透到现代生活各个方面的物联网设备,将在高性能GPU上训练和应用的深度卷积神经网络模型应用在它们上是不可行的。压缩技术是加速卷积神经网络模型训练和推断的重要方法。为此,本文进行了基于压缩技术的卷积神经网络加速算法研究。本文的主要研究内容和创新如下:本文旨在通过修改输入层的同时减少网络的宽度(每层节点的数量),提出了一种新的压缩卷积神经网络模型用于图像分类,称其为CS-CNN。CS-CNN引入压缩理论以降低输入层的维数,同时使用奇异值分解提取输入中最有用的信息来生成投影矩阵。本文用TensorFlow框架里的卷积函数实现压缩过程以减少压缩产生的系统资源占用。CS-CNN在输入层和第一个卷积层之间增加了一个具有固定权值的卷积层,以此来压缩原始数据,进而提取有用信息。增加的这个卷积层的参数是固定的,在训练过程中不对其进行更新。同时,由于输入层的参数数量在整个网络的总参数数量中占主导地位,输入层的显著压缩可避免样本不足时的难以训练出最优模型的问题。这是一个优化的卷积神经网络框架,它可以被应用在许多嵌入式视觉系统和物联网设备上。最后,本文对提出的框架CS-CNN进行了实验验证研究。本文在用于深度学习任务的公开数据集MNIST和CIFAR-10上进行训练和测试,通过多个衡量标准说明CS-CNN可以大幅加速训练和推断过程。同时,当用于训练的数据库规模较小时,CS-CNN比传统的卷积神经网络模型分类精度更高。