论文部分内容阅读
21世纪生活中充斥着海量数据,每天都会产生大量的视频、语音、文本、图像等信息。深度学习很好地解决了挖掘大数据集中隐藏的规律或者特征的问题。在近十年人工智能突飞猛进的发展,很大程度上也是因为深度学习理论和工程研究取得的成果。深度学习成为目前人工智能中最受关注的技术之一。卷积神经网络作为深度学习的核心组成模块,正是该结构的提出和应用才使得深度学习焕发光和热。卷积神经网络省略了人工参与特征提取的过程,而且对一些形变鲁棒性较强。卷积神经的突破性研究成果在一定程度上刺激了当前深度学习以及人工智能的火热发展。但是在卷积神经网络存在一些关键问题,比如基础理论支持不完善,以及网络结构复杂、参数多,对硬件水平要求高。本文的研究内容主要是卷积神经网络在轻量级计算平台上的应用,主要工作如下:首先介绍并分析了国外和国内在卷积神经网络方面最新的研究进展,以及在轻量级计算平台上的应用情况。然后针对卷积神经网络中参数量大、占用的存储空间大的问题,提出了采用基于权值分布特征的聚类算法来压缩神经网络模型。并且在直接迁移压缩后的网络到轻量级计算平台进行了探索,提出了卷积层和全连接层权值分块聚类,以及误差纠正算法。在实验中,压缩算法取得了超越传统算法6%~10%的压缩速率提升,而且能将网络精确度保持在一定的水平。除此之外,也从数学上对提出的算法做了严密的推导,给出了算法的误差上界。针对传统卷积神经网络中滤波器的重复性问题,提出了带参数的级联激活函数PCReLU。该激活函数有两个突出的优点,一是避免了网络中滤波器的线性重复,二是增加了神经元在网络中的活跃性。消除重复性使网络浅层特征提取更加高效,提高活跃性体现在训练中神经元不会“死亡”。最后针对PCReLU提出了优化算法,仿真结果也证明了该算法能加快收敛,使训练过程更平稳。本文最后研究了超分辨率重建与卷积神经网络的结合。为了提高网络的重建性能,采用了反卷积模块来重建输入图像的细节特征;为了减轻网络结构,构建了基于残差网络和反卷积网络的重建模型。仿真结果证明本文算法减轻网络的同时提高重建质量。最后实现了卷积神经网络在手机上的应用。