论文部分内容阅读
深度神经网络近年来普遍应用在图像分类、物体检测、目标跟踪等计算机视觉任务中,已逐步成为研究热点。不过因为参数数目巨大、存储空间有限和计算资源代价高昂的限制,在移动设备上的存储和计算已经阻碍了深度学习的发展。为此,本论文开展了深度学习网络的快速计算技术研究,主要工作如下:论文首先分析了目前主流的几种深度学习网络的快速计算技术,包括参数修剪与共享、低秩分解、紧性卷积核的设计以及知识蒸馏等等。在参数修剪与共享的基础上,寻找并消除网络中存在的冗余,但会因为精度的损失而造成准确率的降低;在低秩分解的基础上,利用向量分解对卷积网络里信息量大的参数进行估计,但是低秩方法真正实施起来特别困难,涉及到计算成本昂贵的分解操作;在紧性卷积核的基础上,使用特殊滤波器对网络参数进行估计,设计特殊的卷积模块结构,能大大改善网络性能;知识蒸馏提炼出一个小模型来再现大型网络的输出,虽然能减少计算成本但是适用范围比较局限。然后,论文提出了基于激活函数的快速计算算法,即设计了基于SELUs的自归一化分段线性激活函数SPeLUs。该激活函数的实现流程如下:用分段线性函数PeLUs去拟合ELUs;用参数λ与PeLUs相乘得到SPeLUs;由不动点（0,1）得出λ0 1和α01;计算Jacobian矩阵,验证谱范数小于1,即SPeLUs具有自归一化特性,最终得到具有归一化特性的分段线性激活函数SPeLUs。论文提出的SPeLUs,用分段线性函数取代SELUs的指数部分,解决了SELUs的计算密集型问题,从而加速了神经网络的训练,同时保持自归一化特性而不需要BN,在MNIST、CIFAR-10和CIFAR-100等经典数据集上能达到和SELUs相似的结果。最后,论文研究了参数修剪和共享中的量化算法,在三值量化的基础上提出一种简化的二值量化算法。相比于三值量化算法,所提出的二值量化只使用了一个全精度比例因子,保证正权值和负权值的绝对值相等。实验证明,虽然改进算法的准确率有些许下降,但是实现了计算量和参数量的减少,显著降低收敛时间,从而加速了神经网络的训练。论文在Ubuntu14.04下基于Tensorflow的深度学习平台进行实验验证。实验证明,论文提出的深度学习网络的快速计算算法简易有效,在准确率略有下降的情况下能大幅度减少计算量,提高了移植到移动端的可能性。