论文部分内容阅读
二维卷积神经网络已经被广泛应用于二维图像领域,并取得了令人瞩目的成绩。利用多维卷积操作,可将二维的卷积网络模型直接推广到多维卷积网络模型,然而随着信号维度的增加,模型参数急剧增加,卷积操作的时间和空间复杂度提高,从而导致网络计算和存储代价大幅度的提升。为此,本文利用两类可分离结构降低卷积的运算复杂度,提出两种轻量级的卷积神经网络。本文的工作主要集中在如下两个方面:第一,提出基于序贯结构的多维可分离卷积神经网络,在网络中采用一组一维卷积操作取代传统的一次多维卷积操作,模型在每个维度上交替进行一维的卷积运算。与传统卷积网络相比,该模型降低了空间复杂度,而且将指数级时间复杂度降为线性级复杂度。在MNIST和KTH数据集上对该模型进行测试,实验表明该模型在较低的时空复杂度下获得与传统卷积网络模型相似的识别精度,同时在小样本时,该模型的识别精度比传统模型高9%。第二,提出基于多路并行结构的多维可分离卷积神经网络。该模型利用高阶张量表示多维信号,由多层的输入和输出均为高阶张量的模块组成。在每个模块中,通过张量运算、利用一组一维卷积并行操作提取信号在不同维度的特性,通过特征融合,获得该模块层的多维信号特性。该模型不仅可以由低级到高级提取多维信号的层级特性,而且大幅度地减少网络参数的数目,降低网络训练的时空复杂度,提高网络推理速度。此外,该模型利用一维卷积运算增加每一个维度上训练样本的数目,降低了采样复杂度。该模型已在CIFAR-10、MNIST以及KTH数据集上验证,实验结果表明,该模型不仅与当前出色的卷积网络模型的精度相当,而且时间和空间复杂度大幅降低。在CIFAR-10数据集上,在相近的识别精度下,该模型仅需要0.47M,而VGG则需要138M。该模型提供了一种处理多维信号的可行方案,尤其适用于计算能力不足的设备。