轻量级的多维卷积神经网络的研究

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:kim_xt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
二维卷积神经网络已经被广泛应用于二维图像领域,并取得了令人瞩目的成绩。利用多维卷积操作,可将二维的卷积网络模型直接推广到多维卷积网络模型,然而随着信号维度的增加,模型参数急剧增加,卷积操作的时间和空间复杂度提高,从而导致网络计算和存储代价大幅度的提升。为此,本文利用两类可分离结构降低卷积的运算复杂度,提出两种轻量级的卷积神经网络。本文的工作主要集中在如下两个方面:第一,提出基于序贯结构的多维可分离卷积神经网络,在网络中采用一组一维卷积操作取代传统的一次多维卷积操作,模型在每个维度上交替进行一维的卷积运算。与传统卷积网络相比,该模型降低了空间复杂度,而且将指数级时间复杂度降为线性级复杂度。在MNIST和KTH数据集上对该模型进行测试,实验表明该模型在较低的时空复杂度下获得与传统卷积网络模型相似的识别精度,同时在小样本时,该模型的识别精度比传统模型高9%。第二,提出基于多路并行结构的多维可分离卷积神经网络。该模型利用高阶张量表示多维信号,由多层的输入和输出均为高阶张量的模块组成。在每个模块中,通过张量运算、利用一组一维卷积并行操作提取信号在不同维度的特性,通过特征融合,获得该模块层的多维信号特性。该模型不仅可以由低级到高级提取多维信号的层级特性,而且大幅度地减少网络参数的数目,降低网络训练的时空复杂度,提高网络推理速度。此外,该模型利用一维卷积运算增加每一个维度上训练样本的数目,降低了采样复杂度。该模型已在CIFAR-10、MNIST以及KTH数据集上验证,实验结果表明,该模型不仅与当前出色的卷积网络模型的精度相当,而且时间和空间复杂度大幅降低。在CIFAR-10数据集上,在相近的识别精度下,该模型仅需要0.47M,而VGG则需要138M。该模型提供了一种处理多维信号的可行方案,尤其适用于计算能力不足的设备。
其他文献
水膜压力分布状况决定着水润滑轴承的使用性能和承载能力,是轴承设计须考虑的重要内容之一。在研究水润滑轴承水膜压力时,须建立相应的测试试验装置,以验证理论计算的精度与
未来高速光通信网络单通道的传输速率将超过100Gbit/s,这就需要对光信号进行灵敏、高速地检测。传统的方法是使用高速光电探测器和高速示波器进行检测,但是这种方法由于光电
为创造安全的列车行驶环境,必须注重对施工质量的控制。文章以新建贵阳至广州高速铁路工程为背景,从本工程的实际情况出发,根据路基过渡段的基本特点,提出与之相适应的施工技
中国项目管理委员会将项目管理定义为,一项全面的、新型的管理模式,不仅站在了一个相对较高的层次上,对现在项目进行计划、组织、领导、控制以及创新等活动,进而来实现项目的