论文部分内容阅读
生物神经网络是由海量的神经元通过树突和轴突连接而成,其能够不断学习和进化。而人工神经网络就是基于生物学中神经网络的基本原理,以网络拓扑知识为基础,模拟人脑的神经系统对外界信息的处理机制的一种数学模型。人工神经网络的研究在上世纪末期经历了一段时间的快速发展后,由于各种条件的限制,陷入了低谷。深度学习就是以人工神经网络为基础,一种更为深层次并且更加复杂的网络模型。近年来,由于计算机技术的迅猛发展,尤其是硬件条件的提升,深层神经网络的训练时间大大减少,深度学习也迅速成为一个研究热点。在数字识别,语音识别,无人驾驶,图像识别等领域,深度学习技术都有着广泛的应用。以深度学习为代表的新一代人工智能技术,正在逐渐渗透到人们生活之中,并推动着社会的发展。而卷积神经网络作为深度学习技术的一个代表,近年来也取得了飞速的发展。卷积神经网络是一种特殊的深层神经网络,它包含特殊的卷积层和降采样层,卷积层的神经元和前一层采用局部连接和权值共享的方式进行连接,从而大大降低了需要训练的参数数量。降采样层可以大幅降低输入维度,降低网络复杂度,使网络具有更高的鲁棒性,同时能够有效的抑制过拟合问题。这些设计使得卷积神经网络在识别缩放,位移以及其他形式扭曲不变的二维图形的任务上有着无可比拟的优越性。2012年的Alex-net在imagenet的比赛上大放异彩,而2015年imagenet大赛上出现的残差神经网络,又是卷积神经网络的一种新的变形,它让卷积层不直接学习目标,而是转而学习一种残差。残差神经网络的出现,让卷积网络的研究又进入了一个新的阶段。本文基于传统的残差网络,提出了一种改进的多尺度残差网络,我们的网络结构使得卷积层能够从多个不同的尺度“观察”数据,获得更为丰富的输入特征。并且缩减了网络的深度,有效了抑制了梯度消失问题的发生,减小了训练难度。同时增加了可训练参数的数量,使得网络的学习能力变得强。我们通过调整缩放参数,网络深度,每组学习模块的数量,dropout的位置及取值,使得我们的网络结构的准确率比传统的残差神经网络有了明显的提升。最后,我们使用了相对多数投票的集成学习方法,将网络在CIFAR-10上的分类错误率降低到3.49%,相对于原始的残差神经网络,错误率下降了3%。