论文部分内容阅读
卷积神经网络(Convolutional Neural Networks,简称CNNs)是一种重要的深度学习模型,目前该模型已经被广泛地应用在计算视觉,语音识别,自然语言处理等领域。卷积神经网络不仅具有非常强的模式识别能力,而且通过训练卷积神经网络,还可以得到与输入数据相关的、分布式的特征表示。卷积神经网络的这些优点主要归功于其稀疏的、局部的网络结构。但是为了获得较好的识别效果,卷积神经网络的结构通常需要人工设计。这就要求研究人员对所使用的数据具有较深入的理解,而这种对人工干预的依赖性,极大限制了卷积神经网络的应用范围。那么卷积神经网络的结构能否在没有人工干预的情况下,完全由数据集自身决定呢?为了探究这一问题,本文完成了如下工作。(1)针对卷积神经网络结构依赖于人工设计这一问题,提出了一种自适应地构建卷积神经网络结构(Self-adaptively constructing convolutional neural networks,简称SAC-CNNs)的新方法。SAC-CNNs主要包含两个核心过程:构建卷积层的局部感知域和组织池化层的池化分组。首先,SAC-CNNs依据互信息为每个局部感知域选择其组成成员,并设定各成员的排序顺序,以确保不同局部感知域中对应成员的排序顺序尽可能地保持一致。其次SAC-CNNs利用所提出的一种贪心算法贪婪地选择富含信息最丰富的一组神经元作为池化中心,并对池化分组的其它成员按照互信息进行选择。为了验证SAC-CNNs方法的有效性,本文使用了打乱输入特征顺序的数据作为实验测试数据。结果表明,SAC-CNNs构建的卷积神经网络结构是合理的,且能够取得接近于目前最好卷积神经网络模型的分类结果。(2)针对上一个工作中的一个缺陷:单凭互信息决定局部感知域内各成员的排序顺序,会引入不同局部感知域间对应成员排序顺序的不一致,本文提出了两个优化策略:置信度加权和排序顺序自调整策略。置信度加权策略是在每个局部感知域内利用标准化后的互信息对输入神经元的激活值加权,以减少这种排序顺序的不一致对最终分类性能造成的影响。排序顺序自调整策略是指利用模型训练后得到的过滤器对各局部感知域内各成员的排序顺序进行调整,试图从根本上降低排序顺序的不一致程度。实验结果表明这两个策略都是有效的,且都能够提高SAC-CNNs的分类能力。此外,融合两种策略的SAC-CNNs能够进一步缩小与最佳卷积神经网络之间的差异。