基于互信息的自适应卷积神经网络构建方法研究

来源 :北京工业大学 | 被引量 : 4次 | 上传用户:simplyblue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Networks,简称CNNs)是一种重要的深度学习模型,目前该模型已经被广泛地应用在计算视觉,语音识别,自然语言处理等领域。卷积神经网络不仅具有非常强的模式识别能力,而且通过训练卷积神经网络,还可以得到与输入数据相关的、分布式的特征表示。卷积神经网络的这些优点主要归功于其稀疏的、局部的网络结构。但是为了获得较好的识别效果,卷积神经网络的结构通常需要人工设计。这就要求研究人员对所使用的数据具有较深入的理解,而这种对人工干预的依赖性,极大限制了卷积神经网络的应用范围。那么卷积神经网络的结构能否在没有人工干预的情况下,完全由数据集自身决定呢?为了探究这一问题,本文完成了如下工作。(1)针对卷积神经网络结构依赖于人工设计这一问题,提出了一种自适应地构建卷积神经网络结构(Self-adaptively constructing convolutional neural networks,简称SAC-CNNs)的新方法。SAC-CNNs主要包含两个核心过程:构建卷积层的局部感知域和组织池化层的池化分组。首先,SAC-CNNs依据互信息为每个局部感知域选择其组成成员,并设定各成员的排序顺序,以确保不同局部感知域中对应成员的排序顺序尽可能地保持一致。其次SAC-CNNs利用所提出的一种贪心算法贪婪地选择富含信息最丰富的一组神经元作为池化中心,并对池化分组的其它成员按照互信息进行选择。为了验证SAC-CNNs方法的有效性,本文使用了打乱输入特征顺序的数据作为实验测试数据。结果表明,SAC-CNNs构建的卷积神经网络结构是合理的,且能够取得接近于目前最好卷积神经网络模型的分类结果。(2)针对上一个工作中的一个缺陷:单凭互信息决定局部感知域内各成员的排序顺序,会引入不同局部感知域间对应成员排序顺序的不一致,本文提出了两个优化策略:置信度加权和排序顺序自调整策略。置信度加权策略是在每个局部感知域内利用标准化后的互信息对输入神经元的激活值加权,以减少这种排序顺序的不一致对最终分类性能造成的影响。排序顺序自调整策略是指利用模型训练后得到的过滤器对各局部感知域内各成员的排序顺序进行调整,试图从根本上降低排序顺序的不一致程度。实验结果表明这两个策略都是有效的,且都能够提高SAC-CNNs的分类能力。此外,融合两种策略的SAC-CNNs能够进一步缩小与最佳卷积神经网络之间的差异。
其他文献
目的探讨隐源性卒中和卵圆孔未闭间的临床关系。方法回顾性分析46例隐源性卒中患者和46例非卒中患者的常规化验检查、常规经颅多普勒超声(TCD)及TCD发泡试验(c-TCD)等临床资
目的了解近一年口腔患者修复情况,为口腔修复教学提供理论依据。方法对899例口腔修复病例中牙体缺损、牙列缺损及牙列缺失等方面进行统计分析。结果发病率在性别上无显著差异
文中研究掺入不同剂量的硫磺、SBS改性剂对TB沥青复合改性的影响。通过离析试验、多重应力蠕变回复试验、低温小梁蠕变试验,研究材料的流变性能。结果表明,TB沥青、SBS聚合物
交互式电子白板(以下简称交互白板)融合了计算机技术、微电子技术与电子通信技术,成为人与计算机进行交互的智能平台。交互式电子白板在课堂教学环境中的使用,利于教师发挥导学
明确近场脉冲型地震动的特征可为近场地区桥梁结构的抗震设计提供指导。为此,文章通过分析近场脉冲型地震动的3个强度指标与桥梁最大响应之间的相关性,探讨桥梁结构抗震分析
广东省科学院动物研究所(原广东省昆虫研究所)鸟类生态与进化研究团队于2019年获国家自然科学基金重点国际(地区)合作与交流项目,开展鸟类-羽虱-细菌共生关系的维持机制研究,