论文部分内容阅读
神经网络的结构直接决定其性能和工作效率,神经网络的结构优化不仅是该领域研究的热点问题,也是工程应用中不能逾越的关键步骤。随着网络深度的增加,神经网络的结构优化难度指数递增,所以解决这一问题对于神经网络设计和应用具有重要理论和实际意义。本论文基于信息论与统计学理论,尝试定义了不同类型的信息熵反映人工神经网络中神经元对数据的负载能力,也使用序列模型对于深度卷积神经网络进行结构序列化建模,结合优化算法提升模型训练效率,既实现神经网络结构的自适应优化,也提升了神经网络的普适性,促进神经网络的发展。本文研究的主要工作包括:1、BP神经网络与受限玻尔兹曼机结构优化算法设计。前馈神经网络和受限玻尔兹曼机作为人工神经网络的两个重要模型,为如今的深度学习的飞速发展提供了重要的训练机制和优化方法。对于这两种模型,我们研究了全连接网络的结构优化方法,使用信息熵和均方误差描述网络的局部和全局的工作状态,根据工作状态调整网络结构,使模型结构趋于稳定。由于这两种模型与深度置信网络的相关性,本文据此同时设计算法与实验,最终验证了所提出的深度置信网络结构优化算法的有效性。2、深度卷积神经网络模型结构的优化算法设计。深度卷积神经网络的结构优化较传统网络来说更难,主要的原因是卷积神经网络的参数更多,网络的组成成分更加丰富。除了卷积层和池化层的大小和步长外,还有许多如Dropout、Batch Normalization、Softmax、Dense层等网络组件共同堆砌组成深度网络模型。因此对深度模型使用空间序列建模进行组件选择是相对较好的结构优化方式,本文使用LSTM网络作为组件选择和连接方式的控制器。3、神经网络优化算法实验设计。由于模型之间的工作原理不同,我们设计并在相应的实验中验证了文中结构优化算法的实际工作效果,并和近期提出的优化算法效果做了对比分析。对于分类任务,使用MNIST、CIFAR-10、CIFAR-100和“猫狗大战”数据集来验证模型的能力;对于回归任务来说,非线性系统模型的拟合更能反映模型的能力。