得益于深度神经网络的兴起和大数据时代的到来,机器学习在过去十年为计算机视觉、生物信息学、自然语言处理等领域带来了翻天覆地的革新。但传统深度神经网络的结构在训练过程保持不变,训练过程即学习网络参数的过程,网络结构的固化造成了系统容量的受限,不能满足对源源不断产生的新数据进行学习、表达的实际要求。传统深度神经网络要求训练之前获取完备数据集,这种基于静态数据集构造的决策模型,在学习已有数据集后学习过程就终止了,不再学习新的知识。如果新样本到达,需要改变所有网络参数重新训练模型,这不但破坏了已有知识,而且计算复杂度大,造成了巨大的内存消耗和时间消耗。本文提出一种基于神经节分化的增量式目标识别方法,其边识别边在线学习,并以无监督方式实现网络结构的生长。该模型结合传统深度神经网络和聚类分析算法,在保持优越学习能力的同时,能自适应调整网络结构,不断地从新样本中学习新知识,也增强了传统目标识别网络的可塑性和抗噪性。本文分别对聚类分析和开放式神经网络进行了研究和探讨,主要贡献如下:1.提出结构可塑的深度神经网络模型该模型是由多层受限玻尔兹曼机和神经节分化层构成的多分支结构。带有大量冗余信息的原始数据在低隐层被压缩编码为三维特征图,并在神经节分化层中确定去向。神经节分化层位于低隐层和高隐层之间,提取样本特征图规律,通过神经节的激活和分化,自适应增删神经节,决定不同样本的去向。神经节是指用于表征一组分布规律相似的样本的神经网络结点,当神经节被输入样本激活时,将该样本加入该神经节在高隐层对应的独立的样本集;特征不同的样本激活不同的神经节,自适应地更新高隐层的对应样本集。高隐层继续学习特征图的高层特征,独立的样本集形成对样本的特征记忆。2.提出基于深度学习的聚类结构将增量学习算法应用于深度神经网络是深度学习的一个新兴的研究方向,但由于增量学习算法结果的不确定性和不稳定性,常常会严重扰乱分类结果,带来适得其反的后果。大尺寸图像的非监督任务中关于增量算法的研究工作相对较少,一个重要原因是像素信息高度冗余而难以在聚类中达到满意的正确率。本文用压缩表征后的隐层数据代替像素级数据输入神经节分化层,获得了良好的聚类效果,保证了新网络的增量特性。3.提出基于局部特征的分布式训练方法神经节分化层的目的是寻找特征图的内在规律,尽量将不同类型的样本区分开来,分别训练。但这是一个不可能完成的任务,因为层数很深的分类网络尚不能做到这一点,何况神经节分化层的输入数据只是经过了浅层编码。因此,相同类别的不同样本有可能激活不同神经节,并进入不同的分支进行高层特征提取。本文提出基于局部特征的分布式训练方法,相同类别的不同样本分布在不同分支训练高层局部特征,在测试过程中每个样本的所有局部将在不同分支中得到体现。更进一步地考虑最坏情况,也即分支结构并不能把数据区分开来,所有数据随机地进入高层网络,这就等同于传统神经网络的数据输入方式。这是一种极限情况,在聚类算法稍有区分能力的情况下本模型的表达能力优于传统神经网络。4.提出抑制噪声样本的记忆保护方法对于结构上端到端的传统深度神经网络,网络每接受一个新输入样本都需要更新全局参数。如果新样本是噪声,则已有网络不加区分地拟合噪声,从而破坏了已有网络。本文提出的增量式深度神经网络,如果新样本是噪声,则新样本在神经节分化层被标记为噪点而不会进入任何簇,也不会继续送入簇后的高层训练,从而保护了已有记忆。如果在神经节分化层未能成功标记出噪声样本,由于系统每接受一个新输入样本只需要更新对应簇的局部参数的特性,也能将噪声带来的影响降到最低,增强了系统的鲁棒性。