论文部分内容阅读
近年来,同时具有符号模型(如决策树)的可理解性及非符号模型(如神经网络)可在线学习的混合学习模型逐渐成为模式识别与理解领域的一个热门课题,它在生物医学、信息安全、故障诊断、面部表情分析等领域均显示了十分诱人的应用前景。本论文基于神经网络树和支撑向量机树,系统地研究了基于分而治之思想的树型混合学习模型的理论方法及应用,内容包括:1.针对连续特征输入情况提出一种基于特征自组织学习的神经网络树模型。在二值输入情况下,尽管每个专家神经网络的输入特征数很小,对连续特征问题的学习结果仍是难以解释的。为此,提出了一种基于特征自组织学习的神经网络树,并以UCI机器学习数据库中含连续特征的样本集为例验证模型的性能,实验结果表明提出的模型能够在保持识别精确率和不增加模型结构复杂度的同时,降低学习结果解释的空间复杂度。2.将基于特征自组织学习的神经网络树应用到入侵检测问题中。构建在KDD据库上的基于特征自组织学习的神经网络树模型获得了令人满意的训练和测试识别精确率,并从模型的学习结果中了解到对检测结果具有决定性影响的特征的信息。3.提出了一种基于混淆交叉的支撑向量机树学习模型(CSVMT)。首先针对复杂模式二分类问题,结合树型结构分而治之的思想,以混淆交叉因子控制相邻子节点间样例的交叉,构建二分类CSVMT模型;针对多分类问题,以启发式的方法产生教师信号,将二分类CSVMT扩展为多分类CSVMT。以双螺旋复杂二分类问题和UCI机器学习库中的多分类数据集作为仿真数据验证CSVMT模型的性能,结果说明CSVMT具有优良的泛化性能和较高的测试识别精确率。4.提出了基于有监督局部线性嵌入的支撑向量机树模型(SLLE-CSVMT)。为了解决高维特征空间中,每个中间节点学习结果可能包含冗余信息的问题,充分运用数据的类别信息,以及数据点之间的和各特征维之间的相互关系,本文分别采用两种训练方法实现基于有监督局部线性嵌入的支撑向量机树模型的构建。最后以UCI机器学习数据库中的optdigits样本集为例验证和分析了模型的结构和分类性能,实验表明SLLE-CSVMT学习方法能够在远低于原始特征维数的嵌入坐标空间中构建结构精简、识别性能优良的模型。5.针对SLLE-CSVMT模型对测试样本有较高的计算量和存储量要求的情况,提