论文部分内容阅读
机器学习方法主要有两种:符号学习方法和非符号学习方法。决策树是一种典型的符号学习模型,神经网络是一种最常见的非符号学习模型。一般来说,符号学习方法适合于提取能理解的规则但不能在线增量学习,非符号学习方法适合于在线增量学习,但是不能提取能理解的规则。神经网络树是一种神经网络和决策树的混合学习模型,总体的结构是决策树模型,每一个非终端节点是一个专家神经网络,神经网络树有决策树和神经网络两者的优点。为了增强神经网络树的实用性,应当提出用于增量学习的有效算法,设计尽可能小的神经网络,提出在线解释的方法。这篇论文的目的是基于多目标优化和多模板匹配算法设计可解释的,能理解的或自我解释的神经网络树。本文的主要贡献是:第一章回顾了已有的神经网络与决策树的混合模型设计方法。第二章研究人工神经网络拓扑结构与学习算法、决策树的定义与学习算法以及基于遗传算法的优化方法等,并以此为基础研究了神经网络树的定义及其演化设计方法。第三章在研究有限输入神经网络树的基础上,提出了基于遗传算法的多目标优化方法设计更容易解释和理解的神经网络树。该方法通过同时对非终端节点的分类能力(通过计算信息增益率)、神经网络树非终端节点的隐层神经元数目和神经网络树每个非终端节点的输入特征数目等多个目标进行优化,在提高非终端节点分类能力的前提下,尽量减少神经网络树非终端节点的隐层神经元数目和神经网络树每个非终端节点的输入特征数目,来获得更容易解释和理解的神经网络树。论文利用UCI机器学习数据库中的4个数据库验证了算法的有效性。第四章通过采用多模板匹配方法设计了可以自我解释神经网络树,即,用多模板取代原型神经网络树的多层感知器单元,再通过进化算法对输入矢量和网络权重矢量间的距离进行优化来设计各模板。理论分析表明此种神经网络树有自我解释和便于理解的特点,并且其泛化能力和分类能力并不会降低。理论分析和大量实验验证所提出方法的有效性。