人工神经网络(ArtificialNeuralNetworks，ANN)是一个高复杂度的非线性系统，虽然从形式上模拟了人脑的学习结构，但由于所依赖的生物学理论基础尚不完善，因此人工神经网络不仅功能上远远没有达到预期的接近于人脑学习能力的目标，而且对于现有神经网络模型的工作机理也不明确，使神经网络模型的研究和性能的改进也就变得越来越困难，应用领域也受到一定的影响。本文以构建更有效的人工神经网络模型为目的，以神经网络的工作机理分析为基本出发点，采用非参数化的决策树(DecisionTree)与传统人工神经网络结合的方法，研究神经网络的结构设计方法，并进一步探讨了人工神经网络的增量学习算法，主要包括以下几方面的工作。 (1)对前馈网络的工作机理进行分析，首先证明了分类前馈网络和决策树的等价性，在此基础上，结合神经元的高维空间几何解释，对前馈网络模型的工作机理做了合理的分析，给出了如下的解释：在分类时，前馈网络通过学习正反例样本，对样本空间按照所属类别进行划分。对于一个三层前馈网络，其输入层起到形成决策界面(分割)的作用，隐层起到形成决策域(对决策界面“与”)的作用，输出层则是对决策域进行综合(对决策域“或”)的作用。并对影响神经网络泛化能力、增量学习能力的原因和因素做了直观的分析。 (2)提出了神经网络结构设计的信息论方法根据对分类前馈网络的分析，指出了前馈网络采用三层结构比较合理。针对离散和连续属性的分类问题，根据三个层次神经元的具体意义，提出了神经网络结构设计的信息论方法：基于决策树的神经网络(DecisionTree-basedNeuralNetwork，DTBNN)和基于熵的神经网络(Entropy-basedNeuralNetwork)EBNN设计方法。DTBNN是一种针对具有离散属性数据的分类问题的，利用决策树确定神经网络结构、权值和阈值初始值的系统的神经网络设计方法。该方法提高了神经网络的学习速度和学习结果的稳定性，实验结果也表明DTBNN的比熵网络的收敛速度快，且识别率也有所增加。EBNN则是针对具有连续属性数据的分类问题，把熵作为选择神经元的准则来构建神经网络结构的方法。EBNN神经网络的结构趋于简单、易于理解，并对神经网络某些参数可以进行合理设置。同时，EBNN采用分层、分类学习机制使神经网络的学习过程得以简化，解决了前馈网络的信任分配问题。EBNN在相同的神经元数目的情况下其容量要比全连接网络的容量大，因此也比全连接网络有更好的泛化性能，且该方法一定收敛。实验结果也表明EBNN的有效性。 (3)基于集成系统的神经网络增量学习，本文采用基于神经网络集成系统的方法实现前馈网络在有限的存储空间和计算复杂度下使神经网络学习新的知识时尽量保持知识结构的唯一性的增量学习能力。基于集成系统的增量学习方法以主动学习为基础，通过把新知识的样本作为重点学习的目标，结合神经网络集成系统的特性，在对原有知识结构不加任何修改的基础上实现了知识的增量学习。在LEARN++算法基础上，该算法借助于Boosting技术中主动选择样本的过程解决了神经网络的不能学习只有正例样本和小样本问题，并有效地选择了构成集成系统的个体网络，使其增量学习的泛化性能比LEARN++有很大提高。基于集成的增量学习算法增加的计算开销很少，几乎可以忽略；而所需的存储容量也在一个合理的范围内。基于集成系统的神经网络增量学习算法具有一定的普适性，也可以用于其他学习模型。