神经网络和模糊系统都是模拟人的思维,能够解决许多传统技术无法解决的非线性、不确定性的复杂问题,在机器学习领域具有重要作用.而二者又各自具有优缺点,神经网络具有学习能力,但神经网络中的权值向量形式难以做出定性的解释和表达.模糊系统擅长利用人的经验,但是模糊推理系统中如何提取、及优化模糊规则及其参数,一直是热点解决的领域.如何将两个相互融合,取长补短地形成一个统一的系统进行研究就十分重要而有意义.模糊神经网络或神经模糊系统应运而生,不仅使得模糊系统成为具有学习能力,而且使神经网络得以处理模糊规则.模糊神经网络并已广泛应用于非线性系统辨识、智能控制、模式识别等领域.具体地,本文包括的主要内容如下：1.带隐层的前向神经网络是应用最广泛的神经网络,并且通常采用基于梯度下降的反馈(BP)学习算法.网络学习能力的优劣取决于多种因素,包括网络结构、学习率、误差函数等.在提及初始权值对网络的影响时,一个重要而广泛接受的初始权值选择的法则是在一个小区间内选择初始权值,从而避免在训练过程中过早地陷入局部极小.本文指出另一观点：在一些比较特殊的情况下,例如,一些广泛应用的基准分类问题中,小的初始权值反而在训练的初始阶段就会引起很慢的收敛速度.因而,在数值实验中解决此种分类问题时,初始权值的选取既不能太大,也不能太小.例如,可以选择在一个去除零点的区间中进行选取.2.模糊感知器的主要功能是通过网络的自学习来对样本进行分类.本文首先研究的带递归单元的模糊感知器,其结构类似于传统感知器结构,由于输入层加入递归单元,从而具有动态映射能力,可以更好解决分类问题.针对一种基于模糊逻辑运算的带递归的模糊感知器进行了收敛性分析,其网络结构类似于传统感知器模型,只是将传统感知器模型内部运算的加法-乘法,变成模糊系统的取大-取小,并加入动态递归项.设定网络的初始权值均为常数0,证明该学习算法在一定条件下有限收敛,即有限步后权值的训练停止.其次,针对学习算法收敛的限制条件较强,本文还提出了基于完全随机输入的模糊δ-规则,当样本模糊可分时,在较弱的条件下,也证明了算法的有限结果.3.高阶神经网络更有更强的非线性映射能力,Pi-Sigma神经网络是高阶神经网络中重要的一类.本文研究基于1阶Takagi-Sugeno模糊推理系统的Pi-Sigma神经网络,为了计算梯度简便,改进了神经-模糊学习算法,并证明了该算法的弱收敛及强收敛性,数值实验也验证了改进后的算法比原算法具有更快的收敛速度和更高的分类正确率4.一种常用且可行的决定神经网络规格的方法就是在一个较大的网络中去除不必要的连接.L1/2正则化已被认为是稀疏化的重要方法,但其非光滑性可能引起震荡现象的发生.本节介绍一种光滑的L1,2正则化方法可以增进学习效率并提高Takagi-Sugeno(T-S)模糊系统的稀疏性,还给出一阶T-S系统的弱收敛和强收敛定理,并且学习率和惩罚项系数的关系也给出以保证收敛.数值模拟显示了光滑L1/2正则化比原来的L1/2正则化的优势.