论文部分内容阅读
泛函网络是近几年提出的一种新的对神经网络的有效推广,有些理论和应用方面的基础还不太健全,需要人们不断地提出更适合于所要解决问题的新的网络结构,完善基础理论,提出新的学习算法。本文试图从计算数学的角度出发,泛函网络作为数学的一种“可视化(Visual)”手段,把某些数学形式或结构归结为某种泛函网络形式,为传统的数值计算方法寻找一新的计算模型和方法。确切地讲,将泛函神经元作为基本部件,基于图论的观点,将复杂的泛函网络由若干个简单的泛函网络“拼合”而成,这种“拼合”不是简单的组装,而是依据待解问题的“先验知识”进行拼装;寻求建立所求问题的泛函网络拓扑结构神经计算系统;再用数值分析的方法,探讨其泛函网络的数学本质,包括泛函网络的插值机理、构造方法与逼近理论、新的数值计算方法及应用范围,为某些没有直观背景的数学形式或结构找到一定意义下的实际背景。本文创新性主要成果如下: 1.提出一种多维函数逼近的泛函网络逼近方法,设计了一类用于函数逼近的可分离泛函网络,给出了基于泛函网络的函数逼近学习算法,而泛函网络的参数通过解方程组得到,它们能逼近给定函数到预定的精度。仿真结果表明,这种逼近方法简单可行,具有较快的收敛速度和良好的逼近性能。 2.提出了一种回归泛函网络新模型,利用回归泛函网络既有前馈通路,又有反馈通路的特点,将网络中间层泛函神经元函数设置为可调多项式函数序列,提出了多项式函数型回归泛函网络新模型,它不但具有回归泛函网络的特点,而且具有较强的函数逼近能力。给出回归泛函网络稳定性的一种判据,把稳定点转化为某种函数的不动点:针对递归计算问题,提出了一多项式函数型回归泛函网络学习算法,并将该网络模型应用于多元多项式近似因式分解,其学习算法在多元多项式近似分解中体现了较强的优越性。通过算例分析表明,该算法十分有效,收敛速度快,计算精度高。所提出的多项式函数型回归泛函网络模型及学习算法对计算机代数的研究有重要指导意义。 3.设计出一类单输入单输出泛函网络与双输入单输出泛函网络作为构造层次泛函网络基本模型,提出了一种层次泛函网络新模型,给出了层次泛函网络构造方法和整体学习算法,而层次泛函网络的参数利用解方程组来进行逐层学习。以非线性代数方程组为例,指出人们熟知一些数学解题方法可以用层次泛函网络来表达,探讨了基于层次泛函网络求解非线性代数方程组学习算法实现的一些技术问题。相对传统方法,层次泛函网络更适合于具有层次结构的应用领域。计算机仿真结果表明,这种层次学习方法具有较快的收敛速度和良好的逼近性能。4.提出了一种基于泛函网络的多项式Euclidean计算新模型,给出一种基于泛函网络的多项式Euclidean新算法,而网络的泛函参数利用解线性方程组方法来完成。相对传统的算法,不但能够快速地获得所求多项式问题的精确解,而且可获得所求多项式问题的近似解。计算机仿真结果表明,该算法十分有效、可行,可看作是对传统的Euclidean算法的一种推广。该算法将在计算机数学、代数密码学等方面有着广泛地应用。 5.首先分别介绍了泛函网络概念和Fuzzy插值概念及性质,将泛函网络结构特性和Fuzzy插值映射有机地结合起来,提出了一类新型Fuzzy泛函网络模型,给出其Fuzzy泛函网络构造方法,采用构造性方法从理论上证明了Fuzzy泛函网络能够以任意精度逼近任意定义在有界闭集上的连续函数,这从理论上为Fuzzy泛函网络的使用提供了依据,具有明显的实际应用价值。 6.将实值泛函神经元推广到复值泛函神经元,再对复值泛函神经元的结构做了一个变形,提出了一种复值泛函网络新模型,给出了一种基于梯度下降法的复值可分离泛函网络学习算法。采用复分析的方法,利用单一泛函神经元模型,借助于正交边界和实步长函数概念求解复值XOR分类问题,理论上分析可看出,相比复值神经网络,复值泛函网络在解决分类问题具有很强的泛化能力。 7.针对序列泛函网络,提出了一种序列泛函网络学习算法,而网络的泛函参数利用递度下降法来进行学习.在此基础上,给出了9种典型的泛函方程求解序列泛函网络模型,给出了一种基于序列泛函网络学习算法的求解泛函方程方法,该方法十分有效,收敛速度快,计算精度高,泛化性能好,解决了传统的数值方法难以求解泛函方程这个问题,该方法可用于一般泛函方程求解。 8.泛函网络同神经网络一样,至今还没有一系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,将整个泛函网络的设计分解为单个神经元的逐个设计:然后,在此框架下提出了基于遗传规划的泛函神经元的设计方法,该方法可实现对神经元函数类型的优化。仿真实验表明,本方法是有效可行的,能用较小的网络规模获得更满意的泛化特性。