论文部分内容阅读
很多领域已经应用了前馈型神经网络的学习算法,但是由于多数基于梯度下降的学习算法的参数需要进行重复迭代训练,且算法很容易陷入局部最小值点,使得多数基于梯度下降的学习算法不能满足实际要求。针对单隐含层前馈神经网络结构(SLFNs)存在的一些问题,2005年,黄广斌等人针对提出了一种新的学习算法。该算法针对解决传统单隐含层前馈神经网络存在的上述问题,并命名为极限学习机算法(简称为ELM)。极限学习机的网络结构由一个输入层,单隐含层以及一个输出层构成。与其他的学习算法不同之处在于,ELM任意设定输入权值和网络隐含层节点阈值,然后通过Moore-Penrose广义逆的求解方法求取网络隐含层输出矩阵,最终获得连接网络隐含层与网络输出层的权值。ELM学习算法除了预先设定网络结构外无需设定其他参数,容易使用,且学习速度较传统前馈学习算法快近几千倍,除此之外,ELM学习算法具有良好的泛化性能。但是,随着现代工业过程的越来越复杂,变量之间相互耦合,操作单元之间不独立,使得工业数据呈现高维度,强相关,高度非线性等特点。在处理复杂、大规模、非线性系统的建模任务时,极限学习机需要较大规模才能满足需求,实用性较差。针对该问题,本文研究了基于主元分析的方法对输入数据进行降维处理,以达到简化网络的目的,本论文主要分为以下两方面:(1) 针对化工过程中的高维数据建模,对传统的极限学习机做出改进,建立了基于主元分析方法的极限学习机改进模型。极限学习机算法的研究中,发现在网络的输出矩阵H满足列满秩条件时,连接网络隐含层与网络输出层之问的权值β才存在解。本文通过提取输入信息中的主元变量,用提取的主元信息作为极限学习机模型的输入,由此构成了基于主元分析的极限学习机算法(PCA-ELM),以提高传统的极限学习机在解决实际化工过程的高维数据建模问题的能力。并通过UCI标准数据集Triazines数据集和Concrete Slump Test Data(CSTD)数据集进行回归测试,用Ionosphere数据集进行分类验证。用高密度聚乙烯聚合反应过程(HDPE工艺流程)和二甲酸PTA工艺过程进行仿真试验。改进网络模型的仿真结果与传统的极限学习机算法仿真结果进行了对比,对比结果表明改进的极限学习算法模型具有模型结构较为简单,建模精度更高,稳定性更好等优点。(2) 随着现代化工过程越来越复杂,变量之间相关性较强,模型的输入变量与模型的输出变量之间的关系通常呈现为强非线性的关系,而PCA从输入数据中提取的为线性主元,限制了网络的性能。为了提高极限学习机在复杂化工过程当中的应用能力,本文建立了基于非线性主元变量提取的增强型极限学习机,模型沿用文献中已有的正负属性导向的输入结构,然后采用输入训练神经网络提取非线性主元变量,并将所提取的非线性信息输入到网络模型的输出节点上,最终形成了基于非线性主元变量的增强型极限学习机(NPCs-IELM)模型。为了验证改进模型的有效性,首先用UCI数据集Housing数据集进行了验证,然后将改进的模型用于化工仿真过程:田纳西州伊士曼Tennessee Eastman (TE)过程以及高密度聚乙烯(HDPE)过程。将NPCs-IELM的验证结果与ELM, IELM, PCA-IELM以及Kernel-ELM进行了对比,结果表明改进的NPCs-IELM网络模型更加稳定,具有更高的精度。