随着类脑计算和人工智能的发展,人工神经网络得到了广泛的应用。人工神经网络能够模拟人脑结构和功能,是一种智能信息处理系统。传统的人工神经网络一般采用梯度类算法训练权值,然而梯度算法存在一些问题,如训练过程复杂、容易陷入局部最优、存在着梯度消失和梯度爆炸的现象。近几年出现的回声状态网络（Echo state network,ESN）因其较快的学习速度和较好的泛化能力,引起了广泛的关注,并成功应用到各个领域。回声状态网络模仿大脑中递归连接的神经元电路结构,包含输入层、储备池层和输出层,其核心是由随机稀疏连接的神经元构成的储备池。ESN的输入权值、储备池权值及储备池相关参数一般进行随机初始化。本论文针对传统回声状态网络的权值随机初始化问题,建立了回声状态网络的权值初始化模型,解决了回声状态网络随机权值的优化问题;针对回声状态网络的共线性问题,建立了回声状态网络输出权值的学习算法,解决了回声状态网络的共线性问题及不适定问题;针对传统回声状态网络储备池结构的随机设定问题,建立了回声状态网络结构自组织设计模型,解决了回声状态网络的结构设计问题。针对城市污水处理过程出水氨氮的测量问题,建立了回声状态网络的软测量模型,给出了一种出水氨氮的软测量方法。因此,回声状态网络优化设计研究不但能推动ESN理论的发展,而且具有很高的实际应用价值。论文的主要研究工作和创新点如下:1.回声状态网络权值初始化研究针对回声状态网络输入权值和储备池权值的随机初始化问题,提出了权值初始化回声状态网络（Weight initialization for ESN,WIESN）。首先,利用柯西不等式和线性代数方法,确定输入权值和储备池权值的随机生成区间。其次,得到了优化的初始权值与输入样本、储备池规模和储备池状态相关,并确保神经元的输出位于sigmoid函数的激活区域。最后,对权值初始化后的ESN进行训练。2.基于自适应二阶算法的回声状态网络输出权值计算研究针对回声状态网络的不适定问题,提出了一种基于自适应Levenberg-Marquardt（LM）算法的回声状态网络（Adaptive LM-ESN,ALM-ESN）。在对输出权值训练之前,首先,采用线性代数方法对输入权值和储备池权值进行初始化,得到优化的权值区间。其次,采用LM算法代替经典的训练输出权值的线性回归方法,自适应选择阻尼项,对自适应因子采用信赖域技术进行修正。最后,给出了收敛性和稳定性理论分析。实验结果表明,与其他ESNs相比较,改进的网络具有较好的预测性能。3.基于稀疏正则化的回声状态网络输出权值计算研究针对回声状态网络储备池规模过大,冗余神经元可能导致共线性问题,提出了自适应lasso（Least absolute shrinkage and selection operator）回声状态网络（Adaptive lasso ESN,ALESN）。首先,ALESN可以间接修剪冗余神经元,从而自动选择重要的储备池神经元,得到稀疏模型,且具有oracle性质。鉴于自适应lasso本质上是一个带有l₁约束的凸优化问题,因此,可以用求解lasso的相同算法求解自适应lasso。其次,对于正则化参数的选择方面,提出了一种改进的贝叶斯信息准则来进行参数选择。最后,给出了改进模型的稳定性理论分析。仿真结果表明,与其他ESNs相比较,ALESN具有较好的预测性能及较小的输出权值范围。4.增量式正则化回声状态网络结构设计针对回声状态网络的结构设计问题,给出了增量式正则化回声状态网络（Incremental regularized ESN,IRESN）。首先,通过奇异值分解原理生成子储备池,所构造的子储备池权值矩阵奇异值均小于1。其次,根据残差或者问题复杂度,将子储备池逐个添加至网络中,直至满足给定的终止条件,网络的增长过程中不需要对储备池权值矩阵进行缩放就可以保证回声状态特性。然后,正则化参数采用留一交叉验证的方法进行选取。最后,给出了IRESN的收敛性理论分析。仿真结果表明,与其他ESNs相比较,所得网络具有紧凑的结构和较高的预测精度。5.修剪型模块化回声状态网络结构设计针对回声状态网络的结构设计问题,给出了基于灵敏度分析的修剪型模块化回声状态网络（Pruning modular ESN,PMESN）。首先,利用奇异值分解原理构造多个相互独立的子储备池。其次,根据灵敏度定义网络规模适应度,由网络规模适应度确定保留的子储备池模块。最后,为了保留所删除的子储备池模块的特征信息,同时对过拟合信息进行处理,采用权值平均横向传播的方法对子储备池模块的输入权值进行更新。所提算法不需要对储备池权值进行缩放就可以保证回声状态特性。6.基于稀疏贝叶斯回声状态网络的出水氨氮软测量模型针对城市污水处理过程出水氨氮的测量问题,提出了稀疏贝叶斯回声状态网络软测量模型（Sparse Bayesian ESN,SBESN）。首先,进行数据处理及变量选择。其次,建立SBESN模型,引入两个超参数,其值由II-型极大似然估计确定,输出权值与独立先验有关,因此复杂度可以有效控制。零输出权值对应的储备池神经元可以被修剪掉,从而得到一个紧凑的结构,建立根据具体工况相匹配的网络结构,实现模型的自组织。最后,利用训练好的SBESN模型进行氨氮软测量。实验结果表明,SBESN能够实现城市污水处理过程出水氨氮快速、准确测量。