近年来,人工智能领域的发展突飞猛进,新的技术和新的方法层出不穷。这其中,借助了神经网络感知优势的深度强化学习更是备受关注。本文选择回声状态网络（Echo State Network,ESN）作为研究对象,并在此基础上对强化学习领域经典算法展开研究。本文主要做了以下几个方面的工作:首先,对传统递归最小二乘法（Recursive Least Squares,RLS）优化的ESN在线学习算法进行优化,提出一种新的基于迷你批的MRLS-ESN优化算法;之后,将MRLS-ESN算法分别与传统策略控制算法Q-learning和Sarsa相结合,进而提出ESNRLS-Q和ESNRLS-Sarsa两种新的策略控制算法;最后,简单探讨了RLS-ESN优化算法在优势演员-评论家（Advantage actor-critic,A2C）算法中的应用。ESN一般采RLS进行优化,虽然RLS具有很快的收敛速度,但每次迭代时仅仅使用一个样本,使得ESN难以适于大规模数据集的处理。为此,首先给出一种ESN迷你批序列学习模型及对应的随机梯度下降和Adam优化算法,然后提出一种新的迷你批RLS优化算法,以提高该ESN模型的训练效率。在此基础上,为了防止所提算法训练ESN过拟合,融入进一种正则化方法。此外,为了使ESN更适于处理时变任务,进一步提出一种面向所提算法的遗忘因子自适应方法。仿真结果表明,所提算法较传统RLS优化算法具有更快的处理速度,并且具有更好的收敛质量。ESN虽然具有简单易用,学习效率高等优点,但受限于智能体状态间的强相关性,基于ESN的策略控制算法难以采用RLS来更新网络参数。针对这一问题,本文提出了两种新的策略控制算法ESNRLS-Q和ESNRLS-Sarsa。首先,采用泄漏积分型ESN和迷你批方式训练,用以减少训练样本间的关联性。其次,采用平均近似的方法更新RLS自相关矩阵,使之适于处理迷你批序列。再次,采用正则化预防过拟合。此外,采用Mellowmax方法计算目标状态-动作值,以提高所提算法的收敛性能。理论分析和仿真实验表明,所提算法不仅具有较低的计算复杂度,而且还具有较好的收敛性能。在A2C算法中,评论家网络参数的优化至关重要。针对评论家网络的优化问题,本文提出一种基于RLS-ESN的A2C算法。首先,借助ESN为评论家网络的训练提供更多有用信息;其次,使用RLS算法对相关参数进行优化,以达到加速算法收敛的目的;最后,在与基于梯度的传统优化算法的比较中,验证了所提算法的有效性。