论文部分内容阅读
强化学习系统以Agent与环境的长期交互为主要特征。该交互可以建模为一个马尔科夫决策过程(MDP)。该环境可能是未知的、动态变化的、不确定的、部分感知甚至不可感知的。面对这样的环境，强化学习旨在构建能够自学习和在线学习的智能系统，这样必然带来一定的复杂性。本文着眼于大空间或连续空间的MDP任务所面临的“维数灾”问题，以函数逼近强化学习中的值函数逼近为出发点。针对函数逼近解决“维数灾”问题中面临的诸多挑战，分析了不同类型逼近模型的优缺点，提出了若干值函数逼近模型及对应的学习算法。主要研究内容包括以下三部分：（1）针对强化学习算法面临的收敛速度慢及初始性能差的问题，提出了一种基于势函数塑造奖赏机制的值函数逼近模型及算法。该机制自适应地将模型知识以奖赏的形式传递给学习器，能够有效提高算法的收敛速度和初始性能。从理论上分析了算法的收敛性，并通过实验验证了算法的有效性。（2）鉴于核方法的有效性，提出一种基于最小二乘支持向量回归(LSSVR)的Q值函数分片逼近模型及算法。利用LSSVR将值函数逼近问题转化为高维特征空间中的线性回归问题，建立了一套完整的问题表示、转化和求解模型。为了提高逼近模型的精度，利用动作关联的多个LSSVR模型来分片逼近Q值函数。针对强化学习的在线特性，提出了随机样本池和基于近似线性依赖(ALD)的在线稀疏化样本池。（3）针对RBF网络逼近模型的“灾难性扰动”问题，提出了一种基于自适应归一化RBF网络的Q-V值函数协同逼近模型及算法。对由RBFs提取得到的特征向量进行归一化处理，并在线自适应地调整网络隐藏层节点的个数、中心及宽度，可以一定程度上提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用Q和V值函数协同塑造TD误差，可以有效提高算法的收敛速度和初始性能。