70年代以来，人们探索不同的学习策略和学习方法，且在本阶段已开始把学习系统与各种应用结合起来，并取得很大的成功，促进机器学习的发展。1980年，在美国的卡内基—梅隆(CMU、)召开了第一届机器学习国际研讨会，标志着机器学习研究已在全世界兴起。1989年，Carbonell发表文章指出机器学习有4个研究方向：连接机器学习、基于符号的归纳机器学习、遗传机器学习与分析机器学习。十年过去了，人们的研究热点发生了转移，1997年，Dietterich提出了另外4个新的研究方向：分类器的集成、海量数据的有教师学习算法、强化机器学习(即强化学习)与学习复杂统计模型。 在1954年，“强化”和“强化学习”这些术语由Minsky首次提出并出现在工程文献上。于1965年，在控制理论中，由Waltz和付京孙分别独立提出这一概念。在六七十年代，强化学习研究进展比较缓慢，进入80年代以后，随着人们人工神经网络的研究不断地取得进展以及计算机技术的进步，人们对强化学习的研究出现了高潮，逐渐成为机器学习研究中的活跃领域。世界各地的学者提出了各种算法及学习策略，也把强化学习应用到很多领域，比如说，游戏比赛，在这方面最早的应用例子是Samuel的下棋程序；调度优化；应用最多的莫过于机器人领域：控制问题，其中典型实例，就是倒立摆控制系统。 在稳定性控制问题上，倒立摆既具有普便性又具有典型性。倒立摆作为一个装置，成本低廉，结构简单。作为一个被控对太原理工大学硕士研究生学位论文象，又相当复杂，高阶次，不稳定，多变量，非线性，强祸合系统，只有采取行之有效的方法方才能使之稳定。而且当一种新的理论和方法提出以后，在不能用理论加以严格证明时，可以用倒立摆系统装置来验证其正确性及实用性。倒立摆的研究不仅有其深刻的理论意义，还有重要的工程背景。直升飞机、火箭飞行、人造卫星的运行、机器人的举重、做体操、及机器人的行走都存在有类似于倒立摆系统稳定控制相似问题。因此，倒立摆的研究对于火箭飞行以及机器人的控制等现代高新技术的研究具有重要的实践意义。 本文主要是在对机器学习、强化学习及倒立摆进行简明面深入的综述的基础上，并把强化学习的思想用于一阶倒立摆和二阶倒立摆的控制，并对学习结果做了进一步的分析，论文中的创新点如下: 首先，本文把强化学习的思想与多维线性插值结合起来平衡控制一阶倒立摆，本算法是把状态空间离散化，用规则表作为值函数的表达结构，用强化学习直接对平衡控制倒立摆所需要的力进行学习。学习结果表明，所学到力与各个状态变量之间的关系几乎呈线性的，所以它为学习线性控制方程的系数做了必要准备。 其次，通过学习一阶、二阶倒立摆控制方程系数，倒立摆取得很好的控制效果。对于二阶倒立摆，本文分析了系数初始值对学习的影响，初始值对学习时间有一定的影响，但对学习效果基本上没影响;从最后学习效果可以看出，此算法对二级倒立摆的控制取得了很好的效果;把一级的学习结果作为二级学习的初始值时，学习时间会大大缩短，因此这种学习方法有很好的从低级到高级的拓展性:它不需要太多的先验知识，是解决一类控制问题的好的学习方法。