机器人足球是一个典型的多智能体系统，作为人工智研究领域新的标准问题，引起越来越多研究者的关注，而比赛系统中的在线学习成为改善比赛效果的主要手段。 因为强化学习不需要对环境的先验知识，是通过目标与行为之间的交互来实现的一种具有自适应能力的无监督机器学习方法，所以强化学习适于在机器人足球这一复杂动态系统中应用。为了深入研究强化学习在特定的复杂应用中的规律，克服其自身的局限，推进机器人足球技术的发展，在系统总结强化学习，特别是Q学习的历史发展、技术特点的基础上，结合机器人足球这一典型的多智能体系统，提出了强化学习在机器人足球中应用的问题。 本文以湖北省教育厅重大科研项目“基于信息融合的机器人足球比赛系统开发”为背景，综合论述了强化学习的基本模型及其实现的算法，进而在比较分析强化学习中贪心动作选择策略和ε-贪心动作选择策略的基础上，将模拟退火算法中的Mempolis准则引入到强化学习的动作选取中，提出了一种基于模拟退火的强化学习算法，较好的解决了强化学习中探索与扩张之间的平衡问题。另一方面，进行了机器人足球比赛系统的基本动作和技术动作的设计，并实现了基于角色的比赛策略。在此策略的基础上，以机器人足球比赛中的具体问题为出发点，将基于模拟退火的强化学习进行了综合应用，解决了踢球机器人路径规划和动作选择的难题。 以国际机器人足球联盟的正式比赛L鹕eLeagueSimumSot为平台，综合应用以上研究成果，进行比赛系统的开发，所开发的系统通过比赛进行了验证，在多次比赛中获奖。