机器人足球作为目前研究的一个热点课题,涉及人工智能、机器人学以及智能控制等多个学科领域。由于实体机器人足球比赛对比赛的硬件设备要求比较高,极大的限制了机器人足球比赛的发展。为了将各种智能算法更好的应用于机器人足球控制上,有必要开发足球机器人比赛的仿真平台。仿真平台所需设备简单,可以单纯从软件平台模拟实体比赛,所以足球机器人仿真比赛已成为足球机器人研究领域的一个重要分支。本文主要工作是将Sarsa学习算法应用于仿真足球机器人决策中,在MSRS 11vs11足球机器人仿真平台上对决策进行验证,并与其它几何学上的算法进行比较。由于仿真比赛的环境状态是一个复杂、连续的状态空间,在应用Sarsa学习算法之前,首先要对连续的状态空间进行离散化,离散化的好坏决定了足球机器人最终学习能否成功;其次是设计好奖赏函数和动作函数,奖赏函数的设计影响到学习算法的收敛性,动作函数直接影响到足球机器人动作的执行,间接影响到学习的效果;最后将两个几何学上的算法应用于仿真平台,记录相关的实验数据,将其与Sarsa学习算法进行比较,验证了Sarsa算法的有效性。