科学技术的进步,给机器人技术提供了有力的发展平台,短短数十年的发展机器人技术就取得了骄人的成绩,如今机器人已不在是科幻电影里的稀奇之物,它开始出现在我们的社会生产生活中,甚至走进人们的家中,进入我们的课堂。机器人将人类从繁重的体力劳动中解脱出来,为人类提供娱乐、学习,甚至是陪伴,总之在各行各业机器人发挥着越来越重要的作用。可重构模块化机器人由若干个具有相同结构、互换性机械接口与电气接口、集传感与运动能力的基本模块单元组成,通过模块之间的连接形成丰富的构型以适应工作和环境需求。模块单元的同构性和互换性为模块化机器人系统实现再修复和再构型提供了可靠的硬件基础。与传统的机器人相比,模块化可重构机器人具有构型重建,一机多用的特点,在深海作业、深空探测、抢险救援,康复医疗等领域都具有很好的应用前景。模块化可重构机器人作为一种新形式的机器人,其在模块单元结构设计、连接机构、建模仿真、整体运动协调等方面仍然存在许多难题需要解决。本文主要涉及一种新型多功能可重构模块化机器人的研制及其强化学习研究,设计了一款新型可重构机器人模块单元,从模块单元机电系统设计、控制系统软硬件设计、协调运动规划以及强化学习这几部分进行论述。首先,本课题基于魔尺玩具单元的结构和运动形式设计一款新型多功能的机器人模块单元,包括模块单元机械系统设计、控制系统设计,并且制作相应的实验样机,同时开发适用于模块化机器人的控制软件。其次,探索模块化机器人协调运动规划即节律运动的生成。本课题所涉及的模块化可重构机器人是典型的链式构型,但是由于模块单元之间的连接机构赋予了机器人不同的配置形式,因此虽然都是链式机器人,但是不同的配置形式的机器人拥有不同的运动性能。针对不同配置的模块化机器人有必要对其运动学进行分析,以便为链式构型的机器人实现多种运动步态例如毛虫、蛇形和滚动等,以及为机器人适应环境和执行任务提供运动控制基础。最后,利用强化学习研究该模块化机器人的运动控制策略。利用强化学习对机器人自身状态以及环境信息的输入、动作选择与环境奖惩之间的相关性学习,实现机器人自主控制决策能力,提高机器人对环境的自适应能力。利用本课题中研制的机器人模块单元搭建一个链式双足机器人,其配合上一个磁力吸附矩阵工作平面,利用机器人的双足与工作平面交替吸附可以使机器人到达工作平面任意位置,利用强化学习中经典的学习算法Q-learning和Sarsa实现机器人的自主控制,通过理论分析和仿真实验验证该控制策略的合理性和有效性。