随着机器人技术和产业的发展,机器人在工业生产乃至人民生产生活中都扮演着重要角色。但是由于难以获得机器人的控制模型参数,如何合理选择机器人的控制器参数甚至取得最优参数仍缺乏便捷有效的方法。尤其是引入力信息对机器人进行柔顺控制时,不合理的控制参数易使机器人陷入振荡。本文基于强化学习理论,分析控制系统代价函数形式和价值函数、控制策略的模型和更新方式,提出了一种快速可靠的机器人阻抗控制器设计和优化方法。本文的主要研究内容如下:首先,对阻抗控制策略进行研究,对比分析了基于位置和基于力的阻抗控制的原理和实现方式,获得了阻抗控制器的稳定域及机器人阻抗加工系统的整体稳定域,分析了阻抗控制对加工力的影响,并分析了基于零刚度的恒力阻抗控制原理及其存在的不足。其次,提出一种基于Actor-Critic强化学习的机器人运动控制器设计方法。分析了强化学习的原理和实现方式,将控制系统中相关概念和强化学习概念相对比,对控制系统的价值函数、策略模型的形式和更新方式进行建模,提出一种基于Actor-Critic强化学习的机器人运动控制器设计方法,进行数值仿真分析了学习参数对系统响应的影响。之后,将Actor-Critic强化学习方法应用于设计机器人阻抗控制器,并提出了安全学习策略以保证学习的安全性和效率。对机器人阻抗控制器形式进行简化,将其转化为位置、速度和外力的状态反馈形式。分析并提出了一种具有物理意义的代价函数形式,提出一种基于Actor-Critic强化学习的机器人阻抗控制器设计方法。提出了一种安全学习策略,提升了强化学习的安全性和成功率。最后通过数值仿真验证了上述方法的有效性,并分析了相关参数对系统响应和稳定性的影响。最后,在UR5机器人上完成了机器人运动控制器和阻抗控制器的设计。首先对机器人的肘关节和腕关节的运动控制器进行设计优化,证明了所提出算法对不同控制系统的适应性。之后对机器人腕关节的阻抗控制器进行设计优化,实现机器人和使用者的稳定交互,证明了所提出算法在人机交互上的应用价值。最后设计机器人加工实验,综合机器人肩、肘关节的运动控制器设计和腕关节阻抗控制器设计,实现了对薄板工件的有效加工,证明了所提出算法在机器人柔顺加工上的应用价值。