近年来,多智能体系统在多个领域都有广泛应用,多智能体强化学习作为在线学习方式备受关注。但是由于以往多智能体强化学习算法仅仅考虑智能体同时决策情况,并不适用于所有实际应用场景。因此,为存在主智能体和次智能体主从博弈顺序决策的系统设计适用的多智能体学习方法是一个至关重要而又具有创新挑战的任务。在本文中,我们提出了一类基于Stackelberg博弈的多智能体强化学习方法。首先,根据系统学习任务,将智能体分为领导者、跟随者和次跟随者等角色,通过角色分配确定动作决策顺序,结合Q学习算法,本文设计了 Stackelberg Q学习算法。再者,迁移学习是目前应用于多智能体系统以提高多智能体学习和收敛速度的有效手段,本文引入知识迁移,在Stackelberg Q学习算法的基础上,设计了 Stackelberg Q learning with VFT 算法,进一步优化了 算法。认知无线电网络是一种新型的多智能体系统,各个认知用户都可以理解为与环境交互学习的智能体。本文所提算法以认知无线电网络为应用背景,进行了仿真实验验证和应用研究。通过与纳什Q学习算法做对比,证实了 Stackelberg Q学习算法的有效性。之后,验证了迁移学习的引入的确增加了多智能体系统的可扩展性并提高了学习速度。此外,在验证算法可行性的过程中,我们还对相关问题进行了讨论,比如不同的实验参数对系统性能的影响等等。