实际工程应用中,由于生产需要、工况变化或紧急的突发状况,系统包含着多种工作模式,既有随时间的状态连续演化,又有受离散时间驱动的多模态跳变,这些不同的工作模式之间根据一定的转移规律发生跳变,此类系统被称为随机跳变系统。跳变转移概率刻画了模态之间的随机转换规律,因此成为研究这类系统的关键因素。转移概率完全已知情况下的随机跳变系统的研究已经形成了完整的理论体系,但转移概率完全已知不符合工程实际,这使得随机跳变系统的研究成为挑战。作为强化学习的核心思想之一,时间差分（Temporal Difference,TD）学习用于估计Markov决策过程的最优策略并获得收益最大化。一方面由于TD学习不依赖于模型概率参数,且通过引用资格迹的在线更新机制,使得算法具有快速的收敛性;另一方面随机跳变系统的控制问题可以转化为Markov决策过程的策略求解问题,因此本文将TD学习引入转移概率未知情形下的随机跳变系统的鲁棒控制,通过观测模态轨迹使值函数收敛于黎卡提方程的解,得到使系统闭环稳定并满足性能要求的控制器参数。本文主要研究工作如下:（1）介绍了几种主流的TD学习算法的基本概念、学习框架和算法流程,结合控制领域的应用场景,说明TD学习在系统模型未知的条件下处理控制问题的方法体系,包括系统动态参数未知的线性系统控制方法、转移概率信息未知的随机跳变系统控制方法等,为后续章节的研究工作提供理论基础。（2）设计了针对Markov跳变系统鲁棒控制问题的TD（λ）学习算法。该算法运用值函数逼近的思想,其具体流程分为两个步骤:（Ⅰ）策略估计。每次模态发生跳变时更新资格迹和值函数,直到每个模态下的值函数收敛。其中资格迹表征了未来的模态观测值相对当前模态的权重关系,有利于实现算法迭代的合理化、灵活化。（Ⅱ）策略更新。根据值函数的收敛值更新控制策略。同时,证明了值函数能够收敛于黎卡提方程的解,即控制策略具有收敛性。。通过与已有方法的对比,验证了TD（λ）学习鲁棒控制方法在转移概率未知条件下控制结果的有效性和优越性。（3）将TD（λ）学习算法拓展到Semi-Markov跳变系统的H∞控制问题。首先,在模态转移概率已知情形下,推导了基于黎卡提方程的稳定性和H∞控制条件。进而,根据黎卡提方程设计了无需转移概率信息的TD（λ）控制算法,该算法能够获得依赖于模态滞留时间的H∞控制序列。最终,将理论成果应用到宏观经济系统中,验证了算法学习的准确性和控制方法的实用性。